From 9b328dced666cc056b984aa32fd07c4fbe11ccd9 Mon Sep 17 00:00:00 2001 From: Mughaira Mir <mugariya.farooq@tii.ae> Date: Tue, 20 Aug 2024 11:04:11 +0000 Subject: [PATCH] multilingual results --- 11B_falcon_mlresults.out | 32526 +++++++++++++++++++++++++++++++++++++ 1 file changed, 32526 insertions(+) create mode 100644 11B_falcon_mlresults.out diff --git a/11B_falcon_mlresults.out b/11B_falcon_mlresults.out new file mode 100644 index 0000000..ee9840d --- /dev/null +++ b/11B_falcon_mlresults.out @@ -0,0 +1,32526 @@ +hendrycksTest-abstract_algebra +hendrycksTest-anatomy +hendrycksTest-astronomy +hendrycksTest-business_ethics +hendrycksTest-clinical_knowledge +hendrycksTest-college_biology +hendrycksTest-college_chemistry +hendrycksTest-college_computer_science +hendrycksTest-college_mathematics +hendrycksTest-college_medicine +hendrycksTest-college_physics +hendrycksTest-computer_security +hendrycksTest-conceptual_physics +hendrycksTest-econometrics +hendrycksTest-electrical_engineering +hendrycksTest-elementary_mathematics +hendrycksTest-formal_logic +hendrycksTest-global_facts +hendrycksTest-high_school_biology +hendrycksTest-high_school_chemistry +hendrycksTest-high_school_computer_science +hendrycksTest-high_school_european_history +hendrycksTest-high_school_geography +hendrycksTest-high_school_government_and_politics +hendrycksTest-high_school_macroeconomics +hendrycksTest-high_school_mathematics +hendrycksTest-high_school_microeconomics +hendrycksTest-high_school_physics +hendrycksTest-high_school_psychology +hendrycksTest-high_school_statistics +hendrycksTest-high_school_us_history +hendrycksTest-high_school_world_history +hendrycksTest-human_aging +hendrycksTest-human_sexuality +hendrycksTest-international_law +hendrycksTest-jurisprudence +hendrycksTest-logical_fallacies +hendrycksTest-machine_learning +hendrycksTest-management +hendrycksTest-marketing +hendrycksTest-medical_genetics +hendrycksTest-miscellaneous +hendrycksTest-moral_disputes +hendrycksTest-moral_scenarios +hendrycksTest-nutrition +hendrycksTest-philosophy +hendrycksTest-prehistory +hendrycksTest-professional_accounting +hendrycksTest-professional_law +hendrycksTest-professional_medicine +hendrycksTest-professional_psychology +hendrycksTest-public_relations +hendrycksTest-security_studies +hendrycksTest-sociology +hendrycksTest-us_foreign_policy +hendrycksTest-virology +hendrycksTest-world_religions +len(HENDRYCKS_TASKS)=57 +['cb', 'rte', 'boolq', 'wsc', 'copa', 'wic', 'hellaswag', 'truthfulqa_mc', 'arc_easy', 'arc_challenge', 'winogrande', 'gsm8k', 'hendrycksTest-abstract_algebra', 'hendrycksTest-anatomy', 'hendrycksTest-astronomy', 'hendrycksTest-business_ethics', 'hendrycksTest-clinical_knowledge', 'hendrycksTest-college_biology', 'hendrycksTest-college_chemistry', 'hendrycksTest-college_computer_science', 'hendrycksTest-college_mathematics', 'hendrycksTest-college_medicine', 'hendrycksTest-college_physics', 'hendrycksTest-computer_security', 'hendrycksTest-conceptual_physics', 'hendrycksTest-econometrics', 'hendrycksTest-electrical_engineering', 'hendrycksTest-elementary_mathematics', 'hendrycksTest-formal_logic', 'hendrycksTest-global_facts', 'hendrycksTest-high_school_biology', 'hendrycksTest-high_school_chemistry', 'hendrycksTest-high_school_computer_science', 'hendrycksTest-high_school_european_history', 'hendrycksTest-high_school_geography', 'hendrycksTest-high_school_government_and_politics', 'hendrycksTest-high_school_macroeconomics', 'hendrycksTest-high_school_mathematics', 'hendrycksTest-high_school_microeconomics', 'hendrycksTest-high_school_physics', 'hendrycksTest-high_school_psychology', 'hendrycksTest-high_school_statistics', 'hendrycksTest-high_school_us_history', 'hendrycksTest-high_school_world_history', 'hendrycksTest-human_aging', 'hendrycksTest-human_sexuality', 'hendrycksTest-international_law', 'hendrycksTest-jurisprudence', 'hendrycksTest-logical_fallacies', 'hendrycksTest-machine_learning', 'hendrycksTest-management', 'hendrycksTest-marketing', 'hendrycksTest-medical_genetics', 'hendrycksTest-miscellaneous', 'hendrycksTest-moral_disputes', 'hendrycksTest-moral_scenarios', 'hendrycksTest-nutrition', 'hendrycksTest-philosophy', 'hendrycksTest-prehistory', 'hendrycksTest-professional_accounting', 'hendrycksTest-professional_law', 'hendrycksTest-professional_medicine', 'hendrycksTest-professional_psychology', 'hendrycksTest-public_relations', 'hendrycksTest-security_studies', 'hendrycksTest-sociology', 'hendrycksTest-us_foreign_policy', 'hendrycksTest-virology', 'hendrycksTest-world_religions'] +(tasks) len(_TMP_TASK_REGISTRY_HUGGINGFACE)=68 +{'rte': <class 'lm_eval.tasks.glue.RTE'>, 'boolq': <class 'lm_eval.tasks.superglue.BoolQ'>, 'cb': <class 'lm_eval.tasks.superglue.CommitmentBank'>, 'copa': <class 'lm_eval.tasks.superglue.Copa'>, 'wic': <class 'lm_eval.tasks.superglue.WordsInContext'>, 'wsc': <class 'lm_eval.tasks.superglue.SGWinogradSchemaChallenge'>, 'arc_easy': <class 'lm_eval.tasks.arc.ARCEasy'>, 'arc_challenge': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>} +(tasks+fewshots) len(_TMP_TASK_REGISTRY_HUGGINGFACE)=129 +{'rte': <class 'lm_eval.tasks.glue.RTE'>, 'boolq': <class 'lm_eval.tasks.superglue.BoolQ'>, 'cb': <class 'lm_eval.tasks.superglue.CommitmentBank'>, 'copa': <class 'lm_eval.tasks.superglue.Copa'>, 'wic': <class 'lm_eval.tasks.superglue.WordsInContext'>, 'wsc': <class 'lm_eval.tasks.superglue.SGWinogradSchemaChallenge'>, 'arc_easy': <class 'lm_eval.tasks.arc.ARCEasy'>, 'arc_challenge': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'arc_challenge_25shots': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag_10shots': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande_5shots': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k_5shots': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>}Starting eval. +Starting eval. +checkpoint_str='s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/' endpoint='250GT-4k-2024-02-12-08-13-38' +Tasks: ['arc_ar', 'arc_bn', 'arc_ca', 'arc_da', 'arc_de', 'arc_es', 'arc_eu', 'arc_fr', 'arc_gu', 'arc_hi', 'arc_hr', 'arc_hu', 'arc_hy', 'arc_id', 'arc_it', 'arc_kn', 'arc_ml', 'arc_mr', 'arc_ne', 'arc_nl', 'arc_pt', 'arc_ro', 'arc_ru', 'arc_sk', 'arc_sr', 'arc_sv', 'arc_ta', 'arc_te', 'arc_uk', 'arc_vi', 'arc_zh', 'hellaswag_ar', 'hellaswag_bn', 'hellaswag_ca', 'hellaswag_da', 'hellaswag_de', 'hellaswag_es', 'hellaswag_eu', 'hellaswag_fr', 'hellaswag_gu', 'hellaswag_hi', 'hellaswag_hr', 'hellaswag_hu', 'hellaswag_hy', 'hellaswag_id', 'hellaswag_it', 'hellaswag_kn', 'hellaswag_ml', 'hellaswag_mr', 'hellaswag_ne', 'hellaswag_nl', 'hellaswag_pt', 'hellaswag_ro', 'hellaswag_ru', 'hellaswag_sk', 'hellaswag_sr', 'hellaswag_sv', 'hellaswag_ta', 'hellaswag_te', 'hellaswag_uk', 'hellaswag_vi', 'hellaswag_zh', 'mmlu_ar', 'mmlu_bn', 'mmlu_ca', 'mmlu_da', 'mmlu_de', 'mmlu_es', 'mmlu_eu', 'mmlu_fr', 'mmlu_gu', 'mmlu_hi', 'mmlu_hr', 'mmlu_hu', 'mmlu_hy', 'mmlu_id', 'mmlu_it', 'mmlu_kn', 'mmlu_ml', 'mmlu_mr', 'mmlu_ne', 'mmlu_nl', 'mmlu_pt', 'mmlu_ro', 'mmlu_ru', 'mmlu_sk', 'mmlu_sr', 'mmlu_sv', 'mmlu_ta', 'mmlu_te', 'mmlu_uk', 'mmlu_vi', 'mmlu_zh', 'truthfulqa_ar', 'truthfulqa_bn', 'truthfulqa_ca', 'truthfulqa_da', 'truthfulqa_de', 'truthfulqa_es', 'truthfulqa_eu', 'truthfulqa_fr', 'truthfulqa_gu', 'truthfulqa_hi', 'truthfulqa_hr', 'truthfulqa_hu', 'truthfulqa_hy', 'truthfulqa_id', 'truthfulqa_it', 'truthfulqa_kn', 'truthfulqa_ml', 'truthfulqa_mr', 'truthfulqa_ne', 'truthfulqa_nl', 'truthfulqa_pt', 'truthfulqa_ro', 'truthfulqa_ru', 'truthfulqa_sk', 'truthfulqa_sr', 'truthfulqa_sv', 'truthfulqa_ta', 'truthfulqa_te', 'truthfulqa_uk', 'truthfulqa_vi', 'truthfulqa_zh'] + +['cb', 'rte', 'boolq', 'wsc', 'copa', 'wic', 'hellaswag', 'truthfulqa_mc', 'arc_easy', 'arc_challenge', 'winogrande', 'gsm8k', 'arc_challenge_25shots', 'gsm8k_5shots', 'hellaswag_10shots', 'hendrycksTest-abstract_algebra_5shots', 'hendrycksTest-anatomy_5shots', 'hendrycksTest-astronomy_5shots', 'hendrycksTest-business_ethics_5shots', 'hendrycksTest-clinical_knowledge_5shots', 'hendrycksTest-college_biology_5shots', 'hendrycksTest-college_chemistry_5shots', 'hendrycksTest-college_computer_science_5shots', 'hendrycksTest-college_mathematics_5shots', 'hendrycksTest-college_medicine_5shots', 'hendrycksTest-college_physics_5shots', 'hendrycksTest-computer_security_5shots', 'hendrycksTest-conceptual_physics_5shots', 'hendrycksTest-econometrics_5shots', 'hendrycksTest-electrical_engineering_5shots', 'hendrycksTest-elementary_mathematics_5shots', 'hendrycksTest-formal_logic_5shots', 'hendrycksTest-global_facts_5shots', 'hendrycksTest-high_school_biology_5shots', 'hendrycksTest-high_school_chemistry_5shots', 'hendrycksTest-high_school_computer_science_5shots', 'hendrycksTest-high_school_european_history_5shots', 'hendrycksTest-high_school_geography_5shots', 'hendrycksTest-high_school_government_and_politics_5shots', 'hendrycksTest-high_school_macroeconomics_5shots', 'hendrycksTest-high_school_mathematics_5shots', 'hendrycksTest-high_school_microeconomics_5shots', 'hendrycksTest-high_school_physics_5shots', 'hendrycksTest-high_school_psychology_5shots', 'hendrycksTest-high_school_statistics_5shots', 'hendrycksTest-high_school_us_history_5shots', 'hendrycksTest-high_school_world_history_5shots', 'hendrycksTest-human_aging_5shots', 'hendrycksTest-human_sexuality_5shots', 'hendrycksTest-international_law_5shots', 'hendrycksTest-jurisprudence_5shots', 'hendrycksTest-logical_fallacies_5shots', 'hendrycksTest-machine_learning_5shots', 'hendrycksTest-management_5shots', 'hendrycksTest-marketing_5shots', 'hendrycksTest-medical_genetics_5shots', 'hendrycksTest-miscellaneous_5shots', 'hendrycksTest-moral_disputes_5shots', 'hendrycksTest-moral_scenarios_5shots', 'hendrycksTest-nutrition_5shots', 'hendrycksTest-philosophy_5shots', 'hendrycksTest-prehistory_5shots', 'hendrycksTest-professional_accounting_5shots', 'hendrycksTest-professional_law_5shots', 'hendrycksTest-professional_medicine_5shots', 'hendrycksTest-professional_psychology_5shots', 'hendrycksTest-public_relations_5shots', 'hendrycksTest-security_studies_5shots', 'hendrycksTest-sociology_5shots', 'hendrycksTest-us_foreign_policy_5shots', 'hendrycksTest-virology_5shots', 'hendrycksTest-world_religions_5shots', 'winogrande_5shots'] +(tasks+fewshots: huggingface) len(_TMP_TASK_REGISTRY_HUGGINGFACE)=72 +{'rte': <class 'lm_eval.tasks.glue.RTE'>, 'boolq': <class 'lm_eval.tasks.superglue.BoolQ'>, 'cb': <class 'lm_eval.tasks.superglue.CommitmentBank'>, 'copa': <class 'lm_eval.tasks.superglue.Copa'>, 'wic': <class 'lm_eval.tasks.superglue.WordsInContext'>, 'wsc': <class 'lm_eval.tasks.superglue.SGWinogradSchemaChallenge'>, 'arc_easy': <class 'lm_eval.tasks.arc.ARCEasy'>, 'arc_challenge': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'arc_challenge_25shots': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag_10shots': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande_5shots': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k_5shots': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>} +['arc_ar', 'arc_bn', 'arc_ca', 'arc_da', 'arc_de', 'arc_es', 'arc_eu', 'arc_fr', 'arc_gu', 'arc_hi', 'arc_hr', 'arc_hu', 'arc_hy', 'arc_id', 'arc_it', 'arc_kn', 'arc_ml', 'arc_mr', 'arc_ne', 'arc_nl', 'arc_pt', 'arc_ro', 'arc_ru', 'arc_sk', 'arc_sr', 'arc_sv', 'arc_ta', 'arc_te', 'arc_uk', 'arc_vi', 'arc_zh', 'hellaswag_ar', 'hellaswag_bn', 'hellaswag_ca', 'hellaswag_da', 'hellaswag_de', 'hellaswag_es', 'hellaswag_eu', 'hellaswag_fr', 'hellaswag_gu', 'hellaswag_hi', 'hellaswag_hr', 'hellaswag_hu', 'hellaswag_hy', 'hellaswag_id', 'hellaswag_it', 'hellaswag_kn', 'hellaswag_ml', 'hellaswag_mr', 'hellaswag_ne', 'hellaswag_nl', 'hellaswag_pt', 'hellaswag_ro', 'hellaswag_ru', 'hellaswag_sk', 'hellaswag_sr', 'hellaswag_sv', 'hellaswag_ta', 'hellaswag_te', 'hellaswag_uk', 'hellaswag_vi', 'hellaswag_zh', 'mmlu_ar', 'mmlu_bn', 'mmlu_ca', 'mmlu_da', 'mmlu_de', 'mmlu_es', 'mmlu_eu', 'mmlu_fr', 'mmlu_gu', 'mmlu_hi', 'mmlu_hr', 'mmlu_hu', 'mmlu_hy', 'mmlu_id', 'mmlu_it', 'mmlu_kn', 'mmlu_ml', 'mmlu_mr', 'mmlu_ne', 'mmlu_nl', 'mmlu_pt', 'mmlu_ro', 'mmlu_ru', 'mmlu_sk', 'mmlu_sr', 'mmlu_sv', 'mmlu_ta', 'mmlu_te', 'mmlu_uk', 'mmlu_vi', 'mmlu_zh', 'truthfulqa_ar', 'truthfulqa_bn', 'truthfulqa_ca', 'truthfulqa_da', 'truthfulqa_de', 'truthfulqa_es', 'truthfulqa_eu', 'truthfulqa_fr', 'truthfulqa_gu', 'truthfulqa_hi', 'truthfulqa_hr', 'truthfulqa_hu', 'truthfulqa_hy', 'truthfulqa_id', 'truthfulqa_it', 'truthfulqa_kn', 'truthfulqa_ml', 'truthfulqa_mr', 'truthfulqa_ne', 'truthfulqa_nl', 'truthfulqa_pt', 'truthfulqa_ro', 'truthfulqa_ru', 'truthfulqa_sk', 'truthfulqa_sr', 'truthfulqa_sv', 'truthfulqa_ta', 'truthfulqa_te', 'truthfulqa_uk', 'truthfulqa_vi', 'truthfulqa_zh'] + ALL TASKS: 0%| | 0/124 [00:00<?, ?it/s]['arc_ar'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 06:47:31,386 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 06:47:31,386 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:47:31,516 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 06:47:31,516 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:47:31,646 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 06:47:31,646 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:47:31,776 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 06:47:31,787 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 06:47:31,787 INFO sqlalchemy.engine.Engine [generated in 0.00022s] {'name_1_1': 'arc_ar'} +2024-05-29 06:47:31,918 INFO sqlalchemy.engine.Engine ROLLBACK +/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_arc contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_arc/m_arc.py +You can avoid this message in future by passing the argument `trust_remote_code=True`. +Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`. + warnings.warn( +[Task(name=arc_ar task_provider=lm_eval)] +Running loglikelihood requests + + arc_ar: 0%| | 0/37 [00:00<?, ?it/s][A + arc_ar: 3%|███▎ | 1/37 [00:07<04:30, 7.52s/it][A + arc_ar: 5%|██████▌ | 2/37 [00:15<04:30, 7.72s/it][A + arc_ar: 8%|█████████▊ | 3/37 [00:22<04:14, 7.49s/it][A + arc_ar: 11%|█████████████ | 4/37 [00:30<04:12, 7.64s/it][A + arc_ar: 14%|████████████████▎ | 5/37 [00:39<04:15, 7.97s/it][A + arc_ar: 16%|███████████████████▌ | 6/37 [00:46<04:03, 7.85s/it][A + arc_ar: 19%|██████████████████████▉ | 7/37 [00:54<03:57, 7.90s/it][A + arc_ar: 22%|██████████████████████████▏ | 8/37 [01:03<03:58, 8.22s/it][A + arc_ar: 24%|█████████████████████████████▍ | 9/37 [01:11<03:50, 8.22s/it][A + arc_ar: 27%|████████████████████████████████▍ | 10/37 [01:19<03:34, 7.95s/it][A + arc_ar: 30%|███████████████████████████████████▋ | 11/37 [01:27<03:30, 8.09s/it][A + arc_ar: 32%|██████████████████████████████████████▉ | 12/37 [01:35<03:23, 8.12s/it][A + arc_ar: 35%|██████████████████████████████████████████▏ | 13/37 [01:43<03:13, 8.07s/it][A + arc_ar: 38%|█████████████████████████████████████████████▍ | 14/37 [01:51<03:05, 8.05s/it][A + arc_ar: 41%|████████████████████████████████████████████████▋ | 15/37 [02:00<02:59, 8.18s/it][A + arc_ar: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:08<02:50, 8.14s/it][A + arc_ar: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:16<02:40, 8.05s/it][A + arc_ar: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:24<02:34, 8.11s/it][A + arc_ar: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:32<02:27, 8.21s/it][A + arc_ar: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:41<02:22, 8.41s/it][A + arc_ar: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:49<02:11, 8.24s/it][A + arc_ar: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:57<02:01, 8.07s/it][A + arc_ar: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [03:05<01:54, 8.17s/it][A + arc_ar: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:13<01:44, 8.03s/it][A + arc_ar: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [03:21<01:35, 8.00s/it][A + arc_ar: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:28<01:27, 7.93s/it][A + arc_ar: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:36<01:19, 7.90s/it][A + arc_ar: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:44<01:11, 7.90s/it][A + arc_ar: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:52<01:03, 7.95s/it][A + arc_ar: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [04:00<00:55, 7.98s/it][A + arc_ar: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [04:09<00:48, 8.11s/it][A + arc_ar: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [04:16<00:39, 7.92s/it][A + arc_ar: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [04:23<00:30, 7.72s/it][A + arc_ar: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:32<00:23, 7.87s/it][A + arc_ar: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:39<00:15, 7.85s/it][A + arc_ar: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:47<00:07, 7.85s/it][A + arc_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:54<00:00, 7.47s/it][A arc_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:54<00:00, 7.96s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ar_acc 0.2215568862275449 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ar_acc_norm 0.25320786997433703 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 06:52:27,085 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 06:52:27,085 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:27,212 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 06:52:27,212 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:27,339 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 06:52:27,340 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:27,467 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 06:52:27,468 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 06:52:27,468 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 06:52:27,597 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 06:52:27,597 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'arc_ar_acc'} +2024-05-29 06:52:27,662 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 06:52:27,662 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1079, 'value': 0.2215568862275449} +2024-05-29 06:52:27,728 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 06:52:28,377 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 06:52:28,377 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:28,504 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 06:52:28,504 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:28,632 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 06:52:28,632 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:28,759 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 06:52:28,760 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 06:52:28,760 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 06:52:28,889 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 06:52:28,889 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ar_acc_norm'} +2024-05-29 06:52:28,954 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 06:52:28,954 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1080, 'value': 0.25320786997433703} +2024-05-29 06:52:29,018 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 1%|▉ | 1/124 [04:58<10:11:33, 298.32s/it]['arc_bn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 06:52:29,670 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 06:52:29,670 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:29,799 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 06:52:29,799 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:29,927 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 06:52:29,927 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:52:30,055 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 06:52:30,055 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 06:52:30,056 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'arc_bn'} +2024-05-29 06:52:30,185 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_bn task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 4.17 examples/s][A Generating train split: 1107 examples [00:00, 3887.62 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 9.18 examples/s][A Generating validation split: 296 examples [00:00, 2463.29 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 6.31 examples/s][A Generating test split: 1169 examples [00:00, 5863.60 examples/s] +Running loglikelihood requests + + arc_bn: 0%| | 0/37 [00:00<?, ?it/s][A + arc_bn: 3%|███▎ | 1/37 [00:11<06:54, 11.51s/it][A + arc_bn: 5%|██████▌ | 2/37 [00:21<06:14, 10.71s/it][A + arc_bn: 8%|█████████▊ | 3/37 [00:32<05:58, 10.56s/it][A + arc_bn: 11%|█████████████ | 4/37 [00:42<05:42, 10.38s/it][A + arc_bn: 14%|████████████████▎ | 5/37 [00:53<05:46, 10.82s/it][A + arc_bn: 16%|███████████████████▌ | 6/37 [01:04<05:37, 10.88s/it][A + arc_bn: 19%|██████████████████████▉ | 7/37 [01:15<05:25, 10.84s/it][A + arc_bn: 22%|██████████████████████████▏ | 8/37 [01:26<05:17, 10.95s/it][A + arc_bn: 24%|█████████████████████████████▍ | 9/37 [01:36<05:00, 10.72s/it][A + arc_bn: 27%|████████████████████████████████▍ | 10/37 [01:47<04:45, 10.56s/it][A + arc_bn: 30%|███████████████████████████████████▋ | 11/37 [01:56<04:27, 10.30s/it][A + arc_bn: 32%|██████████████████████████████████████▉ | 12/37 [02:08<04:25, 10.60s/it][A + arc_bn: 35%|██████████████████████████████████████████▏ | 13/37 [02:17<04:08, 10.37s/it][A + arc_bn: 38%|█████████████████████████████████████████████▍ | 14/37 [02:28<03:59, 10.43s/it][A + arc_bn: 41%|████████████████████████████████████████████████▋ | 15/37 [02:38<03:46, 10.29s/it][A + arc_bn: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:50<03:44, 10.67s/it][A + arc_bn: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:59<03:28, 10.45s/it][A + arc_bn: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [03:10<03:20, 10.57s/it][A + arc_bn: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [03:21<03:11, 10.66s/it][A + arc_bn: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [03:32<02:59, 10.58s/it][A + arc_bn: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [03:43<02:51, 10.72s/it][A + arc_bn: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [03:54<02:41, 10.78s/it][A + arc_bn: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [04:04<02:31, 10.79s/it][A + arc_bn: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [04:15<02:20, 10.80s/it][A + arc_bn: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [04:25<02:06, 10.55s/it][A + arc_bn: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [04:36<01:56, 10.55s/it][A + arc_bn: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [04:47<01:47, 10.75s/it][A + arc_bn: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [04:58<01:37, 10.83s/it][A + arc_bn: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [05:09<01:26, 10.77s/it][A + arc_bn: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [05:19<01:13, 10.56s/it][A + arc_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [05:30<01:04, 10.69s/it][A + arc_bn: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [05:40<00:52, 10.46s/it][A + arc_bn: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [05:50<00:41, 10.35s/it][A + arc_bn: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [06:00<00:31, 10.40s/it][A + arc_bn: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [06:10<00:20, 10.34s/it][A + arc_bn: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [06:21<00:10, 10.55s/it][A + arc_bn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:29<00:00, 9.57s/it][A arc_bn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:29<00:00, 10.52s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_bn_acc 0.19846022241231823 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_bn_acc_norm 0.24379811804961504 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 06:59:00,701 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 06:59:00,701 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:00,829 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 06:59:00,829 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:00,956 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 06:59:00,956 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:01,083 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 06:59:01,084 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 06:59:01,084 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 06:59:01,213 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 06:59:01,213 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_bn_acc'} +2024-05-29 06:59:01,278 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 06:59:01,278 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1081, 'value': 0.19846022241231823} +2024-05-29 06:59:01,343 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 06:59:01,965 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 06:59:01,965 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:02,087 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 06:59:02,087 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:02,209 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 06:59:02,209 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:02,331 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 06:59:02,332 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 06:59:02,332 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 06:59:02,455 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 06:59:02,455 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_bn_acc_norm'} +2024-05-29 06:59:02,517 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 06:59:02,517 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1082, 'value': 0.24379811804961504} +2024-05-29 06:59:02,578 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 2%|█▊ | 2/124 [11:31<12:00:29, 354.34s/it]['arc_ca'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 06:59:03,199 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 06:59:03,199 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:03,321 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 06:59:03,321 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:03,443 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 06:59:03,443 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 06:59:03,565 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 06:59:03,565 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 06:59:03,565 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1_1': 'arc_ca'} +2024-05-29 06:59:03,688 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_ca task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 4.02 examples/s][A Generating train split: 1116 examples [00:00, 3873.12 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 19488.55 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 6.27 examples/s][A Generating test split: 1166 examples [00:00, 5852.65 examples/s] +Running loglikelihood requests + + arc_ca: 0%| | 0/37 [00:00<?, ?it/s][A + arc_ca: 3%|███▎ | 1/37 [00:06<03:56, 6.58s/it][A + arc_ca: 5%|██████▌ | 2/37 [00:13<03:59, 6.84s/it][A + arc_ca: 8%|█████████▊ | 3/37 [00:20<03:48, 6.73s/it][A + arc_ca: 11%|█████████████ | 4/37 [00:27<03:44, 6.81s/it][A + arc_ca: 14%|████████████████▎ | 5/37 [00:34<03:41, 6.92s/it][A + arc_ca: 16%|███████████████████▌ | 6/37 [00:41<03:36, 6.97s/it][A + arc_ca: 19%|██████████████████████▉ | 7/37 [00:48<03:27, 6.92s/it][A + arc_ca: 22%|██████████████████████████▏ | 8/37 [00:55<03:20, 6.92s/it][A + arc_ca: 24%|█████████████████████████████▍ | 9/37 [01:01<03:06, 6.66s/it][A + arc_ca: 27%|████████████████████████████████▍ | 10/37 [01:07<02:53, 6.42s/it][A + arc_ca: 30%|███████████████████████████████████▋ | 11/37 [01:13<02:49, 6.52s/it][A + arc_ca: 32%|██████████████████████████████████████▉ | 12/37 [01:19<02:40, 6.43s/it][A + arc_ca: 35%|██████████████████████████████████████████▏ | 13/37 [01:26<02:35, 6.49s/it][A + arc_ca: 38%|█████████████████████████████████████████████▍ | 14/37 [01:32<02:27, 6.43s/it][A + arc_ca: 41%|████████████████████████████████████████████████▋ | 15/37 [01:39<02:22, 6.48s/it][A + arc_ca: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:46<02:19, 6.64s/it][A + arc_ca: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:52<02:07, 6.37s/it][A + arc_ca: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:58<02:01, 6.42s/it][A + arc_ca: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:04<01:52, 6.24s/it][A + arc_ca: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:10<01:46, 6.28s/it][A + arc_ca: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:17<01:42, 6.42s/it][A + arc_ca: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:24<01:37, 6.52s/it][A + arc_ca: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:31<01:31, 6.54s/it][A + arc_ca: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:37<01:25, 6.57s/it][A + arc_ca: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:43<01:16, 6.36s/it][A + arc_ca: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:50<01:12, 6.60s/it][A + arc_ca: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:57<01:06, 6.64s/it][A + arc_ca: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:04<00:59, 6.64s/it][A + arc_ca: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:11<00:55, 6.97s/it][A + arc_ca: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:18<00:48, 6.90s/it][A + arc_ca: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:26<00:42, 7.07s/it][A + arc_ca: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:32<00:34, 6.85s/it][A + arc_ca: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:39<00:27, 6.82s/it][A + arc_ca: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:45<00:20, 6.80s/it][A + arc_ca: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:51<00:13, 6.52s/it][A + arc_ca: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:58<00:06, 6.51s/it][A + arc_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00, 6.00s/it][A arc_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00, 6.57s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ca_acc 0.34562607204116635 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ca_acc_norm 0.3833619210977702 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:03:07,969 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:03:07,969 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:08,098 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:03:08,099 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:08,227 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:03:08,227 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:08,356 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:03:08,357 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:03:08,357 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:03:08,488 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:03:08,488 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_ca_acc'} +2024-05-29 07:03:08,553 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:03:08,553 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1083, 'value': 0.34562607204116635} +2024-05-29 07:03:08,618 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:03:09,256 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:03:09,257 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:09,381 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:03:09,381 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:09,505 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:03:09,505 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:09,630 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:03:09,630 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:03:09,630 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:03:09,756 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:03:09,756 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ca_acc_norm'} +2024-05-29 07:03:09,819 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:03:09,819 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1084, 'value': 0.3833619210977702} +2024-05-29 07:03:09,882 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 2%|██▋ | 3/124 [15:39<10:16:01, 305.47s/it]['arc_da'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:03:10,511 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:03:10,511 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:10,635 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:03:10,635 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:10,758 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:03:10,758 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:03:10,881 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:03:10,882 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:03:10,882 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_da'} +2024-05-29 07:03:11,006 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_da task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 5.29 examples/s][A Generating train split: 1112 examples [00:00, 4871.01 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 23092.62 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 6.45 examples/s][A Generating test split: 1167 examples [00:00, 6017.24 examples/s] +Running loglikelihood requests + + arc_da: 0%| | 0/37 [00:00<?, ?it/s][A + arc_da: 3%|███▎ | 1/37 [00:05<03:34, 5.97s/it][A + arc_da: 5%|██████▌ | 2/37 [00:12<03:37, 6.21s/it][A + arc_da: 8%|█████████▊ | 3/37 [00:18<03:35, 6.35s/it][A + arc_da: 11%|█████████████ | 4/37 [00:25<03:28, 6.33s/it][A + arc_da: 14%|████████████████▎ | 5/37 [00:31<03:25, 6.41s/it][A + arc_da: 16%|███████████████████▌ | 6/37 [00:38<03:25, 6.64s/it][A + arc_da: 19%|██████████████████████▉ | 7/37 [00:45<03:23, 6.79s/it][A + arc_da: 22%|██████████████████████████▏ | 8/37 [00:52<03:15, 6.73s/it][A + arc_da: 24%|█████████████████████████████▍ | 9/37 [00:59<03:07, 6.71s/it][A + arc_da: 27%|████████████████████████████████▍ | 10/37 [01:04<02:52, 6.39s/it][A + arc_da: 30%|███████████████████████████████████▋ | 11/37 [01:10<02:43, 6.30s/it][A + arc_da: 32%|██████████████████████████████████████▉ | 12/37 [01:17<02:42, 6.48s/it][A + arc_da: 35%|██████████████████████████████████████████▏ | 13/37 [01:23<02:30, 6.28s/it][A + arc_da: 38%|█████████████████████████████████████████████▍ | 14/37 [01:30<02:25, 6.33s/it][A + arc_da: 41%|████████████████████████████████████████████████▋ | 15/37 [01:36<02:23, 6.50s/it][A + arc_da: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:43<02:17, 6.53s/it][A + arc_da: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:49<02:09, 6.47s/it][A + arc_da: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:57<02:08, 6.76s/it][A + arc_da: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:03<01:58, 6.59s/it][A + arc_da: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:10<01:52, 6.64s/it][A + arc_da: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:16<01:45, 6.60s/it][A + arc_da: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:22<01:36, 6.43s/it][A + arc_da: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:29<01:30, 6.48s/it][A + arc_da: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:34<01:19, 6.15s/it][A + arc_da: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:41<01:14, 6.23s/it][A + arc_da: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:47<01:07, 6.14s/it][A + arc_da: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:54<01:04, 6.48s/it][A + arc_da: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [02:59<00:55, 6.16s/it][A + arc_da: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:07<00:51, 6.46s/it][A + arc_da: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:12<00:43, 6.27s/it][A + arc_da: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:19<00:38, 6.47s/it][A + arc_da: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:26<00:32, 6.57s/it][A + arc_da: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:32<00:25, 6.27s/it][A + arc_da: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:38<00:19, 6.44s/it][A + arc_da: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:45<00:13, 6.51s/it][A + arc_da: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:52<00:06, 6.51s/it][A + arc_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00, 6.24s/it][A arc_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00, 6.43s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_da_acc 0.3264781491002571 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_da_acc_norm 0.34790059982862037 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:07:09,975 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:07:09,975 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:10,111 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:07:10,111 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:10,241 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:07:10,241 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:10,370 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:07:10,371 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:07:10,371 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:07:10,502 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:07:10,502 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_da_acc'} +2024-05-29 07:07:10,568 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:07:10,568 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1085, 'value': 0.3264781491002571} +2024-05-29 07:07:10,634 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:07:11,282 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:07:11,283 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:11,409 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:07:11,409 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:11,535 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:07:11,535 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:11,662 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:07:11,662 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:07:11,662 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:07:11,790 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:07:11,790 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_da_acc_norm'} +2024-05-29 07:07:11,854 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:07:11,854 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1086, 'value': 0.34790059982862037} +2024-05-29 07:07:11,918 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 3%|███▋ | 4/124 [19:41<9:20:51, 280.43s/it]['arc_de'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:07:12,539 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:07:12,539 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:12,661 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:07:12,661 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:12,783 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:07:12,783 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:07:12,905 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:07:12,905 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:07:12,905 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_de'} +2024-05-29 07:07:13,028 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_de task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 8.57 examples/s][A Generating train split: 1116 examples [00:00, 7138.58 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 8.74 examples/s][A Generating validation split: 298 examples [00:00, 2378.29 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 6.03 examples/s][A Generating test split: 1169 examples [00:00, 5703.56 examples/s] +Running loglikelihood requests + + arc_de: 0%| | 0/37 [00:00<?, ?it/s][A + arc_de: 3%|███▎ | 1/37 [00:06<03:42, 6.19s/it][A + arc_de: 5%|██████▌ | 2/37 [00:12<03:37, 6.20s/it][A + arc_de: 8%|█████████▊ | 3/37 [00:18<03:24, 6.01s/it][A + arc_de: 11%|█████████████ | 4/37 [00:25<03:37, 6.58s/it][A + arc_de: 14%|████████████████▎ | 5/37 [00:32<03:30, 6.57s/it][A + arc_de: 16%|███████████████████▌ | 6/37 [00:39<03:33, 6.89s/it][A + arc_de: 19%|██████████████████████▉ | 7/37 [00:46<03:24, 6.80s/it][A + arc_de: 22%|██████████████████████████▏ | 8/37 [00:53<03:20, 6.92s/it][A + arc_de: 24%|█████████████████████████████▍ | 9/37 [00:59<03:09, 6.78s/it][A + arc_de: 27%|████████████████████████████████▍ | 10/37 [01:06<03:01, 6.74s/it][A + arc_de: 30%|███████████████████████████████████▋ | 11/37 [01:12<02:48, 6.47s/it][A + arc_de: 32%|██████████████████████████████████████▉ | 12/37 [01:18<02:42, 6.48s/it][A + arc_de: 35%|██████████████████████████████████████████▏ | 13/37 [01:25<02:32, 6.34s/it][A + arc_de: 38%|█████████████████████████████████████████████▍ | 14/37 [01:30<02:23, 6.22s/it][A + arc_de: 41%|████████████████████████████████████████████████▋ | 15/37 [01:37<02:16, 6.21s/it][A + arc_de: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:43<02:14, 6.40s/it][A + arc_de: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:50<02:10, 6.54s/it][A + arc_de: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:57<02:04, 6.56s/it][A + arc_de: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:04<01:59, 6.64s/it][A + arc_de: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:10<01:51, 6.55s/it][A + arc_de: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:17<01:44, 6.55s/it][A + arc_de: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:23<01:38, 6.55s/it][A + arc_de: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:29<01:29, 6.38s/it][A + arc_de: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:35<01:21, 6.25s/it][A + arc_de: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:42<01:16, 6.37s/it][A + arc_de: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:48<01:08, 6.23s/it][A + arc_de: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:54<01:02, 6.23s/it][A + arc_de: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:00<00:56, 6.25s/it][A + arc_de: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:07<00:50, 6.34s/it][A + arc_de: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:13<00:44, 6.37s/it][A + arc_de: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:19<00:37, 6.29s/it][A + arc_de: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:26<00:31, 6.38s/it][A + arc_de: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:32<00:25, 6.28s/it][A + arc_de: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:38<00:18, 6.19s/it][A + arc_de: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:44<00:12, 6.16s/it][A + arc_de: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:51<00:06, 6.33s/it][A + arc_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:56<00:00, 5.97s/it][A arc_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:56<00:00, 6.39s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_de_acc 0.40633019674935844 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_de_acc_norm 0.43627031650983744 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:11:10,617 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:11:10,617 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:10,745 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:11:10,745 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:10,872 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:11:10,872 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:10,999 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:11:11,000 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:11:11,000 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:11:11,128 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:11:11,129 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_de_acc'} +2024-05-29 07:11:11,193 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:11:11,193 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1087, 'value': 0.40633019674935844} +2024-05-29 07:11:11,258 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:11:11,908 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:11:11,908 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:12,036 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:11:12,036 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:12,163 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:11:12,163 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:12,290 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:11:12,291 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:11:12,291 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:11:12,419 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:11:12,419 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_de_acc_norm'} +2024-05-29 07:11:12,484 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:11:12,484 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1088, 'value': 0.43627031650983744} +2024-05-29 07:11:12,548 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 4%|████▌ | 5/124 [23:41<8:47:42, 266.08s/it]['arc_es'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:11:13,200 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:11:13,201 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:13,329 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:11:13,329 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:13,458 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:11:13,458 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:11:13,586 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:11:13,587 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:11:13,587 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_es'} +2024-05-29 07:11:13,716 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_es task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 9.87 examples/s][A Generating train split: 1118 examples [00:00, 7932.98 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 4309.71 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1170 examples [00:00, 8675.11 examples/s][A Generating test split: 1170 examples [00:00, 8591.97 examples/s] +Running loglikelihood requests + + arc_es: 0%| | 0/37 [00:00<?, ?it/s][A + arc_es: 3%|███▎ | 1/37 [00:07<04:19, 7.22s/it][A + arc_es: 5%|██████▌ | 2/37 [00:13<03:57, 6.77s/it][A + arc_es: 8%|█████████▊ | 3/37 [00:20<03:46, 6.66s/it][A + arc_es: 11%|█████████████ | 4/37 [00:27<03:42, 6.76s/it][A + arc_es: 14%|████████████████▎ | 5/37 [00:33<03:31, 6.60s/it][A + arc_es: 16%|███████████████████▌ | 6/37 [00:39<03:20, 6.46s/it][A + arc_es: 19%|██████████████████████▉ | 7/37 [00:46<03:18, 6.61s/it][A + arc_es: 22%|██████████████████████████▏ | 8/37 [00:52<03:06, 6.42s/it][A + arc_es: 24%|█████████████████████████████▍ | 9/37 [00:58<02:56, 6.31s/it][A + arc_es: 27%|████████████████████████████████▍ | 10/37 [01:06<02:59, 6.65s/it][A + arc_es: 30%|███████████████████████████████████▋ | 11/37 [01:11<02:47, 6.43s/it][A + arc_es: 32%|██████████████████████████████████████▉ | 12/37 [01:18<02:43, 6.53s/it][A + arc_es: 35%|██████████████████████████████████████████▏ | 13/37 [01:25<02:41, 6.74s/it][A + arc_es: 38%|█████████████████████████████████████████████▍ | 14/37 [01:32<02:31, 6.60s/it][A + arc_es: 41%|████████████████████████████████████████████████▋ | 15/37 [01:38<02:22, 6.46s/it][A + arc_es: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:44<02:14, 6.40s/it][A + arc_es: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:51<02:10, 6.52s/it][A + arc_es: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:58<02:05, 6.62s/it][A + arc_es: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:05<02:01, 6.74s/it][A + arc_es: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:11<01:51, 6.57s/it][A + arc_es: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:18<01:47, 6.69s/it][A + arc_es: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:25<01:42, 6.81s/it][A + arc_es: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:31<01:31, 6.51s/it][A + arc_es: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:37<01:23, 6.39s/it][A + arc_es: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:43<01:17, 6.44s/it][A + arc_es: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:50<01:11, 6.51s/it][A + arc_es: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:56<01:03, 6.38s/it][A + arc_es: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:02<00:56, 6.31s/it][A + arc_es: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:09<00:50, 6.33s/it][A + arc_es: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:16<00:46, 6.67s/it][A + arc_es: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:23<00:40, 6.80s/it][A + arc_es: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:30<00:33, 6.80s/it][A + arc_es: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:37<00:27, 6.79s/it][A + arc_es: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:44<00:20, 6.81s/it][A + arc_es: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:51<00:13, 6.86s/it][A + arc_es: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:58<00:06, 6.95s/it][A + arc_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00, 6.45s/it][A arc_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00, 6.59s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_es_acc 0.441025641025641 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_es_acc_norm 0.46324786324786327 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:15:18,482 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:15:18,482 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:18,604 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:15:18,605 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:18,727 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:15:18,727 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:18,849 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:15:18,850 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:15:18,850 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:15:18,974 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:15:18,974 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_es_acc'} +2024-05-29 07:15:19,036 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:15:19,036 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1089, 'value': 0.441025641025641} +2024-05-29 07:15:19,099 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:15:19,746 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:15:19,746 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:19,873 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:15:19,874 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:20,001 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:15:20,001 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:20,129 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:15:20,130 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:15:20,130 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:15:20,259 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:15:20,259 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_es_acc_norm'} +2024-05-29 07:15:20,323 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:15:20,323 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1090, 'value': 0.46324786324786327} +2024-05-29 07:15:20,388 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 5%|█████▌ | 6/124 [27:49<8:31:05, 259.88s/it]['arc_eu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:15:21,047 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:15:21,047 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:21,177 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:15:21,177 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:21,307 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:15:21,307 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:15:21,437 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:15:21,438 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:15:21,438 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_eu'} +2024-05-29 07:15:21,569 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_eu task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 8.68 examples/s][A Generating train split: 1104 examples [00:00, 7202.11 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 286 examples [00:00, 3338.17 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 4.63 examples/s][A Generating test split: 1138 examples [00:00, 4485.23 examples/s] +Running loglikelihood requests + + arc_eu: 0%| | 0/36 [00:00<?, ?it/s][A + arc_eu: 3%|███▎ | 1/36 [00:06<03:34, 6.12s/it][A + arc_eu: 6%|██████▋ | 2/36 [00:12<03:28, 6.14s/it][A + arc_eu: 8%|██████████ | 3/36 [00:18<03:22, 6.14s/it][A + arc_eu: 11%|█████████████▍ | 4/36 [00:24<03:16, 6.14s/it][A + arc_eu: 14%|████████████████▊ | 5/36 [00:30<03:10, 6.13s/it][A + arc_eu: 17%|████████████████████▏ | 6/36 [00:36<03:01, 6.07s/it][A + arc_eu: 19%|███████████████████████▌ | 7/36 [00:42<02:54, 6.02s/it][A + arc_eu: 22%|██████████████████████████▉ | 8/36 [00:48<02:49, 6.05s/it][A + arc_eu: 25%|██████████████████████████████▎ | 9/36 [00:54<02:43, 6.04s/it][A + arc_eu: 28%|█████████████████████████████████▎ | 10/36 [01:00<02:31, 5.84s/it][A + arc_eu: 31%|████████████████████████████████████▋ | 11/36 [01:05<02:23, 5.75s/it][A + arc_eu: 33%|████████████████████████████████████████ | 12/36 [01:11<02:16, 5.68s/it][A + arc_eu: 36%|███████████████████████████████████████████▎ | 13/36 [01:18<02:19, 6.07s/it][A + arc_eu: 39%|██████████████████████████████████████████████▋ | 14/36 [01:24<02:15, 6.16s/it][A + arc_eu: 42%|██████████████████████████████████████████████████ | 15/36 [01:30<02:07, 6.07s/it][A + arc_eu: 44%|█████████████████████████████████████████████████████▎ | 16/36 [01:36<02:01, 6.08s/it][A + arc_eu: 47%|████████████████████████████████████████████████████████▋ | 17/36 [01:42<01:55, 6.07s/it][A + arc_eu: 50%|████████████████████████████████████████████████████████████ | 18/36 [01:48<01:51, 6.18s/it][A + arc_eu: 53%|███████████████████████████████████████████████████████████████▎ | 19/36 [01:55<01:46, 6.28s/it][A + arc_eu: 56%|██████████████████████████████████████████████████████████████████▋ | 20/36 [02:02<01:42, 6.38s/it][A + arc_eu: 58%|██████████████████████████████████████████████████████████████████████ | 21/36 [02:08<01:34, 6.27s/it][A + arc_eu: 61%|█████████████████████████████████████████████████████████████████████████▎ | 22/36 [02:14<01:27, 6.28s/it][A + arc_eu: 64%|████████████████████████████████████████████████████████████████████████████▋ | 23/36 [02:19<01:18, 6.04s/it][A + arc_eu: 67%|████████████████████████████████████████████████████████████████████████████████ | 24/36 [02:25<01:12, 6.01s/it][A + arc_eu: 69%|███████████████████████████████████████████████████████████████████████████████████▎ | 25/36 [02:32<01:07, 6.11s/it][A + arc_eu: 72%|██████████████████████████████████████████████████████████████████████████████████████▋ | 26/36 [02:38<01:00, 6.08s/it][A + arc_eu: 75%|██████████████████████████████████████████████████████████████████████████████████████████ | 27/36 [02:43<00:52, 5.83s/it][A + arc_eu: 78%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 28/36 [02:49<00:46, 5.77s/it][A + arc_eu: 81%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 29/36 [02:55<00:42, 6.10s/it][A + arc_eu: 83%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/36 [03:02<00:36, 6.12s/it][A + arc_eu: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 31/36 [03:08<00:30, 6.11s/it][A + arc_eu: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 32/36 [03:14<00:25, 6.27s/it][A + arc_eu: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/36 [03:20<00:18, 6.18s/it][A + arc_eu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/36 [03:26<00:12, 6.10s/it][A + arc_eu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/36 [03:32<00:06, 6.16s/it][A + arc_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [03:37<00:00, 5.70s/it][A arc_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [03:37<00:00, 6.04s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_eu_acc 0.21441124780316345 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_eu_acc_norm 0.2530755711775044 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:19:00,385 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:19:00,386 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:00,514 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:19:00,514 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:00,643 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:19:00,643 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:00,772 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:19:00,773 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:19:00,773 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:19:00,903 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:19:00,903 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_eu_acc'} +2024-05-29 07:19:00,968 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:19:00,968 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1091, 'value': 0.21441124780316345} +2024-05-29 07:19:01,034 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:19:01,691 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:19:01,691 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:01,820 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:19:01,820 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:01,950 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:19:01,950 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:02,079 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:19:02,080 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:19:02,080 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:19:02,210 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:19:02,210 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_eu_acc_norm'} +2024-05-29 07:19:02,276 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:19:02,276 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1092, 'value': 0.2530755711775044} +2024-05-29 07:19:02,341 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 6%|██████▍ | 7/124 [31:31<8:02:34, 247.48s/it]['arc_fr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:19:02,968 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:19:02,968 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:03,091 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:19:03,091 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:03,213 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:19:03,213 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:19:03,336 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:19:03,336 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:19:03,337 INFO sqlalchemy.engine.Engine [generated in 0.00041s] {'name_1_1': 'arc_fr'} +2024-05-29 07:19:03,460 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_fr task_provider=lm_eval)] +Running loglikelihood requests + + arc_fr: 0%| | 0/37 [00:00<?, ?it/s][A + arc_fr: 3%|███▎ | 1/37 [00:07<04:28, 7.47s/it][A + arc_fr: 5%|██████▌ | 2/37 [00:13<03:42, 6.37s/it][A + arc_fr: 8%|█████████▊ | 3/37 [00:18<03:24, 6.02s/it][A + arc_fr: 11%|█████████████ | 4/37 [00:24<03:21, 6.10s/it][A + arc_fr: 14%|████████████████▎ | 5/37 [00:31<03:17, 6.18s/it][A + arc_fr: 16%|███████████████████▌ | 6/37 [00:38<03:25, 6.61s/it][A + arc_fr: 19%|██████████████████████▉ | 7/37 [00:45<03:15, 6.52s/it][A + arc_fr: 22%|██████████████████████████▏ | 8/37 [00:51<03:07, 6.47s/it][A + arc_fr: 24%|█████████████████████████████▍ | 9/37 [00:57<02:59, 6.41s/it][A + arc_fr: 27%|████████████████████████████████▍ | 10/37 [01:04<02:54, 6.45s/it][A + arc_fr: 30%|███████████████████████████████████▋ | 11/37 [01:10<02:45, 6.37s/it][A + arc_fr: 32%|██████████████████████████████████████▉ | 12/37 [01:17<02:43, 6.55s/it][A + arc_fr: 35%|██████████████████████████████████████████▏ | 13/37 [01:23<02:33, 6.39s/it][A + arc_fr: 38%|█████████████████████████████████████████████▍ | 14/37 [01:29<02:27, 6.42s/it][A + arc_fr: 41%|████████████████████████████████████████████████▋ | 15/37 [01:35<02:17, 6.23s/it][A + arc_fr: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:41<02:09, 6.15s/it][A + arc_fr: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:47<01:59, 5.98s/it][A + arc_fr: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:53<01:57, 6.19s/it][A + arc_fr: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [01:59<01:51, 6.17s/it][A + arc_fr: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:06<01:44, 6.13s/it][A + arc_fr: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:12<01:37, 6.11s/it][A + arc_fr: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:18<01:34, 6.28s/it][A + arc_fr: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:24<01:26, 6.20s/it][A + arc_fr: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:30<01:18, 6.06s/it][A + arc_fr: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:36<01:12, 6.02s/it][A + arc_fr: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:42<01:05, 5.97s/it][A + arc_fr: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:48<01:00, 6.10s/it][A + arc_fr: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [02:55<00:56, 6.23s/it][A + arc_fr: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:01<00:49, 6.20s/it][A + arc_fr: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:07<00:42, 6.09s/it][A + arc_fr: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:13<00:36, 6.10s/it][A + arc_fr: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:19<00:30, 6.20s/it][A + arc_fr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:25<00:24, 6.02s/it][A + arc_fr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:31<00:18, 6.08s/it][A + arc_fr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:38<00:12, 6.30s/it][A + arc_fr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:44<00:06, 6.32s/it][A + arc_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:49<00:00, 5.98s/it][A arc_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:49<00:00, 6.21s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_fr_acc 0.4388366124893071 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_fr_acc_norm 0.4593669803250642 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:22:54,389 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:22:54,389 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:54,518 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:22:54,518 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:54,646 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:22:54,647 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:54,775 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:22:54,776 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:22:54,776 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:22:54,906 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:22:54,906 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_fr_acc'} +2024-05-29 07:22:54,971 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:22:54,971 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1093, 'value': 0.4388366124893071} +2024-05-29 07:22:55,037 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:22:55,689 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:22:55,689 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:55,818 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:22:55,818 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:55,946 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:22:55,946 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:56,074 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:22:56,075 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:22:56,075 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:22:56,204 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:22:56,204 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_fr_acc_norm'} +2024-05-29 07:22:56,269 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:22:56,270 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1094, 'value': 0.4593669803250642} +2024-05-29 07:22:56,334 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 6%|███████▎ | 8/124 [35:25<7:50:09, 243.18s/it]['arc_gu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:22:56,967 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:22:56,967 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:57,091 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:22:57,091 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:57,215 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:22:57,215 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:22:57,339 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:22:57,340 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:22:57,340 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_gu'} +2024-05-29 07:22:57,465 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_gu task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1110 examples [00:00, 8376.84 examples/s][A Generating train split: 1110 examples [00:00, 8295.68 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 9.36 examples/s][A Generating validation split: 287 examples [00:00, 2440.85 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.20 examples/s][A Generating test split: 1160 examples [00:00, 4987.69 examples/s] +Running loglikelihood requests + + arc_gu: 0%| | 0/37 [00:00<?, ?it/s][A + arc_gu: 3%|███▎ | 1/37 [00:12<07:33, 12.60s/it][A + arc_gu: 5%|██████▌ | 2/37 [00:25<07:24, 12.69s/it][A + arc_gu: 8%|█████████▊ | 3/37 [00:35<06:33, 11.58s/it][A + arc_gu: 11%|█████████████ | 4/37 [00:47<06:26, 11.70s/it][A + arc_gu: 14%|████████████████▎ | 5/37 [00:58<06:03, 11.37s/it][A + arc_gu: 16%|███████████████████▌ | 6/37 [01:10<05:59, 11.61s/it][A + arc_gu: 19%|██████████████████████▉ | 7/37 [01:20<05:37, 11.24s/it][A + arc_gu: 22%|██████████████████████████▏ | 8/37 [01:31<05:23, 11.15s/it][A + arc_gu: 24%|█████████████████████████████▍ | 9/37 [01:43<05:15, 11.26s/it][A + arc_gu: 27%|████████████████████████████████▍ | 10/37 [01:54<05:03, 11.26s/it][A + arc_gu: 30%|███████████████████████████████████▋ | 11/37 [02:06<04:59, 11.51s/it][A + arc_gu: 32%|██████████████████████████████████████▉ | 12/37 [02:17<04:44, 11.39s/it][A + arc_gu: 35%|██████████████████████████████████████████▏ | 13/37 [02:29<04:37, 11.58s/it][A + arc_gu: 38%|█████████████████████████████████████████████▍ | 14/37 [02:40<04:20, 11.34s/it][A + arc_gu: 41%|████████████████████████████████████████████████▋ | 15/37 [02:52<04:10, 11.38s/it][A + arc_gu: 43%|███████████████████████████████████████████████████▉ | 16/37 [03:03<04:00, 11.43s/it][A + arc_gu: 46%|███████████████████████████████████████████████████████▏ | 17/37 [03:14<03:45, 11.27s/it][A + arc_gu: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [03:25<03:30, 11.08s/it][A + arc_gu: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [03:34<03:10, 10.59s/it][A + arc_gu: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [03:45<03:03, 10.80s/it][A + arc_gu: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [03:56<02:53, 10.87s/it][A + arc_gu: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [04:09<02:49, 11.30s/it][A + arc_gu: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [04:20<02:37, 11.28s/it][A + arc_gu: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [04:33<02:32, 11.72s/it][A + arc_gu: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [04:43<02:17, 11.45s/it][A + arc_gu: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [04:54<02:02, 11.14s/it][A + arc_gu: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [05:06<01:54, 11.45s/it][A + arc_gu: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [05:18<01:44, 11.64s/it][A + arc_gu: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [05:30<01:33, 11.67s/it][A + arc_gu: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [05:41<01:21, 11.61s/it][A + arc_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [05:56<01:14, 12.39s/it][A + arc_gu: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [06:06<00:58, 11.74s/it][A + arc_gu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [06:18<00:47, 11.84s/it][A + arc_gu: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [06:30<00:35, 11.89s/it][A + arc_gu: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [06:41<00:23, 11.75s/it][A + arc_gu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [06:52<00:11, 11.38s/it][A + arc_gu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:58<00:00, 9.89s/it][A arc_gu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:58<00:00, 11.32s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_gu_acc 0.2206896551724138 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_gu_acc_norm 0.2413793103448276 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:29:57,404 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:29:57,404 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:29:57,532 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:29:57,532 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:29:57,660 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:29:57,660 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:29:57,787 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:29:57,788 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:29:57,788 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:29:57,917 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:29:57,917 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_gu_acc'} +2024-05-29 07:29:57,982 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:29:57,982 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1095, 'value': 0.2206896551724138} +2024-05-29 07:29:58,048 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:29:58,677 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:29:58,678 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:29:58,801 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:29:58,801 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:29:58,925 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:29:58,925 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:29:59,048 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:29:59,049 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:29:59,049 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:29:59,173 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:29:59,173 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_gu_acc_norm'} +2024-05-29 07:29:59,236 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:29:59,236 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1096, 'value': 0.2413793103448276} +2024-05-29 07:29:59,299 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 7%|████████▎ | 9/124 [42:28<9:33:49, 299.39s/it]['arc_hi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:29:59,942 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:29:59,942 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:30:00,070 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:30:00,070 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:30:00,198 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:30:00,198 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:30:00,325 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:30:00,326 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:30:00,326 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_hi'} +2024-05-29 07:30:00,454 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_hi task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 4.50 examples/s][A Generating train split: 1116 examples [00:00, 4232.69 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 4.68 examples/s][A Generating validation split: 298 examples [00:00, 1326.79 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.07 examples/s][A Generating test split: 1168 examples [00:00, 4903.52 examples/s] +Running loglikelihood requests + + arc_hi: 0%| | 0/37 [00:00<?, ?it/s][A + arc_hi: 3%|███▎ | 1/37 [00:10<06:09, 10.25s/it][A + arc_hi: 5%|██████▌ | 2/37 [00:19<05:42, 9.80s/it][A + arc_hi: 8%|█████████▊ | 3/37 [00:29<05:33, 9.80s/it][A + arc_hi: 11%|█████████████ | 4/37 [00:38<05:14, 9.54s/it][A + arc_hi: 14%|████████████████▎ | 5/37 [00:48<05:05, 9.54s/it][A + arc_hi: 16%|███████████████████▌ | 6/37 [00:58<05:04, 9.83s/it][A + arc_hi: 19%|██████████████████████▉ | 7/37 [01:08<04:57, 9.90s/it][A + arc_hi: 22%|██████████████████████████▏ | 8/37 [01:17<04:39, 9.63s/it][A + arc_hi: 24%|█████████████████████████████▍ | 9/37 [01:27<04:34, 9.82s/it][A + arc_hi: 27%|████████████████████████████████▍ | 10/37 [01:38<04:29, 9.99s/it][A + arc_hi: 30%|███████████████████████████████████▋ | 11/37 [01:47<04:15, 9.81s/it][A + arc_hi: 32%|██████████████████████████████████████▉ | 12/37 [01:57<04:07, 9.92s/it][A + arc_hi: 35%|██████████████████████████████████████████▏ | 13/37 [02:07<03:57, 9.90s/it][A + arc_hi: 38%|█████████████████████████████████████████████▍ | 14/37 [02:17<03:43, 9.74s/it][A + arc_hi: 41%|████████████████████████████████████████████████▋ | 15/37 [02:27<03:37, 9.90s/it][A + arc_hi: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:36<03:23, 9.69s/it][A + arc_hi: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:45<03:09, 9.47s/it][A + arc_hi: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:54<02:58, 9.41s/it][A + arc_hi: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [03:05<02:55, 9.72s/it][A + arc_hi: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [03:14<02:44, 9.68s/it][A + arc_hi: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [03:24<02:32, 9.54s/it][A + arc_hi: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [03:34<02:26, 9.77s/it][A + arc_hi: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [03:43<02:12, 9.45s/it][A + arc_hi: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:51<01:59, 9.22s/it][A + arc_hi: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [04:00<01:50, 9.20s/it][A + arc_hi: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [04:11<01:44, 9.49s/it][A + arc_hi: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [04:20<01:35, 9.59s/it][A + arc_hi: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [04:30<01:27, 9.72s/it][A + arc_hi: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [04:40<01:17, 9.69s/it][A + arc_hi: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [04:49<01:07, 9.60s/it][A + arc_hi: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [05:00<00:58, 9.80s/it][A + arc_hi: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [05:08<00:47, 9.45s/it][A + arc_hi: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [05:18<00:37, 9.42s/it][A + arc_hi: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [05:28<00:28, 9.66s/it][A + arc_hi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [05:38<00:19, 9.76s/it][A + arc_hi: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [05:48<00:09, 9.93s/it][A + arc_hi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:55<00:00, 8.92s/it][A arc_hi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:55<00:00, 9.60s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hi_acc 0.2071917808219178 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hi_acc_norm 0.2517123287671233 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:35:57,206 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:35:57,206 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:57,336 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:35:57,336 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:57,466 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:35:57,466 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:57,595 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:35:57,596 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:35:57,596 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:35:57,727 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:35:57,727 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hi_acc'} +2024-05-29 07:35:57,794 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:35:57,794 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1097, 'value': 0.2071917808219178} +2024-05-29 07:35:57,860 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:35:58,482 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:35:58,482 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:58,603 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:35:58,603 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:58,724 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:35:58,724 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:58,845 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:35:58,846 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:35:58,846 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:35:58,968 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:35:58,968 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hi_acc_norm'} +2024-05-29 07:35:59,030 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:35:59,030 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1098, 'value': 0.2517123287671233} +2024-05-29 07:35:59,091 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 8%|█████████ | 10/124 [48:28<10:04:15, 318.03s/it]['arc_hr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:35:59,725 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:35:59,725 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:59,850 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:35:59,850 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:35:59,974 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:35:59,974 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:36:00,100 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:36:00,101 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:36:00,101 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_hr'} +2024-05-29 07:36:00,226 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_hr task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1115 examples [00:00, 8256.84 examples/s][A Generating train split: 1115 examples [00:00, 8186.97 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 8.89 examples/s][A Generating validation split: 297 examples [00:00, 2413.09 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 8.31 examples/s][A Generating test split: 1169 examples [00:00, 7330.63 examples/s] +Running loglikelihood requests + + arc_hr: 0%| | 0/37 [00:00<?, ?it/s][A + arc_hr: 3%|███▎ | 1/37 [00:06<04:09, 6.94s/it][A + arc_hr: 5%|██████▌ | 2/37 [00:14<04:09, 7.12s/it][A + arc_hr: 8%|█████████▊ | 3/37 [00:21<04:02, 7.14s/it][A + arc_hr: 11%|█████████████ | 4/37 [00:27<03:48, 6.93s/it][A + arc_hr: 14%|████████████████▎ | 5/37 [00:34<03:40, 6.89s/it][A + arc_hr: 16%|███████████████████▌ | 6/37 [00:42<03:37, 7.03s/it][A + arc_hr: 19%|██████████████████████▉ | 7/37 [00:49<03:31, 7.06s/it][A + arc_hr: 22%|██████████████████████████▏ | 8/37 [00:56<03:27, 7.15s/it][A + arc_hr: 24%|█████████████████████████████▍ | 9/37 [01:03<03:17, 7.05s/it][A + arc_hr: 27%|████████████████████████████████▍ | 10/37 [01:10<03:06, 6.92s/it][A + arc_hr: 30%|███████████████████████████████████▋ | 11/37 [01:16<02:56, 6.80s/it][A + arc_hr: 32%|██████████████████████████████████████▉ | 12/37 [01:23<02:48, 6.74s/it][A + arc_hr: 35%|██████████████████████████████████████████▏ | 13/37 [01:29<02:37, 6.57s/it][A + arc_hr: 38%|█████████████████████████████████████████████▍ | 14/37 [01:36<02:34, 6.74s/it][A + arc_hr: 41%|████████████████████████████████████████████████▋ | 15/37 [01:43<02:28, 6.75s/it][A + arc_hr: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:50<02:22, 6.76s/it][A + arc_hr: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:57<02:18, 6.91s/it][A + arc_hr: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:04<02:11, 6.94s/it][A + arc_hr: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:11<02:05, 6.97s/it][A + arc_hr: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:18<02:01, 7.12s/it][A + arc_hr: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:25<01:51, 6.94s/it][A + arc_hr: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:31<01:42, 6.81s/it][A + arc_hr: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:38<01:35, 6.80s/it][A + arc_hr: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:44<01:24, 6.52s/it][A + arc_hr: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:50<01:17, 6.50s/it][A + arc_hr: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:57<01:11, 6.54s/it][A + arc_hr: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:04<01:06, 6.70s/it][A + arc_hr: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:11<01:00, 6.76s/it][A + arc_hr: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:18<00:54, 6.84s/it][A + arc_hr: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:26<00:49, 7.09s/it][A + arc_hr: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:33<00:43, 7.25s/it][A + arc_hr: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:40<00:35, 7.16s/it][A + arc_hr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:48<00:28, 7.23s/it][A + arc_hr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:55<00:21, 7.29s/it][A + arc_hr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:02<00:14, 7.31s/it][A + arc_hr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:09<00:07, 7.20s/it][A + arc_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00, 6.58s/it][A arc_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00, 6.89s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hr_acc 0.2668947818648417 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hr_acc_norm 0.2985457656116339 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:40:16,700 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:40:16,700 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:16,827 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:40:16,827 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:16,955 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:40:16,955 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:17,082 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:40:17,083 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:40:17,083 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:40:17,212 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:40:17,212 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_hr_acc'} +2024-05-29 07:40:17,277 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:40:17,277 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1099, 'value': 0.2668947818648417} +2024-05-29 07:40:17,342 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:40:17,974 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:40:17,974 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:18,102 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:40:18,102 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:18,226 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:40:18,226 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:18,350 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:40:18,351 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:40:18,351 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:40:18,476 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:40:18,476 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hr_acc_norm'} +2024-05-29 07:40:18,539 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:40:18,539 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1100, 'value': 0.2985457656116339} +2024-05-29 07:40:18,602 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 9%|██████████ | 11/124 [52:47<9:25:13, 300.12s/it]['arc_hu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:40:19,251 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:40:19,251 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:19,379 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:40:19,379 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:19,507 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:40:19,507 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:40:19,635 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:40:19,636 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:40:19,636 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_hu'} +2024-05-29 07:40:19,765 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_hu task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1117 examples [00:00, 8320.18 examples/s][A Generating train split: 1117 examples [00:00, 8242.63 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 22497.89 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 7.29 examples/s][A Generating test split: 1168 examples [00:00, 6605.11 examples/s] +Running loglikelihood requests + + arc_hu: 0%| | 0/37 [00:00<?, ?it/s][A + arc_hu: 3%|███▎ | 1/37 [00:06<03:54, 6.51s/it][A + arc_hu: 5%|██████▌ | 2/37 [00:12<03:30, 6.01s/it][A + arc_hu: 8%|█████████▊ | 3/37 [00:18<03:28, 6.12s/it][A + arc_hu: 11%|█████████████ | 4/37 [00:24<03:24, 6.21s/it][A + arc_hu: 14%|████████████████▎ | 5/37 [00:31<03:19, 6.23s/it][A + arc_hu: 16%|███████████████████▌ | 6/37 [00:37<03:13, 6.24s/it][A + arc_hu: 19%|██████████████████████▉ | 7/37 [00:44<03:12, 6.43s/it][A + arc_hu: 22%|██████████████████████████▏ | 8/37 [00:50<03:04, 6.35s/it][A + arc_hu: 24%|█████████████████████████████▍ | 9/37 [00:56<03:00, 6.43s/it][A + arc_hu: 27%|████████████████████████████████▍ | 10/37 [01:03<02:53, 6.42s/it][A + arc_hu: 30%|███████████████████████████████████▋ | 11/37 [01:09<02:44, 6.33s/it][A + arc_hu: 32%|██████████████████████████████████████▉ | 12/37 [01:16<02:44, 6.58s/it][A + arc_hu: 35%|██████████████████████████████████████████▏ | 13/37 [01:23<02:41, 6.74s/it][A + arc_hu: 38%|█████████████████████████████████████████████▍ | 14/37 [01:30<02:33, 6.66s/it][A + arc_hu: 41%|████████████████████████████████████████████████▋ | 15/37 [01:36<02:26, 6.67s/it][A + arc_hu: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:43<02:18, 6.61s/it][A + arc_hu: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:49<02:09, 6.48s/it][A + arc_hu: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:56<02:03, 6.52s/it][A + arc_hu: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:02<01:56, 6.46s/it][A + arc_hu: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:08<01:48, 6.37s/it][A + arc_hu: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:14<01:41, 6.33s/it][A + arc_hu: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:21<01:35, 6.34s/it][A + arc_hu: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:27<01:28, 6.34s/it][A + arc_hu: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:33<01:21, 6.26s/it][A + arc_hu: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:39<01:14, 6.21s/it][A + arc_hu: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:46<01:11, 6.48s/it][A + arc_hu: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:53<01:04, 6.50s/it][A + arc_hu: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [02:59<00:58, 6.48s/it][A + arc_hu: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:06<00:52, 6.52s/it][A + arc_hu: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:12<00:45, 6.52s/it][A + arc_hu: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:19<00:39, 6.58s/it][A + arc_hu: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:26<00:32, 6.54s/it][A + arc_hu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:32<00:26, 6.56s/it][A + arc_hu: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:39<00:19, 6.56s/it][A + arc_hu: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:45<00:12, 6.46s/it][A + arc_hu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:51<00:06, 6.42s/it][A + arc_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00, 6.13s/it][A arc_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00, 6.41s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hu_acc 0.1840753424657534 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hu_acc_norm 0.24743150684931506 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:44:18,041 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:44:18,041 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:18,157 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:44:18,157 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:18,273 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:44:18,273 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:18,388 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:44:18,389 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:44:18,389 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:44:18,505 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:44:18,506 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_hu_acc'} +2024-05-29 07:44:18,564 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:44:18,564 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1101, 'value': 0.1840753424657534} +2024-05-29 07:44:18,624 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:44:19,231 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:44:19,231 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:19,351 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:44:19,351 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:19,470 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:44:19,470 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:19,590 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:44:19,591 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:44:19,591 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:44:19,712 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:44:19,712 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hu_acc_norm'} +2024-05-29 07:44:19,773 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:44:19,773 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1102, 'value': 0.24743150684931506} +2024-05-29 07:44:19,834 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 10%|██████████▉ | 12/124 [56:49<8:46:47, 282.21s/it]['arc_hy'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:44:20,452 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:44:20,452 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:20,573 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:44:20,573 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:20,694 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:44:20,694 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:44:20,815 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:44:20,816 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:44:20,816 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_hy'} +2024-05-29 07:44:20,938 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_hy task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 7.80 examples/s][A Generating train split: 1088 examples [00:00, 6479.66 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 290 examples [00:00, 22053.67 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 7.27 examples/s][A Generating test split: 1100 examples [00:00, 6276.57 examples/s] +Running loglikelihood requests + + arc_hy: 0%| | 0/35 [00:00<?, ?it/s][A + arc_hy: 3%|███▍ | 1/35 [00:10<06:05, 10.74s/it][A + arc_hy: 6%|██████▉ | 2/35 [00:22<06:23, 11.61s/it][A + arc_hy: 9%|██████████▎ | 3/35 [00:34<06:10, 11.57s/it][A + arc_hy: 11%|█████████████▊ | 4/35 [00:44<05:39, 10.94s/it][A + arc_hy: 14%|█████████████████▎ | 5/35 [00:55<05:30, 11.00s/it][A + arc_hy: 17%|████████████████████▋ | 6/35 [01:06<05:17, 10.94s/it][A + arc_hy: 20%|████████████████████████▏ | 7/35 [01:18<05:14, 11.24s/it][A + arc_hy: 23%|███████████████████████████▋ | 8/35 [01:29<05:05, 11.31s/it][A + arc_hy: 26%|███████████████████████████████ | 9/35 [01:41<04:58, 11.49s/it][A + arc_hy: 29%|██████████████████████████████████▎ | 10/35 [01:52<04:39, 11.18s/it][A + arc_hy: 31%|█████████████████████████████████████▋ | 11/35 [02:02<04:22, 10.92s/it][A + arc_hy: 34%|█████████████████████████████████████████▏ | 12/35 [02:13<04:12, 10.99s/it][A + arc_hy: 37%|████████████████████████████████████████████▌ | 13/35 [02:24<04:02, 11.02s/it][A + arc_hy: 40%|████████████████████████████████████████████████ | 14/35 [02:36<03:54, 11.15s/it][A + arc_hy: 43%|███████████████████████████████████████████████████▍ | 15/35 [02:47<03:43, 11.16s/it][A + arc_hy: 46%|██████████████████████████████████████████████████████▊ | 16/35 [02:57<03:24, 10.76s/it][A + arc_hy: 49%|██████████████████████████████████████████████████████████▎ | 17/35 [03:08<03:18, 11.05s/it][A + arc_hy: 51%|█████████████████████████████████████████████████████████████▋ | 18/35 [03:20<03:10, 11.21s/it][A + arc_hy: 54%|█████████████████████████████████████████████████████████████████▏ | 19/35 [03:31<02:57, 11.10s/it][A + arc_hy: 57%|████████████████████████████████████████████████████████████████████▌ | 20/35 [03:44<02:53, 11.59s/it][A + arc_hy: 60%|████████████████████████████████████████████████████████████████████████ | 21/35 [03:55<02:42, 11.58s/it][A + arc_hy: 63%|███████████████████████████████████████████████████████████████████████████▍ | 22/35 [04:06<02:29, 11.47s/it][A + arc_hy: 66%|██████████████████████████████████████████████████████████████████████████████▊ | 23/35 [04:17<02:15, 11.32s/it][A + arc_hy: 69%|██████████████████████████████████████████████████████████████████████████████████▎ | 24/35 [04:27<01:59, 10.87s/it][A + arc_hy: 71%|█████████████████████████████████████████████████████████████████████████████████████▋ | 25/35 [04:38<01:47, 10.78s/it][A + arc_hy: 74%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 26/35 [04:49<01:37, 10.83s/it][A + arc_hy: 77%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 27/35 [05:00<01:27, 10.89s/it][A + arc_hy: 80%|████████████████████████████████████████████████████████████████████████████████████████████████ | 28/35 [05:12<01:18, 11.22s/it][A + arc_hy: 83%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/35 [05:22<01:06, 11.13s/it][A + arc_hy: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 30/35 [05:35<00:57, 11.43s/it][A + arc_hy: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 31/35 [05:46<00:45, 11.43s/it][A + arc_hy: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 32/35 [05:57<00:34, 11.40s/it][A + arc_hy: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 33/35 [06:08<00:22, 11.17s/it][A + arc_hy: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 34/35 [06:19<00:11, 11.21s/it][A + arc_hy: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 35/35 [06:26<00:00, 9.90s/it][A arc_hy: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 35/35 [06:26<00:00, 11.05s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hy_acc 0.20636363636363636 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hy_acc_norm 0.25727272727272726 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:50:48,636 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:50:48,636 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:48,754 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:50:48,754 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:48,872 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:50:48,872 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:48,990 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:50:48,991 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:50:48,991 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:50:49,110 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:50:49,110 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_hy_acc'} +2024-05-29 07:50:49,170 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:50:49,170 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1103, 'value': 0.20636363636363636} +2024-05-29 07:50:49,230 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:50:49,887 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:50:49,887 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:50,018 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:50:50,018 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:50,149 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:50:50,149 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:50,280 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:50:50,280 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:50:50,280 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:50:50,412 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:50:50,412 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hy_acc_norm'} +2024-05-29 07:50:50,479 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:50:50,479 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1104, 'value': 0.25727272727272726} +2024-05-29 07:50:50,545 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 10%|███████████▋ | 13/124 [1:03:19<9:42:53, 315.08s/it]['arc_id'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:50:51,194 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:50:51,194 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:51,321 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:50:51,321 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:51,448 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:50:51,448 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:50:51,575 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:50:51,576 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:50:51,576 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_id'} +2024-05-29 07:50:51,704 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_id task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 9.83 examples/s][A Generating train split: 1118 examples [00:00, 8018.18 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 298 examples [00:00, 2906.02 examples/s][A Generating validation split: 298 examples [00:00, 2849.41 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1170 examples [00:00, 10133.05 examples/s][A Generating test split: 1170 examples [00:00, 10031.02 examples/s] +Running loglikelihood requests + + arc_id: 0%| | 0/37 [00:00<?, ?it/s][A + arc_id: 3%|███▎ | 1/37 [00:08<04:58, 8.28s/it][A + arc_id: 5%|██████▌ | 2/37 [00:15<04:33, 7.82s/it][A + arc_id: 8%|█████████▊ | 3/37 [00:23<04:27, 7.87s/it][A + arc_id: 11%|█████████████ | 4/37 [00:32<04:25, 8.06s/it][A + arc_id: 14%|████████████████▎ | 5/37 [00:39<04:11, 7.87s/it][A + arc_id: 16%|███████████████████▌ | 6/37 [00:47<04:01, 7.79s/it][A + arc_id: 19%|██████████████████████▉ | 7/37 [00:54<03:51, 7.70s/it][A + arc_id: 22%|██████████████████████████▏ | 8/37 [01:03<03:48, 7.89s/it][A + arc_id: 24%|█████████████████████████████▍ | 9/37 [01:11<03:43, 7.97s/it][A + arc_id: 27%|████████████████████████████████▍ | 10/37 [01:18<03:31, 7.84s/it][A + arc_id: 30%|███████████████████████████████████▋ | 11/37 [01:26<03:21, 7.76s/it][A + arc_id: 32%|██████████████████████████████████████▉ | 12/37 [01:34<03:16, 7.88s/it][A + arc_id: 35%|██████████████████████████████████████████▏ | 13/37 [01:42<03:06, 7.79s/it][A + arc_id: 38%|█████████████████████████████████████████████▍ | 14/37 [01:50<03:00, 7.86s/it][A + arc_id: 41%|████████████████████████████████████████████████▋ | 15/37 [01:57<02:50, 7.77s/it][A + arc_id: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:05<02:41, 7.71s/it][A + arc_id: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:13<02:36, 7.83s/it][A + arc_id: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:20<02:27, 7.78s/it][A + arc_id: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:28<02:19, 7.74s/it][A + arc_id: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:36<02:11, 7.71s/it][A + arc_id: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:44<02:05, 7.85s/it][A + arc_id: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:51<01:56, 7.74s/it][A + arc_id: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:59<01:46, 7.61s/it][A + arc_id: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:06<01:38, 7.59s/it][A + arc_id: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [03:14<01:30, 7.57s/it][A + arc_id: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:22<01:25, 7.79s/it][A + arc_id: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:29<01:16, 7.66s/it][A + arc_id: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:37<01:09, 7.69s/it][A + arc_id: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:45<01:02, 7.80s/it][A + arc_id: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:53<00:54, 7.76s/it][A + arc_id: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [04:00<00:45, 7.58s/it][A + arc_id: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [04:07<00:37, 7.52s/it][A + arc_id: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [04:15<00:30, 7.66s/it][A + arc_id: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:23<00:23, 7.69s/it][A + arc_id: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:31<00:15, 7.74s/it][A + arc_id: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:39<00:07, 7.70s/it][A + arc_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:45<00:00, 7.16s/it][A arc_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:45<00:00, 7.70s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_id_acc 0.3034188034188034 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_id_acc_norm 0.3418803418803419 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:55:37,877 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:55:37,877 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:38,004 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:55:38,004 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:38,131 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:55:38,131 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:38,258 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:55:38,259 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:55:38,259 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:55:38,387 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:55:38,387 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_id_acc'} +2024-05-29 07:55:38,452 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:55:38,452 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1105, 'value': 0.3034188034188034} +2024-05-29 07:55:38,517 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:55:39,164 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:55:39,164 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:39,291 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:55:39,291 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:39,419 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:55:39,419 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:39,546 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:55:39,547 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:55:39,547 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:55:39,675 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:55:39,675 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_id_acc_norm'} +2024-05-29 07:55:39,740 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:55:39,740 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1106, 'value': 0.3418803418803419} +2024-05-29 07:55:39,804 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 11%|████████████▌ | 14/124 [1:08:09<9:23:20, 307.28s/it]['arc_it'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:55:40,441 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:55:40,441 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:40,565 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:55:40,565 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:40,688 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:55:40,688 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:55:40,811 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:55:40,812 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:55:40,812 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_it'} +2024-05-29 07:55:40,936 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_it task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 5.31 examples/s][A Generating train split: 1118 examples [00:00, 4918.73 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 23314.34 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.67 examples/s][A Generating test split: 1169 examples [00:00, 5433.98 examples/s] +Running loglikelihood requests + + arc_it: 0%| | 0/37 [00:00<?, ?it/s][A + arc_it: 3%|███▎ | 1/37 [00:07<04:14, 7.07s/it][A + arc_it: 5%|██████▌ | 2/37 [00:14<04:06, 7.03s/it][A + arc_it: 8%|█████████▊ | 3/37 [00:20<03:45, 6.63s/it][A + arc_it: 11%|█████████████ | 4/37 [00:27<03:48, 6.94s/it][A + arc_it: 14%|████████████████▎ | 5/37 [00:34<03:43, 6.97s/it][A + arc_it: 16%|███████████████████▌ | 6/37 [00:40<03:27, 6.71s/it][A + arc_it: 19%|██████████████████████▉ | 7/37 [00:47<03:16, 6.56s/it][A + arc_it: 22%|██████████████████████████▏ | 8/37 [00:53<03:06, 6.45s/it][A + arc_it: 24%|█████████████████████████████▍ | 9/37 [01:00<03:03, 6.55s/it][A + arc_it: 27%|████████████████████████████████▍ | 10/37 [01:06<02:56, 6.54s/it][A + arc_it: 30%|███████████████████████████████████▋ | 11/37 [01:12<02:45, 6.36s/it][A + arc_it: 32%|██████████████████████████████████████▉ | 12/37 [01:19<02:41, 6.45s/it][A + arc_it: 35%|██████████████████████████████████████████▏ | 13/37 [01:25<02:34, 6.44s/it][A + arc_it: 38%|█████████████████████████████████████████████▍ | 14/37 [01:32<02:29, 6.51s/it][A + arc_it: 41%|████████████████████████████████████████████████▋ | 15/37 [01:39<02:26, 6.67s/it][A + arc_it: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:45<02:17, 6.56s/it][A + arc_it: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:52<02:10, 6.52s/it][A + arc_it: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:59<02:09, 6.81s/it][A + arc_it: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:06<02:02, 6.79s/it][A + arc_it: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:12<01:51, 6.58s/it][A + arc_it: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:18<01:43, 6.45s/it][A + arc_it: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:25<01:37, 6.49s/it][A + arc_it: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:31<01:30, 6.50s/it][A + arc_it: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:37<01:23, 6.44s/it][A + arc_it: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:44<01:17, 6.48s/it][A + arc_it: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:50<01:10, 6.45s/it][A + arc_it: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:57<01:04, 6.43s/it][A + arc_it: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:03<00:57, 6.40s/it][A + arc_it: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:09<00:50, 6.33s/it][A + arc_it: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:17<00:47, 6.72s/it][A + arc_it: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:23<00:39, 6.59s/it][A + arc_it: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:30<00:32, 6.56s/it][A + arc_it: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:36<00:26, 6.56s/it][A + arc_it: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:43<00:20, 6.68s/it][A + arc_it: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:50<00:13, 6.70s/it][A + arc_it: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:57<00:06, 6.82s/it][A + arc_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:02<00:00, 6.30s/it][A arc_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:02<00:00, 6.56s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_it_acc 0.4234388366124893 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_it_acc_norm 0.4576561163387511 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:59:44,720 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:59:44,720 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:44,843 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:59:44,843 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:44,965 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:59:44,965 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:45,087 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:59:45,088 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:59:45,088 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:59:45,211 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:59:45,211 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_it_acc'} +2024-05-29 07:59:45,273 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:59:45,274 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1107, 'value': 0.4234388366124893} +2024-05-29 07:59:45,336 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:59:45,984 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:59:45,985 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:46,113 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:59:46,113 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:46,241 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:59:46,241 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:46,369 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:59:46,370 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 07:59:46,370 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 07:59:46,499 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 07:59:46,499 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_it_acc_norm'} +2024-05-29 07:59:46,564 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 07:59:46,564 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1108, 'value': 0.4576561163387511} +2024-05-29 07:59:46,629 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 12%|█████████████▍ | 15/124 [1:12:15<8:45:07, 289.06s/it]['arc_kn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 07:59:47,288 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 07:59:47,288 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:47,418 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 07:59:47,418 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:47,547 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 07:59:47,547 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 07:59:47,677 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 07:59:47,678 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 07:59:47,678 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_kn'} +2024-05-29 07:59:47,808 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_kn task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 6.92 examples/s][A Generating train split: 1089 examples [00:00, 5871.42 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 286 examples [00:00, 20429.36 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.09 examples/s][A Generating test split: 1148 examples [00:00, 4841.03 examples/s] +Running loglikelihood requests + + arc_kn: 0%| | 0/36 [00:00<?, ?it/s][A + arc_kn: 3%|███▎ | 1/36 [00:12<07:25, 12.74s/it][A + arc_kn: 6%|██████▋ | 2/36 [00:23<06:28, 11.42s/it][A + arc_kn: 8%|██████████ | 3/36 [00:36<06:37, 12.03s/it][A + arc_kn: 11%|█████████████▍ | 4/36 [00:47<06:24, 12.01s/it][A + arc_kn: 14%|████████████████▊ | 5/36 [00:59<06:10, 11.95s/it][A + arc_kn: 17%|████████████████████▏ | 6/36 [01:11<05:54, 11.83s/it][A + arc_kn: 19%|███████████████████████▌ | 7/36 [01:24<05:52, 12.16s/it][A + arc_kn: 22%|██████████████████████████▉ | 8/36 [01:36<05:39, 12.13s/it][A + arc_kn: 25%|██████████████████████████████▎ | 9/36 [01:49<05:34, 12.40s/it][A + arc_kn: 28%|█████████████████████████████████▎ | 10/36 [02:00<05:08, 11.88s/it][A + arc_kn: 31%|████████████████████████████████████▋ | 11/36 [02:11<04:52, 11.69s/it][A + arc_kn: 33%|████████████████████████████████████████ | 12/36 [02:23<04:42, 11.76s/it][A + arc_kn: 36%|███████████████████████████████████████████▎ | 13/36 [02:36<04:42, 12.27s/it][A + arc_kn: 39%|██████████████████████████████████████████████▋ | 14/36 [02:48<04:24, 12.04s/it][A + arc_kn: 42%|██████████████████████████████████████████████████ | 15/36 [03:02<04:28, 12.79s/it][A + arc_kn: 44%|█████████████████████████████████████████████████████▎ | 16/36 [03:14<04:09, 12.49s/it][A + arc_kn: 47%|████████████████████████████████████████████████████████▋ | 17/36 [03:26<03:54, 12.32s/it][A + arc_kn: 50%|████████████████████████████████████████████████████████████ | 18/36 [03:38<03:40, 12.26s/it][A + arc_kn: 53%|███████████████████████████████████████████████████████████████▎ | 19/36 [03:50<03:25, 12.10s/it][A + arc_kn: 56%|██████████████████████████████████████████████████████████████████▋ | 20/36 [04:02<03:12, 12.00s/it][A + arc_kn: 58%|██████████████████████████████████████████████████████████████████████ | 21/36 [04:14<03:03, 12.24s/it][A + arc_kn: 61%|█████████████████████████████████████████████████████████████████████████▎ | 22/36 [04:26<02:50, 12.19s/it][A + arc_kn: 64%|████████████████████████████████████████████████████████████████████████████▋ | 23/36 [04:39<02:40, 12.34s/it][A + arc_kn: 67%|████████████████████████████████████████████████████████████████████████████████ | 24/36 [04:52<02:29, 12.46s/it][A + arc_kn: 69%|███████████████████████████████████████████████████████████████████████████████████▎ | 25/36 [05:04<02:14, 12.27s/it][A + arc_kn: 72%|██████████████████████████████████████████████████████████████████████████████████████▋ | 26/36 [05:16<02:03, 12.38s/it][A + arc_kn: 75%|██████████████████████████████████████████████████████████████████████████████████████████ | 27/36 [05:29<01:52, 12.53s/it][A + arc_kn: 78%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 28/36 [05:41<01:39, 12.47s/it][A + arc_kn: 81%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 29/36 [05:53<01:25, 12.16s/it][A + arc_kn: 83%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/36 [06:04<01:10, 11.82s/it][A + arc_kn: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 31/36 [06:16<00:59, 11.88s/it][A + arc_kn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 32/36 [06:28<00:47, 11.92s/it][A + arc_kn: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/36 [06:41<00:36, 12.19s/it][A + arc_kn: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/36 [06:52<00:23, 11.99s/it][A + arc_kn: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/36 [07:04<00:11, 11.81s/it][A + arc_kn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:14<00:00, 11.42s/it][A arc_kn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:14<00:00, 12.08s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_kn_acc 0.20644599303135888 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_kn_acc_norm 0.2456445993031359 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:07:03,978 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:07:03,979 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:04,106 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:07:04,106 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:04,233 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:07:04,233 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:04,360 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:07:04,361 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:07:04,361 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:07:04,490 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:07:04,490 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_kn_acc'} +2024-05-29 08:07:04,554 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:07:04,554 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1109, 'value': 0.20644599303135888} +2024-05-29 08:07:04,619 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:07:05,237 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:07:05,237 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:05,358 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:07:05,358 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:05,479 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:07:05,479 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:05,599 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:07:05,600 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:07:05,600 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:07:05,722 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:07:05,722 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_kn_acc_norm'} +2024-05-29 08:07:05,783 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:07:05,783 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1110, 'value': 0.2456445993031359} +2024-05-29 08:07:05,844 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 13%|██████████████▏ | 16/124 [1:19:35<10:01:39, 334.25s/it]['arc_ml'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:07:06,487 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:07:06,487 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:06,614 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:07:06,614 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:06,741 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:07:06,741 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:07:06,868 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:07:06,869 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:07:06,869 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_ml'} +2024-05-29 08:07:06,997 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_ml task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 4.57 examples/s][A Generating train split: 1098 examples [00:00, 4212.00 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 296 examples [00:00, 16732.22 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 4.07 examples/s][A Generating test split: 1142 examples [00:00, 3996.47 examples/s] +Running loglikelihood requests + + arc_ml: 0%| | 0/36 [00:00<?, ?it/s][A + arc_ml: 3%|███▎ | 1/36 [00:11<06:35, 11.30s/it][A + arc_ml: 6%|██████▋ | 2/36 [00:24<07:00, 12.36s/it][A + arc_ml: 8%|██████████ | 3/36 [00:36<06:41, 12.18s/it][A + arc_ml: 11%|█████████████▍ | 4/36 [00:48<06:27, 12.11s/it][A + arc_ml: 14%|████████████████▊ | 5/36 [00:59<06:09, 11.92s/it][A + arc_ml: 17%|████████████████████▏ | 6/36 [01:11<05:57, 11.91s/it][A + arc_ml: 19%|███████████████████████▌ | 7/36 [01:24<05:56, 12.29s/it][A + arc_ml: 22%|██████████████████████████▉ | 8/36 [01:35<05:31, 11.82s/it][A + arc_ml: 25%|██████████████████████████████▎ | 9/36 [01:48<05:27, 12.13s/it][A + arc_ml: 28%|█████████████████████████████████▎ | 10/36 [01:59<05:03, 11.67s/it][A + arc_ml: 31%|████████████████████████████████████▋ | 11/36 [02:12<05:02, 12.12s/it][A + arc_ml: 33%|████████████████████████████████████████ | 12/36 [02:24<04:51, 12.14s/it][A + arc_ml: 36%|███████████████████████████████████████████▎ | 13/36 [02:36<04:40, 12.18s/it][A + arc_ml: 39%|██████████████████████████████████████████████▋ | 14/36 [02:47<04:19, 11.80s/it][A + arc_ml: 42%|██████████████████████████████████████████████████ | 15/36 [02:59<04:06, 11.74s/it][A + arc_ml: 44%|█████████████████████████████████████████████████████▎ | 16/36 [03:12<04:04, 12.21s/it][A + arc_ml: 47%|████████████████████████████████████████████████████████▋ | 17/36 [03:23<03:47, 11.95s/it][A + arc_ml: 50%|████████████████████████████████████████████████████████████ | 18/36 [03:36<03:40, 12.24s/it][A + arc_ml: 53%|███████████████████████████████████████████████████████████████▎ | 19/36 [03:48<03:27, 12.18s/it][A + arc_ml: 56%|██████████████████████████████████████████████████████████████████▋ | 20/36 [04:01<03:14, 12.16s/it][A + arc_ml: 58%|██████████████████████████████████████████████████████████████████████ | 21/36 [04:13<03:05, 12.36s/it][A + arc_ml: 61%|█████████████████████████████████████████████████████████████████████████▎ | 22/36 [04:26<02:52, 12.33s/it][A + arc_ml: 64%|████████████████████████████████████████████████████████████████████████████▋ | 23/36 [04:38<02:41, 12.40s/it][A + arc_ml: 67%|████████████████████████████████████████████████████████████████████████████████ | 24/36 [04:52<02:32, 12.74s/it][A + arc_ml: 69%|███████████████████████████████████████████████████████████████████████████████████▎ | 25/36 [05:04<02:18, 12.55s/it][A + arc_ml: 72%|██████████████████████████████████████████████████████████████████████████████████████▋ | 26/36 [05:18<02:10, 13.10s/it][A + arc_ml: 75%|██████████████████████████████████████████████████████████████████████████████████████████ | 27/36 [05:30<01:53, 12.66s/it][A + arc_ml: 78%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 28/36 [05:43<01:42, 12.83s/it][A + arc_ml: 81%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 29/36 [05:54<01:25, 12.26s/it][A + arc_ml: 83%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/36 [06:05<01:11, 12.00s/it][A + arc_ml: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 31/36 [06:16<00:57, 11.59s/it][A + arc_ml: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 32/36 [06:27<00:45, 11.49s/it][A + arc_ml: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/36 [06:39<00:34, 11.58s/it][A + arc_ml: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/36 [06:50<00:22, 11.48s/it][A + arc_ml: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/36 [07:02<00:11, 11.68s/it][A + arc_ml: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:10<00:00, 10.58s/it][A arc_ml: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:10<00:00, 11.97s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ml_acc 0.23467600700525393 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ml_acc_norm 0.27495621716287216 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:14:19,252 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:14:19,253 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:19,377 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:14:19,377 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:19,501 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:14:19,501 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:19,625 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:14:19,626 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:14:19,626 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:14:19,751 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:14:19,751 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ml_acc'} +2024-05-29 08:14:19,814 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:14:19,814 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1111, 'value': 0.23467600700525393} +2024-05-29 08:14:19,878 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:14:20,537 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:14:20,537 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:20,668 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:14:20,668 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:20,798 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:14:20,798 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:20,929 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:14:20,929 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:14:20,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:14:21,061 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:14:21,061 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_ml_acc_norm'} +2024-05-29 08:14:21,127 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:14:21,127 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1112, 'value': 0.27495621716287216} +2024-05-29 08:14:21,193 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 14%|███████████████ | 17/124 [1:26:50<10:50:17, 364.65s/it]['arc_mr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:14:21,812 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:14:21,812 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:21,933 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:14:21,933 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:22,054 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:14:22,054 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:14:22,175 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:14:22,175 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:14:22,175 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_mr'} +2024-05-29 08:14:22,297 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_mr task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 7.72 examples/s][A Generating train split: 1114 examples [00:00, 6454.89 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 295 examples [00:00, 3116.57 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 3.89 examples/s][A Generating test split: 1155 examples [00:00, 3882.55 examples/s] +Running loglikelihood requests + + arc_mr: 0%| | 0/37 [00:00<?, ?it/s][A + arc_mr: 3%|███▎ | 1/37 [00:10<06:31, 10.87s/it][A + arc_mr: 5%|██████▌ | 2/37 [00:20<05:53, 10.10s/it][A + arc_mr: 8%|█████████▊ | 3/37 [00:30<05:37, 9.93s/it][A + arc_mr: 11%|█████████████ | 4/37 [00:40<05:33, 10.12s/it][A + arc_mr: 14%|████████████████▎ | 5/37 [00:51<05:29, 10.31s/it][A + arc_mr: 16%|███████████████████▌ | 6/37 [01:00<05:11, 10.03s/it][A + arc_mr: 19%|██████████████████████▉ | 7/37 [01:10<04:58, 9.95s/it][A + arc_mr: 22%|██████████████████████████▏ | 8/37 [01:19<04:40, 9.67s/it][A + arc_mr: 24%|█████████████████████████████▍ | 9/37 [01:29<04:33, 9.78s/it][A + arc_mr: 27%|████████████████████████████████▍ | 10/37 [01:39<04:27, 9.89s/it][A + arc_mr: 30%|███████████████████████████████████▋ | 11/37 [01:48<04:08, 9.55s/it][A + arc_mr: 32%|██████████████████████████████████████▉ | 12/37 [01:57<03:55, 9.40s/it][A + arc_mr: 35%|██████████████████████████████████████████▏ | 13/37 [02:06<03:45, 9.40s/it][A + arc_mr: 38%|█████████████████████████████████████████████▍ | 14/37 [02:17<03:42, 9.67s/it][A + arc_mr: 41%|████████████████████████████████████████████████▋ | 15/37 [02:26<03:32, 9.68s/it][A + arc_mr: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:36<03:22, 9.64s/it][A + arc_mr: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:45<03:09, 9.45s/it][A + arc_mr: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:54<02:59, 9.43s/it][A + arc_mr: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [03:04<02:48, 9.37s/it][A + arc_mr: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [03:13<02:40, 9.47s/it][A + arc_mr: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [03:23<02:33, 9.59s/it][A + arc_mr: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [03:33<02:23, 9.56s/it][A + arc_mr: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [03:43<02:18, 9.86s/it][A + arc_mr: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:54<02:09, 9.98s/it][A + arc_mr: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [04:04<02:00, 10.01s/it][A + arc_mr: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [04:13<01:46, 9.68s/it][A + arc_mr: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [04:23<01:40, 10.02s/it][A + arc_mr: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [04:33<01:28, 9.86s/it][A + arc_mr: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [04:42<01:16, 9.56s/it][A + arc_mr: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [04:52<01:08, 9.73s/it][A + arc_mr: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [05:01<00:57, 9.57s/it][A + arc_mr: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [05:11<00:48, 9.74s/it][A + arc_mr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [05:21<00:39, 9.85s/it][A + arc_mr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [05:31<00:29, 9.73s/it][A + arc_mr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [05:39<00:18, 9.43s/it][A + arc_mr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [05:48<00:09, 9.16s/it][A + arc_mr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:52<00:00, 7.64s/it][A arc_mr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:52<00:00, 9.53s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_mr_acc 0.21385281385281385 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_mr_acc_norm 0.24848484848484848 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:20:16,149 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:20:16,149 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:16,277 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:20:16,277 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:16,404 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:20:16,404 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:16,532 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:20:16,532 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:20:16,532 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:20:16,661 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:20:16,661 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_mr_acc'} +2024-05-29 08:20:16,726 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:20:16,726 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1113, 'value': 0.21385281385281385} +2024-05-29 08:20:16,792 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:20:17,397 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:20:17,397 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:17,515 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:20:17,515 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:17,633 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:20:17,633 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:17,751 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:20:17,751 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:20:17,751 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:20:17,870 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:20:17,870 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'arc_mr_acc_norm'} +2024-05-29 08:20:17,930 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:20:17,930 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1114, 'value': 0.24848484848484848} +2024-05-29 08:20:17,990 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 15%|███████████████▉ | 18/124 [1:32:47<10:40:02, 362.29s/it]['arc_ne'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:20:18,615 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:20:18,615 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:18,739 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:20:18,739 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:18,862 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:20:18,863 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:20:18,986 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:20:18,987 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:20:18,987 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'arc_ne'} +2024-05-29 08:20:19,111 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_ne task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A Generating train split: 1118 examples [00:00, 21299.78 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 9.04 examples/s][A Generating validation split: 297 examples [00:00, 2432.53 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 4.29 examples/s][A Generating test split: 1169 examples [00:00, 4270.03 examples/s] +Running loglikelihood requests + + arc_ne: 0%| | 0/37 [00:00<?, ?it/s][A + arc_ne: 3%|███▎ | 1/37 [00:08<05:13, 8.70s/it][A + arc_ne: 5%|██████▌ | 2/37 [00:17<05:05, 8.73s/it][A + arc_ne: 8%|█████████▊ | 3/37 [00:27<05:09, 9.11s/it][A + arc_ne: 11%|█████████████ | 4/37 [00:36<05:04, 9.22s/it][A + arc_ne: 14%|████████████████▎ | 5/37 [00:46<05:05, 9.56s/it][A + arc_ne: 16%|███████████████████▌ | 6/37 [00:56<05:00, 9.70s/it][A + arc_ne: 19%|██████████████████████▉ | 7/37 [01:06<04:50, 9.68s/it][A + arc_ne: 22%|██████████████████████████▏ | 8/37 [01:16<04:48, 9.94s/it][A + arc_ne: 24%|█████████████████████████████▍ | 9/37 [01:26<04:37, 9.90s/it][A + arc_ne: 27%|████████████████████████████████▍ | 10/37 [01:35<04:17, 9.55s/it][A + arc_ne: 30%|███████████████████████████████████▋ | 11/37 [01:44<04:07, 9.52s/it][A + arc_ne: 32%|██████████████████████████████████████▉ | 12/37 [01:54<04:02, 9.69s/it][A + arc_ne: 35%|██████████████████████████████████████████▏ | 13/37 [02:03<03:47, 9.49s/it][A + arc_ne: 38%|█████████████████████████████████████████████▍ | 14/37 [02:14<03:44, 9.76s/it][A + arc_ne: 41%|████████████████████████████████████████████████▋ | 15/37 [02:23<03:33, 9.69s/it][A + arc_ne: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:32<03:16, 9.37s/it][A + arc_ne: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:41<03:05, 9.28s/it][A + arc_ne: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:51<03:01, 9.54s/it][A + arc_ne: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [03:00<02:50, 9.50s/it][A + arc_ne: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [03:11<02:44, 9.69s/it][A + arc_ne: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [03:21<02:40, 10.02s/it][A + arc_ne: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [03:30<02:25, 9.67s/it][A + arc_ne: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [03:40<02:13, 9.54s/it][A + arc_ne: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:49<02:03, 9.53s/it][A + arc_ne: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [03:58<01:52, 9.41s/it][A + arc_ne: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [04:08<01:44, 9.54s/it][A + arc_ne: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [04:17<01:34, 9.41s/it][A + arc_ne: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [04:26<01:24, 9.40s/it][A + arc_ne: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [04:36<01:15, 9.45s/it][A + arc_ne: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [04:45<01:06, 9.45s/it][A + arc_ne: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [04:55<00:56, 9.48s/it][A + arc_ne: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [05:04<00:47, 9.41s/it][A + arc_ne: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [05:14<00:37, 9.42s/it][A + arc_ne: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [05:23<00:28, 9.48s/it][A + arc_ne: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [05:33<00:18, 9.44s/it][A + arc_ne: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [05:43<00:09, 9.74s/it][A + arc_ne: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:51<00:00, 9.17s/it][A arc_ne: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:51<00:00, 9.50s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ne_acc 0.2215568862275449 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ne_acc_norm 0.2369546621043627 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:26:11,743 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:26:11,743 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:11,865 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:26:11,866 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:11,988 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:26:11,988 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:12,111 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:26:12,111 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:26:12,111 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:26:12,235 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:26:12,235 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_ne_acc'} +2024-05-29 08:26:12,297 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:26:12,298 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1115, 'value': 0.2215568862275449} +2024-05-29 08:26:12,360 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:26:13,011 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:26:13,011 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:13,140 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:26:13,140 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:13,269 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:26:13,269 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:13,398 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:26:13,398 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:26:13,398 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:26:13,528 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:26:13,528 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_ne_acc_norm'} +2024-05-29 08:26:13,594 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:26:13,594 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1116, 'value': 0.2369546621043627} +2024-05-29 08:26:13,659 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 15%|████████████████▊ | 19/124 [1:38:42<10:30:31, 360.30s/it]['arc_nl'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:26:14,287 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:26:14,287 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:14,410 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:26:14,410 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:14,533 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:26:14,533 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:26:14,655 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:26:14,656 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:26:14,656 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'arc_nl'} +2024-05-29 08:26:14,780 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_nl task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A Generating train split: 1118 examples [00:00, 18383.23 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 298 examples [00:00, 2965.88 examples/s][A Generating validation split: 298 examples [00:00, 2903.95 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1169 examples [00:00, 9757.81 examples/s][A Generating test split: 1169 examples [00:00, 9660.92 examples/s] +Running loglikelihood requests + + arc_nl: 0%| | 0/37 [00:00<?, ?it/s][A + arc_nl: 3%|███▎ | 1/37 [00:06<04:01, 6.71s/it][A + arc_nl: 5%|██████▌ | 2/37 [00:12<03:36, 6.19s/it][A + arc_nl: 8%|█████████▊ | 3/37 [00:18<03:28, 6.13s/it][A + arc_nl: 11%|█████████████ | 4/37 [00:25<03:27, 6.28s/it][A + arc_nl: 14%|████████████████▎ | 5/37 [00:31<03:21, 6.30s/it][A + arc_nl: 16%|███████████████████▌ | 6/37 [00:37<03:11, 6.16s/it][A + arc_nl: 19%|██████████████████████▉ | 7/37 [00:43<03:05, 6.17s/it][A + arc_nl: 22%|██████████████████████████▏ | 8/37 [00:49<03:00, 6.23s/it][A + arc_nl: 24%|█████████████████████████████▍ | 9/37 [00:55<02:52, 6.15s/it][A + arc_nl: 27%|████████████████████████████████▍ | 10/37 [01:02<02:52, 6.40s/it][A + arc_nl: 30%|███████████████████████████████████▋ | 11/37 [01:08<02:40, 6.16s/it][A + arc_nl: 32%|██████████████████████████████████████▉ | 12/37 [01:15<02:38, 6.34s/it][A + arc_nl: 35%|██████████████████████████████████████████▏ | 13/37 [01:21<02:30, 6.28s/it][A + arc_nl: 38%|█████████████████████████████████████████████▍ | 14/37 [01:28<02:29, 6.52s/it][A + arc_nl: 41%|████████████████████████████████████████████████▋ | 15/37 [01:35<02:27, 6.71s/it][A + arc_nl: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:41<02:16, 6.52s/it][A + arc_nl: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:48<02:09, 6.49s/it][A + arc_nl: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:55<02:06, 6.63s/it][A + arc_nl: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:01<01:57, 6.54s/it][A + arc_nl: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:07<01:48, 6.40s/it][A + arc_nl: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:13<01:39, 6.19s/it][A + arc_nl: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:19<01:33, 6.25s/it][A + arc_nl: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:25<01:25, 6.13s/it][A + arc_nl: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:30<01:17, 5.95s/it][A + arc_nl: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:37<01:15, 6.27s/it][A + arc_nl: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:43<01:08, 6.21s/it][A + arc_nl: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:49<01:01, 6.15s/it][A + arc_nl: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [02:55<00:54, 6.02s/it][A + arc_nl: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:01<00:47, 5.97s/it][A + arc_nl: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:08<00:43, 6.20s/it][A + arc_nl: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:15<00:38, 6.37s/it][A + arc_nl: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:20<00:30, 6.14s/it][A + arc_nl: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:27<00:25, 6.32s/it][A + arc_nl: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:33<00:19, 6.37s/it][A + arc_nl: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:40<00:12, 6.47s/it][A + arc_nl: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:46<00:06, 6.44s/it][A + arc_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:52<00:00, 6.17s/it][A arc_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:52<00:00, 6.28s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_nl_acc 0.39692044482463645 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_nl_acc_norm 0.41573994867408043 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:30:08,289 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:30:08,289 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:08,418 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:30:08,418 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:08,547 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:30:08,547 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:08,676 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:30:08,677 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:30:08,677 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:30:08,807 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:30:08,807 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_nl_acc'} +2024-05-29 08:30:08,873 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:30:08,873 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1117, 'value': 0.39692044482463645} +2024-05-29 08:30:08,939 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:30:09,600 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:30:09,600 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:09,730 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:30:09,730 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:09,860 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:30:09,860 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:09,990 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:30:09,991 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:30:09,991 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:30:10,128 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:30:10,128 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_nl_acc_norm'} +2024-05-29 08:30:10,194 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:30:10,194 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1118, 'value': 0.41573994867408043} +2024-05-29 08:30:10,259 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 16%|█████████████████▉ | 20/124 [1:42:39<9:20:08, 323.16s/it]['arc_pt'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:30:10,917 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:30:10,917 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:11,046 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:30:11,046 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:11,176 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:30:11,176 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:30:11,305 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:30:11,306 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:30:11,306 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_pt'} +2024-05-29 08:30:11,436 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_pt task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 6.65 examples/s][A Generating train split: 1118 examples [00:00, 5899.93 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 298 examples [00:00, 3061.36 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.18 examples/s][A Generating test split: 1170 examples [00:00, 5030.12 examples/s] +Running loglikelihood requests + + arc_pt: 0%| | 0/37 [00:00<?, ?it/s][A + arc_pt: 3%|███▎ | 1/37 [00:07<04:23, 7.31s/it][A + arc_pt: 5%|██████▌ | 2/37 [00:14<04:11, 7.19s/it][A + arc_pt: 8%|█████████▊ | 3/37 [00:21<03:59, 7.03s/it][A + arc_pt: 11%|█████████████ | 4/37 [00:29<04:01, 7.32s/it][A + arc_pt: 14%|████████████████▎ | 5/37 [00:36<03:52, 7.28s/it][A + arc_pt: 16%|███████████████████▌ | 6/37 [00:42<03:38, 7.05s/it][A + arc_pt: 19%|██████████████████████▉ | 7/37 [00:50<03:36, 7.21s/it][A + arc_pt: 22%|██████████████████████████▏ | 8/37 [00:57<03:24, 7.04s/it][A + arc_pt: 24%|█████████████████████████████▍ | 9/37 [01:03<03:14, 6.93s/it][A + arc_pt: 27%|████████████████████████████████▍ | 10/37 [01:10<03:07, 6.96s/it][A + arc_pt: 30%|███████████████████████████████████▋ | 11/37 [01:18<03:03, 7.08s/it][A + arc_pt: 32%|██████████████████████████████████████▉ | 12/37 [01:25<02:57, 7.09s/it][A + arc_pt: 35%|██████████████████████████████████████████▏ | 13/37 [01:32<02:49, 7.05s/it][A + arc_pt: 38%|█████████████████████████████████████████████▍ | 14/37 [01:39<02:41, 7.04s/it][A + arc_pt: 41%|████████████████████████████████████████████████▋ | 15/37 [01:46<02:36, 7.12s/it][A + arc_pt: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:53<02:29, 7.12s/it][A + arc_pt: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:00<02:20, 7.04s/it][A + arc_pt: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:07<02:12, 6.97s/it][A + arc_pt: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:14<02:09, 7.17s/it][A + arc_pt: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:21<02:00, 7.09s/it][A + arc_pt: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:29<01:55, 7.23s/it][A + arc_pt: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:37<01:51, 7.44s/it][A + arc_pt: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:43<01:40, 7.18s/it][A + arc_pt: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:50<01:31, 7.01s/it][A + arc_pt: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:58<01:27, 7.26s/it][A + arc_pt: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:05<01:18, 7.13s/it][A + arc_pt: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:11<01:10, 7.02s/it][A + arc_pt: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:18<01:03, 7.01s/it][A + arc_pt: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:26<00:56, 7.05s/it][A + arc_pt: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:33<00:49, 7.05s/it][A + arc_pt: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:39<00:41, 6.93s/it][A + arc_pt: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:46<00:34, 6.83s/it][A + arc_pt: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:53<00:27, 6.96s/it][A + arc_pt: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:00<00:21, 7.07s/it][A + arc_pt: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:08<00:14, 7.20s/it][A + arc_pt: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:15<00:07, 7.30s/it][A + arc_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:22<00:00, 6.93s/it][A arc_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:22<00:00, 7.08s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_pt_acc 0.4358974358974359 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_pt_acc_norm 0.4495726495726496 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:34:34,758 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:34:34,758 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:34,885 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:34:34,885 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:35,012 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:34:35,012 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:35,138 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:34:35,139 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:34:35,139 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:34:35,267 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:34:35,267 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_pt_acc'} +2024-05-29 08:34:35,332 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:34:35,332 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1119, 'value': 0.4358974358974359} +2024-05-29 08:34:35,397 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:34:36,054 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:34:36,054 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:36,183 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:34:36,184 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:36,313 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:34:36,313 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:36,443 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:34:36,443 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:34:36,443 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:34:36,574 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:34:36,574 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_pt_acc_norm'} +2024-05-29 08:34:36,640 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:34:36,640 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1120, 'value': 0.4495726495726496} +2024-05-29 08:34:36,705 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 17%|██████████████████▊ | 21/124 [1:47:06<8:45:32, 306.14s/it]['arc_ro'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:34:37,366 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:34:37,366 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:37,496 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:34:37,496 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:37,626 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:34:37,626 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:34:37,756 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:34:37,757 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:34:37,757 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_ro'} +2024-05-29 08:34:37,888 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_ro task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 9.07 examples/s][A Generating train split: 1109 examples [00:00, 7419.09 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 3284.99 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.67 examples/s][A Generating test split: 1167 examples [00:00, 5402.44 examples/s] +Running loglikelihood requests + + arc_ro: 0%| | 0/37 [00:00<?, ?it/s][A + arc_ro: 3%|███▎ | 1/37 [00:07<04:25, 7.37s/it][A + arc_ro: 5%|██████▌ | 2/37 [00:14<04:12, 7.22s/it][A + arc_ro: 8%|█████████▊ | 3/37 [00:21<04:03, 7.17s/it][A + arc_ro: 11%|█████████████ | 4/37 [00:28<03:49, 6.95s/it][A + arc_ro: 14%|████████████████▎ | 5/37 [00:35<03:41, 6.93s/it][A + arc_ro: 16%|███████████████████▌ | 6/37 [00:41<03:34, 6.91s/it][A + arc_ro: 19%|██████████████████████▉ | 7/37 [00:49<03:37, 7.24s/it][A + arc_ro: 22%|██████████████████████████▏ | 8/37 [00:56<03:27, 7.14s/it][A + arc_ro: 24%|█████████████████████████████▍ | 9/37 [01:03<03:19, 7.13s/it][A + arc_ro: 27%|████████████████████████████████▍ | 10/37 [01:10<03:11, 7.08s/it][A + arc_ro: 30%|███████████████████████████████████▋ | 11/37 [01:18<03:05, 7.13s/it][A + arc_ro: 32%|██████████████████████████████████████▉ | 12/37 [01:25<02:59, 7.16s/it][A + arc_ro: 35%|██████████████████████████████████████████▏ | 13/37 [01:32<02:54, 7.27s/it][A + arc_ro: 38%|█████████████████████████████████████████████▍ | 14/37 [01:39<02:45, 7.18s/it][A + arc_ro: 41%|████████████████████████████████████████████████▋ | 15/37 [01:47<02:39, 7.26s/it][A + arc_ro: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:53<02:28, 7.06s/it][A + arc_ro: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:00<02:20, 7.04s/it][A + arc_ro: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:08<02:14, 7.10s/it][A + arc_ro: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:15<02:07, 7.10s/it][A + arc_ro: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:21<01:57, 6.91s/it][A + arc_ro: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:29<01:52, 7.06s/it][A + arc_ro: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:36<01:47, 7.17s/it][A + arc_ro: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:43<01:38, 7.01s/it][A + arc_ro: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:49<01:28, 6.84s/it][A + arc_ro: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:56<01:22, 6.89s/it][A + arc_ro: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:03<01:17, 7.03s/it][A + arc_ro: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:10<01:08, 6.90s/it][A + arc_ro: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:17<01:02, 6.99s/it][A + arc_ro: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:25<00:56, 7.11s/it][A + arc_ro: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:33<00:51, 7.39s/it][A + arc_ro: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:40<00:43, 7.30s/it][A + arc_ro: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:46<00:35, 7.12s/it][A + arc_ro: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:53<00:27, 6.98s/it][A + arc_ro: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:01<00:21, 7.15s/it][A + arc_ro: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:08<00:14, 7.21s/it][A + arc_ro: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:15<00:07, 7.00s/it][A + arc_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:20<00:00, 6.62s/it][A arc_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:20<00:00, 7.05s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ro_acc 0.40531276778063413 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ro_acc_norm 0.4258783204798629 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:38:59,876 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:38:59,876 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:00,001 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:39:00,001 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:00,125 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:39:00,125 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:00,250 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:39:00,251 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:39:00,251 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:39:00,377 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:39:00,377 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_ro_acc'} +2024-05-29 08:39:00,440 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:39:00,441 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1121, 'value': 0.40531276778063413} +2024-05-29 08:39:00,504 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:39:01,150 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:39:01,150 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:01,277 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:39:01,277 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:01,404 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:39:01,405 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:01,532 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:39:01,532 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:39:01,532 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:39:01,661 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:39:01,661 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ro_acc_norm'} +2024-05-29 08:39:01,725 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:39:01,725 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1122, 'value': 0.4258783204798629} +2024-05-29 08:39:01,790 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 18%|███████████████████▋ | 22/124 [1:51:31<8:19:29, 293.82s/it]['arc_ru'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:39:02,422 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:39:02,422 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:02,546 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:39:02,546 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:02,670 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:39:02,670 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:39:02,794 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:39:02,794 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:39:02,795 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_ru'} +2024-05-29 08:39:02,919 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_ru task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 9.47 examples/s][A Generating train split: 1118 examples [00:00, 7640.20 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 21376.38 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.72 examples/s][A Generating test split: 1169 examples [00:00, 5435.22 examples/s] +Running loglikelihood requests + + arc_ru: 0%| | 0/37 [00:00<?, ?it/s][A + arc_ru: 3%|███▎ | 1/37 [00:08<04:48, 8.02s/it][A + arc_ru: 5%|██████▌ | 2/37 [00:16<04:49, 8.26s/it][A + arc_ru: 8%|█████████▊ | 3/37 [00:24<04:39, 8.21s/it][A + arc_ru: 11%|█████████████ | 4/37 [00:32<04:32, 8.27s/it][A + arc_ru: 14%|████████████████▎ | 5/37 [00:41<04:29, 8.41s/it][A + arc_ru: 16%|███████████████████▌ | 6/37 [00:49<04:14, 8.22s/it][A + arc_ru: 19%|██████████████████████▉ | 7/37 [00:58<04:14, 8.49s/it][A + arc_ru: 22%|██████████████████████████▏ | 8/37 [01:06<04:05, 8.48s/it][A + arc_ru: 24%|█████████████████████████████▍ | 9/37 [01:15<03:55, 8.41s/it][A + arc_ru: 27%|████████████████████████████████▍ | 10/37 [01:23<03:49, 8.49s/it][A + arc_ru: 30%|███████████████████████████████████▋ | 11/37 [01:32<03:39, 8.44s/it][A + arc_ru: 32%|██████████████████████████████████████▉ | 12/37 [01:42<03:41, 8.86s/it][A + arc_ru: 35%|██████████████████████████████████████████▏ | 13/37 [01:50<03:33, 8.88s/it][A + arc_ru: 38%|█████████████████████████████████████████████▍ | 14/37 [01:59<03:20, 8.74s/it][A + arc_ru: 41%|████████████████████████████████████████████████▋ | 15/37 [02:07<03:09, 8.60s/it][A + arc_ru: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:15<02:58, 8.52s/it][A + arc_ru: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:24<02:49, 8.45s/it][A + arc_ru: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:32<02:37, 8.30s/it][A + arc_ru: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:41<02:35, 8.64s/it][A + arc_ru: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:50<02:25, 8.58s/it][A + arc_ru: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:59<02:19, 8.75s/it][A + arc_ru: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [03:08<02:11, 8.79s/it][A + arc_ru: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [03:16<02:00, 8.60s/it][A + arc_ru: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:23<01:48, 8.32s/it][A + arc_ru: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [03:32<01:41, 8.44s/it][A + arc_ru: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:41<01:33, 8.48s/it][A + arc_ru: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:48<01:21, 8.16s/it][A + arc_ru: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:57<01:14, 8.25s/it][A + arc_ru: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [04:05<01:05, 8.24s/it][A + arc_ru: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [04:14<00:58, 8.43s/it][A + arc_ru: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [04:22<00:50, 8.37s/it][A + arc_ru: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [04:30<00:40, 8.18s/it][A + arc_ru: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [04:38<00:32, 8.22s/it][A + arc_ru: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:47<00:25, 8.37s/it][A + arc_ru: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:55<00:16, 8.38s/it][A + arc_ru: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [05:05<00:08, 8.74s/it][A + arc_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:11<00:00, 8.12s/it][A arc_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:11<00:00, 8.43s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ru_acc 0.3045337895637297 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ru_acc_norm 0.3413173652694611 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:44:16,199 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:44:16,199 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:16,328 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:44:16,328 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:16,457 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:44:16,458 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:16,587 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:44:16,587 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:44:16,588 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:44:16,718 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:44:16,718 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'arc_ru_acc'} +2024-05-29 08:44:16,784 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:44:16,784 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1123, 'value': 0.3045337895637297} +2024-05-29 08:44:16,849 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:44:17,473 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:44:17,474 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:17,596 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:44:17,596 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:17,718 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:44:17,718 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:17,840 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:44:17,841 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:44:17,841 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:44:17,964 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:44:17,965 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'arc_ru_acc_norm'} +2024-05-29 08:44:18,027 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:44:18,027 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1124, 'value': 0.3413173652694611} +2024-05-29 08:44:18,089 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 19%|████████████████████▌ | 23/124 [1:56:47<8:25:56, 300.56s/it]['arc_sk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:44:18,716 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:44:18,717 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:18,839 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:44:18,839 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:18,962 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:44:18,962 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:44:19,085 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:44:19,086 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:44:19,086 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'arc_sk'} +2024-05-29 08:44:19,209 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_sk task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1118 examples [00:00, 8199.78 examples/s][A Generating train split: 1118 examples [00:00, 8129.29 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 298 examples [00:00, 3105.62 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1169 examples [00:00, 8469.32 examples/s][A Generating test split: 1169 examples [00:00, 8393.02 examples/s] +Running loglikelihood requests + + arc_sk: 0%| | 0/37 [00:00<?, ?it/s][A + arc_sk: 3%|███▎ | 1/37 [00:06<04:11, 6.97s/it][A + arc_sk: 5%|██████▌ | 2/37 [00:13<04:02, 6.93s/it][A + arc_sk: 8%|█████████▊ | 3/37 [00:21<04:00, 7.09s/it][A + arc_sk: 11%|█████████████ | 4/37 [00:28<03:53, 7.08s/it][A + arc_sk: 14%|████████████████▎ | 5/37 [00:35<03:44, 7.02s/it][A + arc_sk: 16%|███████████████████▌ | 6/37 [00:42<03:37, 7.01s/it][A + arc_sk: 19%|██████████████████████▉ | 7/37 [00:49<03:30, 7.01s/it][A + arc_sk: 22%|██████████████████████████▏ | 8/37 [00:56<03:28, 7.19s/it][A + arc_sk: 24%|█████████████████████████████▍ | 9/37 [01:04<03:22, 7.22s/it][A + arc_sk: 27%|████████████████████████████████▍ | 10/37 [01:10<03:10, 7.05s/it][A + arc_sk: 30%|███████████████████████████████████▋ | 11/37 [01:17<02:59, 6.90s/it][A + arc_sk: 32%|██████████████████████████████████████▉ | 12/37 [01:23<02:50, 6.81s/it][A + arc_sk: 35%|██████████████████████████████████████████▏ | 13/37 [01:31<02:46, 6.93s/it][A + arc_sk: 38%|█████████████████████████████████████████████▍ | 14/37 [01:38<02:39, 6.95s/it][A + arc_sk: 41%|████████████████████████████████████████████████▋ | 15/37 [01:45<02:34, 7.02s/it][A + arc_sk: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:52<02:27, 7.03s/it][A + arc_sk: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:59<02:19, 6.96s/it][A + arc_sk: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:06<02:12, 6.95s/it][A + arc_sk: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:12<02:04, 6.93s/it][A + arc_sk: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:20<01:59, 7.04s/it][A + arc_sk: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:26<01:51, 6.95s/it][A + arc_sk: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:33<01:44, 6.97s/it][A + arc_sk: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:40<01:36, 6.89s/it][A + arc_sk: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:47<01:29, 6.90s/it][A + arc_sk: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:54<01:23, 6.94s/it][A + arc_sk: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:01<01:16, 6.91s/it][A + arc_sk: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:08<01:08, 6.88s/it][A + arc_sk: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:14<01:01, 6.84s/it][A + arc_sk: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:22<00:55, 6.92s/it][A + arc_sk: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:28<00:48, 6.88s/it][A + arc_sk: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:36<00:42, 7.03s/it][A + arc_sk: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:43<00:34, 6.97s/it][A + arc_sk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:49<00:27, 6.89s/it][A + arc_sk: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:56<00:20, 6.91s/it][A + arc_sk: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:03<00:13, 6.90s/it][A + arc_sk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:10<00:07, 7.01s/it][A + arc_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00, 6.44s/it][A arc_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00, 6.92s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sk_acc 0.32164242942686055 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sk_acc_norm 0.3627031650983747 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:48:36,287 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:48:36,287 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:36,407 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:48:36,408 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:36,527 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:48:36,528 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:36,648 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:48:36,648 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:48:36,649 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:48:36,770 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:48:36,770 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_sk_acc'} +2024-05-29 08:48:36,831 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:48:36,831 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1125, 'value': 0.32164242942686055} +2024-05-29 08:48:36,892 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:48:37,542 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:48:37,542 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:37,670 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:48:37,671 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:37,799 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:48:37,799 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:37,928 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:48:37,929 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:48:37,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:48:38,059 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:48:38,059 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_sk_acc_norm'} +2024-05-29 08:48:38,124 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:48:38,124 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1126, 'value': 0.3627031650983747} +2024-05-29 08:48:38,189 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 19%|█████████████████████▍ | 24/124 [2:01:07<8:00:42, 288.42s/it]['arc_sr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:48:38,839 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:48:38,839 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:38,968 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:48:38,968 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:39,096 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:48:39,096 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:48:39,223 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:48:39,224 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:48:39,224 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'arc_sr'} +2024-05-29 08:48:39,353 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_sr task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 9.81 examples/s][A Generating train split: 1114 examples [00:00, 7858.90 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 296 examples [00:00, 3301.72 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1169 examples [00:00, 9752.49 examples/s][A Generating test split: 1169 examples [00:00, 9649.23 examples/s] +Running loglikelihood requests + + arc_sr: 0%| | 0/37 [00:00<?, ?it/s][A + arc_sr: 3%|███▎ | 1/37 [00:06<04:11, 6.99s/it][A + arc_sr: 5%|██████▌ | 2/37 [00:13<04:02, 6.93s/it][A + arc_sr: 8%|█████████▊ | 3/37 [00:21<04:00, 7.07s/it][A + arc_sr: 11%|█████████████ | 4/37 [00:28<03:50, 7.00s/it][A + arc_sr: 14%|████████████████▎ | 5/37 [00:35<03:45, 7.04s/it][A + arc_sr: 16%|███████████████████▌ | 6/37 [00:41<03:36, 6.98s/it][A + arc_sr: 19%|██████████████████████▉ | 7/37 [00:48<03:26, 6.87s/it][A + arc_sr: 22%|██████████████████████████▏ | 8/37 [00:55<03:20, 6.93s/it][A + arc_sr: 24%|█████████████████████████████▍ | 9/37 [01:02<03:13, 6.91s/it][A + arc_sr: 27%|████████████████████████████████▍ | 10/37 [01:09<03:06, 6.92s/it][A + arc_sr: 30%|███████████████████████████████████▋ | 11/37 [01:16<03:00, 6.96s/it][A + arc_sr: 32%|██████████████████████████████████████▉ | 12/37 [01:23<02:52, 6.88s/it][A + arc_sr: 35%|██████████████████████████████████████████▏ | 13/37 [01:30<02:48, 7.02s/it][A + arc_sr: 38%|█████████████████████████████████████████████▍ | 14/37 [01:37<02:41, 7.03s/it][A + arc_sr: 41%|████████████████████████████████████████████████▋ | 15/37 [01:44<02:32, 6.93s/it][A + arc_sr: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:51<02:24, 6.90s/it][A + arc_sr: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:57<02:16, 6.82s/it][A + arc_sr: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:04<02:08, 6.76s/it][A + arc_sr: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:11<02:03, 6.83s/it][A + arc_sr: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:18<01:56, 6.87s/it][A + arc_sr: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:25<01:51, 6.97s/it][A + arc_sr: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:32<01:45, 7.00s/it][A + arc_sr: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:40<01:39, 7.13s/it][A + arc_sr: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:47<01:32, 7.10s/it][A + arc_sr: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:54<01:26, 7.20s/it][A + arc_sr: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:01<01:17, 7.08s/it][A + arc_sr: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:08<01:10, 7.01s/it][A + arc_sr: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:15<01:02, 6.97s/it][A + arc_sr: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:22<00:55, 6.98s/it][A + arc_sr: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:29<00:48, 7.00s/it][A + arc_sr: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:36<00:41, 7.00s/it][A + arc_sr: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:42<00:34, 6.94s/it][A + arc_sr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:49<00:27, 6.94s/it][A + arc_sr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:56<00:20, 6.92s/it][A + arc_sr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:04<00:14, 7.09s/it][A + arc_sr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:11<00:07, 7.29s/it][A + arc_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:17<00:00, 6.68s/it][A arc_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:17<00:00, 6.95s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sr_acc 0.2668947818648417 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sr_acc_norm 0.31137724550898205 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:52:57,658 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:52:57,658 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:52:57,782 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:52:57,782 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:52:57,906 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:52:57,906 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:52:58,030 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:52:58,031 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:52:58,031 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:52:58,156 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:52:58,157 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_sr_acc'} +2024-05-29 08:52:58,220 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:52:58,220 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1127, 'value': 0.2668947818648417} +2024-05-29 08:52:58,282 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:52:58,923 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:52:58,923 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:52:59,049 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:52:59,049 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:52:59,176 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:52:59,176 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:52:59,302 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:52:59,302 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:52:59,302 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:52:59,430 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:52:59,430 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_sr_acc_norm'} +2024-05-29 08:52:59,494 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:52:59,494 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1128, 'value': 0.31137724550898205} +2024-05-29 08:52:59,558 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 20%|██████████████████████▍ | 25/124 [2:05:28<7:42:30, 280.31s/it]['arc_sv'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:53:00,162 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:53:00,162 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:53:00,280 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:53:00,280 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:53:00,397 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:53:00,397 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:53:00,515 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:53:00,515 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:53:00,515 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_sv'} +2024-05-29 08:53:00,634 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_sv task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 7.97 examples/s][A Generating train split: 1113 examples [00:00, 6748.97 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 22986.52 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1165 examples [00:00, 9868.89 examples/s][A Generating test split: 1165 examples [00:00, 9761.11 examples/s] +Running loglikelihood requests + + arc_sv: 0%| | 0/37 [00:00<?, ?it/s][A + arc_sv: 3%|███▎ | 1/37 [00:06<03:45, 6.27s/it][A + arc_sv: 5%|██████▌ | 2/37 [00:12<03:39, 6.28s/it][A + arc_sv: 8%|█████████▊ | 3/37 [00:18<03:28, 6.13s/it][A + arc_sv: 11%|█████████████ | 4/37 [00:24<03:19, 6.04s/it][A + arc_sv: 14%|████████████████▎ | 5/37 [00:31<03:22, 6.34s/it][A + arc_sv: 16%|███████████████████▌ | 6/37 [00:37<03:16, 6.34s/it][A + arc_sv: 19%|██████████████████████▉ | 7/37 [00:44<03:11, 6.38s/it][A + arc_sv: 22%|██████████████████████████▏ | 8/37 [00:50<03:02, 6.28s/it][A + arc_sv: 24%|█████████████████████████████▍ | 9/37 [00:56<02:53, 6.21s/it][A + arc_sv: 27%|████████████████████████████████▍ | 10/37 [01:02<02:51, 6.36s/it][A + arc_sv: 30%|███████████████████████████████████▋ | 11/37 [01:09<02:46, 6.40s/it][A + arc_sv: 32%|██████████████████████████████████████▉ | 12/37 [01:16<02:43, 6.55s/it][A + arc_sv: 35%|██████████████████████████████████████████▏ | 13/37 [01:22<02:32, 6.34s/it][A + arc_sv: 38%|█████████████████████████████████████████████▍ | 14/37 [01:27<02:20, 6.12s/it][A + arc_sv: 41%|████████████████████████████████████████████████▋ | 15/37 [01:34<02:17, 6.24s/it][A + arc_sv: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:39<02:06, 6.03s/it][A + arc_sv: 46%|███████████████████████████████████████████████████████▏ | 17/37 [01:46<02:03, 6.20s/it][A + arc_sv: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [01:52<01:58, 6.22s/it][A + arc_sv: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [01:58<01:52, 6.24s/it][A + arc_sv: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:05<01:46, 6.28s/it][A + arc_sv: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:12<01:44, 6.52s/it][A + arc_sv: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:18<01:35, 6.39s/it][A + arc_sv: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:24<01:29, 6.39s/it][A + arc_sv: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:31<01:23, 6.40s/it][A + arc_sv: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [02:37<01:15, 6.29s/it][A + arc_sv: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [02:44<01:11, 6.51s/it][A + arc_sv: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [02:51<01:06, 6.63s/it][A + arc_sv: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [02:57<00:57, 6.38s/it][A + arc_sv: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:03<00:50, 6.29s/it][A + arc_sv: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:09<00:43, 6.25s/it][A + arc_sv: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:15<00:37, 6.29s/it][A + arc_sv: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:21<00:30, 6.15s/it][A + arc_sv: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:27<00:24, 6.07s/it][A + arc_sv: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [03:34<00:18, 6.27s/it][A + arc_sv: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [03:40<00:12, 6.33s/it][A + arc_sv: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [03:46<00:06, 6.28s/it][A + arc_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:51<00:00, 5.91s/it][A arc_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:51<00:00, 6.26s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sv_acc 0.3948497854077253 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sv_acc_norm 0.43261802575107294 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:56:53,438 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:56:53,438 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:53,558 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:56:53,559 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:53,679 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:56:53,679 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:53,799 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:56:53,800 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:56:53,800 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:56:53,921 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:56:53,921 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_sv_acc'} +2024-05-29 08:56:53,983 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:56:53,983 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1129, 'value': 0.3948497854077253} +2024-05-29 08:56:54,046 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:56:54,706 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:56:54,707 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:54,838 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:56:54,838 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:54,969 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:56:54,969 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:55,101 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:56:55,101 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 08:56:55,101 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 08:56:55,234 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 08:56:55,234 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_sv_acc_norm'} +2024-05-29 08:56:55,300 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 08:56:55,300 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1130, 'value': 0.43261802575107294} +2024-05-29 08:56:55,367 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 21%|███████████████████████▎ | 26/124 [2:09:24<7:16:01, 266.96s/it]['arc_ta'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 08:56:56,019 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 08:56:56,019 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:56,148 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 08:56:56,148 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:56,277 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 08:56:56,277 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 08:56:56,405 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 08:56:56,405 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 08:56:56,405 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_ta'} +2024-05-29 08:56:56,534 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_ta task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 5.04 examples/s][A Generating train split: 1109 examples [00:00, 4627.95 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 296 examples [00:00, 2947.42 examples/s][A Generating validation split: 296 examples [00:00, 2873.14 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 5.37 examples/s][A Generating test split: 1142 examples [00:00, 5056.23 examples/s] +Running loglikelihood requests + + arc_ta: 0%| | 0/36 [00:00<?, ?it/s][A + arc_ta: 3%|███▎ | 1/36 [00:13<07:59, 13.71s/it][A + arc_ta: 6%|██████▋ | 2/36 [00:25<07:16, 12.85s/it][A + arc_ta: 8%|██████████ | 3/36 [00:39<07:13, 13.13s/it][A + arc_ta: 11%|█████████████▍ | 4/36 [00:51<06:46, 12.71s/it][A + arc_ta: 14%|████████████████▊ | 5/36 [01:03<06:21, 12.32s/it][A + arc_ta: 17%|████████████████████▏ | 6/36 [01:16<06:24, 12.82s/it][A + arc_ta: 19%|███████████████████████▌ | 7/36 [01:29<06:06, 12.63s/it][A + arc_ta: 22%|██████████████████████████▉ | 8/36 [01:42<05:55, 12.71s/it][A + arc_ta: 25%|██████████████████████████████▎ | 9/36 [01:55<05:46, 12.83s/it][A + arc_ta: 28%|█████████████████████████████████▎ | 10/36 [02:08<05:41, 13.12s/it][A + arc_ta: 31%|████████████████████████████████████▋ | 11/36 [02:21<05:27, 13.11s/it][A + arc_ta: 33%|████████████████████████████████████████ | 12/36 [02:34<05:10, 12.93s/it][A + arc_ta: 36%|███████████████████████████████████████████▎ | 13/36 [02:47<04:57, 12.93s/it][A + arc_ta: 39%|██████████████████████████████████████████████▋ | 14/36 [03:00<04:46, 13.00s/it][A + arc_ta: 42%|██████████████████████████████████████████████████ | 15/36 [03:12<04:24, 12.60s/it][A + arc_ta: 44%|█████████████████████████████████████████████████████▎ | 16/36 [03:25<04:18, 12.90s/it][A + arc_ta: 47%|████████████████████████████████████████████████████████▋ | 17/36 [03:38<04:05, 12.91s/it][A + arc_ta: 50%|████████████████████████████████████████████████████████████ | 18/36 [03:51<03:51, 12.87s/it][A + arc_ta: 53%|███████████████████████████████████████████████████████████████▎ | 19/36 [04:05<03:42, 13.08s/it][A + arc_ta: 56%|██████████████████████████████████████████████████████████████████▋ | 20/36 [04:18<03:29, 13.11s/it][A + arc_ta: 58%|██████████████████████████████████████████████████████████████████████ | 21/36 [04:31<03:18, 13.26s/it][A + arc_ta: 61%|█████████████████████████████████████████████████████████████████████████▎ | 22/36 [04:46<03:09, 13.56s/it][A + arc_ta: 64%|████████████████████████████████████████████████████████████████████████████▋ | 23/36 [04:59<02:56, 13.57s/it][A + arc_ta: 67%|████████████████████████████████████████████████████████████████████████████████ | 24/36 [05:13<02:43, 13.64s/it][A + arc_ta: 69%|███████████████████████████████████████████████████████████████████████████████████▎ | 25/36 [05:26<02:28, 13.48s/it][A + arc_ta: 72%|██████████████████████████████████████████████████████████████████████████████████████▋ | 26/36 [05:42<02:20, 14.08s/it][A + arc_ta: 75%|██████████████████████████████████████████████████████████████████████████████████████████ | 27/36 [05:54<02:02, 13.64s/it][A + arc_ta: 78%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 28/36 [06:07<01:45, 13.22s/it][A + arc_ta: 81%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 29/36 [06:21<01:34, 13.49s/it][A + arc_ta: 83%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/36 [06:33<01:18, 13.03s/it][A + arc_ta: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 31/36 [06:45<01:03, 12.80s/it][A + arc_ta: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 32/36 [06:57<00:50, 12.57s/it][A + arc_ta: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/36 [07:09<00:37, 12.50s/it][A + arc_ta: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/36 [07:22<00:25, 12.62s/it][A + arc_ta: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/36 [07:36<00:12, 12.94s/it][A + arc_ta: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:45<00:00, 11.77s/it][A arc_ta: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:45<00:00, 12.93s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ta_acc 0.20665499124343256 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ta_acc_norm 0.2819614711033275 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:04:43,206 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:04:43,206 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:43,338 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:04:43,338 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:43,469 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:04:43,469 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:43,601 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:04:43,602 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:04:43,602 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:04:43,735 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:04:43,735 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ta_acc'} +2024-05-29 09:04:43,802 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:04:43,802 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1131, 'value': 0.20665499124343256} +2024-05-29 09:04:43,869 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:04:44,504 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:04:44,504 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:44,628 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:04:44,628 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:44,752 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:04:44,752 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:44,876 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:04:44,877 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:04:44,877 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:04:45,002 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:04:45,002 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_ta_acc_norm'} +2024-05-29 09:04:45,065 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:04:45,065 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1132, 'value': 0.2819614711033275} +2024-05-29 09:04:45,134 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 22%|████████████████████████▏ | 27/124 [2:17:14<8:49:56, 327.80s/it]['arc_te'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:04:45,772 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:04:45,772 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:45,898 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:04:45,898 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:46,023 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:04:46,023 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:04:46,149 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:04:46,149 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 09:04:46,149 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_te'} +2024-05-29 09:04:46,276 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_te task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 5.03 examples/s][A Generating train split: 1111 examples [00:00, 4632.52 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 274 examples [00:00, 17646.67 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 9.38 examples/s][A Generating test split: 1140 examples [00:00, 7771.89 examples/s] +Running loglikelihood requests + + arc_te: 0%| | 0/36 [00:00<?, ?it/s][A + arc_te: 3%|███▎ | 1/36 [00:11<06:46, 11.61s/it][A + arc_te: 6%|██████▋ | 2/36 [00:23<06:43, 11.87s/it][A + arc_te: 8%|██████████ | 3/36 [00:34<06:18, 11.47s/it][A + arc_te: 11%|█████████████▍ | 4/36 [00:45<06:00, 11.26s/it][A + arc_te: 14%|████████████████▊ | 5/36 [00:54<05:25, 10.50s/it][A + arc_te: 17%|████████████████████▏ | 6/36 [01:06<05:25, 10.84s/it][A + arc_te: 19%|███████████████████████▌ | 7/36 [01:17<05:21, 11.08s/it][A + arc_te: 22%|██████████████████████████▉ | 8/36 [01:28<05:06, 10.96s/it][A + arc_te: 25%|██████████████████████████████▎ | 9/36 [01:39<04:56, 10.97s/it][A + arc_te: 28%|█████████████████████████████████▎ | 10/36 [01:50<04:45, 10.98s/it][A + arc_te: 31%|████████████████████████████████████▋ | 11/36 [02:00<04:29, 10.80s/it][A + arc_te: 33%|████████████████████████████████████████ | 12/36 [02:11<04:16, 10.69s/it][A + arc_te: 36%|███████████████████████████████████████████▎ | 13/36 [02:23<04:12, 10.99s/it][A + arc_te: 39%|██████████████████████████████████████████████▋ | 14/36 [02:34<04:03, 11.08s/it][A + arc_te: 42%|██████████████████████████████████████████████████ | 15/36 [02:45<03:52, 11.09s/it][A + arc_te: 44%|█████████████████████████████████████████████████████▎ | 16/36 [02:56<03:43, 11.18s/it][A + arc_te: 47%|████████████████████████████████████████████████████████▋ | 17/36 [03:06<03:25, 10.83s/it][A + arc_te: 50%|████████████████████████████████████████████████████████████ | 18/36 [03:17<03:12, 10.71s/it][A + arc_te: 53%|███████████████████████████████████████████████████████████████▎ | 19/36 [03:28<03:04, 10.86s/it][A + arc_te: 56%|██████████████████████████████████████████████████████████████████▋ | 20/36 [03:38<02:49, 10.59s/it][A + arc_te: 58%|██████████████████████████████████████████████████████████████████████ | 21/36 [03:50<02:43, 10.90s/it][A + arc_te: 61%|█████████████████████████████████████████████████████████████████████████▎ | 22/36 [04:00<02:30, 10.74s/it][A + arc_te: 64%|████████████████████████████████████████████████████████████████████████████▋ | 23/36 [04:11<02:19, 10.77s/it][A + arc_te: 67%|████████████████████████████████████████████████████████████████████████████████ | 24/36 [04:21<02:08, 10.69s/it][A + arc_te: 69%|███████████████████████████████████████████████████████████████████████████████████▎ | 25/36 [04:32<01:58, 10.73s/it][A + arc_te: 72%|██████████████████████████████████████████████████████████████████████████████████████▋ | 26/36 [04:43<01:49, 10.91s/it][A + arc_te: 75%|██████████████████████████████████████████████████████████████████████████████████████████ | 27/36 [04:55<01:38, 10.99s/it][A + arc_te: 78%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 28/36 [05:05<01:26, 10.85s/it][A + arc_te: 81%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 29/36 [05:15<01:12, 10.41s/it][A + arc_te: 83%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/36 [05:24<01:00, 10.07s/it][A + arc_te: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 31/36 [05:34<00:50, 10.10s/it][A + arc_te: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 32/36 [05:44<00:40, 10.19s/it][A + arc_te: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/36 [05:55<00:30, 10.23s/it][A + arc_te: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/36 [06:05<00:20, 10.23s/it][A + arc_te: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/36 [06:17<00:10, 10.67s/it][A + arc_te: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [06:24<00:00, 9.65s/it][A arc_te: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [06:24<00:00, 10.68s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_te_acc 0.2 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_te_acc_norm 0.2543859649122807 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:11:11,803 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:11:11,803 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:11,931 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:11:11,931 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:12,058 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:11:12,058 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:12,186 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:11:12,187 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:11:12,187 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:11:12,316 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:11:12,316 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_te_acc'} +2024-05-29 09:11:12,381 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:11:12,381 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1133, 'value': 0.2} +2024-05-29 09:11:12,446 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:11:13,063 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:11:13,063 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:13,184 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:11:13,184 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:13,304 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:11:13,304 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:13,425 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:11:13,426 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:11:13,426 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:11:13,547 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:11:13,547 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_te_acc_norm'} +2024-05-29 09:11:13,609 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:11:13,609 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1134, 'value': 0.2543859649122807} +2024-05-29 09:11:13,670 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 23%|█████████████████████████ | 28/124 [2:23:42<9:13:38, 346.02s/it]['arc_uk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:11:14,312 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:11:14,312 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:14,439 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:11:14,439 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:14,566 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:11:14,566 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:11:14,693 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:11:14,693 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 09:11:14,694 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_uk'} +2024-05-29 09:11:14,821 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_uk task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1117 examples [00:00, 8122.58 examples/s][A Generating train split: 1117 examples [00:00, 8048.16 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 21676.56 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 7.64 examples/s][A Generating test split: 1169 examples [00:00, 6835.27 examples/s] +Running loglikelihood requests + + arc_uk: 0%| | 0/37 [00:00<?, ?it/s][A + arc_uk: 3%|███▎ | 1/37 [00:08<05:07, 8.54s/it][A + arc_uk: 5%|██████▌ | 2/37 [00:17<05:01, 8.60s/it][A + arc_uk: 8%|█████████▊ | 3/37 [00:25<04:43, 8.34s/it][A + arc_uk: 11%|█████████████ | 4/37 [00:33<04:36, 8.39s/it][A + arc_uk: 14%|████████████████▎ | 5/37 [00:41<04:26, 8.32s/it][A + arc_uk: 16%|███████████████████▌ | 6/37 [00:50<04:16, 8.27s/it][A + arc_uk: 19%|██████████████████████▉ | 7/37 [00:58<04:09, 8.32s/it][A + arc_uk: 22%|██████████████████████████▏ | 8/37 [01:06<03:56, 8.16s/it][A + arc_uk: 24%|█████████████████████████████▍ | 9/37 [01:14<03:52, 8.31s/it][A + arc_uk: 27%|████████████████████████████████▍ | 10/37 [01:23<03:43, 8.30s/it][A + arc_uk: 30%|███████████████████████████████████▋ | 11/37 [01:31<03:38, 8.42s/it][A + arc_uk: 32%|██████████████████████████████████████▉ | 12/37 [01:40<03:28, 8.33s/it][A + arc_uk: 35%|██████████████████████████████████████████▏ | 13/37 [01:48<03:19, 8.32s/it][A + arc_uk: 38%|█████████████████████████████████████████████▍ | 14/37 [01:56<03:12, 8.36s/it][A + arc_uk: 41%|████████████████████████████████████████████████▋ | 15/37 [02:05<03:08, 8.56s/it][A + arc_uk: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:13<02:54, 8.30s/it][A + arc_uk: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:21<02:44, 8.22s/it][A + arc_uk: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:29<02:33, 8.07s/it][A + arc_uk: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:37<02:26, 8.12s/it][A + arc_uk: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:45<02:17, 8.09s/it][A + arc_uk: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:54<02:14, 8.38s/it][A + arc_uk: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [03:03<02:06, 8.46s/it][A + arc_uk: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [03:11<01:59, 8.52s/it][A + arc_uk: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:19<01:46, 8.22s/it][A + arc_uk: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [03:27<01:38, 8.19s/it][A + arc_uk: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:35<01:30, 8.27s/it][A + arc_uk: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:43<01:20, 8.08s/it][A + arc_uk: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:51<01:13, 8.13s/it][A + arc_uk: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [04:00<01:06, 8.30s/it][A + arc_uk: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [04:08<00:58, 8.30s/it][A + arc_uk: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [04:16<00:49, 8.23s/it][A + arc_uk: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [04:25<00:41, 8.32s/it][A + arc_uk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [04:33<00:33, 8.27s/it][A + arc_uk: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:42<00:25, 8.33s/it][A + arc_uk: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:50<00:16, 8.33s/it][A + arc_uk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:59<00:08, 8.66s/it][A + arc_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:05<00:00, 7.89s/it][A arc_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:05<00:00, 8.27s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_uk_acc 0.2634730538922156 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_uk_acc_norm 0.3105218135158255 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:16:21,769 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:16:21,769 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:21,893 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:16:21,893 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:22,017 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:16:22,017 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:22,141 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:16:22,142 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:16:22,142 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:16:22,268 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:16:22,268 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'arc_uk_acc'} +2024-05-29 09:16:22,331 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:16:22,331 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1135, 'value': 0.2634730538922156} +2024-05-29 09:16:22,394 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:16:23,021 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:16:23,021 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:23,144 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:16:23,144 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:23,267 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:16:23,267 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:23,391 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:16:23,391 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:16:23,391 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:16:23,516 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:16:23,516 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_uk_acc_norm'} +2024-05-29 09:16:23,578 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:16:23,578 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1136, 'value': 0.3105218135158255} +2024-05-29 09:16:23,641 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 23%|█████████████████████████▉ | 29/124 [2:28:52<8:50:44, 335.21s/it]['arc_vi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:16:24,302 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:16:24,302 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:24,430 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:16:24,431 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:24,559 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:16:24,559 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:16:24,688 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:16:24,688 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 09:16:24,688 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_vi'} +2024-05-29 09:16:24,818 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_vi task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A + Generating train split: 1 examples [00:00, 8.36 examples/s][A Generating train split: 1118 examples [00:00, 6990.68 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 298 examples [00:00, 3500.52 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 9.31 examples/s][A Generating test split: 1170 examples [00:00, 7897.61 examples/s] +Running loglikelihood requests + + arc_vi: 0%| | 0/37 [00:00<?, ?it/s][A + arc_vi: 3%|███▎ | 1/37 [00:08<04:58, 8.28s/it][A + arc_vi: 5%|██████▌ | 2/37 [00:16<04:45, 8.17s/it][A + arc_vi: 8%|█████████▊ | 3/37 [00:23<04:24, 7.77s/it][A + arc_vi: 11%|█████████████ | 4/37 [00:32<04:24, 8.01s/it][A + arc_vi: 14%|████████████████▎ | 5/37 [00:40<04:24, 8.27s/it][A + arc_vi: 16%|███████████████████▌ | 6/37 [00:48<04:15, 8.24s/it][A + arc_vi: 19%|██████████████████████▉ | 7/37 [00:57<04:08, 8.28s/it][A + arc_vi: 22%|██████████████████████████▏ | 8/37 [01:05<03:58, 8.21s/it][A + arc_vi: 24%|█████████████████████████████▍ | 9/37 [01:13<03:46, 8.08s/it][A + arc_vi: 27%|████████████████████████████████▍ | 10/37 [01:21<03:38, 8.08s/it][A + arc_vi: 30%|███████████████████████████████████▋ | 11/37 [01:29<03:28, 8.02s/it][A + arc_vi: 32%|██████████████████████████████████████▉ | 12/37 [01:37<03:20, 8.02s/it][A + arc_vi: 35%|██████████████████████████████████████████▏ | 13/37 [01:45<03:15, 8.16s/it][A + arc_vi: 38%|█████████████████████████████████████████████▍ | 14/37 [01:53<03:05, 8.05s/it][A + arc_vi: 41%|████████████████████████████████████████████████▋ | 15/37 [02:00<02:53, 7.88s/it][A + arc_vi: 43%|███████████████████████████████████████████████████▉ | 16/37 [02:09<02:47, 7.98s/it][A + arc_vi: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:16<02:35, 7.79s/it][A + arc_vi: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:24<02:27, 7.79s/it][A + arc_vi: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:32<02:22, 7.89s/it][A + arc_vi: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:40<02:15, 7.99s/it][A + arc_vi: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:48<02:05, 7.86s/it][A + arc_vi: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:55<01:57, 7.83s/it][A + arc_vi: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [03:03<01:46, 7.63s/it][A + arc_vi: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [03:10<01:38, 7.56s/it][A + arc_vi: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [03:18<01:34, 7.84s/it][A + arc_vi: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:26<01:24, 7.64s/it][A + arc_vi: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:33<01:16, 7.65s/it][A + arc_vi: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:41<01:09, 7.68s/it][A + arc_vi: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:49<01:01, 7.65s/it][A + arc_vi: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:57<00:54, 7.82s/it][A + arc_vi: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [04:04<00:46, 7.68s/it][A + arc_vi: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [04:12<00:38, 7.70s/it][A + arc_vi: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [04:20<00:31, 7.85s/it][A + arc_vi: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:29<00:24, 8.17s/it][A + arc_vi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:37<00:16, 8.05s/it][A + arc_vi: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:45<00:08, 8.14s/it][A + arc_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:51<00:00, 7.54s/it][A arc_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:51<00:00, 7.89s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_vi_acc 0.23162393162393163 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_vi_acc_norm 0.2709401709401709 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:21:17,843 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:21:17,843 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:17,971 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:21:17,971 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:18,103 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:21:18,104 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:18,232 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:21:18,233 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:21:18,233 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:21:18,363 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:21:18,363 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_vi_acc'} +2024-05-29 09:21:18,428 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:21:18,428 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1137, 'value': 0.23162393162393163} +2024-05-29 09:21:18,493 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:21:19,134 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:21:19,135 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:19,260 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:21:19,260 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:19,386 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:21:19,386 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:19,512 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:21:19,512 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:21:19,512 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:21:19,639 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:21:19,639 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_vi_acc_norm'} +2024-05-29 09:21:19,703 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:21:19,703 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1138, 'value': 0.2709401709401709} +2024-05-29 09:21:19,766 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 24%|██████████████████████████▊ | 30/124 [2:33:49<8:26:47, 323.48s/it]['arc_zh'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:21:20,391 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:21:20,391 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:20,513 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:21:20,513 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:20,635 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:21:20,635 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:21:20,757 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:21:20,758 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 09:21:20,758 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_zh'} +2024-05-29 09:21:20,881 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=arc_zh task_provider=lm_eval)] + + Generating train split: 0 examples [00:00, ? examples/s][A Generating train split: 1118 examples [00:00, 24013.23 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 297 examples [00:00, 23306.05 examples/s] + + Generating test split: 0 examples [00:00, ? examples/s][A Generating test split: 1170 examples [00:00, 26052.55 examples/s] +Running loglikelihood requests + + arc_zh: 0%| | 0/37 [00:00<?, ?it/s][A + arc_zh: 3%|███▎ | 1/37 [00:07<04:29, 7.49s/it][A + arc_zh: 5%|██████▌ | 2/37 [00:14<04:20, 7.44s/it][A + arc_zh: 8%|█████████▊ | 3/37 [00:22<04:13, 7.45s/it][A + arc_zh: 11%|█████████████ | 4/37 [00:29<04:05, 7.44s/it][A + arc_zh: 14%|████████████████▎ | 5/37 [00:37<04:06, 7.71s/it][A + arc_zh: 16%|███████████████████▌ | 6/37 [00:45<03:53, 7.53s/it][A + arc_zh: 19%|██████████████████████▉ | 7/37 [00:52<03:42, 7.43s/it][A + arc_zh: 22%|██████████████████████████▏ | 8/37 [00:59<03:31, 7.31s/it][A + arc_zh: 24%|█████████████████████████████▍ | 9/37 [01:05<03:17, 7.07s/it][A + arc_zh: 27%|████████████████████████████████▍ | 10/37 [01:13<03:16, 7.29s/it][A + arc_zh: 30%|███████████████████████████████████▋ | 11/37 [01:21<03:12, 7.42s/it][A + arc_zh: 32%|██████████████████████████████████████▉ | 12/37 [01:28<03:03, 7.35s/it][A + arc_zh: 35%|██████████████████████████████████████████▏ | 13/37 [01:35<02:55, 7.31s/it][A + arc_zh: 38%|█████████████████████████████████████████████▍ | 14/37 [01:43<02:48, 7.33s/it][A + arc_zh: 41%|████████████████████████████████████████████████▋ | 15/37 [01:50<02:39, 7.24s/it][A + arc_zh: 43%|███████████████████████████████████████████████████▉ | 16/37 [01:57<02:33, 7.31s/it][A + arc_zh: 46%|███████████████████████████████████████████████████████▏ | 17/37 [02:04<02:21, 7.09s/it][A + arc_zh: 49%|██████████████████████████████████████████████████████████▍ | 18/37 [02:11<02:15, 7.12s/it][A + arc_zh: 51%|█████████████████████████████████████████████████████████████▌ | 19/37 [02:19<02:10, 7.25s/it][A + arc_zh: 54%|████████████████████████████████████████████████████████████████▊ | 20/37 [02:26<02:03, 7.25s/it][A + arc_zh: 57%|████████████████████████████████████████████████████████████████████ | 21/37 [02:33<01:57, 7.33s/it][A + arc_zh: 59%|███████████████████████████████████████████████████████████████████████▎ | 22/37 [02:41<01:49, 7.30s/it][A + arc_zh: 62%|██████████████████████████████████████████████████████████████████████████▌ | 23/37 [02:47<01:39, 7.09s/it][A + arc_zh: 65%|█████████████████████████████████████████████████████████████████████████████▊ | 24/37 [02:53<01:29, 6.85s/it][A + arc_zh: 68%|█████████████████████████████████████████████████████████████████████████████████ | 25/37 [03:01<01:25, 7.11s/it][A + arc_zh: 70%|████████████████████████████████████████████████████████████████████████████████████▎ | 26/37 [03:09<01:19, 7.22s/it][A + arc_zh: 73%|███████████████████████████████████████████████████████████████████████████████████████▌ | 27/37 [03:15<01:09, 6.99s/it][A + arc_zh: 76%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 28/37 [03:23<01:04, 7.12s/it][A + arc_zh: 78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 29/37 [03:30<00:57, 7.13s/it][A + arc_zh: 81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/37 [03:37<00:50, 7.26s/it][A + arc_zh: 84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/37 [03:45<00:44, 7.35s/it][A + arc_zh: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/37 [03:52<00:36, 7.26s/it][A + arc_zh: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 33/37 [03:59<00:29, 7.31s/it][A + arc_zh: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 34/37 [04:08<00:22, 7.59s/it][A + arc_zh: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 35/37 [04:15<00:14, 7.49s/it][A + arc_zh: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 36/37 [04:22<00:07, 7.45s/it][A + arc_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:28<00:00, 6.88s/it][A arc_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:28<00:00, 7.25s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_zh_acc 0.358974358974359 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_zh_acc_norm 0.39829059829059826 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:25:49,881 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:25:49,881 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:50,004 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:25:50,004 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:50,128 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:25:50,128 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:50,252 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:25:50,252 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:25:50,252 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:25:50,377 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:25:50,377 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_zh_acc'} +2024-05-29 09:25:50,440 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:25:50,440 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1139, 'value': 0.358974358974359} +2024-05-29 09:25:50,503 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:25:51,136 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:25:51,137 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:51,261 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:25:51,262 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:51,386 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:25:51,386 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:51,511 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:25:51,512 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 09:25:51,512 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 09:25:51,638 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 09:25:51,638 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_zh_acc_norm'} +2024-05-29 09:25:51,701 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 09:25:51,701 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1140, 'value': 0.39829059829059826} +2024-05-29 09:25:51,764 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 25%|███████████████████████████▊ | 31/124 [2:38:21<7:57:27, 308.04s/it]['hellaswag_ar'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 09:25:52,395 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 09:25:52,395 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:52,519 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 09:25:52,519 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:52,643 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 09:25:52,643 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 09:25:52,767 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 09:25:52,768 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 09:25:52,768 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_ar'} +2024-05-29 09:25:52,893 INFO sqlalchemy.engine.Engine ROLLBACK +/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_hellaswag contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_hellaswag/m_hellaswag.py +You can avoid this message in future by passing the argument `trust_remote_code=True`. +Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`. + warnings.warn( +[Task(name=hellaswag_ar task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:03, 3.03s/ examples][A + Generating validation split: 2000 examples [00:03, 889.06 examples/s][A + Generating validation split: 3775 examples [00:03, 1895.99 examples/s][A + Generating validation split: 5310 examples [00:03, 2953.48 examples/s][A + Generating validation split: 7000 examples [00:03, 4326.52 examples/s][A + Generating validation split: 9000 examples [00:03, 6115.26 examples/s][A Generating validation split: 9176 examples [00:03, 2541.26 examples/s] +Loaded 9176 examples +Running loglikelihood requests + + hellaswag_ar: 0%| | 0/287 [00:00<?, ?it/s][A + hellaswag_ar: 0%|▍ | 1/287 [00:10<51:35, 10.82s/it][A + hellaswag_ar: 1%|▊ | 2/287 [00:22<54:05, 11.39s/it][A + hellaswag_ar: 1%|█▏ | 3/287 [00:32<51:27, 10.87s/it][A + hellaswag_ar: 1%|█▌ | 4/287 [00:44<52:07, 11.05s/it][A + hellaswag_ar: 2%|█▉ | 5/287 [00:55<52:25, 11.15s/it][A + hellaswag_ar: 2%|██▍ | 6/287 [01:07<53:28, 11.42s/it][A + hellaswag_ar: 2%|██▊ | 7/287 [01:17<51:44, 11.09s/it][A + hellaswag_ar: 3%|███▏ | 8/287 [01:29<52:20, 11.26s/it][A + hellaswag_ar: 3%|███▌ | 9/287 [01:41<53:11, 11.48s/it][A + hellaswag_ar: 3%|███▉ | 10/287 [01:52<53:01, 11.48s/it][A + hellaswag_ar: 4%|████▎ | 11/287 [02:05<54:09, 11.77s/it][A + hellaswag_ar: 4%|████▋ | 12/287 [02:15<52:18, 11.41s/it][A + hellaswag_ar: 5%|█████ | 13/287 [02:27<52:02, 11.40s/it][A + hellaswag_ar: 5%|█████▌ | 14/287 [02:38<51:10, 11.25s/it][A + hellaswag_ar: 5%|█████▉ | 15/287 [02:48<50:18, 11.10s/it][A + hellaswag_ar: 6%|██████▎ | 16/287 [03:01<51:45, 11.46s/it][A + hellaswag_ar: 6%|██████▋ | 17/287 [03:12<51:37, 11.47s/it][A + hellaswag_ar: 6%|███████ | 18/287 [03:23<50:29, 11.26s/it][A + hellaswag_ar: 7%|███████▍ | 19/287 [03:34<49:19, 11.04s/it][A + hellaswag_ar: 7%|███████▊ | 20/287 [03:44<48:36, 10.92s/it][A + hellaswag_ar: 7%|████████▎ | 21/287 [03:56<49:46, 11.23s/it][A + hellaswag_ar: 8%|████████▋ | 22/287 [04:08<49:56, 11.31s/it][A + hellaswag_ar: 8%|█████████ | 23/287 [04:18<48:40, 11.06s/it][A + hellaswag_ar: 8%|█████████▍ | 24/287 [04:29<47:54, 10.93s/it][A + hellaswag_ar: 9%|█████████▊ | 25/287 [04:40<48:17, 11.06s/it][A + hellaswag_ar: 9%|██████████▏ | 26/287 [04:51<47:28, 10.91s/it][A + hellaswag_ar: 9%|██████████▋ | 27/287 [05:02<47:56, 11.06s/it][A + hellaswag_ar: 10%|███████████ | 28/287 [05:13<47:57, 11.11s/it][A + hellaswag_ar: 10%|███████████▍ | 29/287 [05:25<48:01, 11.17s/it][A + hellaswag_ar: 10%|███████████▊ | 30/287 [05:35<47:09, 11.01s/it][A + hellaswag_ar: 11%|████████████▏ | 31/287 [05:46<46:18, 10.85s/it][A + hellaswag_ar: 11%|████████████▌ | 32/287 [05:57<46:48, 11.01s/it][A + hellaswag_ar: 11%|████████████▉ | 33/287 [06:09<48:06, 11.36s/it][A + hellaswag_ar: 12%|█████████████▍ | 34/287 [06:21<48:14, 11.44s/it][A + hellaswag_ar: 12%|█████████████▊ | 35/287 [06:32<47:33, 11.32s/it][A + hellaswag_ar: 13%|██████████████▏ | 36/287 [06:43<46:37, 11.14s/it][A + hellaswag_ar: 13%|██████████████▌ | 37/287 [06:54<46:04, 11.06s/it][A + hellaswag_ar: 13%|██████████████▉ | 38/287 [07:04<45:18, 10.92s/it][A + hellaswag_ar: 14%|███████████████▎ | 39/287 [07:16<45:47, 11.08s/it][A + hellaswag_ar: 14%|███████████████▋ | 40/287 [07:27<46:00, 11.18s/it][A + hellaswag_ar: 14%|████████████████▏ | 41/287 [07:38<45:16, 11.04s/it][A + hellaswag_ar: 15%|████████████████▌ | 42/287 [07:50<46:05, 11.29s/it][A + hellaswag_ar: 15%|████████████████▉ | 43/287 [08:01<45:54, 11.29s/it][A + hellaswag_ar: 15%|█████████████████▎ | 44/287 [08:12<45:42, 11.29s/it][A + hellaswag_ar: 16%|█████████████████▋ | 45/287 [08:24<46:21, 11.49s/it][A + hellaswag_ar: 16%|██████████████████ | 46/287 [08:36<46:10, 11.50s/it][A + hellaswag_ar: 16%|██████████████████▌ | 47/287 [08:47<45:42, 11.43s/it][A + hellaswag_ar: 17%|██████████████████▉ | 48/287 [08:58<45:30, 11.43s/it][A + hellaswag_ar: 17%|███████████████████▎ | 49/287 [09:09<44:22, 11.19s/it][A + hellaswag_ar: 17%|███████████████████▋ | 50/287 [09:21<44:39, 11.30s/it][A + hellaswag_ar: 18%|████████████████████ | 51/287 [09:33<45:21, 11.53s/it][A + hellaswag_ar: 18%|████████████████████▍ | 52/287 [09:43<44:06, 11.26s/it][A + hellaswag_ar: 18%|████████████████████▊ | 53/287 [09:54<43:46, 11.22s/it][A + hellaswag_ar: 19%|█████████████████████▎ | 54/287 [10:05<42:58, 11.07s/it][A + hellaswag_ar: 19%|█████████████████████▋ | 55/287 [10:17<43:47, 11.33s/it][A + hellaswag_ar: 20%|██████████████████████ | 56/287 [10:27<42:27, 11.03s/it][A + hellaswag_ar: 20%|██████████████████████▍ | 57/287 [10:39<42:48, 11.17s/it][A + hellaswag_ar: 20%|██████████████████████▊ | 58/287 [10:50<42:50, 11.22s/it][A + hellaswag_ar: 21%|███████████████████████▏ | 59/287 [11:01<42:15, 11.12s/it][A + hellaswag_ar: 21%|███████████████████████▌ | 60/287 [11:12<41:32, 10.98s/it][A + hellaswag_ar: 21%|████████████████████████ | 61/287 [11:23<41:14, 10.95s/it][A + hellaswag_ar: 22%|████████████████████████▍ | 62/287 [11:34<41:20, 11.02s/it][A + hellaswag_ar: 22%|████████████████████████▊ | 63/287 [11:45<41:40, 11.16s/it][A + hellaswag_ar: 22%|█████████████████████████▏ | 64/287 [11:56<40:29, 10.89s/it][A + hellaswag_ar: 23%|█████████████████████████▌ | 65/287 [12:07<40:52, 11.05s/it][A + hellaswag_ar: 23%|█████████████████████████▉ | 66/287 [12:18<40:09, 10.90s/it][A + hellaswag_ar: 23%|██████████████████████████▍ | 67/287 [12:28<39:31, 10.78s/it][A + hellaswag_ar: 24%|██████████████████████████▊ | 68/287 [12:39<39:02, 10.70s/it][A + hellaswag_ar: 24%|███████████████████████████▏ | 69/287 [12:50<39:38, 10.91s/it][A + hellaswag_ar: 24%|███████████████████████████▌ | 70/287 [13:01<39:53, 11.03s/it][A + hellaswag_ar: 25%|███████████████████████████▉ | 71/287 [13:13<40:20, 11.21s/it][A + hellaswag_ar: 25%|████████████████████████████▎ | 72/287 [13:25<40:40, 11.35s/it][A + hellaswag_ar: 25%|████████████████████████████▋ | 73/287 [13:37<41:08, 11.54s/it][A + hellaswag_ar: 26%|█████████████████████████████▏ | 74/287 [13:48<40:59, 11.55s/it][A + hellaswag_ar: 26%|█████████████████████████████▌ | 75/287 [14:00<40:56, 11.59s/it][A + hellaswag_ar: 26%|█████████████████████████████▉ | 76/287 [14:10<39:43, 11.29s/it][A + hellaswag_ar: 27%|██████████████████████████████▎ | 77/287 [14:21<38:43, 11.06s/it][A + hellaswag_ar: 27%|██████████████████████████████▋ | 78/287 [14:32<38:46, 11.13s/it][A + hellaswag_ar: 28%|███████████████████████████████ | 79/287 [14:43<38:16, 11.04s/it][A + hellaswag_ar: 28%|███████████████████████████████▍ | 80/287 [14:55<38:42, 11.22s/it][A + hellaswag_ar: 28%|███████████████████████████████▉ | 81/287 [15:05<37:54, 11.04s/it][A + hellaswag_ar: 29%|████████████████████████████████▎ | 82/287 [15:16<37:50, 11.08s/it][A + hellaswag_ar: 29%|████████████████████████████████▋ | 83/287 [15:28<38:04, 11.20s/it][A + hellaswag_ar: 29%|█████████████████████████████████ | 84/287 [15:39<37:50, 11.18s/it][A + hellaswag_ar: 30%|█████████████████████████████████▍ | 85/287 [15:50<36:59, 10.99s/it][A + hellaswag_ar: 30%|█████████████████████████████████▊ | 86/287 [16:02<37:59, 11.34s/it][A + hellaswag_ar: 30%|██████████████████████████████████▎ | 87/287 [16:12<37:03, 11.12s/it][A + hellaswag_ar: 31%|██████████████████████████████████▋ | 88/287 [16:24<37:45, 11.38s/it][A + hellaswag_ar: 31%|███████████████████████████████████ | 89/287 [16:36<38:08, 11.56s/it][A + hellaswag_ar: 31%|███████████████████████████████████▍ | 90/287 [16:47<36:42, 11.18s/it][A + hellaswag_ar: 32%|███████████████████████████████████▊ | 91/287 [16:57<35:35, 10.90s/it][A + hellaswag_ar: 32%|████████████████████████████████████▏ | 92/287 [17:07<35:03, 10.79s/it][A + hellaswag_ar: 32%|████████████████████████████████████▌ | 93/287 [17:18<35:00, 10.83s/it][A + hellaswag_ar: 33%|█████████████████████████████████████ | 94/287 [17:29<34:23, 10.69s/it][A + hellaswag_ar: 33%|█████████████████████████████████████▍ | 95/287 [17:39<33:59, 10.62s/it][A + hellaswag_ar: 33%|█████████████████████████████████████▊ | 96/287 [17:50<34:25, 10.81s/it][A + hellaswag_ar: 34%|██████████████████████████████████████▏ | 97/287 [18:01<34:13, 10.81s/it][A + hellaswag_ar: 34%|██████████████████████████████████████▌ | 98/287 [18:12<33:55, 10.77s/it][A + hellaswag_ar: 34%|██████████████████████████████████████▉ | 99/287 [18:23<33:38, 10.74s/it][A + hellaswag_ar: 35%|███████████████████████████████████████ | 100/287 [18:33<33:26, 10.73s/it][A + hellaswag_ar: 35%|███████████████████████████████████████▍ | 101/287 [18:45<33:47, 10.90s/it][A + hellaswag_ar: 36%|███████████████████████████████████████▊ | 102/287 [18:55<33:22, 10.83s/it][A + hellaswag_ar: 36%|████████████████████████████████████████▏ | 103/287 [19:06<33:03, 10.78s/it][A + hellaswag_ar: 36%|████████████████████████████████████████▌ | 104/287 [19:16<32:30, 10.66s/it][A + hellaswag_ar: 37%|████████████████████████████████████████▉ | 105/287 [19:28<32:59, 10.88s/it][A + hellaswag_ar: 37%|█████████████████████████████████████████▎ | 106/287 [19:39<33:10, 11.00s/it][A + hellaswag_ar: 37%|█████████████████████████████████████████▊ | 107/287 [19:50<33:12, 11.07s/it][A + hellaswag_ar: 38%|██████████████████████████████████████████▏ | 108/287 [20:02<33:21, 11.18s/it][A + hellaswag_ar: 38%|██████████████████████████████████████████▌ | 109/287 [20:13<33:31, 11.30s/it][A + hellaswag_ar: 38%|██████████████████████████████████████████▉ | 110/287 [20:25<33:35, 11.39s/it][A + hellaswag_ar: 39%|███████████████████████████████████████████▎ | 111/287 [20:36<33:24, 11.39s/it][A + hellaswag_ar: 39%|███████████████████████████████████████████▋ | 112/287 [20:48<33:31, 11.49s/it][A + hellaswag_ar: 39%|████████████████████████████████████████████ | 113/287 [20:59<32:48, 11.31s/it][A + hellaswag_ar: 40%|████████████████████████████████████████████▍ | 114/287 [21:10<32:12, 11.17s/it][A + hellaswag_ar: 40%|████████████████████████████████████████████▉ | 115/287 [21:20<31:30, 10.99s/it][A + hellaswag_ar: 40%|█████████████████████████████████████████████▎ | 116/287 [21:31<31:01, 10.89s/it][A + hellaswag_ar: 41%|█████████████████████████████████████████████▋ | 117/287 [21:42<31:04, 10.97s/it][A + hellaswag_ar: 41%|██████████████████████████████████████████████ | 118/287 [21:52<30:21, 10.78s/it][A + hellaswag_ar: 41%|██████████████████████████████████████████████▍ | 119/287 [22:04<30:54, 11.04s/it][A + hellaswag_ar: 42%|██████████████████████████████████████████████▊ | 120/287 [22:15<30:50, 11.08s/it][A + hellaswag_ar: 42%|███████████████████████████████████████████████▏ | 121/287 [22:26<30:20, 10.97s/it][A + hellaswag_ar: 43%|███████████████████████████████████████████████▌ | 122/287 [22:37<30:29, 11.09s/it][A + hellaswag_ar: 43%|████████████████████████████████████████████████ | 123/287 [22:50<31:15, 11.43s/it][A + hellaswag_ar: 43%|████████████████████████████████████████████████▍ | 124/287 [23:00<30:37, 11.27s/it][A + hellaswag_ar: 44%|████████████████████████████████████████████████▊ | 125/287 [23:12<30:23, 11.26s/it][A + hellaswag_ar: 44%|█████████████████████████████████████████████████▏ | 126/287 [23:23<30:21, 11.32s/it][A + hellaswag_ar: 44%|█████████████████████████████████████████████████▌ | 127/287 [23:35<30:56, 11.61s/it][A + hellaswag_ar: 45%|█████████████████████████████████████████████████▉ | 128/287 [23:47<30:31, 11.52s/it][A + hellaswag_ar: 45%|██████████████████████████████████████████████████▎ | 129/287 [23:58<30:07, 11.44s/it][A + hellaswag_ar: 45%|██████████████████████████████████████████████████▋ | 130/287 [24:09<29:29, 11.27s/it][A + hellaswag_ar: 46%|███████████████████████████████████████████████████ | 131/287 [24:20<28:54, 11.12s/it][A + hellaswag_ar: 46%|███████████████████████████████████████████████████▌ | 132/287 [24:31<28:44, 11.12s/it][A + hellaswag_ar: 46%|███████████████████████████████████████████████████▉ | 133/287 [24:41<28:03, 10.93s/it][A + hellaswag_ar: 47%|████████████████████████████████████████████████████▎ | 134/287 [24:53<28:35, 11.21s/it][A + hellaswag_ar: 47%|████████████████████████████████████████████████████▋ | 135/287 [25:04<27:57, 11.04s/it][A + hellaswag_ar: 47%|█████████████████████████████████████████████████████ | 136/287 [25:14<27:16, 10.84s/it][A + hellaswag_ar: 48%|█████████████████████████████████████████████████████▍ | 137/287 [25:24<26:40, 10.67s/it][A + hellaswag_ar: 48%|█████████████████████████████████████████████████████▊ | 138/287 [25:35<26:27, 10.65s/it][A + hellaswag_ar: 48%|██████████████████████████████████████████████████████▏ | 139/287 [25:47<27:39, 11.21s/it][A + hellaswag_ar: 49%|██████████████████████████████████████████████████████▋ | 140/287 [25:59<27:21, 11.16s/it][A + hellaswag_ar: 49%|███████████████████████████████████████████████████████ | 141/287 [26:09<26:34, 10.92s/it][A + hellaswag_ar: 49%|███████████████████████████████████████████████████████▍ | 142/287 [26:20<26:20, 10.90s/it][A + hellaswag_ar: 50%|███████████████████████████████████████████████████████▊ | 143/287 [26:30<25:51, 10.78s/it][A + hellaswag_ar: 50%|████████████████████████████████████████████████████████▏ | 144/287 [26:42<26:06, 10.95s/it][A + hellaswag_ar: 51%|████████████████████████████████████████████████████████▌ | 145/287 [26:52<25:47, 10.90s/it][A + hellaswag_ar: 51%|████████████████████████████████████████████████████████▉ | 146/287 [27:04<26:07, 11.12s/it][A + hellaswag_ar: 51%|█████████████████████████████████████████████████████████▎ | 147/287 [27:15<26:02, 11.16s/it][A + hellaswag_ar: 52%|█████████████████████████████████████████████████████████▊ | 148/287 [27:26<25:37, 11.06s/it][A + hellaswag_ar: 52%|██████████████████████████████████████████████████████████▏ | 149/287 [27:37<25:29, 11.08s/it][A + hellaswag_ar: 52%|██████████████████████████████████████████████████████████▌ | 150/287 [27:48<25:26, 11.14s/it][A + hellaswag_ar: 53%|██████████████████████████████████████████████████████████▉ | 151/287 [28:00<25:41, 11.33s/it][A + hellaswag_ar: 53%|███████████████████████████████████████████████████████████▎ | 152/287 [28:12<25:26, 11.31s/it][A + hellaswag_ar: 53%|███████████████████████████████████████████████████████████▋ | 153/287 [28:22<24:24, 10.93s/it][A + hellaswag_ar: 54%|████████████████████████████████████████████████████████████ | 154/287 [28:33<24:30, 11.06s/it][A + hellaswag_ar: 54%|████████████████████████████████████████████████████████████▍ | 155/287 [28:44<24:25, 11.10s/it][A + hellaswag_ar: 54%|████████████████████████████████████████████████████████████▉ | 156/287 [28:56<24:24, 11.18s/it][A + hellaswag_ar: 55%|█████████████████████████████████████████████████████████████▎ | 157/287 [29:07<24:36, 11.36s/it][A + hellaswag_ar: 55%|█████████████████████████████████████████████████████████████▋ | 158/287 [29:18<23:57, 11.14s/it][A + hellaswag_ar: 55%|██████████████████████████████████████████████████████████████ | 159/287 [29:29<23:49, 11.17s/it][A + hellaswag_ar: 56%|██████████████████████████████████████████████████████████████▍ | 160/287 [29:40<23:45, 11.22s/it][A + hellaswag_ar: 56%|██████████████████████████████████████████████████████████████▊ | 161/287 [29:52<23:50, 11.35s/it][A + hellaswag_ar: 56%|███████████████████████████████████████████████████████████████▏ | 162/287 [30:02<22:50, 10.97s/it][A + hellaswag_ar: 57%|███████████████████████████████████████████████████████████████▌ | 163/287 [30:13<22:29, 10.88s/it][A + hellaswag_ar: 57%|████████████████████████████████████████████████████████████████ | 164/287 [30:23<22:02, 10.75s/it][A + hellaswag_ar: 57%|████████████████████████████████████████████████████████████████▍ | 165/287 [30:34<21:51, 10.75s/it][A + hellaswag_ar: 58%|████████████████████████████████████████████████████████████████▊ | 166/287 [30:45<22:01, 10.92s/it][A + hellaswag_ar: 58%|█████████████████████████████████████████████████████████████████▏ | 167/287 [30:56<21:38, 10.82s/it][A + hellaswag_ar: 59%|█████████████████████████████████████████████████████████████████▌ | 168/287 [31:07<21:34, 10.87s/it][A + hellaswag_ar: 59%|█████████████████████████████████████████████████████████████████▉ | 169/287 [31:18<21:29, 10.93s/it][A + hellaswag_ar: 59%|██████████████████████████████████████████████████████████████████▎ | 170/287 [31:29<21:07, 10.84s/it][A + hellaswag_ar: 60%|██████████████████████████████████████████████████████████████████▋ | 171/287 [31:39<20:46, 10.75s/it][A + hellaswag_ar: 60%|███████████████████████████████████████████████████████████████████ | 172/287 [31:51<21:00, 10.96s/it][A + hellaswag_ar: 60%|███████████████████████████████████████████████████████████████████▌ | 173/287 [32:02<21:08, 11.13s/it][A + hellaswag_ar: 61%|███████████████████████████████████████████████████████████████████▉ | 174/287 [32:13<20:46, 11.03s/it][A + hellaswag_ar: 61%|████████████████████████████████████████████████████████████████████▎ | 175/287 [32:25<21:15, 11.39s/it][A + hellaswag_ar: 61%|████████████████████████████████████████████████████████████████████▋ | 176/287 [32:35<20:08, 10.89s/it][A + hellaswag_ar: 62%|█████████████████████████████████████████████████████████████████████ | 177/287 [32:46<20:09, 11.00s/it][A + hellaswag_ar: 62%|█████████████████████████████████████████████████████████████████████▍ | 178/287 [32:57<20:07, 11.08s/it][A + hellaswag_ar: 62%|█████████████████████████████████████████████████████████████████████▊ | 179/287 [33:09<20:03, 11.14s/it][A + hellaswag_ar: 63%|██████████████████████████████████████████████████████████████████████▏ | 180/287 [33:19<19:14, 10.79s/it][A + hellaswag_ar: 63%|██████████████████████████████████████████████████████████████████████▋ | 181/287 [33:31<19:47, 11.20s/it][A + hellaswag_ar: 63%|███████████████████████████████████████████████████████████████████████ | 182/287 [33:42<19:28, 11.13s/it][A + hellaswag_ar: 64%|███████████████████████████████████████████████████████████████████████▍ | 183/287 [33:53<19:31, 11.26s/it][A + hellaswag_ar: 64%|███████████████████████████████████████████████████████████████████████▊ | 184/287 [34:05<19:28, 11.34s/it][A + hellaswag_ar: 64%|████████████████████████████████████████████████████████████████████████▏ | 185/287 [34:15<18:51, 11.09s/it][A + hellaswag_ar: 65%|████████████████████████████████████████████████████████████████████████▌ | 186/287 [34:28<19:14, 11.43s/it][A + hellaswag_ar: 65%|████████████████████████████████████████████████████████████████████████▉ | 187/287 [34:38<18:34, 11.15s/it][A + hellaswag_ar: 66%|█████████████████████████████████████████████████████████████████████████▎ | 188/287 [34:49<18:11, 11.02s/it][A + hellaswag_ar: 66%|█████████████████████████████████████████████████████████████████████████▊ | 189/287 [35:00<17:55, 10.97s/it][A + hellaswag_ar: 66%|██████████████████████████████████████████████████████████████████████████▏ | 190/287 [35:10<17:26, 10.79s/it][A + hellaswag_ar: 67%|██████████████████████████████████████████████████████████████████████████▌ | 191/287 [35:20<16:56, 10.59s/it][A + hellaswag_ar: 67%|██████████████████████████████████████████████████████████████████████████▉ | 192/287 [35:30<16:36, 10.48s/it][A + hellaswag_ar: 67%|███████████████████████████████████████████████████████████████████████████▎ | 193/287 [35:43<17:16, 11.03s/it][A + hellaswag_ar: 68%|███████████████████████████████████████████████████████████████████████████▋ | 194/287 [35:54<17:09, 11.07s/it][A + hellaswag_ar: 68%|████████████████████████████████████████████████████████████████████████████ | 195/287 [36:04<16:34, 10.81s/it][A + hellaswag_ar: 68%|████████████████████████████████████████████████████████████████████████████▍ | 196/287 [36:15<16:32, 10.90s/it][A + hellaswag_ar: 69%|████████████████████████████████████████████████████████████████████████████▉ | 197/287 [36:27<16:39, 11.11s/it][A + hellaswag_ar: 69%|█████████████████████████████████████████████████████████████████████████████▎ | 198/287 [36:39<16:54, 11.39s/it][A + hellaswag_ar: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 199/287 [36:51<17:01, 11.61s/it][A + hellaswag_ar: 70%|██████████████████████████████████████████████████████████████████████████████ | 200/287 [37:03<16:55, 11.67s/it][A + hellaswag_ar: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 201/287 [37:15<16:56, 11.82s/it][A + hellaswag_ar: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 202/287 [37:27<16:38, 11.74s/it][A + hellaswag_ar: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 203/287 [37:37<15:51, 11.33s/it][A + hellaswag_ar: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 204/287 [37:48<15:45, 11.39s/it][A + hellaswag_ar: 71%|████████████████████████████████████████████████████████████████████████████████ | 205/287 [38:01<15:54, 11.64s/it][A + hellaswag_ar: 72%|████████████████████████████████████████████████████████████████████████████████▍ | 206/287 [38:12<15:33, 11.52s/it][A + hellaswag_ar: 72%|████████████████████████████████████████████████████████████████████████████████▊ | 207/287 [38:23<15:06, 11.33s/it][A + hellaswag_ar: 72%|█████████████████████████████████████████████████████████████████████████████████▏ | 208/287 [38:34<14:50, 11.28s/it][A + hellaswag_ar: 73%|█████████████████████████████████████████████████████████████████████████████████▌ | 209/287 [38:45<14:26, 11.11s/it][A + hellaswag_ar: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 210/287 [38:56<14:17, 11.14s/it][A + hellaswag_ar: 74%|██████████████████████████████████████████████████████████████████████████████████▎ | 211/287 [39:06<13:52, 10.95s/it][A + hellaswag_ar: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 212/287 [39:17<13:43, 10.97s/it][A + hellaswag_ar: 74%|███████████████████████████████████████████████████████████████████████████████████ | 213/287 [39:29<13:40, 11.08s/it][A + hellaswag_ar: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 214/287 [39:40<13:32, 11.13s/it][A + hellaswag_ar: 75%|███████████████████████████████████████████████████████████████████████████████████▉ | 215/287 [39:50<13:06, 10.93s/it][A + hellaswag_ar: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 216/287 [40:01<12:50, 10.86s/it][A + hellaswag_ar: 76%|████████████████████████████████████████████████████████████████████████████████████▋ | 217/287 [40:11<12:28, 10.69s/it][A + hellaswag_ar: 76%|█████████████████████████████████████████████████████████████████████████████████████ | 218/287 [40:22<12:19, 10.71s/it][A + hellaswag_ar: 76%|█████████████████████████████████████████████████████████████████████████████████████▍ | 219/287 [40:33<12:05, 10.67s/it][A + hellaswag_ar: 77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 220/287 [40:44<12:08, 10.87s/it][A + hellaswag_ar: 77%|██████████████████████████████████████████████████████████████████████████████████████▏ | 221/287 [40:54<11:40, 10.61s/it][A + hellaswag_ar: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 222/287 [41:05<11:41, 10.79s/it][A + hellaswag_ar: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 223/287 [41:17<11:40, 10.95s/it][A + hellaswag_ar: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 224/287 [41:28<11:38, 11.09s/it][A + hellaswag_ar: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 225/287 [41:39<11:33, 11.19s/it][A + hellaswag_ar: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 226/287 [41:51<11:22, 11.19s/it][A + hellaswag_ar: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 227/287 [42:02<11:05, 11.09s/it][A + hellaswag_ar: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 228/287 [42:12<10:46, 10.96s/it][A + hellaswag_ar: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 229/287 [42:25<10:59, 11.38s/it][A + hellaswag_ar: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 230/287 [42:35<10:39, 11.23s/it][A + hellaswag_ar: 80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 231/287 [42:46<10:19, 11.05s/it][A + hellaswag_ar: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 232/287 [42:57<10:00, 10.91s/it][A + hellaswag_ar: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 233/287 [43:08<10:01, 11.14s/it][A + hellaswag_ar: 82%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 234/287 [43:19<09:49, 11.12s/it][A + hellaswag_ar: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 235/287 [43:32<09:53, 11.42s/it][A + hellaswag_ar: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 236/287 [43:44<09:56, 11.69s/it][A + hellaswag_ar: 83%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 237/287 [43:54<09:27, 11.36s/it][A + hellaswag_ar: 83%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 238/287 [44:06<09:13, 11.30s/it][A + hellaswag_ar: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/287 [44:17<09:02, 11.29s/it][A + hellaswag_ar: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/287 [44:27<08:36, 10.99s/it][A + hellaswag_ar: 84%|██████████████████████████████████████████████████████████████████████████████████████████████ | 241/287 [44:38<08:28, 11.05s/it][A + hellaswag_ar: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 242/287 [44:49<08:12, 10.94s/it][A + hellaswag_ar: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 243/287 [45:01<08:09, 11.13s/it][A + hellaswag_ar: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 244/287 [45:12<08:03, 11.24s/it][A + hellaswag_ar: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 245/287 [45:24<08:00, 11.45s/it][A + hellaswag_ar: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 246/287 [45:35<07:47, 11.41s/it][A + hellaswag_ar: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/287 [45:47<07:34, 11.35s/it][A + hellaswag_ar: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/287 [45:58<07:19, 11.26s/it][A + hellaswag_ar: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/287 [46:09<07:10, 11.33s/it][A + hellaswag_ar: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/287 [46:20<06:57, 11.29s/it][A + hellaswag_ar: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/287 [46:32<06:49, 11.37s/it][A + hellaswag_ar: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/287 [46:44<06:42, 11.49s/it][A + hellaswag_ar: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/287 [46:55<06:33, 11.57s/it][A + hellaswag_ar: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 254/287 [47:07<06:24, 11.64s/it][A + hellaswag_ar: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 255/287 [47:18<06:04, 11.39s/it][A + hellaswag_ar: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 256/287 [47:29<05:52, 11.38s/it][A + hellaswag_ar: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 257/287 [47:40<05:34, 11.14s/it][A + hellaswag_ar: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 258/287 [47:50<05:14, 10.85s/it][A + hellaswag_ar: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 259/287 [48:02<05:10, 11.09s/it][A + hellaswag_ar: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/287 [48:12<04:53, 10.87s/it][A + hellaswag_ar: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/287 [48:23<04:42, 10.86s/it][A + hellaswag_ar: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/287 [48:34<04:29, 10.79s/it][A + hellaswag_ar: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 263/287 [48:44<04:18, 10.79s/it][A + hellaswag_ar: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 264/287 [48:55<04:09, 10.84s/it][A + hellaswag_ar: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 265/287 [49:06<03:57, 10.79s/it][A + hellaswag_ar: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 266/287 [49:17<03:49, 10.92s/it][A + hellaswag_ar: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 267/287 [49:28<03:36, 10.83s/it][A + hellaswag_ar: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 268/287 [49:39<03:29, 11.01s/it][A + hellaswag_ar: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 269/287 [49:49<03:12, 10.70s/it][A + hellaswag_ar: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 270/287 [50:01<03:06, 10.95s/it][A + hellaswag_ar: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 271/287 [50:12<02:54, 10.90s/it][A + hellaswag_ar: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 272/287 [50:23<02:45, 11.03s/it][A + hellaswag_ar: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 273/287 [50:34<02:35, 11.13s/it][A + hellaswag_ar: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 274/287 [50:45<02:24, 11.08s/it][A + hellaswag_ar: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 275/287 [50:57<02:13, 11.16s/it][A + hellaswag_ar: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 276/287 [51:07<02:01, 11.01s/it][A + hellaswag_ar: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 277/287 [51:18<01:49, 10.95s/it][A + hellaswag_ar: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 278/287 [51:29<01:37, 10.88s/it][A + hellaswag_ar: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 279/287 [51:39<01:25, 10.74s/it][A + hellaswag_ar: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 280/287 [51:50<01:14, 10.64s/it][A + hellaswag_ar: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 281/287 [52:01<01:05, 10.94s/it][A + hellaswag_ar: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 282/287 [52:12<00:55, 11.01s/it][A + hellaswag_ar: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 283/287 [52:24<00:44, 11.11s/it][A + hellaswag_ar: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 284/287 [52:34<00:32, 10.84s/it][A + hellaswag_ar: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 285/287 [52:45<00:21, 10.77s/it][A + hellaswag_ar: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 286/287 [52:57<00:11, 11.18s/it][A + hellaswag_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [53:06<00:00, 10.62s/it][A hellaswag_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [53:06<00:00, 11.10s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ar_acc 0.2868352223190933 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ar_acc_norm 0.3242153443766347 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 10:19:05,089 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 10:19:05,089 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:05,219 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 10:19:05,219 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:05,349 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 10:19:05,349 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:05,479 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 10:19:05,480 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 10:19:05,480 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 10:19:05,612 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 10:19:05,612 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_ar_acc'} +2024-05-29 10:19:05,678 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 10:19:05,678 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1141, 'value': 0.2868352223190933} +2024-05-29 10:19:05,744 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 10:19:06,375 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 10:19:06,375 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:06,499 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 10:19:06,499 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:06,623 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 10:19:06,623 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:06,746 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 10:19:06,747 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 10:19:06,747 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 10:19:06,871 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 10:19:06,871 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ar_acc_norm'} +2024-05-29 10:19:06,934 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 10:19:06,934 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1142, 'value': 0.3242153443766347} +2024-05-29 10:19:06,996 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 26%|████████████████████████████▏ | 32/124 [3:31:36<30:00:26, 1174.20s/it]['hellaswag_bn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 10:19:07,632 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 10:19:07,632 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:07,757 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 10:19:07,757 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:07,882 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 10:19:07,882 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 10:19:08,007 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 10:19:08,008 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 10:19:08,008 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'hellaswag_bn'} +2024-05-29 10:19:08,134 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_bn task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:05, 5.29s/ examples][A + Generating validation split: 1955 examples [00:05, 511.29 examples/s][A + Generating validation split: 3411 examples [00:05, 1017.33 examples/s][A + Generating validation split: 5000 examples [00:05, 1739.19 examples/s][A + Generating validation split: 7000 examples [00:05, 2877.98 examples/s][A + Generating validation split: 9000 examples [00:05, 4216.30 examples/s][A Generating validation split: 9242 examples [00:05, 1565.58 examples/s] +Loaded 9242 examples +Running loglikelihood requests + + hellaswag_bn: 0%| | 0/289 [00:00<?, ?it/s][A + hellaswag_bn: 0%|▍ | 1/289 [00:16<1:19:04, 16.47s/it][A + hellaswag_bn: 1%|▊ | 2/289 [00:33<1:21:05, 16.95s/it][A + hellaswag_bn: 1%|█▏ | 3/289 [00:49<1:18:34, 16.49s/it][A + hellaswag_bn: 1%|█▌ | 4/289 [01:06<1:19:15, 16.69s/it][A + hellaswag_bn: 2%|█▉ | 5/289 [01:22<1:18:19, 16.55s/it][A + hellaswag_bn: 2%|██▎ | 6/289 [01:39<1:17:39, 16.46s/it][A + hellaswag_bn: 2%|██▋ | 7/289 [01:55<1:17:32, 16.50s/it][A + hellaswag_bn: 3%|███ | 8/289 [02:12<1:18:04, 16.67s/it][A + hellaswag_bn: 3%|███▍ | 9/289 [02:30<1:18:35, 16.84s/it][A + hellaswag_bn: 3%|███▊ | 10/289 [02:47<1:19:14, 17.04s/it][A + hellaswag_bn: 4%|████▏ | 11/289 [03:05<1:20:05, 17.29s/it][A + hellaswag_bn: 4%|████▌ | 12/289 [03:23<1:20:59, 17.54s/it][A + hellaswag_bn: 4%|████▉ | 13/289 [03:40<1:20:14, 17.44s/it][A + hellaswag_bn: 5%|█████▍ | 14/289 [03:56<1:18:12, 17.06s/it][A + hellaswag_bn: 5%|█████▊ | 15/289 [04:13<1:16:37, 16.78s/it][A + hellaswag_bn: 6%|██████▏ | 16/289 [04:31<1:17:53, 17.12s/it][A + hellaswag_bn: 6%|██████▌ | 17/289 [04:49<1:19:26, 17.53s/it][A + hellaswag_bn: 6%|██████▉ | 18/289 [05:08<1:21:29, 18.04s/it][A + hellaswag_bn: 7%|███████▎ | 19/289 [05:25<1:19:45, 17.72s/it][A + hellaswag_bn: 7%|███████▋ | 20/289 [05:42<1:18:40, 17.55s/it][A + hellaswag_bn: 7%|████████ | 21/289 [05:58<1:16:19, 17.09s/it][A + hellaswag_bn: 8%|████████▍ | 22/289 [06:15<1:15:52, 17.05s/it][A + hellaswag_bn: 8%|████████▊ | 23/289 [06:34<1:17:35, 17.50s/it][A + hellaswag_bn: 8%|█████████▏ | 24/289 [06:50<1:15:01, 16.99s/it][A + hellaswag_bn: 9%|█████████▌ | 25/289 [07:06<1:14:25, 16.92s/it][A + hellaswag_bn: 9%|█████████▉ | 26/289 [07:24<1:14:54, 17.09s/it][A + hellaswag_bn: 9%|██████████▎ | 27/289 [07:41<1:14:42, 17.11s/it][A + hellaswag_bn: 10%|██████████▊ | 28/289 [07:57<1:13:21, 16.86s/it][A + hellaswag_bn: 10%|███████████▏ | 29/289 [08:16<1:14:55, 17.29s/it][A + hellaswag_bn: 10%|███████████▌ | 30/289 [08:33<1:14:07, 17.17s/it][A + hellaswag_bn: 11%|███████████▉ | 31/289 [08:50<1:14:15, 17.27s/it][A + hellaswag_bn: 11%|████████████▎ | 32/289 [09:06<1:12:42, 16.97s/it][A + hellaswag_bn: 11%|████████████▋ | 33/289 [09:23<1:12:10, 16.92s/it][A + hellaswag_bn: 12%|█████████████ | 34/289 [09:39<1:10:57, 16.70s/it][A + hellaswag_bn: 12%|█████████████▍ | 35/289 [09:55<1:09:49, 16.49s/it][A + hellaswag_bn: 12%|█████████████▊ | 36/289 [10:13<1:11:37, 16.99s/it][A + hellaswag_bn: 13%|██████████████▏ | 37/289 [10:30<1:10:11, 16.71s/it][A + hellaswag_bn: 13%|██████████████▌ | 38/289 [10:46<1:09:50, 16.70s/it][A + hellaswag_bn: 13%|██████████████▉ | 39/289 [11:05<1:11:58, 17.27s/it][A + hellaswag_bn: 14%|███████████████▎ | 40/289 [11:22<1:11:10, 17.15s/it][A + hellaswag_bn: 14%|███████████████▋ | 41/289 [11:39<1:10:47, 17.13s/it][A + hellaswag_bn: 15%|████████████████▏ | 42/289 [11:57<1:11:19, 17.33s/it][A + hellaswag_bn: 15%|████████████████▌ | 43/289 [12:12<1:08:58, 16.82s/it][A + hellaswag_bn: 15%|████████████████▉ | 44/289 [12:29<1:08:39, 16.81s/it][A + hellaswag_bn: 16%|█████████████████▎ | 45/289 [12:45<1:07:37, 16.63s/it][A + hellaswag_bn: 16%|█████████████████▋ | 46/289 [13:01<1:06:28, 16.41s/it][A + hellaswag_bn: 16%|██████████████████ | 47/289 [13:17<1:06:01, 16.37s/it][A + hellaswag_bn: 17%|██████████████████▍ | 48/289 [13:34<1:05:35, 16.33s/it][A + hellaswag_bn: 17%|██████████████████▊ | 49/289 [13:50<1:05:28, 16.37s/it][A + hellaswag_bn: 17%|███████████████████▏ | 50/289 [14:06<1:04:56, 16.30s/it][A + hellaswag_bn: 18%|███████████████████▌ | 51/289 [14:24<1:06:25, 16.74s/it][A + hellaswag_bn: 18%|███████████████████▉ | 52/289 [14:41<1:06:11, 16.76s/it][A + hellaswag_bn: 18%|████████████████████▎ | 53/289 [14:57<1:05:03, 16.54s/it][A + hellaswag_bn: 19%|████████████████████▋ | 54/289 [15:14<1:05:19, 16.68s/it][A + hellaswag_bn: 19%|█████████████████████ | 55/289 [15:31<1:05:55, 16.90s/it][A + hellaswag_bn: 19%|█████████████████████▌ | 56/289 [15:48<1:05:54, 16.97s/it][A + hellaswag_bn: 20%|█████████████████████▉ | 57/289 [16:06<1:06:18, 17.15s/it][A + hellaswag_bn: 20%|██████████████████████▎ | 58/289 [16:22<1:05:18, 16.96s/it][A + hellaswag_bn: 20%|██████████████████████▋ | 59/289 [16:38<1:02:57, 16.43s/it][A + hellaswag_bn: 21%|███████████████████████ | 60/289 [16:54<1:03:09, 16.55s/it][A + hellaswag_bn: 21%|███████████████████████▍ | 61/289 [17:11<1:03:26, 16.69s/it][A + hellaswag_bn: 21%|███████████████████████▊ | 62/289 [17:29<1:03:50, 16.87s/it][A + hellaswag_bn: 22%|████████████████████████▏ | 63/289 [17:45<1:02:35, 16.62s/it][A + hellaswag_bn: 22%|████████████████████████▌ | 64/289 [18:02<1:02:51, 16.76s/it][A + hellaswag_bn: 22%|████████████████████████▉ | 65/289 [18:19<1:02:55, 16.85s/it][A + hellaswag_bn: 23%|█████████████████████████▎ | 66/289 [18:36<1:02:19, 16.77s/it][A + hellaswag_bn: 23%|█████████████████████████▋ | 67/289 [18:53<1:03:00, 17.03s/it][A + hellaswag_bn: 24%|██████████████████████████ | 68/289 [19:10<1:02:08, 16.87s/it][A + hellaswag_bn: 24%|██████████████████████████▌ | 69/289 [19:26<1:01:07, 16.67s/it][A + hellaswag_bn: 24%|██████████████████████████▉ | 70/289 [19:44<1:02:13, 17.05s/it][A + hellaswag_bn: 25%|███████████████████████████▎ | 71/289 [20:01<1:02:00, 17.07s/it][A + hellaswag_bn: 25%|███████████████████████████▋ | 72/289 [20:17<1:00:43, 16.79s/it][A + hellaswag_bn: 25%|████████████████████████████▌ | 73/289 [20:33<59:33, 16.54s/it][A + hellaswag_bn: 26%|████████████████████████████▉ | 74/289 [20:50<59:19, 16.56s/it][A + hellaswag_bn: 26%|█████████████████████████████▎ | 75/289 [21:07<59:50, 16.78s/it][A + hellaswag_bn: 26%|█████████████████████████████▏ | 76/289 [21:24<1:00:15, 16.98s/it][A + hellaswag_bn: 27%|██████████████████████████████ | 77/289 [21:41<59:47, 16.92s/it][A + hellaswag_bn: 27%|██████████████████████████████▍ | 78/289 [21:58<59:31, 16.93s/it][A + hellaswag_bn: 27%|██████████████████████████████▎ | 79/289 [22:16<1:00:17, 17.23s/it][A + hellaswag_bn: 28%|███████████████████████████████▎ | 80/289 [22:33<59:56, 17.21s/it][A + hellaswag_bn: 28%|███████████████████████████████▋ | 81/289 [22:50<59:24, 17.14s/it][A + hellaswag_bn: 28%|████████████████████████████████ | 82/289 [23:07<58:44, 17.03s/it][A + hellaswag_bn: 29%|████████████████████████████████▍ | 83/289 [23:23<57:20, 16.70s/it][A + hellaswag_bn: 29%|████████████████████████████████▊ | 84/289 [23:40<57:03, 16.70s/it][A + hellaswag_bn: 29%|█████████████████████████████████▏ | 85/289 [23:57<57:23, 16.88s/it][A + hellaswag_bn: 30%|█████████████████████████████████▋ | 86/289 [24:14<57:29, 16.99s/it][A + hellaswag_bn: 30%|██████████████████████████████████ | 87/289 [24:32<57:56, 17.21s/it][A + hellaswag_bn: 30%|██████████████████████████████████▍ | 88/289 [24:49<57:32, 17.18s/it][A + hellaswag_bn: 31%|██████████████████████████████████▊ | 89/289 [25:06<57:12, 17.16s/it][A + hellaswag_bn: 31%|███████████████████████████████████▏ | 90/289 [25:24<57:24, 17.31s/it][A + hellaswag_bn: 31%|███████████████████████████████████▌ | 91/289 [25:40<56:18, 17.06s/it][A + hellaswag_bn: 32%|███████████████████████████████████▉ | 92/289 [25:57<55:39, 16.95s/it][A + hellaswag_bn: 32%|████████████████████████████████████▎ | 93/289 [26:14<55:34, 17.01s/it][A + hellaswag_bn: 33%|████████████████████████████████████▊ | 94/289 [26:30<54:20, 16.72s/it][A + hellaswag_bn: 33%|█████████████████████████████████████▏ | 95/289 [26:47<54:15, 16.78s/it][A + hellaswag_bn: 33%|█████████████████████████████████████▌ | 96/289 [27:05<55:27, 17.24s/it][A + hellaswag_bn: 34%|█████████████████████████████████████▉ | 97/289 [27:22<54:49, 17.13s/it][A + hellaswag_bn: 34%|██████████████████████████████████████▎ | 98/289 [27:38<53:27, 16.79s/it][A + hellaswag_bn: 34%|██████████████████████████████████████▋ | 99/289 [27:56<53:42, 16.96s/it][A + hellaswag_bn: 35%|██████████████████████████████████████▊ | 100/289 [28:12<52:43, 16.74s/it][A + hellaswag_bn: 35%|███████████████████████████████████████▏ | 101/289 [28:30<54:03, 17.25s/it][A + hellaswag_bn: 35%|███████████████████████████████████████▌ | 102/289 [28:47<53:28, 17.16s/it][A + hellaswag_bn: 36%|███████████████████████████████████████▉ | 103/289 [29:04<53:06, 17.13s/it][A + hellaswag_bn: 36%|████████████████████████████████████████▎ | 104/289 [29:21<52:27, 17.01s/it][A + hellaswag_bn: 36%|████████████████████████████████████████▋ | 105/289 [29:39<53:16, 17.37s/it][A + hellaswag_bn: 37%|█████████████████████████████████████████ | 106/289 [29:57<53:22, 17.50s/it][A + hellaswag_bn: 37%|█████████████████████████████████████████▍ | 107/289 [30:15<53:14, 17.55s/it][A + hellaswag_bn: 37%|█████████████████████████████████████████▊ | 108/289 [30:33<53:24, 17.71s/it][A + hellaswag_bn: 38%|██████████████████████████████████████████▏ | 109/289 [30:49<52:13, 17.41s/it][A + hellaswag_bn: 38%|██████████████████████████████████████████▋ | 110/289 [31:07<52:29, 17.60s/it][A + hellaswag_bn: 38%|███████████████████████████████████████████ | 111/289 [31:23<50:33, 17.04s/it][A + hellaswag_bn: 39%|███████████████████████████████████████████▍ | 112/289 [31:38<48:12, 16.34s/it][A + hellaswag_bn: 39%|███████████████████████████████████████████▊ | 113/289 [31:55<48:46, 16.63s/it][A + hellaswag_bn: 39%|████████████████████████████████████████████▏ | 114/289 [32:12<48:43, 16.71s/it][A + hellaswag_bn: 40%|████████████████████████████████████████████▌ | 115/289 [32:29<48:23, 16.69s/it][A + hellaswag_bn: 40%|████████████████████████████████████████████▉ | 116/289 [32:45<47:53, 16.61s/it][A + hellaswag_bn: 40%|█████████████████████████████████████████████▎ | 117/289 [33:02<47:27, 16.56s/it][A + hellaswag_bn: 41%|█████████████████████████████████████████████▋ | 118/289 [33:17<46:23, 16.28s/it][A + hellaswag_bn: 41%|██████████████████████████████████████████████ | 119/289 [33:34<46:19, 16.35s/it][A + hellaswag_bn: 42%|██████████████████████████████████████████████▌ | 120/289 [33:52<47:26, 16.84s/it][A + hellaswag_bn: 42%|██████████████████████████████████████████████▉ | 121/289 [34:07<46:14, 16.51s/it][A + hellaswag_bn: 42%|███████████████████████████████████████████████▎ | 122/289 [34:25<47:00, 16.89s/it][A + hellaswag_bn: 43%|███████████████████████████████████████████████▋ | 123/289 [34:42<46:26, 16.79s/it][A + hellaswag_bn: 43%|████████████████████████████████████████████████ | 124/289 [34:58<46:06, 16.76s/it][A + hellaswag_bn: 43%|████████████████████████████████████████████████▍ | 125/289 [35:17<47:04, 17.23s/it][A + hellaswag_bn: 44%|████████████████████████████████████████████████▊ | 126/289 [35:34<46:37, 17.16s/it][A + hellaswag_bn: 44%|█████████████████████████████████████████████████▏ | 127/289 [35:51<46:24, 17.19s/it][A + hellaswag_bn: 44%|█████████████████████████████████████████████████▌ | 128/289 [36:07<45:28, 16.94s/it][A + hellaswag_bn: 45%|█████████████████████████████████████████████████▉ | 129/289 [36:24<44:52, 16.83s/it][A + hellaswag_bn: 45%|██████████████████████████████████████████████████▍ | 130/289 [36:40<44:12, 16.68s/it][A + hellaswag_bn: 45%|██████████████████████████████████████████████████▊ | 131/289 [36:57<43:42, 16.60s/it][A + hellaswag_bn: 46%|███████████████████████████████████████████████████▏ | 132/289 [37:13<43:31, 16.64s/it][A + hellaswag_bn: 46%|███████████████████████████████████████████████████▌ | 133/289 [37:29<42:16, 16.26s/it][A + hellaswag_bn: 46%|███████████████████████████████████████████████████▉ | 134/289 [37:46<42:40, 16.52s/it][A + hellaswag_bn: 47%|████████████████████████████████████████████████████▎ | 135/289 [38:03<42:56, 16.73s/it][A + hellaswag_bn: 47%|████████████████████████████████████████████████████▋ | 136/289 [38:20<42:35, 16.70s/it][A + hellaswag_bn: 47%|█████████████████████████████████████████████████████ | 137/289 [38:37<42:24, 16.74s/it][A + hellaswag_bn: 48%|█████████████████████████████████████████████████████▍ | 138/289 [38:54<42:27, 16.87s/it][A + hellaswag_bn: 48%|█████████████████████████████████████████████████████▊ | 139/289 [39:10<41:42, 16.68s/it][A + hellaswag_bn: 48%|██████████████████████████████████████████████████████▎ | 140/289 [39:27<41:35, 16.75s/it][A + hellaswag_bn: 49%|██████████████████████████████████████████████████████▋ | 141/289 [39:44<41:43, 16.91s/it][A + hellaswag_bn: 49%|███████████████████████████████████████████████████████ | 142/289 [40:01<41:34, 16.97s/it][A + hellaswag_bn: 49%|███████████████████████████████████████████████████████▍ | 143/289 [40:18<40:46, 16.75s/it][A + hellaswag_bn: 50%|███████████████████████████████████████████████████████▊ | 144/289 [40:36<41:48, 17.30s/it][A + hellaswag_bn: 50%|████████████████████████████████████████████████████████▏ | 145/289 [40:53<40:54, 17.05s/it][A + hellaswag_bn: 51%|████████████████████████████████████████████████████████▌ | 146/289 [41:08<39:32, 16.59s/it][A + hellaswag_bn: 51%|████████████████████████████████████████████████████████▉ | 147/289 [41:26<40:23, 17.07s/it][A + hellaswag_bn: 51%|█████████████████████████████████████████████████████████▎ | 148/289 [41:43<39:37, 16.86s/it][A + hellaswag_bn: 52%|█████████████████████████████████████████████████████████▋ | 149/289 [41:59<38:46, 16.62s/it][A + hellaswag_bn: 52%|██████████████████████████████████████████████████████████▏ | 150/289 [42:16<38:52, 16.78s/it][A + hellaswag_bn: 52%|██████████████████████████████████████████████████████████▌ | 151/289 [42:33<38:48, 16.88s/it][A + hellaswag_bn: 53%|██████████████████████████████████████████████████████████▉ | 152/289 [42:50<38:41, 16.95s/it][A + hellaswag_bn: 53%|███████████████████████████████████████████████████████████▎ | 153/289 [43:06<37:49, 16.69s/it][A + hellaswag_bn: 53%|███████████████████████████████████████████████████████████▋ | 154/289 [43:24<38:07, 16.95s/it][A + hellaswag_bn: 54%|████████████████████████████████████████████████████████████ | 155/289 [43:39<36:23, 16.29s/it][A + hellaswag_bn: 54%|████████████████████████████████████████████████████████████▍ | 156/289 [43:55<36:20, 16.39s/it][A + hellaswag_bn: 54%|████████████████████████████████████████████████████████████▊ | 157/289 [44:12<36:14, 16.47s/it][A + hellaswag_bn: 55%|█████████████████████████████████████████████████████████████▏ | 158/289 [44:29<36:34, 16.75s/it][A + hellaswag_bn: 55%|█████████████████████████████████████████████████████████████▌ | 159/289 [44:46<36:00, 16.62s/it][A + hellaswag_bn: 55%|██████████████████████████████████████████████████████████████ | 160/289 [45:03<36:22, 16.92s/it][A + hellaswag_bn: 56%|██████████████████████████████████████████████████████████████▍ | 161/289 [45:21<36:53, 17.29s/it][A + hellaswag_bn: 56%|██████████████████████████████████████████████████████████████▊ | 162/289 [45:39<36:55, 17.45s/it][A + hellaswag_bn: 56%|███████████████████████████████████████████████████████████████▏ | 163/289 [45:58<37:28, 17.84s/it][A + hellaswag_bn: 57%|███████████████████████████████████████████████████████████████▌ | 164/289 [46:15<36:30, 17.52s/it][A + hellaswag_bn: 57%|███████████████████████████████████████████████████████████████▉ | 165/289 [46:32<36:18, 17.57s/it][A + hellaswag_bn: 57%|████████████████████████████████████████████████████████████████▎ | 166/289 [46:49<35:12, 17.18s/it][A + hellaswag_bn: 58%|████████████████████████████████████████████████████████████████▋ | 167/289 [47:06<35:07, 17.28s/it][A + hellaswag_bn: 58%|█████████████████████████████████████████████████████████████████ | 168/289 [47:24<35:16, 17.49s/it][A + hellaswag_bn: 58%|█████████████████████████████████████████████████████████████████▍ | 169/289 [47:41<34:32, 17.27s/it][A + hellaswag_bn: 59%|█████████████████████████████████████████████████████████████████▉ | 170/289 [47:58<34:02, 17.17s/it][A + hellaswag_bn: 59%|██████████████████████████████████████████████████████████████████▎ | 171/289 [48:15<33:38, 17.10s/it][A + hellaswag_bn: 60%|██████████████████████████████████████████████████████████████████▋ | 172/289 [48:31<32:45, 16.80s/it][A + hellaswag_bn: 60%|███████████████████████████████████████████████████████████████████ | 173/289 [48:49<33:04, 17.11s/it][A + hellaswag_bn: 60%|███████████████████████████████████████████████████████████████████▍ | 174/289 [49:07<33:12, 17.33s/it][A + hellaswag_bn: 61%|███████████████████████████████████████████████████████████████████▊ | 175/289 [49:23<32:36, 17.17s/it][A + hellaswag_bn: 61%|████████████████████████████████████████████████████████████████████▏ | 176/289 [49:42<32:58, 17.51s/it][A + hellaswag_bn: 61%|████████████████████████████████████████████████████████████████████▌ | 177/289 [49:59<32:45, 17.55s/it][A + hellaswag_bn: 62%|████████████████████████████████████████████████████████████████████▉ | 178/289 [50:17<32:33, 17.60s/it][A + hellaswag_bn: 62%|█████████████████████████████████████████████████████████████████████▎ | 179/289 [50:35<32:17, 17.61s/it][A + hellaswag_bn: 62%|█████████████████████████████████████████████████████████████████████▊ | 180/289 [50:51<31:10, 17.16s/it][A + hellaswag_bn: 63%|██████████████████████████████████████████████████████████████████████▏ | 181/289 [51:08<30:56, 17.19s/it][A + hellaswag_bn: 63%|██████████████████████████████████████████████████████████████████████▌ | 182/289 [51:25<30:24, 17.06s/it][A + hellaswag_bn: 63%|██████████████████████████████████████████████████████████████████████▉ | 183/289 [51:42<30:10, 17.08s/it][A + hellaswag_bn: 64%|███████████████████████████████████████████████████████████████████████▎ | 184/289 [51:58<29:18, 16.75s/it][A + hellaswag_bn: 64%|███████████████████████████████████████████████████████████████████████▋ | 185/289 [52:16<29:47, 17.18s/it][A + hellaswag_bn: 64%|████████████████████████████████████████████████████████████████████████ | 186/289 [52:33<29:10, 17.00s/it][A + hellaswag_bn: 65%|████████████████████████████████████████████████████████████████████████▍ | 187/289 [52:52<30:10, 17.75s/it][A + hellaswag_bn: 65%|████████████████████████████████████████████████████████████████████████▊ | 188/289 [53:10<29:49, 17.72s/it][A + hellaswag_bn: 65%|█████████████████████████████████████████████████████████████████████████▏ | 189/289 [53:27<29:08, 17.48s/it][A + hellaswag_bn: 66%|█████████████████████████████████████████████████████████████████████████▋ | 190/289 [53:43<28:25, 17.22s/it][A + hellaswag_bn: 66%|██████████████████████████████████████████████████████████████████████████ | 191/289 [54:02<28:53, 17.69s/it][A + hellaswag_bn: 66%|██████████████████████████████████████████████████████████████████████████▍ | 192/289 [54:18<27:53, 17.25s/it][A + hellaswag_bn: 67%|██████████████████████████████████████████████████████████████████████████▊ | 193/289 [54:36<27:47, 17.37s/it][A + hellaswag_bn: 67%|███████████████████████████████████████████████████████████████████████████▏ | 194/289 [54:54<27:50, 17.58s/it][A + hellaswag_bn: 67%|███████████████████████████████████████████████████████████████████████████▌ | 195/289 [55:11<27:05, 17.29s/it][A + hellaswag_bn: 68%|███████████████████████████████████████████████████████████████████████████▉ | 196/289 [55:28<26:39, 17.20s/it][A + hellaswag_bn: 68%|████████████████████████████████████████████████████████████████████████████▎ | 197/289 [55:43<25:30, 16.63s/it][A + hellaswag_bn: 69%|████████████████████████████████████████████████████████████████████████████▋ | 198/289 [56:00<25:31, 16.83s/it][A + hellaswag_bn: 69%|█████████████████████████████████████████████████████████████████████████████ | 199/289 [56:18<25:52, 17.25s/it][A + hellaswag_bn: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 200/289 [56:35<25:27, 17.16s/it][A + hellaswag_bn: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 201/289 [56:52<24:43, 16.86s/it][A + hellaswag_bn: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 202/289 [57:10<24:58, 17.23s/it][A + hellaswag_bn: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 203/289 [57:28<25:09, 17.56s/it][A + hellaswag_bn: 71%|███████████████████████████████████████████████████████████████████████████████ | 204/289 [57:43<23:58, 16.93s/it][A + hellaswag_bn: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 205/289 [57:59<23:17, 16.63s/it][A + hellaswag_bn: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 206/289 [58:15<22:43, 16.43s/it][A + hellaswag_bn: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 207/289 [58:33<22:47, 16.68s/it][A + hellaswag_bn: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 208/289 [58:51<23:20, 17.28s/it][A + hellaswag_bn: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 209/289 [59:09<23:00, 17.26s/it][A + hellaswag_bn: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 210/289 [59:26<22:50, 17.34s/it][A + hellaswag_bn: 73%|█████████████████████████████████████████████████████████████████████████████████▊ | 211/289 [59:44<22:55, 17.64s/it][A + hellaswag_bn: 73%|████████████████████████████████████████████████████████████████████████████████▋ | 212/289 [1:00:03<22:49, 17.79s/it][A + hellaswag_bn: 74%|█████████████████████████████████████████████████████████████████████████████████ | 213/289 [1:00:20<22:28, 17.74s/it][A + hellaswag_bn: 74%|█████████████████████████████████████████████████████████████████████████████████▍ | 214/289 [1:00:36<21:29, 17.20s/it][A + hellaswag_bn: 74%|█████████████████████████████████████████████████████████████████████████████████▊ | 215/289 [1:00:53<21:10, 17.17s/it][A + hellaswag_bn: 75%|██████████████████████████████████████████████████████████████████████████████████▏ | 216/289 [1:01:10<20:49, 17.11s/it][A + hellaswag_bn: 75%|██████████████████████████████████████████████████████████████████████████████████▌ | 217/289 [1:01:27<20:16, 16.89s/it][A + hellaswag_bn: 75%|██████████████████████████████████████████████████████████████████████████████████▉ | 218/289 [1:01:45<20:28, 17.30s/it][A + hellaswag_bn: 76%|███████████████████████████████████████████████████████████████████████████████████▎ | 219/289 [1:02:01<19:52, 17.04s/it][A + hellaswag_bn: 76%|███████████████████████████████████████████████████████████████████████████████████▋ | 220/289 [1:02:17<19:01, 16.54s/it][A + hellaswag_bn: 76%|████████████████████████████████████████████████████████████████████████████████████ | 221/289 [1:02:32<18:23, 16.23s/it][A + hellaswag_bn: 77%|████████████████████████████████████████████████████████████████████████████████████▍ | 222/289 [1:02:51<18:57, 16.98s/it][A + hellaswag_bn: 77%|████████████████████████████████████████████████████████████████████████████████████▉ | 223/289 [1:03:09<18:56, 17.22s/it][A + hellaswag_bn: 78%|█████████████████████████████████████████████████████████████████████████████████████▎ | 224/289 [1:03:26<18:39, 17.22s/it][A + hellaswag_bn: 78%|█████████████████████████████████████████████████████████████████████████████████████▋ | 225/289 [1:03:43<18:24, 17.26s/it][A + hellaswag_bn: 78%|██████████████████████████████████████████████████████████████████████████████████████ | 226/289 [1:03:59<17:45, 16.91s/it][A + hellaswag_bn: 79%|██████████████████████████████████████████████████████████████████████████████████████▍ | 227/289 [1:04:18<18:00, 17.42s/it][A + hellaswag_bn: 79%|██████████████████████████████████████████████████████████████████████████████████████▊ | 228/289 [1:04:35<17:43, 17.44s/it][A + hellaswag_bn: 79%|███████████████████████████████████████████████████████████████████████████████████████▏ | 229/289 [1:04:50<16:35, 16.60s/it][A + hellaswag_bn: 80%|███████████████████████████████████████████████████████████████████████████████████████▌ | 230/289 [1:05:07<16:27, 16.74s/it][A + hellaswag_bn: 80%|███████████████████████████████████████████████████████████████████████████████████████▉ | 231/289 [1:05:23<15:57, 16.51s/it][A + hellaswag_bn: 80%|████████████████████████████████████████████████████████████████████████████████████████▎ | 232/289 [1:05:41<15:57, 16.79s/it][A + hellaswag_bn: 81%|████████████████████████████████████████████████████████████████████████████████████████▋ | 233/289 [1:05:56<15:24, 16.51s/it][A + hellaswag_bn: 81%|█████████████████████████████████████████████████████████████████████████████████████████ | 234/289 [1:06:13<15:16, 16.66s/it][A + hellaswag_bn: 81%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 235/289 [1:06:31<15:16, 16.96s/it][A + hellaswag_bn: 82%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 236/289 [1:06:49<15:09, 17.16s/it][A + hellaswag_bn: 82%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 237/289 [1:07:06<14:54, 17.21s/it][A + hellaswag_bn: 82%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 238/289 [1:07:22<14:22, 16.91s/it][A + hellaswag_bn: 83%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 239/289 [1:07:39<13:59, 16.78s/it][A + hellaswag_bn: 83%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 240/289 [1:07:56<13:50, 16.95s/it][A + hellaswag_bn: 83%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 241/289 [1:08:12<13:18, 16.64s/it][A + hellaswag_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████ | 242/289 [1:08:29<13:10, 16.81s/it][A + hellaswag_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 243/289 [1:08:46<12:54, 16.84s/it][A + hellaswag_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 244/289 [1:09:03<12:35, 16.79s/it][A + hellaswag_bn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 245/289 [1:09:18<11:58, 16.32s/it][A + hellaswag_bn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 246/289 [1:09:35<11:49, 16.49s/it][A + hellaswag_bn: 85%|██████████████████████████████████████████████████████████████████████████████████████████████ | 247/289 [1:09:51<11:32, 16.50s/it][A + hellaswag_bn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/289 [1:10:10<11:41, 17.10s/it][A + hellaswag_bn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/289 [1:10:26<11:09, 16.73s/it][A + hellaswag_bn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/289 [1:10:42<10:49, 16.64s/it][A + hellaswag_bn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 251/289 [1:10:59<10:36, 16.75s/it][A + hellaswag_bn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 252/289 [1:11:16<10:24, 16.88s/it][A + hellaswag_bn: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 253/289 [1:11:32<09:56, 16.56s/it][A + hellaswag_bn: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 254/289 [1:11:47<09:25, 16.15s/it][A + hellaswag_bn: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 255/289 [1:12:04<09:18, 16.43s/it][A + hellaswag_bn: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 256/289 [1:12:22<09:08, 16.63s/it][A + hellaswag_bn: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 257/289 [1:12:39<09:02, 16.95s/it][A + hellaswag_bn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 258/289 [1:12:56<08:45, 16.94s/it][A + hellaswag_bn: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 259/289 [1:13:11<08:10, 16.34s/it][A + hellaswag_bn: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 260/289 [1:13:29<08:03, 16.66s/it][A + hellaswag_bn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 261/289 [1:13:46<07:49, 16.76s/it][A + hellaswag_bn: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 262/289 [1:14:03<07:35, 16.88s/it][A + hellaswag_bn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 263/289 [1:14:19<07:14, 16.71s/it][A + hellaswag_bn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 264/289 [1:14:36<06:59, 16.77s/it][A + hellaswag_bn: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 265/289 [1:14:53<06:41, 16.73s/it][A + hellaswag_bn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 266/289 [1:15:10<06:31, 17.01s/it][A + hellaswag_bn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 267/289 [1:15:27<06:13, 16.98s/it][A + hellaswag_bn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 268/289 [1:15:44<05:56, 16.98s/it][A + hellaswag_bn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 269/289 [1:16:00<05:30, 16.51s/it][A + hellaswag_bn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 270/289 [1:16:17<05:17, 16.72s/it][A + hellaswag_bn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 271/289 [1:16:32<04:54, 16.37s/it][A + hellaswag_bn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 272/289 [1:16:50<04:47, 16.90s/it][A + hellaswag_bn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 273/289 [1:17:07<04:26, 16.66s/it][A + hellaswag_bn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 274/289 [1:17:23<04:09, 16.60s/it][A + hellaswag_bn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 275/289 [1:17:39<03:50, 16.47s/it][A + hellaswag_bn: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 276/289 [1:17:56<03:34, 16.49s/it][A + hellaswag_bn: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 277/289 [1:18:12<03:16, 16.41s/it][A + hellaswag_bn: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 278/289 [1:18:29<03:02, 16.58s/it][A + hellaswag_bn: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 279/289 [1:18:46<02:46, 16.68s/it][A + hellaswag_bn: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 280/289 [1:19:03<02:31, 16.78s/it][A + hellaswag_bn: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 281/289 [1:19:19<02:13, 16.67s/it][A + hellaswag_bn: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 282/289 [1:19:36<01:55, 16.56s/it][A + hellaswag_bn: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 283/289 [1:19:53<01:40, 16.76s/it][A + hellaswag_bn: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 284/289 [1:20:10<01:25, 17.04s/it][A + hellaswag_bn: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 285/289 [1:20:28<01:08, 17.10s/it][A + hellaswag_bn: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 286/289 [1:20:45<00:51, 17.11s/it][A + hellaswag_bn: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 287/289 [1:21:02<00:34, 17.11s/it][A + hellaswag_bn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 288/289 [1:21:19<00:17, 17.11s/it][A + hellaswag_bn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [1:21:34<00:00, 16.43s/it][A hellaswag_bn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [1:21:34<00:00, 16.94s/it] +/home/ec2-user/anaconda3/lib/python3.10/site-packages/lm_eval/base.py:720: RuntimeWarning: divide by zero encountered in true_divide + acc_norm = 1.0 if np.argmax(results / completion_len) == gold else 0.0 +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_bn_acc 0.25914304263146504 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_bn_acc_norm 0.2857606578662627 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 11:40:50,545 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 11:40:50,545 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:50,674 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 11:40:50,674 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:50,802 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 11:40:50,802 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:50,930 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 11:40:50,931 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 11:40:50,931 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 11:40:51,061 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 11:40:51,061 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_bn_acc'} +2024-05-29 11:40:51,126 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 11:40:51,126 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1143, 'value': 0.25914304263146504} +2024-05-29 11:40:51,191 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 11:40:51,836 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 11:40:51,836 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:51,963 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 11:40:51,963 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:52,090 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 11:40:52,090 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:52,217 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 11:40:52,218 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 11:40:52,218 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 11:40:52,346 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 11:40:52,346 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_bn_acc_norm'} +2024-05-29 11:40:52,410 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 11:40:52,410 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1144, 'value': 0.2857606578662627} +2024-05-29 11:40:52,474 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 27%|█████████████████████████████ | 33/124 [4:53:21<57:58:37, 2293.60s/it]['hellaswag_ca'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 11:40:53,105 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 11:40:53,105 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:53,229 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 11:40:53,229 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:53,352 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 11:40:53,352 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 11:40:53,476 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 11:40:53,476 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 11:40:53,476 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ca'} +2024-05-29 11:40:53,601 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_ca task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.52s/ examples][A + Generating validation split: 2000 examples [00:02, 1062.23 examples/s][A + Generating validation split: 4000 examples [00:02, 2368.82 examples/s][A + Generating validation split: 6000 examples [00:02, 3902.92 examples/s][A + Generating validation split: 8000 examples [00:02, 5609.49 examples/s][A Generating validation split: 9211 examples [00:03, 3000.26 examples/s] +Loaded 9211 examples +Running loglikelihood requests + + hellaswag_ca: 0%| | 0/288 [00:00<?, ?it/s][A + hellaswag_ca: 0%|▍ | 1/288 [00:07<37:52, 7.92s/it][A + hellaswag_ca: 1%|▊ | 2/288 [00:16<39:45, 8.34s/it][A + hellaswag_ca: 1%|█▏ | 3/288 [00:25<40:54, 8.61s/it][A + hellaswag_ca: 1%|█▌ | 4/288 [00:34<40:44, 8.61s/it][A + hellaswag_ca: 2%|█▉ | 5/288 [00:42<39:49, 8.44s/it][A + hellaswag_ca: 2%|██▍ | 6/288 [00:50<39:33, 8.42s/it][A + hellaswag_ca: 2%|██▊ | 7/288 [00:59<40:05, 8.56s/it][A + hellaswag_ca: 3%|███▏ | 8/288 [01:07<39:06, 8.38s/it][A + hellaswag_ca: 3%|███▌ | 9/288 [01:16<39:30, 8.49s/it][A + hellaswag_ca: 3%|███▉ | 10/288 [01:24<39:46, 8.58s/it][A + hellaswag_ca: 4%|████▎ | 11/288 [01:33<39:31, 8.56s/it][A + hellaswag_ca: 4%|████▋ | 12/288 [01:42<39:28, 8.58s/it][A + hellaswag_ca: 5%|█████ | 13/288 [01:50<39:27, 8.61s/it][A + hellaswag_ca: 5%|█████▍ | 14/288 [01:59<39:28, 8.64s/it][A + hellaswag_ca: 5%|█████▉ | 15/288 [02:08<40:24, 8.88s/it][A + hellaswag_ca: 6%|██████▎ | 16/288 [02:17<39:35, 8.73s/it][A + hellaswag_ca: 6%|██████▋ | 17/288 [02:26<39:44, 8.80s/it][A + hellaswag_ca: 6%|███████ | 18/288 [02:34<38:59, 8.67s/it][A + hellaswag_ca: 7%|███████▍ | 19/288 [02:43<38:43, 8.64s/it][A + hellaswag_ca: 7%|███████▊ | 20/288 [02:51<38:32, 8.63s/it][A + hellaswag_ca: 7%|████████▏ | 21/288 [03:00<38:36, 8.68s/it][A + hellaswag_ca: 8%|████████▋ | 22/288 [03:08<38:03, 8.59s/it][A + hellaswag_ca: 8%|█████████ | 23/288 [03:17<37:50, 8.57s/it][A + hellaswag_ca: 8%|█████████▍ | 24/288 [03:26<37:39, 8.56s/it][A + hellaswag_ca: 9%|█████████▊ | 25/288 [03:34<37:32, 8.56s/it][A + hellaswag_ca: 9%|██████████▏ | 26/288 [03:43<37:33, 8.60s/it][A + hellaswag_ca: 9%|██████████▌ | 27/288 [03:51<36:58, 8.50s/it][A + hellaswag_ca: 10%|██████████▉ | 28/288 [03:59<36:38, 8.46s/it][A + hellaswag_ca: 10%|███████████▍ | 29/288 [04:07<35:50, 8.30s/it][A + hellaswag_ca: 10%|███████████▊ | 30/288 [04:16<36:27, 8.48s/it][A + hellaswag_ca: 11%|████████████▏ | 31/288 [04:26<37:31, 8.76s/it][A + hellaswag_ca: 11%|████████████▌ | 32/288 [04:34<37:23, 8.76s/it][A + hellaswag_ca: 11%|████████████▉ | 33/288 [04:43<36:21, 8.55s/it][A + hellaswag_ca: 12%|█████████████▎ | 34/288 [04:51<35:42, 8.43s/it][A + hellaswag_ca: 12%|█████████████▋ | 35/288 [05:00<36:32, 8.67s/it][A + hellaswag_ca: 12%|██████████████▏ | 36/288 [05:08<36:18, 8.65s/it][A + hellaswag_ca: 13%|██████████████▌ | 37/288 [05:17<36:09, 8.64s/it][A + hellaswag_ca: 13%|██████████████▉ | 38/288 [05:26<36:16, 8.71s/it][A + hellaswag_ca: 14%|███████████████▎ | 39/288 [05:35<36:01, 8.68s/it][A + hellaswag_ca: 14%|███████████████▋ | 40/288 [05:44<36:31, 8.84s/it][A + hellaswag_ca: 14%|████████████████ | 41/288 [05:52<35:16, 8.57s/it][A + hellaswag_ca: 15%|████████████████▍ | 42/288 [06:01<35:56, 8.77s/it][A + hellaswag_ca: 15%|████████████████▊ | 43/288 [06:09<35:07, 8.60s/it][A + hellaswag_ca: 15%|█████████████████▎ | 44/288 [06:17<34:06, 8.39s/it][A + hellaswag_ca: 16%|█████████████████▋ | 45/288 [06:26<34:10, 8.44s/it][A + hellaswag_ca: 16%|██████████████████ | 46/288 [06:35<35:03, 8.69s/it][A + hellaswag_ca: 16%|██████████████████▍ | 47/288 [06:43<34:35, 8.61s/it][A + hellaswag_ca: 17%|██████████████████▊ | 48/288 [06:51<33:32, 8.38s/it][A + hellaswag_ca: 17%|███████████████████▏ | 49/288 [07:00<33:33, 8.42s/it][A + hellaswag_ca: 17%|███████████████████▌ | 50/288 [07:09<34:08, 8.61s/it][A + hellaswag_ca: 18%|████████████████████ | 51/288 [07:18<34:40, 8.78s/it][A + hellaswag_ca: 18%|████████████████████▍ | 52/288 [07:26<33:51, 8.61s/it][A + hellaswag_ca: 18%|████████████████████▊ | 53/288 [07:35<33:58, 8.67s/it][A + hellaswag_ca: 19%|█████████████████████▏ | 54/288 [07:43<33:34, 8.61s/it][A + hellaswag_ca: 19%|█████████████████████▌ | 55/288 [07:52<33:23, 8.60s/it][A + hellaswag_ca: 19%|█████████████████████▉ | 56/288 [08:00<32:28, 8.40s/it][A + hellaswag_ca: 20%|██████████████████████▎ | 57/288 [08:09<32:50, 8.53s/it][A + hellaswag_ca: 20%|██████████████████████▊ | 58/288 [08:17<32:24, 8.45s/it][A + hellaswag_ca: 20%|███████████████████████▏ | 59/288 [08:27<33:25, 8.76s/it][A + hellaswag_ca: 21%|███████████████████████▌ | 60/288 [08:35<32:26, 8.54s/it][A + hellaswag_ca: 21%|███████████████████████▉ | 61/288 [08:43<32:21, 8.55s/it][A + hellaswag_ca: 22%|████████████████████████▎ | 62/288 [08:52<32:07, 8.53s/it][A + hellaswag_ca: 22%|████████████████████████▋ | 63/288 [09:00<31:25, 8.38s/it][A + hellaswag_ca: 22%|█████████████████████████ | 64/288 [09:08<31:20, 8.39s/it][A + hellaswag_ca: 23%|█████████████████████████▌ | 65/288 [09:17<31:32, 8.49s/it][A + hellaswag_ca: 23%|█████████████████████████▉ | 66/288 [09:25<31:39, 8.56s/it][A + hellaswag_ca: 23%|██████████████████████████▎ | 67/288 [09:34<31:38, 8.59s/it][A + hellaswag_ca: 24%|██████████████████████████▋ | 68/288 [09:43<32:08, 8.77s/it][A + hellaswag_ca: 24%|███████████████████████████ | 69/288 [09:52<31:45, 8.70s/it][A + hellaswag_ca: 24%|███████████████████████████▍ | 70/288 [10:00<31:26, 8.65s/it][A + hellaswag_ca: 25%|███████████████████████████▊ | 71/288 [10:08<30:37, 8.47s/it][A + hellaswag_ca: 25%|████████████████████████████▎ | 72/288 [10:17<30:30, 8.47s/it][A + hellaswag_ca: 25%|████████████████████████████▋ | 73/288 [10:25<29:51, 8.33s/it][A + hellaswag_ca: 26%|█████████████████████████████ | 74/288 [10:33<29:49, 8.36s/it][A + hellaswag_ca: 26%|█████████████████████████████▍ | 75/288 [10:42<29:28, 8.30s/it][A + hellaswag_ca: 26%|█████████████████████████████▊ | 76/288 [10:50<29:43, 8.41s/it][A + hellaswag_ca: 27%|██████████████████████████████▏ | 77/288 [10:59<29:41, 8.44s/it][A + hellaswag_ca: 27%|██████████████████████████████▌ | 78/288 [11:07<29:45, 8.50s/it][A + hellaswag_ca: 27%|██████████████████████████████▉ | 79/288 [11:17<30:24, 8.73s/it][A + hellaswag_ca: 28%|███████████████████████████████▍ | 80/288 [11:26<30:39, 8.84s/it][A + hellaswag_ca: 28%|███████████████████████████████▊ | 81/288 [11:34<30:09, 8.74s/it][A + hellaswag_ca: 28%|████████████████████████████████▏ | 82/288 [11:43<29:50, 8.69s/it][A + hellaswag_ca: 29%|████████████████████████████████▌ | 83/288 [11:51<29:18, 8.58s/it][A + hellaswag_ca: 29%|████████████████████████████████▉ | 84/288 [11:59<28:51, 8.49s/it][A + hellaswag_ca: 30%|█████████████████████████████████▎ | 85/288 [12:07<28:16, 8.36s/it][A + hellaswag_ca: 30%|█████████████████████████████████▋ | 86/288 [12:15<27:42, 8.23s/it][A + hellaswag_ca: 30%|██████████████████████████████████▏ | 87/288 [12:24<28:26, 8.49s/it][A + hellaswag_ca: 31%|██████████████████████████████████▌ | 88/288 [12:33<28:15, 8.48s/it][A + hellaswag_ca: 31%|██████████████████████████████████▉ | 89/288 [12:41<28:03, 8.46s/it][A + hellaswag_ca: 31%|███████████████████████████████████▎ | 90/288 [12:49<27:30, 8.34s/it][A + hellaswag_ca: 32%|███████████████████████████████████▋ | 91/288 [12:58<27:31, 8.38s/it][A + hellaswag_ca: 32%|████████████████████████████████████ | 92/288 [13:07<27:42, 8.48s/it][A + hellaswag_ca: 32%|████████████████████████████████████▍ | 93/288 [13:15<27:56, 8.60s/it][A + hellaswag_ca: 33%|████████████████████████████████████▉ | 94/288 [13:24<27:47, 8.60s/it][A + hellaswag_ca: 33%|█████████████████████████████████████▎ | 95/288 [13:33<27:42, 8.61s/it][A + hellaswag_ca: 33%|█████████████████████████████████████▋ | 96/288 [13:41<27:35, 8.62s/it][A + hellaswag_ca: 34%|██████████████████████████████████████ | 97/288 [13:50<27:27, 8.63s/it][A + hellaswag_ca: 34%|██████████████████████████████████████▍ | 98/288 [13:59<27:58, 8.84s/it][A + hellaswag_ca: 34%|██████████████████████████████████████▊ | 99/288 [14:08<27:37, 8.77s/it][A + hellaswag_ca: 35%|██████████████████████████████████████▉ | 100/288 [14:16<27:15, 8.70s/it][A + hellaswag_ca: 35%|███████████████████████████████████████▎ | 101/288 [14:26<27:28, 8.82s/it][A + hellaswag_ca: 35%|███████████████████████████████████████▋ | 102/288 [14:35<27:38, 8.92s/it][A + hellaswag_ca: 36%|████████████████████████████████████████ | 103/288 [14:44<27:40, 8.98s/it][A + hellaswag_ca: 36%|████████████████████████████████████████▍ | 104/288 [14:53<27:45, 9.05s/it][A + hellaswag_ca: 36%|████████████████████████████████████████▊ | 105/288 [15:02<27:22, 8.98s/it][A + hellaswag_ca: 37%|█████████████████████████████████████████▏ | 106/288 [15:10<26:51, 8.86s/it][A + hellaswag_ca: 37%|█████████████████████████████████████████▌ | 107/288 [15:19<26:30, 8.79s/it][A + hellaswag_ca: 38%|██████████████████████████████████████████ | 108/288 [15:27<25:49, 8.61s/it][A + hellaswag_ca: 38%|██████████████████████████████████████████▍ | 109/288 [15:35<25:00, 8.38s/it][A + hellaswag_ca: 38%|██████████████████████████████████████████▊ | 110/288 [15:44<25:03, 8.45s/it][A + hellaswag_ca: 39%|███████████████████████████████████████████▏ | 111/288 [15:52<25:01, 8.48s/it][A + hellaswag_ca: 39%|███████████████████████████████████████████▌ | 112/288 [16:00<24:23, 8.31s/it][A + hellaswag_ca: 39%|███████████████████████████████████████████▉ | 113/288 [16:09<24:37, 8.44s/it][A + hellaswag_ca: 40%|████████████████████████████████████████████▎ | 114/288 [16:17<24:25, 8.42s/it][A + hellaswag_ca: 40%|████████████████████████████████████████████▋ | 115/288 [16:26<24:13, 8.40s/it][A + hellaswag_ca: 40%|█████████████████████████████████████████████ | 116/288 [16:34<24:05, 8.41s/it][A + hellaswag_ca: 41%|█████████████████████████████████████████████▌ | 117/288 [16:42<23:41, 8.31s/it][A + hellaswag_ca: 41%|█████████████████████████████████████████████▉ | 118/288 [16:51<23:56, 8.45s/it][A + hellaswag_ca: 41%|██████████████████████████████████████████████▎ | 119/288 [16:59<23:24, 8.31s/it][A + hellaswag_ca: 42%|██████████████████████████████████████████████▋ | 120/288 [17:07<23:21, 8.34s/it][A + hellaswag_ca: 42%|███████████████████████████████████████████████ | 121/288 [17:16<23:33, 8.46s/it][A + hellaswag_ca: 42%|███████████████████████████████████████████████▍ | 122/288 [17:25<23:26, 8.48s/it][A + hellaswag_ca: 43%|███████████████████████████████████████████████▊ | 123/288 [17:33<23:07, 8.41s/it][A + hellaswag_ca: 43%|████████████████████████████████████████████████▏ | 124/288 [17:41<23:03, 8.44s/it][A + hellaswag_ca: 43%|████████████████████████████████████████████████▌ | 125/288 [17:50<22:58, 8.46s/it][A + hellaswag_ca: 44%|█████████████████████████████████████████████████ | 126/288 [17:58<22:58, 8.51s/it][A + hellaswag_ca: 44%|█████████████████████████████████████████████████▍ | 127/288 [18:07<22:45, 8.48s/it][A + hellaswag_ca: 44%|█████████████████████████████████████████████████▊ | 128/288 [18:16<23:04, 8.65s/it][A + hellaswag_ca: 45%|██████████████████████████████████████████████████▏ | 129/288 [18:25<22:55, 8.65s/it][A + hellaswag_ca: 45%|██████████████████████████████████████████████████▌ | 130/288 [18:33<22:44, 8.64s/it][A + hellaswag_ca: 45%|██████████████████████████████████████████████████▉ | 131/288 [18:42<22:25, 8.57s/it][A + hellaswag_ca: 46%|███████████████████████████████████████████████████▎ | 132/288 [18:50<22:31, 8.66s/it][A + hellaswag_ca: 46%|███████████████████████████████████████████████████▋ | 133/288 [18:58<21:48, 8.44s/it][A + hellaswag_ca: 47%|████████████████████████████████████████████████████ | 134/288 [19:07<21:58, 8.56s/it][A + hellaswag_ca: 47%|████████████████████████████████████████████████████▌ | 135/288 [19:16<21:50, 8.57s/it][A + hellaswag_ca: 47%|████████████████████████████████████████████████████▉ | 136/288 [19:25<22:07, 8.74s/it][A + hellaswag_ca: 48%|█████████████████████████████████████████████████████▎ | 137/288 [19:34<22:15, 8.85s/it][A + hellaswag_ca: 48%|█████████████████████████████████████████████████████▋ | 138/288 [19:43<21:53, 8.76s/it][A + hellaswag_ca: 48%|██████████████████████████████████████████████████████ | 139/288 [19:51<21:11, 8.53s/it][A + hellaswag_ca: 49%|██████████████████████████████████████████████████████▍ | 140/288 [19:59<20:41, 8.39s/it][A + hellaswag_ca: 49%|██████████████████████████████████████████████████████▊ | 141/288 [20:07<20:37, 8.42s/it][A + hellaswag_ca: 49%|███████████████████████████████████████████████████████▏ | 142/288 [20:16<20:59, 8.63s/it][A + hellaswag_ca: 50%|███████████████████████████████████████████████████████▌ | 143/288 [20:25<20:44, 8.58s/it][A + hellaswag_ca: 50%|████████████████████████████████████████████████████████ | 144/288 [20:34<20:43, 8.64s/it][A + hellaswag_ca: 50%|████████████████████████████████████████████████████████▍ | 145/288 [20:42<20:33, 8.63s/it][A + hellaswag_ca: 51%|████████████████████████████████████████████████████████▊ | 146/288 [20:51<20:19, 8.59s/it][A + hellaswag_ca: 51%|█████████████████████████████████████████████████████████▏ | 147/288 [20:59<20:19, 8.65s/it][A + hellaswag_ca: 51%|█████████████████████████████████████████████████████████▌ | 148/288 [21:09<20:39, 8.85s/it][A + hellaswag_ca: 52%|█████████████████████████████████████████████████████████▉ | 149/288 [21:18<20:27, 8.83s/it][A + hellaswag_ca: 52%|██████████████████████████████████████████████████████████▎ | 150/288 [21:26<20:10, 8.77s/it][A + hellaswag_ca: 52%|██████████████████████████████████████████████████████████▋ | 151/288 [21:35<20:02, 8.78s/it][A + hellaswag_ca: 53%|███████████████████████████████████████████████████████████ | 152/288 [21:44<19:47, 8.73s/it][A + hellaswag_ca: 53%|███████████████████████████████████████████████████████████▌ | 153/288 [21:52<19:29, 8.66s/it][A + hellaswag_ca: 53%|███████████████████████████████████████████████████████████▉ | 154/288 [22:01<19:13, 8.61s/it][A + hellaswag_ca: 54%|████████████████████████████████████████████████████████████▎ | 155/288 [22:09<18:59, 8.57s/it][A + hellaswag_ca: 54%|████████████████████████████████████████████████████████████▋ | 156/288 [22:18<18:48, 8.55s/it][A + hellaswag_ca: 55%|█████████████████████████████████████████████████████████████ | 157/288 [22:26<18:37, 8.53s/it][A + hellaswag_ca: 55%|█████████████████████████████████████████████████████████████▍ | 158/288 [22:35<18:34, 8.57s/it][A + hellaswag_ca: 55%|█████████████████████████████████████████████████████████████▊ | 159/288 [22:43<18:31, 8.62s/it][A + hellaswag_ca: 56%|██████████████████████████████████████████████████████████████▏ | 160/288 [22:52<18:23, 8.62s/it][A + hellaswag_ca: 56%|██████████████████████████████████████████████████████████████▌ | 161/288 [23:01<18:20, 8.67s/it][A + hellaswag_ca: 56%|███████████████████████████████████████████████████████████████ | 162/288 [23:09<18:11, 8.66s/it][A + hellaswag_ca: 57%|███████████████████████████████████████████████████████████████▍ | 163/288 [23:18<18:03, 8.67s/it][A + hellaswag_ca: 57%|███████████████████████████████████████████████████████████████▊ | 164/288 [23:27<17:44, 8.59s/it][A + hellaswag_ca: 57%|████████████████████████████████████████████████████████████████▏ | 165/288 [23:35<17:44, 8.65s/it][A + hellaswag_ca: 58%|████████████████████████████████████████████████████████████████▌ | 166/288 [23:43<17:15, 8.49s/it][A + hellaswag_ca: 58%|████████████████████████████████████████████████████████████████▉ | 167/288 [23:52<16:52, 8.37s/it][A + hellaswag_ca: 58%|█████████████████████████████████████████████████████████████████▎ | 168/288 [23:59<16:28, 8.24s/it][A + hellaswag_ca: 59%|█████████████████████████████████████████████████████████████████▋ | 169/288 [24:08<16:39, 8.40s/it][A + hellaswag_ca: 59%|██████████████████████████████████████████████████████████████████ | 170/288 [24:17<16:53, 8.59s/it][A + hellaswag_ca: 59%|██████████████████████████████████████████████████████████████████▌ | 171/288 [24:25<16:22, 8.40s/it][A + hellaswag_ca: 60%|██████████████████████████████████████████████████████████████████▉ | 172/288 [24:33<15:55, 8.24s/it][A + hellaswag_ca: 60%|███████████████████████████████████████████████████████████████████▎ | 173/288 [24:42<16:03, 8.38s/it][A + hellaswag_ca: 60%|███████████████████████████████████████████████████████████████████▋ | 174/288 [24:50<15:52, 8.36s/it][A + hellaswag_ca: 61%|████████████████████████████████████████████████████████████████████ | 175/288 [24:59<16:03, 8.53s/it][A + hellaswag_ca: 61%|████████████████████████████████████████████████████████████████████▍ | 176/288 [25:08<15:52, 8.51s/it][A + hellaswag_ca: 61%|████████████████████████████████████████████████████████████████████▊ | 177/288 [25:16<15:54, 8.60s/it][A + hellaswag_ca: 62%|█████████████████████████████████████████████████████████████████████▏ | 178/288 [25:25<15:50, 8.64s/it][A + hellaswag_ca: 62%|█████████████████████████████████████████████████████████████████████▌ | 179/288 [25:34<16:04, 8.85s/it][A + hellaswag_ca: 62%|██████████████████████████████████████████████████████████████████████ | 180/288 [25:43<15:43, 8.74s/it][A + hellaswag_ca: 63%|██████████████████████████████████████████████████████████████████████▍ | 181/288 [25:51<15:21, 8.61s/it][A + hellaswag_ca: 63%|██████████████████████████████████████████████████████████████████████▊ | 182/288 [26:00<15:06, 8.55s/it][A + hellaswag_ca: 64%|███████████████████████████████████████████████████████████████████████▏ | 183/288 [26:09<15:21, 8.77s/it][A + hellaswag_ca: 64%|███████████████████████████████████████████████████████████████████████▌ | 184/288 [26:18<15:22, 8.87s/it][A + hellaswag_ca: 64%|███████████████████████████████████████████████████████████████████████▉ | 185/288 [26:26<15:00, 8.74s/it][A + hellaswag_ca: 65%|████████████████████████████████████████████████████████████████████████▎ | 186/288 [26:35<14:56, 8.79s/it][A + hellaswag_ca: 65%|████████████████████████████████████████████████████████████████████████▋ | 187/288 [26:44<14:40, 8.72s/it][A + hellaswag_ca: 65%|█████████████████████████████████████████████████████████████████████████ | 188/288 [26:52<14:07, 8.47s/it][A + hellaswag_ca: 66%|█████████████████████████████████████████████████████████████████████████▌ | 189/288 [27:01<14:15, 8.64s/it][A + hellaswag_ca: 66%|█████████████████████████████████████████████████████████████████████████▉ | 190/288 [27:09<14:01, 8.59s/it][A + hellaswag_ca: 66%|██████████████████████████████████████████████████████████████████████████▎ | 191/288 [27:19<14:13, 8.80s/it][A + hellaswag_ca: 67%|██████████████████████████████████████████████████████████████████████████▋ | 192/288 [27:27<14:02, 8.78s/it][A + hellaswag_ca: 67%|███████████████████████████████████████████████████████████████████████████ | 193/288 [27:36<14:01, 8.86s/it][A + hellaswag_ca: 67%|███████████████████████████████████████████████████████████████████████████▍ | 194/288 [27:44<13:28, 8.60s/it][A + hellaswag_ca: 68%|███████████████████████████████████████████████████████████████████████████▊ | 195/288 [27:52<12:59, 8.38s/it][A + hellaswag_ca: 68%|████████████████████████████████████████████████████████████████████████████▏ | 196/288 [28:01<12:54, 8.42s/it][A + hellaswag_ca: 68%|████████████████████████████████████████████████████████████████████████████▌ | 197/288 [28:09<12:54, 8.51s/it][A + hellaswag_ca: 69%|█████████████████████████████████████████████████████████████████████████████ | 198/288 [28:18<12:47, 8.52s/it][A + hellaswag_ca: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 199/288 [28:27<12:43, 8.57s/it][A + hellaswag_ca: 69%|█████████████████████████████████████████████████████████████████████████████▊ | 200/288 [28:35<12:32, 8.56s/it][A + hellaswag_ca: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 201/288 [28:44<12:26, 8.58s/it][A + hellaswag_ca: 70%|██████████████████████████████████████████████████████████████████████████████▌ | 202/288 [28:52<12:14, 8.55s/it][A + hellaswag_ca: 70%|██████████████████████████████████████████████████████████████████████████████▉ | 203/288 [29:00<11:50, 8.36s/it][A + hellaswag_ca: 71%|███████████████████████████████████████████████████████████████████████████████▎ | 204/288 [29:09<11:44, 8.39s/it][A + hellaswag_ca: 71%|███████████████████████████████████████████████████████████████████████████████▋ | 205/288 [29:18<11:53, 8.60s/it][A + hellaswag_ca: 72%|████████████████████████████████████████████████████████████████████████████████ | 206/288 [29:26<11:30, 8.42s/it][A + hellaswag_ca: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 207/288 [29:35<11:29, 8.52s/it][A + hellaswag_ca: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 208/288 [29:43<11:10, 8.38s/it][A + hellaswag_ca: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 209/288 [29:51<11:00, 8.36s/it][A + hellaswag_ca: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 210/288 [30:00<11:11, 8.61s/it][A + hellaswag_ca: 73%|██████████████████████████████████████████████████████████████████████████████████ | 211/288 [30:09<11:06, 8.65s/it][A + hellaswag_ca: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 212/288 [30:18<11:11, 8.84s/it][A + hellaswag_ca: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 213/288 [30:27<10:56, 8.75s/it][A + hellaswag_ca: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 214/288 [30:35<10:42, 8.68s/it][A + hellaswag_ca: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 215/288 [30:44<10:30, 8.64s/it][A + hellaswag_ca: 75%|████████████████████████████████████████████████████████████████████████████████████ | 216/288 [30:52<10:20, 8.61s/it][A + hellaswag_ca: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 217/288 [31:01<10:15, 8.66s/it][A + hellaswag_ca: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 218/288 [31:10<10:16, 8.81s/it][A + hellaswag_ca: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 219/288 [31:18<09:51, 8.57s/it][A + hellaswag_ca: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 220/288 [31:27<09:51, 8.70s/it][A + hellaswag_ca: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 221/288 [31:36<09:54, 8.87s/it][A + hellaswag_ca: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 222/288 [31:45<09:33, 8.68s/it][A + hellaswag_ca: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 223/288 [31:54<09:35, 8.85s/it][A + hellaswag_ca: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 224/288 [32:03<09:26, 8.85s/it][A + hellaswag_ca: 78%|███████████████████████████████████████████████████████████████████████████████████████▌ | 225/288 [32:12<09:16, 8.83s/it][A + hellaswag_ca: 78%|███████████████████████████████████████████████████████████████████████████████████████▉ | 226/288 [32:20<09:07, 8.82s/it][A + hellaswag_ca: 79%|████████████████████████████████████████████████████████████████████████████████████████▎ | 227/288 [32:29<08:51, 8.72s/it][A + hellaswag_ca: 79%|████████████████████████████████████████████████████████████████████████████████████████▋ | 228/288 [32:37<08:37, 8.62s/it][A + hellaswag_ca: 80%|█████████████████████████████████████████████████████████████████████████████████████████ | 229/288 [32:46<08:23, 8.54s/it][A + hellaswag_ca: 80%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 230/288 [32:54<08:09, 8.45s/it][A + hellaswag_ca: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 231/288 [33:02<07:59, 8.42s/it][A + hellaswag_ca: 81%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 232/288 [33:10<07:45, 8.32s/it][A + hellaswag_ca: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 233/288 [33:19<07:48, 8.52s/it][A + hellaswag_ca: 81%|███████████████████████████████████████████████████████████████████████████████████████████ | 234/288 [33:28<07:42, 8.57s/it][A + hellaswag_ca: 82%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 235/288 [33:36<07:31, 8.52s/it][A + hellaswag_ca: 82%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 236/288 [33:45<07:21, 8.50s/it][A + hellaswag_ca: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 237/288 [33:53<07:15, 8.54s/it][A + hellaswag_ca: 83%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 238/288 [34:02<07:12, 8.65s/it][A + hellaswag_ca: 83%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 239/288 [34:11<07:03, 8.64s/it][A + hellaswag_ca: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 240/288 [34:20<06:53, 8.62s/it][A + hellaswag_ca: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 241/288 [34:28<06:45, 8.63s/it][A + hellaswag_ca: 84%|██████████████████████████████████████████████████████████████████████████████████████████████ | 242/288 [34:37<06:35, 8.61s/it][A + hellaswag_ca: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 243/288 [34:46<06:36, 8.80s/it][A + hellaswag_ca: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 244/288 [34:55<06:26, 8.79s/it][A + hellaswag_ca: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 245/288 [35:03<06:08, 8.58s/it][A + hellaswag_ca: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 246/288 [35:11<05:59, 8.55s/it][A + hellaswag_ca: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 247/288 [35:20<05:50, 8.54s/it][A + hellaswag_ca: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/288 [35:28<05:37, 8.44s/it][A + hellaswag_ca: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/288 [35:37<05:30, 8.48s/it][A + hellaswag_ca: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/288 [35:45<05:25, 8.55s/it][A + hellaswag_ca: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 251/288 [35:53<05:11, 8.41s/it][A + hellaswag_ca: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 252/288 [36:02<04:59, 8.32s/it][A + hellaswag_ca: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 253/288 [36:10<04:53, 8.38s/it][A + hellaswag_ca: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 254/288 [36:19<04:46, 8.42s/it][A + hellaswag_ca: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 255/288 [36:27<04:39, 8.48s/it][A + hellaswag_ca: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 256/288 [36:35<04:26, 8.32s/it][A + hellaswag_ca: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 257/288 [36:44<04:23, 8.49s/it][A + hellaswag_ca: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 258/288 [36:53<04:14, 8.49s/it][A + hellaswag_ca: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 259/288 [37:01<04:07, 8.52s/it][A + hellaswag_ca: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 260/288 [37:10<04:01, 8.63s/it][A + hellaswag_ca: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 261/288 [37:19<03:51, 8.59s/it][A + hellaswag_ca: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 262/288 [37:26<03:38, 8.40s/it][A + hellaswag_ca: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 263/288 [37:36<03:36, 8.68s/it][A + hellaswag_ca: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 264/288 [37:44<03:27, 8.65s/it][A + hellaswag_ca: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 265/288 [37:53<03:18, 8.64s/it][A + hellaswag_ca: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 266/288 [38:02<03:10, 8.66s/it][A + hellaswag_ca: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 267/288 [38:11<03:03, 8.72s/it][A + hellaswag_ca: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 268/288 [38:19<02:52, 8.61s/it][A + hellaswag_ca: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 269/288 [38:28<02:44, 8.66s/it][A + hellaswag_ca: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 270/288 [38:36<02:35, 8.64s/it][A + hellaswag_ca: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 271/288 [38:45<02:25, 8.57s/it][A + hellaswag_ca: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 272/288 [38:53<02:18, 8.64s/it][A + hellaswag_ca: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 273/288 [39:02<02:09, 8.62s/it][A + hellaswag_ca: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 274/288 [39:11<02:00, 8.63s/it][A + hellaswag_ca: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 275/288 [39:19<01:51, 8.57s/it][A + hellaswag_ca: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 276/288 [39:27<01:40, 8.39s/it][A + hellaswag_ca: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 277/288 [39:36<01:33, 8.50s/it][A + hellaswag_ca: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 278/288 [39:44<01:23, 8.33s/it][A + hellaswag_ca: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 279/288 [39:52<01:15, 8.37s/it][A + hellaswag_ca: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 280/288 [40:02<01:09, 8.65s/it][A + hellaswag_ca: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 281/288 [40:10<01:00, 8.63s/it][A + hellaswag_ca: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 282/288 [40:18<00:50, 8.43s/it][A + hellaswag_ca: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 283/288 [40:26<00:41, 8.28s/it][A + hellaswag_ca: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 284/288 [40:34<00:33, 8.33s/it][A + hellaswag_ca: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 285/288 [40:44<00:25, 8.63s/it][A + hellaswag_ca: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 286/288 [40:52<00:16, 8.45s/it][A + hellaswag_ca: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 287/288 [41:00<00:08, 8.47s/it][A + hellaswag_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [41:09<00:00, 8.38s/it][A hellaswag_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [41:09<00:00, 8.57s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ca_acc 0.4260123765063511 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ca_acc_norm 0.5680165020084681 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 12:22:07,720 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 12:22:07,720 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:07,838 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 12:22:07,838 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:07,956 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 12:22:07,956 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:08,074 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 12:22:08,075 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 12:22:08,075 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 12:22:08,195 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 12:22:08,195 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ca_acc'} +2024-05-29 12:22:08,255 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 12:22:08,255 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1145, 'value': 0.4260123765063511} +2024-05-29 12:22:08,315 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 12:22:08,915 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 12:22:08,916 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:09,033 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 12:22:09,034 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:09,151 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 12:22:09,151 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:09,269 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 12:22:09,270 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 12:22:09,270 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 12:22:09,389 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 12:22:09,389 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ca_acc_norm'} +2024-05-29 12:22:09,449 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 12:22:09,449 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1146, 'value': 0.5680165020084681} +2024-05-29 12:22:09,508 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 27%|█████████████████████████████▉ | 34/124 [5:34:38<58:42:56, 2348.63s/it]['hellaswag_da'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 12:22:10,172 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 12:22:10,172 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:10,303 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 12:22:10,303 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:10,434 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 12:22:10,434 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 12:22:10,565 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 12:22:10,565 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 12:22:10,565 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_da'} +2024-05-29 12:22:10,697 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_da task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.94s/ examples][A + Generating validation split: 2000 examples [00:03, 917.33 examples/s][A + Generating validation split: 4000 examples [00:03, 2067.87 examples/s][A + Generating validation split: 6000 examples [00:03, 3452.81 examples/s][A + Generating validation split: 7816 examples [00:03, 4941.39 examples/s][A Generating validation split: 9305 examples [00:03, 2657.06 examples/s] +Loaded 9305 examples +Running loglikelihood requests + + hellaswag_da: 0%| | 0/291 [00:00<?, ?it/s][A + hellaswag_da: 0%|▍ | 1/291 [00:09<44:16, 9.16s/it][A + hellaswag_da: 1%|▊ | 2/291 [00:17<40:43, 8.45s/it][A + hellaswag_da: 1%|█▏ | 3/291 [00:26<41:50, 8.72s/it][A + hellaswag_da: 1%|█▌ | 4/291 [00:34<41:50, 8.75s/it][A + hellaswag_da: 2%|█▉ | 5/291 [00:43<40:59, 8.60s/it][A + hellaswag_da: 2%|██▎ | 6/291 [00:51<40:40, 8.56s/it][A + hellaswag_da: 2%|██▋ | 7/291 [00:59<39:58, 8.44s/it][A + hellaswag_da: 3%|███▏ | 8/291 [01:08<40:20, 8.55s/it][A + hellaswag_da: 3%|███▌ | 9/291 [01:17<40:16, 8.57s/it][A + hellaswag_da: 3%|███▉ | 10/291 [01:25<39:44, 8.49s/it][A + hellaswag_da: 4%|████▎ | 11/291 [01:34<40:11, 8.61s/it][A + hellaswag_da: 4%|████▋ | 12/291 [01:43<40:44, 8.76s/it][A + hellaswag_da: 4%|█████ | 13/291 [01:51<39:37, 8.55s/it][A + hellaswag_da: 5%|█████▍ | 14/291 [02:00<39:48, 8.62s/it][A + hellaswag_da: 5%|█████▊ | 15/291 [02:08<39:26, 8.57s/it][A + hellaswag_da: 5%|██████▏ | 16/291 [02:17<39:27, 8.61s/it][A + hellaswag_da: 6%|██████▌ | 17/291 [02:26<39:16, 8.60s/it][A + hellaswag_da: 6%|██████▉ | 18/291 [02:35<39:52, 8.76s/it][A + hellaswag_da: 7%|███████▍ | 19/291 [02:44<40:04, 8.84s/it][A + hellaswag_da: 7%|███████▊ | 20/291 [02:52<39:19, 8.71s/it][A + hellaswag_da: 7%|████████▏ | 21/291 [03:01<39:44, 8.83s/it][A + hellaswag_da: 8%|████████▌ | 22/291 [03:11<40:07, 8.95s/it][A + hellaswag_da: 8%|████████▉ | 23/291 [03:19<38:37, 8.65s/it][A + hellaswag_da: 8%|█████████▎ | 24/291 [03:28<39:27, 8.87s/it][A + hellaswag_da: 9%|█████████▋ | 25/291 [03:37<38:52, 8.77s/it][A + hellaswag_da: 9%|██████████ | 26/291 [03:46<39:32, 8.95s/it][A + hellaswag_da: 9%|██████████▍ | 27/291 [03:55<39:13, 8.92s/it][A + hellaswag_da: 10%|██████████▊ | 28/291 [04:04<39:46, 9.08s/it][A + hellaswag_da: 10%|███████████▎ | 29/291 [04:13<38:53, 8.90s/it][A + hellaswag_da: 10%|███████████▋ | 30/291 [04:21<38:32, 8.86s/it][A + hellaswag_da: 11%|████████████ | 31/291 [04:30<37:37, 8.68s/it][A + hellaswag_da: 11%|████████████▍ | 32/291 [04:39<38:12, 8.85s/it][A + hellaswag_da: 11%|████████████▊ | 33/291 [04:47<37:35, 8.74s/it][A + hellaswag_da: 12%|█████████████▏ | 34/291 [04:55<36:30, 8.52s/it][A + hellaswag_da: 12%|█████████████▌ | 35/291 [05:04<36:24, 8.53s/it][A + hellaswag_da: 12%|█████████████▉ | 36/291 [05:12<36:05, 8.49s/it][A + hellaswag_da: 13%|██████████████▎ | 37/291 [05:21<36:07, 8.53s/it][A + hellaswag_da: 13%|██████████████▊ | 38/291 [05:30<35:57, 8.53s/it][A + hellaswag_da: 13%|███████████████▏ | 39/291 [05:39<36:22, 8.66s/it][A + hellaswag_da: 14%|███████████████▌ | 40/291 [05:47<36:29, 8.72s/it][A + hellaswag_da: 14%|███████████████▉ | 41/291 [05:56<36:12, 8.69s/it][A + hellaswag_da: 14%|████████████████▎ | 42/291 [06:05<36:10, 8.72s/it][A + hellaswag_da: 15%|████████████████▋ | 43/291 [06:13<35:49, 8.67s/it][A + hellaswag_da: 15%|█████████████████ | 44/291 [06:22<35:29, 8.62s/it][A + hellaswag_da: 15%|█████████████████▍ | 45/291 [06:30<35:19, 8.62s/it][A + hellaswag_da: 16%|█████████████████▊ | 46/291 [06:39<35:04, 8.59s/it][A + hellaswag_da: 16%|██████████████████▎ | 47/291 [06:48<35:26, 8.72s/it][A + hellaswag_da: 16%|██████████████████▋ | 48/291 [06:56<34:55, 8.62s/it][A + hellaswag_da: 17%|███████████████████ | 49/291 [07:04<34:03, 8.44s/it][A + hellaswag_da: 17%|███████████████████▍ | 50/291 [07:12<33:18, 8.29s/it][A + hellaswag_da: 18%|███████████████████▊ | 51/291 [07:21<33:24, 8.35s/it][A + hellaswag_da: 18%|████████████████████▏ | 52/291 [07:30<34:28, 8.65s/it][A + hellaswag_da: 18%|████████████████████▌ | 53/291 [07:39<34:56, 8.81s/it][A + hellaswag_da: 19%|████████████████████▉ | 54/291 [07:48<34:27, 8.73s/it][A + hellaswag_da: 19%|█████████████████████▎ | 55/291 [07:57<35:01, 8.90s/it][A + hellaswag_da: 19%|█████████████████████▋ | 56/291 [08:06<34:36, 8.84s/it][A + hellaswag_da: 20%|██████████████████████▏ | 57/291 [08:14<33:52, 8.69s/it][A + hellaswag_da: 20%|██████████████████████▌ | 58/291 [08:23<33:53, 8.73s/it][A + hellaswag_da: 20%|██████████████████████▉ | 59/291 [08:32<33:44, 8.73s/it][A + hellaswag_da: 21%|███████████████████████▎ | 60/291 [08:41<33:37, 8.74s/it][A + hellaswag_da: 21%|███████████████████████▋ | 61/291 [08:50<33:45, 8.81s/it][A + hellaswag_da: 21%|████████████████████████ | 62/291 [08:59<34:01, 8.92s/it][A + hellaswag_da: 22%|████████████████████████▍ | 63/291 [09:07<33:16, 8.76s/it][A + hellaswag_da: 22%|████████████████████████▊ | 64/291 [09:15<32:23, 8.56s/it][A + hellaswag_da: 22%|█████████████████████████▏ | 65/291 [09:24<33:04, 8.78s/it][A + hellaswag_da: 23%|█████████████████████████▋ | 66/291 [09:34<33:20, 8.89s/it][A + hellaswag_da: 23%|██████████████████████████ | 67/291 [09:42<32:49, 8.79s/it][A + hellaswag_da: 23%|██████████████████████████▍ | 68/291 [09:51<32:31, 8.75s/it][A + hellaswag_da: 24%|██████████████████████████▊ | 69/291 [10:00<32:39, 8.83s/it][A + hellaswag_da: 24%|███████████████████████████▏ | 70/291 [10:09<32:28, 8.82s/it][A + hellaswag_da: 24%|███████████████████████████▌ | 71/291 [10:17<32:05, 8.75s/it][A + hellaswag_da: 25%|███████████████████████████▉ | 72/291 [10:26<32:18, 8.85s/it][A + hellaswag_da: 25%|████████████████████████████▎ | 73/291 [10:34<31:15, 8.60s/it][A + hellaswag_da: 25%|████████████████████████████▋ | 74/291 [10:43<31:32, 8.72s/it][A + hellaswag_da: 26%|█████████████████████████████ | 75/291 [10:52<31:32, 8.76s/it][A + hellaswag_da: 26%|█████████████████████████████▌ | 76/291 [11:01<31:04, 8.67s/it][A + hellaswag_da: 26%|█████████████████████████████▉ | 77/291 [11:09<30:08, 8.45s/it][A + hellaswag_da: 27%|██████████████████████████████▎ | 78/291 [11:18<30:28, 8.58s/it][A + hellaswag_da: 27%|██████████████████████████████▋ | 79/291 [11:26<30:34, 8.65s/it][A + hellaswag_da: 27%|███████████████████████████████ | 80/291 [11:35<30:31, 8.68s/it][A + hellaswag_da: 28%|███████████████████████████████▍ | 81/291 [11:44<30:12, 8.63s/it][A + hellaswag_da: 28%|███████████████████████████████▊ | 82/291 [11:53<30:26, 8.74s/it][A + hellaswag_da: 29%|████████████████████████████████▏ | 83/291 [12:01<30:03, 8.67s/it][A + hellaswag_da: 29%|████████████████████████████████▌ | 84/291 [12:10<30:01, 8.70s/it][A + hellaswag_da: 29%|█████████████████████████████████ | 85/291 [12:19<29:53, 8.71s/it][A + hellaswag_da: 30%|█████████████████████████████████▍ | 86/291 [12:28<30:23, 8.89s/it][A + hellaswag_da: 30%|█████████████████████████████████▊ | 87/291 [12:37<30:02, 8.84s/it][A + hellaswag_da: 30%|██████████████████████████████████▏ | 88/291 [12:45<29:02, 8.58s/it][A + hellaswag_da: 31%|██████████████████████████████████▌ | 89/291 [12:53<28:55, 8.59s/it][A + hellaswag_da: 31%|██████████████████████████████████▉ | 90/291 [13:02<28:50, 8.61s/it][A + hellaswag_da: 31%|███████████████████████████████████▎ | 91/291 [13:11<28:46, 8.63s/it][A + hellaswag_da: 32%|███████████████████████████████████▋ | 92/291 [13:19<28:15, 8.52s/it][A + hellaswag_da: 32%|████████████████████████████████████ | 93/291 [13:27<28:13, 8.55s/it][A + hellaswag_da: 32%|████████████████████████████████████▌ | 94/291 [13:36<28:05, 8.55s/it][A + hellaswag_da: 33%|████████████████████████████████████▉ | 95/291 [13:45<28:01, 8.58s/it][A + hellaswag_da: 33%|█████████████████████████████████████▎ | 96/291 [13:53<28:02, 8.63s/it][A + hellaswag_da: 33%|█████████████████████████████████████▋ | 97/291 [14:02<28:03, 8.68s/it][A + hellaswag_da: 34%|██████████████████████████████████████ | 98/291 [14:11<28:16, 8.79s/it][A + hellaswag_da: 34%|██████████████████████████████████████▍ | 99/291 [14:20<28:16, 8.84s/it][A + hellaswag_da: 34%|██████████████████████████████████████▍ | 100/291 [14:28<27:09, 8.53s/it][A + hellaswag_da: 35%|██████████████████████████████████████▊ | 101/291 [14:37<27:06, 8.56s/it][A + hellaswag_da: 35%|███████████████████████████████████████▎ | 102/291 [14:45<26:53, 8.54s/it][A + hellaswag_da: 35%|███████████████████████████████████████▋ | 103/291 [14:54<27:27, 8.76s/it][A + hellaswag_da: 36%|████████████████████████████████████████ | 104/291 [15:03<27:06, 8.70s/it][A + hellaswag_da: 36%|████████████████████████████████████████▍ | 105/291 [15:11<26:43, 8.62s/it][A + hellaswag_da: 36%|████████████████████████████████████████▊ | 106/291 [15:20<26:31, 8.60s/it][A + hellaswag_da: 37%|█████████████████████████████████████████▏ | 107/291 [15:28<25:58, 8.47s/it][A + hellaswag_da: 37%|█████████████████████████████████████████▌ | 108/291 [15:37<25:47, 8.46s/it][A + hellaswag_da: 37%|█████████████████████████████████████████▉ | 109/291 [15:45<25:47, 8.50s/it][A + hellaswag_da: 38%|██████████████████████████████████████████▎ | 110/291 [15:54<26:16, 8.71s/it][A + hellaswag_da: 38%|██████████████████████████████████████████▋ | 111/291 [16:03<26:06, 8.70s/it][A + hellaswag_da: 38%|███████████████████████████████████████████ | 112/291 [16:12<25:46, 8.64s/it][A + hellaswag_da: 39%|███████████████████████████████████████████▍ | 113/291 [16:21<25:59, 8.76s/it][A + hellaswag_da: 39%|███████████████████████████████████████████▉ | 114/291 [16:29<25:21, 8.60s/it][A + hellaswag_da: 40%|████████████████████████████████████████████▎ | 115/291 [16:38<25:43, 8.77s/it][A + hellaswag_da: 40%|████████████████████████████████████████████▋ | 116/291 [16:47<25:33, 8.76s/it][A + hellaswag_da: 40%|█████████████████████████████████████████████ | 117/291 [16:56<25:42, 8.86s/it][A + hellaswag_da: 41%|█████████████████████████████████████████████▍ | 118/291 [17:04<25:12, 8.74s/it][A + hellaswag_da: 41%|█████████████████████████████████████████████▊ | 119/291 [17:13<25:20, 8.84s/it][A + hellaswag_da: 41%|██████████████████████████████████████████████▏ | 120/291 [17:23<25:36, 8.98s/it][A + hellaswag_da: 42%|██████████████████████████████████████████████▌ | 121/291 [17:31<25:10, 8.88s/it][A + hellaswag_da: 42%|██████████████████████████████████████████████▉ | 122/291 [17:40<24:49, 8.81s/it][A + hellaswag_da: 42%|███████████████████████████████████████████████▎ | 123/291 [17:48<24:28, 8.74s/it][A + hellaswag_da: 43%|███████████████████████████████████████████████▋ | 124/291 [17:57<24:20, 8.75s/it][A + hellaswag_da: 43%|████████████████████████████████████████████████ | 125/291 [18:06<24:08, 8.73s/it][A + hellaswag_da: 43%|████████████████████████████████████████████████▍ | 126/291 [18:15<23:52, 8.68s/it][A + hellaswag_da: 44%|████████████████████████████████████████████████▉ | 127/291 [18:23<23:34, 8.63s/it][A + hellaswag_da: 44%|█████████████████████████████████████████████████▎ | 128/291 [18:32<23:30, 8.65s/it][A + hellaswag_da: 44%|█████████████████████████████████████████████████▋ | 129/291 [18:41<23:28, 8.69s/it][A + hellaswag_da: 45%|██████████████████████████████████████████████████ | 130/291 [18:48<22:44, 8.48s/it][A + hellaswag_da: 45%|██████████████████████████████████████████████████▍ | 131/291 [18:57<22:51, 8.57s/it][A + hellaswag_da: 45%|██████████████████████████████████████████████████▊ | 132/291 [19:06<23:02, 8.69s/it][A + hellaswag_da: 46%|███████████████████████████████████████████████████▏ | 133/291 [19:15<22:52, 8.69s/it][A + hellaswag_da: 46%|███████████████████████████████████████████████████▌ | 134/291 [19:24<22:43, 8.68s/it][A + hellaswag_da: 46%|███████████████████████████████████████████████████▉ | 135/291 [19:32<22:20, 8.59s/it][A + hellaswag_da: 47%|████████████████████████████████████████████████████▎ | 136/291 [19:40<21:48, 8.44s/it][A + hellaswag_da: 47%|████████████████████████████████████████████████████▋ | 137/291 [19:48<21:22, 8.33s/it][A + hellaswag_da: 47%|█████████████████████████████████████████████████████ | 138/291 [19:57<21:23, 8.39s/it][A + hellaswag_da: 48%|█████████████████████████████████████████████████████▍ | 139/291 [20:06<21:43, 8.57s/it][A + hellaswag_da: 48%|█████████████████████████████████████████████████████▉ | 140/291 [20:14<21:45, 8.65s/it][A + hellaswag_da: 48%|██████████████████████████████████████████████████████▎ | 141/291 [20:23<21:26, 8.57s/it][A + hellaswag_da: 49%|██████████████████████████████████████████████████████▋ | 142/291 [20:31<21:16, 8.57s/it][A + hellaswag_da: 49%|███████████████████████████████████████████████████████ | 143/291 [20:40<21:14, 8.61s/it][A + hellaswag_da: 49%|███████████████████████████████████████████████████████▍ | 144/291 [20:49<21:11, 8.65s/it][A + hellaswag_da: 50%|███████████████████████████████████████████████████████▊ | 145/291 [20:57<20:56, 8.61s/it][A + hellaswag_da: 50%|████████████████████████████████████████████████████████▏ | 146/291 [21:07<21:19, 8.83s/it][A + hellaswag_da: 51%|████████████████████████████████████████████████████████▌ | 147/291 [21:16<21:10, 8.83s/it][A + hellaswag_da: 51%|████████████████████████████████████████████████████████▉ | 148/291 [21:24<20:47, 8.72s/it][A + hellaswag_da: 51%|█████████████████████████████████████████████████████████▎ | 149/291 [21:33<21:06, 8.92s/it][A + hellaswag_da: 52%|█████████████████████████████████████████████████████████▋ | 150/291 [21:42<20:44, 8.82s/it][A + hellaswag_da: 52%|██████████████████████████████████████████████████████████ | 151/291 [21:51<20:25, 8.75s/it][A + hellaswag_da: 52%|██████████████████████████████████████████████████████████▌ | 152/291 [21:59<20:08, 8.69s/it][A + hellaswag_da: 53%|██████████████████████████████████████████████████████████▉ | 153/291 [22:08<20:17, 8.82s/it][A + hellaswag_da: 53%|███████████████████████████████████████████████████████████▎ | 154/291 [22:18<20:35, 9.02s/it][A + hellaswag_da: 53%|███████████████████████████████████████████████████████████▋ | 155/291 [22:26<20:09, 8.89s/it][A + hellaswag_da: 54%|████████████████████████████████████████████████████████████ | 156/291 [22:35<20:05, 8.93s/it][A + hellaswag_da: 54%|████████████████████████████████████████████████████████████▍ | 157/291 [22:44<19:38, 8.80s/it][A + hellaswag_da: 54%|████████████████████████████████████████████████████████████▊ | 158/291 [22:52<19:09, 8.64s/it][A + hellaswag_da: 55%|█████████████████████████████████████████████████████████████▏ | 159/291 [23:01<18:52, 8.58s/it][A + hellaswag_da: 55%|█████████████████████████████████████████████████████████████▌ | 160/291 [23:09<18:44, 8.59s/it][A + hellaswag_da: 55%|█████████████████████████████████████████████████████████████▉ | 161/291 [23:18<18:52, 8.71s/it][A + hellaswag_da: 56%|██████████████████████████████████████████████████████████████▎ | 162/291 [23:26<18:22, 8.54s/it][A + hellaswag_da: 56%|██████████████████████████████████████████████████████████████▋ | 163/291 [23:35<18:10, 8.52s/it][A + hellaswag_da: 56%|███████████████████████████████████████████████████████████████ | 164/291 [23:43<18:03, 8.53s/it][A + hellaswag_da: 57%|███████████████████████████████████████████████████████████████▌ | 165/291 [23:52<18:03, 8.60s/it][A + hellaswag_da: 57%|███████████████████████████████████████████████████████████████▉ | 166/291 [24:01<17:54, 8.59s/it][A + hellaswag_da: 57%|████████████████████████████████████████████████████████████████▎ | 167/291 [24:10<18:03, 8.74s/it][A + hellaswag_da: 58%|████████████████████████████████████████████████████████████████▋ | 168/291 [24:19<18:02, 8.80s/it][A + hellaswag_da: 58%|█████████████████████████████████████████████████████████████████ | 169/291 [24:27<17:19, 8.52s/it][A + hellaswag_da: 58%|█████████████████████████████████████████████████████████████████▍ | 170/291 [24:35<17:12, 8.53s/it][A + hellaswag_da: 59%|█████████████████████████████████████████████████████████████████▊ | 171/291 [24:44<17:06, 8.55s/it][A + hellaswag_da: 59%|██████████████████████████████████████████████████████████████████▏ | 172/291 [24:52<16:52, 8.51s/it][A + hellaswag_da: 59%|██████████████████████████████████████████████████████████████████▌ | 173/291 [25:01<17:12, 8.75s/it][A + hellaswag_da: 60%|██████████████████████████████████████████████████████████████████▉ | 174/291 [25:10<16:52, 8.66s/it][A + hellaswag_da: 60%|███████████████████████████████████████████████████████████████████▎ | 175/291 [25:18<16:15, 8.41s/it][A + hellaswag_da: 60%|███████████████████████████████████████████████████████████████████▋ | 176/291 [25:27<16:21, 8.54s/it][A + hellaswag_da: 61%|████████████████████████████████████████████████████████████████████ | 177/291 [25:35<16:15, 8.56s/it][A + hellaswag_da: 61%|████████████████████████████████████████████████████████████████████▌ | 178/291 [25:43<15:48, 8.40s/it][A + hellaswag_da: 62%|████████████████████████████████████████████████████████████████████▉ | 179/291 [25:52<16:07, 8.64s/it][A + hellaswag_da: 62%|█████████████████████████████████████████████████████████████████████▎ | 180/291 [26:01<16:11, 8.75s/it][A + hellaswag_da: 62%|█████████████████████████████████████████████████████████████████████▋ | 181/291 [26:10<15:44, 8.59s/it][A + hellaswag_da: 63%|██████████████████████████████████████████████████████████████████████ | 182/291 [26:17<15:11, 8.36s/it][A + hellaswag_da: 63%|██████████████████████████████████████████████████████████████████████▍ | 183/291 [26:26<15:15, 8.47s/it][A + hellaswag_da: 63%|██████████████████████████████████████████████████████████████████████▊ | 184/291 [26:35<15:34, 8.73s/it][A + hellaswag_da: 64%|███████████████████████████████████████████████████████████████████████▏ | 185/291 [26:44<15:17, 8.66s/it][A + hellaswag_da: 64%|███████████████████████████████████████████████████████████████████████▌ | 186/291 [26:53<15:10, 8.67s/it][A + hellaswag_da: 64%|███████████████████████████████████████████████████████████████████████▉ | 187/291 [27:02<15:20, 8.85s/it][A + hellaswag_da: 65%|████████████████████████████████████████████████████████████████████████▎ | 188/291 [27:11<15:03, 8.77s/it][A + hellaswag_da: 65%|████████████████████████████████████████████████████████████████████████▋ | 189/291 [27:19<14:47, 8.71s/it][A + hellaswag_da: 65%|█████████████████████████████████████████████████████████████████████████▏ | 190/291 [27:28<14:31, 8.63s/it][A + hellaswag_da: 66%|█████████████████████████████████████████████████████████████████████████▌ | 191/291 [27:37<14:35, 8.75s/it][A + hellaswag_da: 66%|█████████████████████████████████████████████████████████████████████████▉ | 192/291 [27:46<14:36, 8.86s/it][A + hellaswag_da: 66%|██████████████████████████████████████████████████████████████████████████▎ | 193/291 [27:54<14:21, 8.79s/it][A + hellaswag_da: 67%|██████████████████████████████████████████████████████████████████████████▋ | 194/291 [28:02<13:52, 8.59s/it][A + hellaswag_da: 67%|███████████████████████████████████████████████████████████████████████████ | 195/291 [28:11<13:54, 8.69s/it][A + hellaswag_da: 67%|███████████████████████████████████████████████████████████████████████████▍ | 196/291 [28:21<13:59, 8.84s/it][A + hellaswag_da: 68%|███████████████████████████████████████████████████████████████████████████▊ | 197/291 [28:29<13:46, 8.79s/it][A + hellaswag_da: 68%|████████████████████████████████████████████████████████████████████████████▏ | 198/291 [28:38<13:36, 8.78s/it][A + hellaswag_da: 68%|████████████████████████████████████████████████████████████████████████████▌ | 199/291 [28:47<13:25, 8.76s/it][A + hellaswag_da: 69%|████████████████████████████████████████████████████████████████████████████▉ | 200/291 [28:56<13:43, 9.05s/it][A + hellaswag_da: 69%|█████████████████████████████████████████████████████████████████████████████▎ | 201/291 [29:06<13:40, 9.12s/it][A + hellaswag_da: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 202/291 [29:14<13:17, 8.97s/it][A + hellaswag_da: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 203/291 [29:23<13:13, 9.01s/it][A + hellaswag_da: 70%|██████████████████████████████████████████████████████████████████████████████▌ | 204/291 [29:33<13:07, 9.05s/it][A + hellaswag_da: 70%|██████████████████████████████████████████████████████████████████████████████▉ | 205/291 [29:41<12:32, 8.74s/it][A + hellaswag_da: 71%|███████████████████████████████████████████████████████████████████████████████▎ | 206/291 [29:49<12:19, 8.70s/it][A + hellaswag_da: 71%|███████████████████████████████████████████████████████████████████████████████▋ | 207/291 [29:58<12:22, 8.84s/it][A + hellaswag_da: 71%|████████████████████████████████████████████████████████████████████████████████ | 208/291 [30:08<12:27, 9.01s/it][A + hellaswag_da: 72%|████████████████████████████████████████████████████████████████████████████████▍ | 209/291 [30:17<12:12, 8.93s/it][A + hellaswag_da: 72%|████████████████████████████████████████████████████████████████████████████████▊ | 210/291 [30:26<12:08, 8.99s/it][A + hellaswag_da: 73%|█████████████████████████████████████████████████████████████████████████████████▏ | 211/291 [30:34<11:46, 8.83s/it][A + hellaswag_da: 73%|█████████████████████████████████████████████████████████████████████████████████▌ | 212/291 [30:43<11:35, 8.80s/it][A + hellaswag_da: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 213/291 [30:52<11:36, 8.93s/it][A + hellaswag_da: 74%|██████████████████████████████████████████████████████████████████████████████████▎ | 214/291 [31:00<11:09, 8.70s/it][A + hellaswag_da: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 215/291 [31:09<11:03, 8.73s/it][A + hellaswag_da: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 216/291 [31:18<10:54, 8.73s/it][A + hellaswag_da: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 217/291 [31:26<10:45, 8.73s/it][A + hellaswag_da: 75%|███████████████████████████████████████████████████████████████████████████████████▉ | 218/291 [31:35<10:35, 8.71s/it][A + hellaswag_da: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 219/291 [31:44<10:33, 8.80s/it][A + hellaswag_da: 76%|████████████████████████████████████████████████████████████████████████████████████▋ | 220/291 [31:53<10:22, 8.76s/it][A + hellaswag_da: 76%|█████████████████████████████████████████████████████████████████████████████████████ | 221/291 [32:02<10:11, 8.74s/it][A + hellaswag_da: 76%|█████████████████████████████████████████████████████████████████████████████████████▍ | 222/291 [32:10<10:01, 8.71s/it][A + hellaswag_da: 77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 223/291 [32:19<09:49, 8.66s/it][A + hellaswag_da: 77%|██████████████████████████████████████████████████████████████████████████████████████▏ | 224/291 [32:27<09:37, 8.62s/it][A + hellaswag_da: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 225/291 [32:35<09:16, 8.43s/it][A + hellaswag_da: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 226/291 [32:44<09:08, 8.44s/it][A + hellaswag_da: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 227/291 [32:53<09:10, 8.60s/it][A + hellaswag_da: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 228/291 [33:01<09:05, 8.66s/it][A + hellaswag_da: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 229/291 [33:10<08:53, 8.60s/it][A + hellaswag_da: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 230/291 [33:19<08:48, 8.67s/it][A + hellaswag_da: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 231/291 [33:27<08:40, 8.67s/it][A + hellaswag_da: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 232/291 [33:37<08:41, 8.83s/it][A + hellaswag_da: 80%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 233/291 [33:45<08:26, 8.72s/it][A + hellaswag_da: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 234/291 [33:54<08:21, 8.80s/it][A + hellaswag_da: 81%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 235/291 [34:03<08:15, 8.85s/it][A + hellaswag_da: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 236/291 [34:12<08:02, 8.78s/it][A + hellaswag_da: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 237/291 [34:21<08:03, 8.96s/it][A + hellaswag_da: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 238/291 [34:29<07:36, 8.62s/it][A + hellaswag_da: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 239/291 [34:38<07:38, 8.81s/it][A + hellaswag_da: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 240/291 [34:47<07:30, 8.84s/it][A + hellaswag_da: 83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 241/291 [34:56<07:16, 8.73s/it][A + hellaswag_da: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 242/291 [35:04<07:06, 8.71s/it][A + hellaswag_da: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 243/291 [35:13<06:59, 8.75s/it][A + hellaswag_da: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 244/291 [35:22<06:55, 8.85s/it][A + hellaswag_da: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 245/291 [35:31<06:53, 8.99s/it][A + hellaswag_da: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 246/291 [35:40<06:39, 8.89s/it][A + hellaswag_da: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 247/291 [35:49<06:28, 8.83s/it][A + hellaswag_da: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/291 [35:57<06:16, 8.76s/it][A + hellaswag_da: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/291 [36:06<06:10, 8.83s/it][A + hellaswag_da: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/291 [36:15<06:03, 8.88s/it][A + hellaswag_da: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 251/291 [36:24<05:56, 8.91s/it][A + hellaswag_da: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 252/291 [36:33<05:44, 8.83s/it][A + hellaswag_da: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 253/291 [36:42<05:34, 8.79s/it][A + hellaswag_da: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 254/291 [36:50<05:21, 8.69s/it][A + hellaswag_da: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 255/291 [36:59<05:13, 8.71s/it][A + hellaswag_da: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 256/291 [37:08<05:04, 8.69s/it][A + hellaswag_da: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 257/291 [37:16<04:53, 8.62s/it][A + hellaswag_da: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 258/291 [37:24<04:42, 8.56s/it][A + hellaswag_da: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 259/291 [37:33<04:34, 8.57s/it][A + hellaswag_da: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 260/291 [37:41<04:24, 8.53s/it][A + hellaswag_da: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 261/291 [37:50<04:18, 8.62s/it][A + hellaswag_da: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 262/291 [37:58<04:04, 8.43s/it][A + hellaswag_da: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 263/291 [38:07<03:57, 8.48s/it][A + hellaswag_da: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 264/291 [38:16<03:52, 8.59s/it][A + hellaswag_da: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 265/291 [38:25<03:49, 8.84s/it][A + hellaswag_da: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 266/291 [38:34<03:39, 8.76s/it][A + hellaswag_da: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 267/291 [38:42<03:29, 8.74s/it][A + hellaswag_da: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 268/291 [38:51<03:21, 8.77s/it][A + hellaswag_da: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 269/291 [39:00<03:11, 8.72s/it][A + hellaswag_da: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 270/291 [39:08<02:58, 8.50s/it][A + hellaswag_da: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 271/291 [39:16<02:50, 8.54s/it][A + hellaswag_da: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 272/291 [39:25<02:45, 8.68s/it][A + hellaswag_da: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 273/291 [39:34<02:35, 8.63s/it][A + hellaswag_da: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 274/291 [39:43<02:27, 8.66s/it][A + hellaswag_da: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 275/291 [39:52<02:19, 8.75s/it][A + hellaswag_da: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 276/291 [40:00<02:11, 8.76s/it][A + hellaswag_da: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 277/291 [40:09<02:02, 8.74s/it][A + hellaswag_da: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 278/291 [40:18<01:52, 8.67s/it][A + hellaswag_da: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 279/291 [40:27<01:46, 8.85s/it][A + hellaswag_da: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 280/291 [40:35<01:36, 8.76s/it][A + hellaswag_da: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 281/291 [40:45<01:29, 8.91s/it][A + hellaswag_da: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 282/291 [40:53<01:19, 8.81s/it][A + hellaswag_da: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 283/291 [41:02<01:10, 8.82s/it][A + hellaswag_da: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 284/291 [41:11<01:01, 8.78s/it][A + hellaswag_da: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 285/291 [41:20<00:52, 8.81s/it][A + hellaswag_da: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 286/291 [41:29<00:44, 8.88s/it][A + hellaswag_da: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 287/291 [41:37<00:35, 8.82s/it][A + hellaswag_da: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 288/291 [41:46<00:26, 8.83s/it][A + hellaswag_da: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 289/291 [41:56<00:17, 8.97s/it][A + hellaswag_da: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 290/291 [42:04<00:08, 8.83s/it][A + hellaswag_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 291/291 [42:11<00:00, 8.38s/it][A hellaswag_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 291/291 [42:11<00:00, 8.70s/it] +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_da_acc 0.4268672756582483 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_da_acc_norm 0.570123589468028 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 13:04:28,316 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 13:04:28,316 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:28,447 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 13:04:28,448 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:28,579 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 13:04:28,579 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:28,711 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 13:04:28,712 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 13:04:28,712 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 13:04:28,845 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 13:04:28,845 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_da_acc'} +2024-05-29 13:04:28,912 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 13:04:28,912 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1147, 'value': 0.4268672756582483} +2024-05-29 13:04:28,979 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 13:04:29,629 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 13:04:29,629 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:29,757 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 13:04:29,757 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:29,884 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 13:04:29,885 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:30,012 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 13:04:30,013 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 13:04:30,013 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 13:04:30,144 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 13:04:30,145 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_da_acc_norm'} +2024-05-29 13:04:30,209 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 13:04:30,209 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1148, 'value': 0.570123589468028} +2024-05-29 13:04:30,274 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 28%|██████████████████████████████▊ | 35/124 [6:16:59<59:29:18, 2406.27s/it]['hellaswag_de'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 13:04:30,886 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 13:04:30,886 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:31,006 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 13:04:31,006 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:31,126 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 13:04:31,126 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:04:31,245 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 13:04:31,246 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 13:04:31,246 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_de'} +2024-05-29 13:04:31,366 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_de task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:03, 3.03s/ examples][A + Generating validation split: 2000 examples [00:03, 891.34 examples/s][A + Generating validation split: 4000 examples [00:03, 2013.94 examples/s][A + Generating validation split: 6000 examples [00:03, 3371.91 examples/s][A + Generating validation split: 8000 examples [00:03, 4935.21 examples/s][A Generating validation split: 9368 examples [00:03, 2606.89 examples/s] +Loaded 9368 examples +Running loglikelihood requests + + hellaswag_de: 0%| | 0/293 [00:00<?, ?it/s][A + hellaswag_de: 0%|▍ | 1/293 [00:08<39:54, 8.20s/it][A + hellaswag_de: 1%|▊ | 2/293 [00:17<41:51, 8.63s/it][A + hellaswag_de: 1%|█▏ | 3/293 [00:25<40:29, 8.38s/it][A + hellaswag_de: 1%|█▌ | 4/293 [00:33<40:43, 8.45s/it][A + hellaswag_de: 2%|█▉ | 5/293 [00:41<39:54, 8.32s/it][A + hellaswag_de: 2%|██▎ | 6/293 [00:50<40:56, 8.56s/it][A + hellaswag_de: 2%|██▋ | 7/293 [00:59<40:42, 8.54s/it][A + hellaswag_de: 3%|███ | 8/293 [01:08<41:01, 8.64s/it][A + hellaswag_de: 3%|███▌ | 9/293 [01:16<40:24, 8.54s/it][A + hellaswag_de: 3%|███▊ | 10/293 [01:24<39:28, 8.37s/it][A + hellaswag_de: 4%|████▏ | 11/293 [01:33<39:52, 8.48s/it][A + hellaswag_de: 4%|████▋ | 12/293 [01:41<39:27, 8.42s/it][A + hellaswag_de: 4%|█████ | 13/293 [01:49<38:44, 8.30s/it][A + hellaswag_de: 5%|█████▍ | 14/293 [01:58<39:41, 8.54s/it][A + hellaswag_de: 5%|█████▊ | 15/293 [02:06<38:36, 8.33s/it][A + hellaswag_de: 5%|██████▏ | 16/293 [02:15<38:47, 8.40s/it][A + hellaswag_de: 6%|██████▌ | 17/293 [02:23<38:12, 8.31s/it][A + hellaswag_de: 6%|██████▉ | 18/293 [02:31<37:49, 8.25s/it][A + hellaswag_de: 6%|███████▎ | 19/293 [02:40<38:34, 8.45s/it][A + hellaswag_de: 7%|███████▋ | 20/293 [02:48<37:58, 8.35s/it][A + hellaswag_de: 7%|████████ | 21/293 [02:56<37:19, 8.23s/it][A + hellaswag_de: 8%|████████▍ | 22/293 [03:04<36:51, 8.16s/it][A + hellaswag_de: 8%|████████▊ | 23/293 [03:13<37:57, 8.44s/it][A + hellaswag_de: 8%|█████████▎ | 24/293 [03:21<37:03, 8.27s/it][A + hellaswag_de: 9%|█████████▋ | 25/293 [03:29<37:04, 8.30s/it][A + hellaswag_de: 9%|██████████ | 26/293 [03:37<36:28, 8.20s/it][A + hellaswag_de: 9%|██████████▍ | 27/293 [03:46<37:28, 8.45s/it][A + hellaswag_de: 10%|██████████▊ | 28/293 [03:55<37:38, 8.52s/it][A + hellaswag_de: 10%|███████████▏ | 29/293 [04:03<36:48, 8.37s/it][A + hellaswag_de: 10%|███████████▌ | 30/293 [04:11<36:26, 8.31s/it][A + hellaswag_de: 11%|███████████▉ | 31/293 [04:19<36:24, 8.34s/it][A + hellaswag_de: 11%|████████████▎ | 32/293 [04:28<37:04, 8.52s/it][A + hellaswag_de: 11%|████████████▋ | 33/293 [04:36<36:02, 8.32s/it][A + hellaswag_de: 12%|█████████████ | 34/293 [04:44<35:45, 8.28s/it][A + hellaswag_de: 12%|█████████████▍ | 35/293 [04:53<36:33, 8.50s/it][A + hellaswag_de: 12%|█████████████▉ | 36/293 [05:02<36:19, 8.48s/it][A + hellaswag_de: 13%|██████████████▎ | 37/293 [05:10<35:36, 8.35s/it][A + hellaswag_de: 13%|██████████████▋ | 38/293 [05:18<35:07, 8.26s/it][A + hellaswag_de: 13%|███████████████ | 39/293 [05:27<35:27, 8.37s/it][A + hellaswag_de: 14%|███████████████▍ | 40/293 [05:35<34:49, 8.26s/it][A + hellaswag_de: 14%|███████████████▊ | 41/293 [05:44<35:38, 8.49s/it][A + hellaswag_de: 14%|████████████████▏ | 42/293 [05:52<35:46, 8.55s/it][A + hellaswag_de: 15%|████████████████▌ | 43/293 [06:01<35:53, 8.61s/it][A + hellaswag_de: 15%|████████████████▉ | 44/293 [06:09<35:19, 8.51s/it][A + hellaswag_de: 15%|█████████████████▎ | 45/293 [06:17<34:42, 8.40s/it][A + hellaswag_de: 16%|█████████████████▋ | 46/293 [06:26<34:32, 8.39s/it][A + hellaswag_de: 16%|██████████████████▏ | 47/293 [06:34<34:16, 8.36s/it][A + hellaswag_de: 16%|██████████████████▌ | 48/293 [06:42<34:05, 8.35s/it][A + hellaswag_de: 17%|██████████████████▉ | 49/293 [06:51<34:36, 8.51s/it][A + hellaswag_de: 17%|███████████████████▎ | 50/293 [07:00<34:43, 8.57s/it][A + hellaswag_de: 17%|███████████████████▋ | 51/293 [07:08<33:39, 8.34s/it][A + hellaswag_de: 18%|████████████████████ | 52/293 [07:16<33:51, 8.43s/it][A + hellaswag_de: 18%|████████████████████▍ | 53/293 [07:25<33:55, 8.48s/it][A + hellaswag_de: 18%|████████████████████▊ | 54/293 [07:33<33:02, 8.29s/it][A + hellaswag_de: 19%|█████████████████████▏ | 55/293 [07:41<32:28, 8.19s/it][A + hellaswag_de: 19%|█████████████████████▌ | 56/293 [07:49<32:21, 8.19s/it][A + hellaswag_de: 19%|█████████████████████▉ | 57/293 [07:58<32:40, 8.31s/it][A + hellaswag_de: 20%|██████████████████████▎ | 58/293 [08:06<32:42, 8.35s/it][A + hellaswag_de: 20%|██████████████████████▊ | 59/293 [08:14<32:08, 8.24s/it][A + hellaswag_de: 20%|███████████████████████▏ | 60/293 [08:22<32:03, 8.25s/it][A + hellaswag_de: 21%|███████████████████████▌ | 61/293 [08:30<31:43, 8.20s/it][A + hellaswag_de: 21%|███████████████████████▉ | 62/293 [08:38<31:14, 8.11s/it][A + hellaswag_de: 22%|████████████████████████▎ | 63/293 [08:47<31:26, 8.20s/it][A + hellaswag_de: 22%|████████████████████████▋ | 64/293 [08:55<31:05, 8.14s/it][A + hellaswag_de: 22%|█████████████████████████ | 65/293 [09:04<32:00, 8.42s/it][A + hellaswag_de: 23%|█████████████████████████▍ | 66/293 [09:13<32:15, 8.52s/it][A + hellaswag_de: 23%|█████████████████████████▊ | 67/293 [09:22<32:57, 8.75s/it][A + hellaswag_de: 23%|██████████████████████████▏ | 68/293 [09:30<32:05, 8.56s/it][A + hellaswag_de: 24%|██████████████████████████▌ | 69/293 [09:39<32:42, 8.76s/it][A + hellaswag_de: 24%|██████████████████████████▉ | 70/293 [09:48<32:11, 8.66s/it][A + hellaswag_de: 24%|███████████████████████████▍ | 71/293 [09:56<31:18, 8.46s/it][A + hellaswag_de: 25%|███████████████████████████▊ | 72/293 [10:04<31:00, 8.42s/it][A + hellaswag_de: 25%|████████████████████████████▏ | 73/293 [10:12<30:20, 8.27s/it][A + hellaswag_de: 25%|████████████████████████████▌ | 74/293 [10:20<29:55, 8.20s/it][A + hellaswag_de: 26%|████████████████████████████▉ | 75/293 [10:29<30:20, 8.35s/it][A + hellaswag_de: 26%|█████████████████████████████▎ | 76/293 [10:37<30:10, 8.34s/it][A + hellaswag_de: 26%|█████████████████████████████▋ | 77/293 [10:45<29:44, 8.26s/it][A + hellaswag_de: 27%|██████████████████████████████ | 78/293 [10:53<29:48, 8.32s/it][A + hellaswag_de: 27%|██████████████████████████████▍ | 79/293 [11:02<30:01, 8.42s/it][A + hellaswag_de: 27%|██████████████████████████████▊ | 80/293 [11:10<29:23, 8.28s/it][A + hellaswag_de: 28%|███████████████████████████████▏ | 81/293 [11:18<28:51, 8.17s/it][A + hellaswag_de: 28%|███████████████████████████████▌ | 82/293 [11:26<28:30, 8.11s/it][A + hellaswag_de: 28%|████████████████████████████████ | 83/293 [11:35<29:17, 8.37s/it][A + hellaswag_de: 29%|████████████████████████████████▍ | 84/293 [11:43<28:46, 8.26s/it][A + hellaswag_de: 29%|████████████████████████████████▊ | 85/293 [11:52<28:57, 8.35s/it][A + hellaswag_de: 29%|█████████████████████████████████▏ | 86/293 [12:00<29:03, 8.42s/it][A + hellaswag_de: 30%|█████████████████████████████████▌ | 87/293 [12:08<28:51, 8.41s/it][A + hellaswag_de: 30%|█████████████████████████████████▉ | 88/293 [12:17<29:06, 8.52s/it][A + hellaswag_de: 30%|██████████████████████████████████▎ | 89/293 [12:26<28:44, 8.45s/it][A + hellaswag_de: 31%|██████████████████████████████████▋ | 90/293 [12:35<29:10, 8.62s/it][A + hellaswag_de: 31%|███████████████████████████████████ | 91/293 [12:43<28:21, 8.42s/it][A + hellaswag_de: 31%|███████████████████████████████████▍ | 92/293 [12:50<27:41, 8.26s/it][A + hellaswag_de: 32%|███████████████████████████████████▊ | 93/293 [12:58<27:15, 8.18s/it][A + hellaswag_de: 32%|████████████████████████████████████▎ | 94/293 [13:07<27:19, 8.24s/it][A + hellaswag_de: 32%|████████████████████████████████████▋ | 95/293 [13:15<27:03, 8.20s/it][A + hellaswag_de: 33%|█████████████████████████████████████ | 96/293 [13:23<26:37, 8.11s/it][A + hellaswag_de: 33%|█████████████████████████████████████▍ | 97/293 [13:31<26:30, 8.12s/it][A + hellaswag_de: 33%|█████████████████████████████████████▊ | 98/293 [13:39<26:33, 8.17s/it][A + hellaswag_de: 34%|██████████████████████████████████████▏ | 99/293 [13:48<27:25, 8.48s/it][A + hellaswag_de: 34%|██████████████████████████████████████▏ | 100/293 [13:56<26:52, 8.35s/it][A + hellaswag_de: 34%|██████████████████████████████████████▌ | 101/293 [14:05<26:51, 8.39s/it][A + hellaswag_de: 35%|██████████████████████████████████████▉ | 102/293 [14:13<26:29, 8.32s/it][A + hellaswag_de: 35%|███████████████████████████████████████▎ | 103/293 [14:21<25:58, 8.20s/it][A + hellaswag_de: 35%|███████████████████████████████████████▊ | 104/293 [14:29<26:03, 8.27s/it][A + hellaswag_de: 36%|████████████████████████████████████████▏ | 105/293 [14:37<25:37, 8.18s/it][A + hellaswag_de: 36%|████████████████████████████████████████▌ | 106/293 [14:46<25:37, 8.22s/it][A + hellaswag_de: 37%|████████████████████████████████████████▉ | 107/293 [14:54<25:34, 8.25s/it][A + hellaswag_de: 37%|█████████████████████████████████████████▎ | 108/293 [15:02<25:18, 8.21s/it][A + hellaswag_de: 37%|█████████████████████████████████████████▋ | 109/293 [15:10<25:03, 8.17s/it][A + hellaswag_de: 38%|██████████████████████████████████████████ | 110/293 [15:19<25:05, 8.23s/it][A + hellaswag_de: 38%|██████████████████████████████████████████▍ | 111/293 [15:27<24:43, 8.15s/it][A + hellaswag_de: 38%|██████████████████████████████████████████▊ | 112/293 [15:35<25:05, 8.32s/it][A + hellaswag_de: 39%|███████████████████████████████████████████▏ | 113/293 [15:43<24:42, 8.24s/it][A + hellaswag_de: 39%|███████████████████████████████████████████▌ | 114/293 [15:51<24:24, 8.18s/it][A + hellaswag_de: 39%|███████████████████████████████████████████▉ | 115/293 [15:59<24:04, 8.11s/it][A + hellaswag_de: 40%|████████████████████████████████████████████▎ | 116/293 [16:07<23:40, 8.02s/it][A + hellaswag_de: 40%|████████████████████████████████████████████▋ | 117/293 [16:16<24:30, 8.35s/it][A + hellaswag_de: 40%|█████████████████████████████████████████████ | 118/293 [16:24<24:04, 8.25s/it][A + hellaswag_de: 41%|█████████████████████████████████████████████▍ | 119/293 [16:33<24:04, 8.30s/it][A + hellaswag_de: 41%|█████████████████████████████████████████████▊ | 120/293 [16:41<23:44, 8.23s/it][A + hellaswag_de: 41%|██████████████████████████████████████████████▎ | 121/293 [16:49<23:44, 8.28s/it][A + hellaswag_de: 42%|██████████████████████████████████████████████▋ | 122/293 [16:57<23:26, 8.22s/it][A + hellaswag_de: 42%|███████████████████████████████████████████████ | 123/293 [17:06<23:48, 8.40s/it][A + hellaswag_de: 42%|███████████████████████████████████████████████▍ | 124/293 [17:14<23:38, 8.40s/it][A + hellaswag_de: 43%|███████████████████████████████████████████████▊ | 125/293 [17:23<23:25, 8.36s/it][A + hellaswag_de: 43%|████████████████████████████████████████████████▏ | 126/293 [17:31<22:56, 8.24s/it][A + hellaswag_de: 43%|████████████████████████████████████████████████▌ | 127/293 [17:39<22:33, 8.16s/it][A + hellaswag_de: 44%|████████████████████████████████████████████████▉ | 128/293 [17:47<22:15, 8.09s/it][A + hellaswag_de: 44%|█████████████████████████████████████████████████▎ | 129/293 [17:55<22:36, 8.27s/it][A + hellaswag_de: 44%|█████████████████████████████████████████████████▋ | 130/293 [18:03<22:09, 8.16s/it][A + hellaswag_de: 45%|██████████████████████████████████████████████████ | 131/293 [18:11<21:53, 8.11s/it][A + hellaswag_de: 45%|██████████████████████████████████████████████████▍ | 132/293 [18:19<21:54, 8.16s/it][A + hellaswag_de: 45%|██████████████████████████████████████████████████▊ | 133/293 [18:28<21:50, 8.19s/it][A + hellaswag_de: 46%|███████████████████████████████████████████████████▏ | 134/293 [18:36<21:35, 8.15s/it][A + hellaswag_de: 46%|███████████████████████████████████████████████████▌ | 135/293 [18:44<21:44, 8.25s/it][A + hellaswag_de: 46%|███████████████████████████████████████████████████▉ | 136/293 [18:52<21:21, 8.16s/it][A + hellaswag_de: 47%|████████████████████████████████████████████████████▎ | 137/293 [19:01<21:51, 8.41s/it][A + hellaswag_de: 47%|████████████████████████████████████████████████████▊ | 138/293 [19:09<21:24, 8.29s/it][A + hellaswag_de: 47%|█████████████████████████████████████████████████████▏ | 139/293 [19:18<21:34, 8.40s/it][A + hellaswag_de: 48%|█████████████████████████████████████████████████████▌ | 140/293 [19:26<21:11, 8.31s/it][A + hellaswag_de: 48%|█████████████████████████████████████████████████████▉ | 141/293 [19:34<21:08, 8.35s/it][A + hellaswag_de: 48%|██████████████████████████████████████████████████████▎ | 142/293 [19:42<20:45, 8.25s/it][A + hellaswag_de: 49%|██████████████████████████████████████████████████████▋ | 143/293 [19:50<20:23, 8.16s/it][A + hellaswag_de: 49%|███████████████████████████████████████████████████████ | 144/293 [19:59<20:36, 8.30s/it][A + hellaswag_de: 49%|███████████████████████████████████████████████████████▍ | 145/293 [20:07<20:22, 8.26s/it][A + hellaswag_de: 50%|███████████████████████████████████████████████████████▊ | 146/293 [20:15<20:02, 8.18s/it][A + hellaswag_de: 50%|████████████████████████████████████████████████████████▏ | 147/293 [20:24<20:25, 8.39s/it][A + hellaswag_de: 51%|████████████████████████████████████████████████████████▌ | 148/293 [20:33<20:28, 8.47s/it][A + hellaswag_de: 51%|████████████████████████████████████████████████████████▉ | 149/293 [20:41<20:04, 8.37s/it][A + hellaswag_de: 51%|█████████████████████████████████████████████████████████▎ | 150/293 [20:49<19:37, 8.24s/it][A + hellaswag_de: 52%|█████████████████████████████████████████████████████████▋ | 151/293 [20:57<19:40, 8.31s/it][A + hellaswag_de: 52%|██████████████████████████████████████████████████████████ | 152/293 [21:05<19:16, 8.20s/it][A + hellaswag_de: 52%|██████████████████████████████████████████████████████████▍ | 153/293 [21:13<18:59, 8.14s/it][A + hellaswag_de: 53%|██████████████████████████████████████████████████████████▊ | 154/293 [21:21<18:40, 8.06s/it][A + hellaswag_de: 53%|███████████████████████████████████████████████████████████▏ | 155/293 [21:29<18:28, 8.03s/it][A + hellaswag_de: 53%|███████████████████████████████████████████████████████████▋ | 156/293 [21:37<18:20, 8.03s/it][A + hellaswag_de: 54%|████████████████████████████████████████████████████████████ | 157/293 [21:46<18:55, 8.35s/it][A + hellaswag_de: 54%|████████████████████████████████████████████████████████████▍ | 158/293 [21:54<18:37, 8.28s/it][A + hellaswag_de: 54%|████████████████████████████████████████████████████████████▊ | 159/293 [22:03<18:33, 8.31s/it][A + hellaswag_de: 55%|█████████████████████████████████████████████████████████████▏ | 160/293 [22:11<18:19, 8.27s/it][A + hellaswag_de: 55%|█████████████████████████████████████████████████████████████▌ | 161/293 [22:19<17:57, 8.16s/it][A + hellaswag_de: 55%|█████████████████████████████████████████████████████████████▉ | 162/293 [22:27<17:43, 8.12s/it][A + hellaswag_de: 56%|██████████████████████████████████████████████████████████████▎ | 163/293 [22:35<17:26, 8.05s/it][A + hellaswag_de: 56%|██████████████████████████████████████████████████████████████▋ | 164/293 [22:43<17:33, 8.17s/it][A + hellaswag_de: 56%|███████████████████████████████████████████████████████████████ | 165/293 [22:51<17:15, 8.09s/it][A + hellaswag_de: 57%|███████████████████████████████████████████████████████████████▍ | 166/293 [23:00<17:39, 8.34s/it][A + hellaswag_de: 57%|███████████████████████████████████████████████████████████████▊ | 167/293 [23:08<17:15, 8.22s/it][A + hellaswag_de: 57%|████████████████████████████████████████████████████████████████▏ | 168/293 [23:16<17:02, 8.18s/it][A + hellaswag_de: 58%|████████████████████████████████████████████████████████████████▌ | 169/293 [23:24<16:50, 8.15s/it][A + hellaswag_de: 58%|████████████████████████████████████████████████████████████████▉ | 170/293 [23:33<16:57, 8.27s/it][A + hellaswag_de: 58%|█████████████████████████████████████████████████████████████████▎ | 171/293 [23:41<16:37, 8.18s/it][A + hellaswag_de: 59%|█████████████████████████████████████████████████████████████████▋ | 172/293 [23:49<16:31, 8.20s/it][A + hellaswag_de: 59%|██████████████████████████████████████████████████████████████████▏ | 173/293 [23:57<16:20, 8.17s/it][A + hellaswag_de: 59%|██████████████████████████████████████████████████████████████████▌ | 174/293 [24:05<16:25, 8.28s/it][A + hellaswag_de: 60%|██████████████████████████████████████████████████████████████████▉ | 175/293 [24:13<16:05, 8.19s/it][A + hellaswag_de: 60%|███████████████████████████████████████████████████████████████████▎ | 176/293 [24:22<16:18, 8.37s/it][A + hellaswag_de: 60%|███████████████████████████████████████████████████████████████████▋ | 177/293 [24:31<16:08, 8.35s/it][A + hellaswag_de: 61%|████████████████████████████████████████████████████████████████████ | 178/293 [24:38<15:45, 8.22s/it][A + hellaswag_de: 61%|████████████████████████████████████████████████████████████████████▍ | 179/293 [24:47<15:49, 8.33s/it][A + hellaswag_de: 61%|████████████████████████████████████████████████████████████████████▊ | 180/293 [24:55<15:26, 8.20s/it][A + hellaswag_de: 62%|█████████████████████████████████████████████████████████████████████▏ | 181/293 [25:04<15:31, 8.32s/it][A + hellaswag_de: 62%|█████████████████████████████████████████████████████████████████████▌ | 182/293 [25:11<15:11, 8.21s/it][A + hellaswag_de: 62%|█████████████████████████████████████████████████████████████████████▉ | 183/293 [25:19<14:56, 8.15s/it][A + hellaswag_de: 63%|██████████████████████████████████████████████████████████████████████▎ | 184/293 [25:28<14:56, 8.23s/it][A + hellaswag_de: 63%|██████████████████████████████████████████████████████████████████████▋ | 185/293 [25:36<14:42, 8.17s/it][A + hellaswag_de: 63%|███████████████████████████████████████████████████████████████████████ | 186/293 [25:44<14:29, 8.12s/it][A + hellaswag_de: 64%|███████████████████████████████████████████████████████████████████████▍ | 187/293 [25:52<14:16, 8.08s/it][A + hellaswag_de: 64%|███████████████████████████████████████████████████████████████████████▊ | 188/293 [26:01<14:41, 8.40s/it][A + hellaswag_de: 65%|████████████████████████████████████████████████████████████████████████▏ | 189/293 [26:10<14:47, 8.54s/it][A + hellaswag_de: 65%|████████████████████████████████████████████████████████████████████████▋ | 190/293 [26:18<14:27, 8.42s/it][A + hellaswag_de: 65%|█████████████████████████████████████████████████████████████████████████ | 191/293 [26:26<14:11, 8.35s/it][A + hellaswag_de: 66%|█████████████████████████████████████████████████████████████████████████▍ | 192/293 [26:35<14:06, 8.38s/it][A + hellaswag_de: 66%|█████████████████████████████████████████████████████████████████████████▊ | 193/293 [26:43<13:45, 8.26s/it][A + hellaswag_de: 66%|██████████████████████████████████████████████████████████████████████████▏ | 194/293 [26:51<13:48, 8.37s/it][A + hellaswag_de: 67%|██████████████████████████████████████████████████████████████████████████▌ | 195/293 [26:59<13:28, 8.25s/it][A + hellaswag_de: 67%|██████████████████████████████████████████████████████████████████████████▉ | 196/293 [27:07<13:11, 8.16s/it][A + hellaswag_de: 67%|███████████████████████████████████████████████████████████████████████████▎ | 197/293 [27:17<13:37, 8.52s/it][A + hellaswag_de: 68%|███████████████████████████████████████████████████████████████████████████▋ | 198/293 [27:25<13:39, 8.63s/it][A + hellaswag_de: 68%|████████████████████████████████████████████████████████████████████████████ | 199/293 [27:33<13:13, 8.44s/it][A + hellaswag_de: 68%|████████████████████████████████████████████████████████████████████████████▍ | 200/293 [27:41<12:50, 8.28s/it][A + hellaswag_de: 69%|████████████████████████████████████████████████████████████████████████████▊ | 201/293 [27:50<12:53, 8.41s/it][A + hellaswag_de: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 202/293 [27:58<12:44, 8.40s/it][A + hellaswag_de: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 203/293 [28:07<12:37, 8.42s/it][A + hellaswag_de: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 204/293 [28:15<12:15, 8.26s/it][A + hellaswag_de: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 205/293 [28:24<12:19, 8.40s/it][A + hellaswag_de: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 206/293 [28:33<12:26, 8.58s/it][A + hellaswag_de: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 207/293 [28:41<12:01, 8.39s/it][A + hellaswag_de: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 208/293 [28:49<11:54, 8.41s/it][A + hellaswag_de: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 209/293 [28:57<11:35, 8.28s/it][A + hellaswag_de: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 210/293 [29:05<11:28, 8.30s/it][A + hellaswag_de: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 211/293 [29:13<11:11, 8.19s/it][A + hellaswag_de: 72%|█████████████████████████████████████████████████████████████████████████████████ | 212/293 [29:22<11:09, 8.26s/it][A + hellaswag_de: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 213/293 [29:30<11:12, 8.40s/it][A + hellaswag_de: 73%|█████████████████████████████████████████████████████████████████████████████████▊ | 214/293 [29:38<10:55, 8.30s/it][A + hellaswag_de: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 215/293 [29:47<10:55, 8.40s/it][A + hellaswag_de: 74%|██████████████████████████████████████████████████████████████████████████████████▌ | 216/293 [29:55<10:41, 8.33s/it][A + hellaswag_de: 74%|██████████████████████████████████████████████████████████████████████████████████▉ | 217/293 [30:04<10:39, 8.41s/it][A + hellaswag_de: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 218/293 [30:12<10:32, 8.44s/it][A + hellaswag_de: 75%|███████████████████████████████████████████████████████████████████████████████████▋ | 219/293 [30:20<10:12, 8.28s/it][A + hellaswag_de: 75%|████████████████████████████████████████████████████████████████████████████████████ | 220/293 [30:28<09:57, 8.18s/it][A + hellaswag_de: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 221/293 [30:37<09:57, 8.30s/it][A + hellaswag_de: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 222/293 [30:45<09:44, 8.24s/it][A + hellaswag_de: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 223/293 [30:53<09:32, 8.17s/it][A + hellaswag_de: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 224/293 [31:01<09:21, 8.13s/it][A + hellaswag_de: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 225/293 [31:09<09:16, 8.18s/it][A + hellaswag_de: 77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 226/293 [31:17<09:06, 8.15s/it][A + hellaswag_de: 77%|██████████████████████████████████████████████████████████████████████████████████████▊ | 227/293 [31:25<08:56, 8.13s/it][A + hellaswag_de: 78%|███████████████████████████████████████████████████████████████████████████████████████▏ | 228/293 [31:33<08:47, 8.11s/it][A + hellaswag_de: 78%|███████████████████████████████████████████████████████████████████████████████████████▌ | 229/293 [31:43<08:59, 8.42s/it][A + hellaswag_de: 78%|███████████████████████████████████████████████████████████████████████████████████████▉ | 230/293 [31:51<08:46, 8.35s/it][A + hellaswag_de: 79%|████████████████████████████████████████████████████████████████████████████████████████▎ | 231/293 [31:59<08:31, 8.25s/it][A + hellaswag_de: 79%|████████████████████████████████████████████████████████████████████████████████████████▋ | 232/293 [32:07<08:17, 8.15s/it][A + hellaswag_de: 80%|█████████████████████████████████████████████████████████████████████████████████████████ | 233/293 [32:16<08:22, 8.37s/it][A + hellaswag_de: 80%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 234/293 [32:24<08:15, 8.40s/it][A + hellaswag_de: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 235/293 [32:32<08:00, 8.28s/it][A + hellaswag_de: 81%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 236/293 [32:41<07:58, 8.40s/it][A + hellaswag_de: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 237/293 [32:49<07:45, 8.32s/it][A + hellaswag_de: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 238/293 [32:58<07:43, 8.42s/it][A + hellaswag_de: 82%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 239/293 [33:06<07:28, 8.31s/it][A + hellaswag_de: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 240/293 [33:14<07:28, 8.47s/it][A + hellaswag_de: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 241/293 [33:23<07:14, 8.36s/it][A + hellaswag_de: 83%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 242/293 [33:31<07:00, 8.24s/it][A + hellaswag_de: 83%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 243/293 [33:39<06:48, 8.17s/it][A + hellaswag_de: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 244/293 [33:47<06:39, 8.14s/it][A + hellaswag_de: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 245/293 [33:55<06:29, 8.12s/it][A + hellaswag_de: 84%|██████████████████████████████████████████████████████████████████████████████████████████████ | 246/293 [34:03<06:23, 8.16s/it][A + hellaswag_de: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/293 [34:11<06:19, 8.26s/it][A + hellaswag_de: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/293 [34:19<06:06, 8.15s/it][A + hellaswag_de: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/293 [34:28<06:05, 8.30s/it][A + hellaswag_de: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/293 [34:37<06:01, 8.42s/it][A + hellaswag_de: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/293 [34:45<05:56, 8.48s/it][A + hellaswag_de: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/293 [34:54<05:49, 8.54s/it][A + hellaswag_de: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/293 [35:03<05:47, 8.68s/it][A + hellaswag_de: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 254/293 [35:12<05:39, 8.71s/it][A + hellaswag_de: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/293 [35:20<05:31, 8.71s/it][A + hellaswag_de: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/293 [35:29<05:22, 8.71s/it][A + hellaswag_de: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 257/293 [35:38<05:15, 8.75s/it][A + hellaswag_de: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 258/293 [35:47<05:06, 8.75s/it][A + hellaswag_de: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 259/293 [35:56<04:57, 8.76s/it][A + hellaswag_de: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/293 [36:04<04:44, 8.61s/it][A + hellaswag_de: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/293 [36:13<04:36, 8.65s/it][A + hellaswag_de: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/293 [36:21<04:27, 8.64s/it][A + hellaswag_de: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/293 [36:29<04:11, 8.38s/it][A + hellaswag_de: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/293 [36:37<03:59, 8.26s/it][A + hellaswag_de: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/293 [36:45<03:51, 8.25s/it][A + hellaswag_de: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/293 [36:54<03:44, 8.31s/it][A + hellaswag_de: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/293 [37:02<03:34, 8.25s/it][A + hellaswag_de: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 268/293 [37:10<03:23, 8.13s/it][A + hellaswag_de: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 269/293 [37:18<03:18, 8.26s/it][A + hellaswag_de: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 270/293 [37:26<03:08, 8.21s/it][A + hellaswag_de: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 271/293 [37:34<03:00, 8.20s/it][A + hellaswag_de: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 272/293 [37:42<02:50, 8.13s/it][A + hellaswag_de: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 273/293 [37:51<02:46, 8.33s/it][A + hellaswag_de: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 274/293 [37:59<02:37, 8.31s/it][A + hellaswag_de: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 275/293 [38:07<02:26, 8.15s/it][A + hellaswag_de: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 276/293 [38:15<02:19, 8.18s/it][A + hellaswag_de: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 277/293 [38:24<02:12, 8.25s/it][A + hellaswag_de: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 278/293 [38:32<02:02, 8.19s/it][A + hellaswag_de: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 279/293 [38:40<01:53, 8.14s/it][A + hellaswag_de: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 280/293 [38:48<01:44, 8.06s/it][A + hellaswag_de: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 281/293 [38:56<01:38, 8.20s/it][A + hellaswag_de: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 282/293 [39:05<01:32, 8.38s/it][A + hellaswag_de: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 283/293 [39:13<01:22, 8.29s/it][A + hellaswag_de: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 284/293 [39:21<01:14, 8.25s/it][A + hellaswag_de: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 285/293 [39:29<01:05, 8.16s/it][A + hellaswag_de: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 286/293 [39:38<00:57, 8.28s/it][A + hellaswag_de: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 287/293 [39:46<00:49, 8.23s/it][A + hellaswag_de: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 288/293 [39:54<00:40, 8.13s/it][A + hellaswag_de: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 289/293 [40:02<00:32, 8.09s/it][A + hellaswag_de: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 290/293 [40:10<00:24, 8.17s/it][A + hellaswag_de: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 291/293 [40:19<00:16, 8.22s/it][A + hellaswag_de: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 292/293 [40:27<00:08, 8.29s/it][A + hellaswag_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [40:34<00:00, 7.95s/it][A hellaswag_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [40:34<00:00, 8.31s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_de_acc 0.5149444918872759 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_de_acc_norm 0.6796541417591802 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 13:45:11,434 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 13:45:11,434 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:11,559 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 13:45:11,559 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:11,683 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 13:45:11,683 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:11,807 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 13:45:11,808 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 13:45:11,808 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 13:45:11,934 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 13:45:11,934 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_de_acc'} +2024-05-29 13:45:11,997 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 13:45:11,997 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1149, 'value': 0.5149444918872759} +2024-05-29 13:45:12,061 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 13:45:12,720 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 13:45:12,720 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:12,850 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 13:45:12,850 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:12,981 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 13:45:12,981 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:13,112 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 13:45:13,112 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 13:45:13,113 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 13:45:13,244 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 13:45:13,244 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_de_acc_norm'} +2024-05-29 13:45:13,310 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 13:45:13,310 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1150, 'value': 0.6796541417591802} +2024-05-29 13:45:13,376 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 29%|███████████████████████████████▋ | 36/124 [6:57:42<59:05:24, 2417.32s/it]['hellaswag_es'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 13:45:14,025 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 13:45:14,025 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:14,153 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 13:45:14,153 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:14,280 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 13:45:14,280 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 13:45:14,408 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 13:45:14,409 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 13:45:14,409 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'hellaswag_es'} +2024-05-29 13:45:14,537 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_es task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.67s/ examples][A + Generating validation split: 1974 examples [00:02, 996.40 examples/s][A + Generating validation split: 3620 examples [00:02, 2036.57 examples/s][A + Generating validation split: 5273 examples [00:02, 3307.01 examples/s][A + Generating validation split: 7000 examples [00:03, 4838.54 examples/s][A + Generating validation split: 9000 examples [00:03, 6754.70 examples/s][A Generating validation split: 9374 examples [00:03, 2898.93 examples/s] +Loaded 9374 examples +Running loglikelihood requests + + hellaswag_es: 0%| | 0/293 [00:00<?, ?it/s][A + hellaswag_es: 0%|▍ | 1/293 [00:08<40:10, 8.26s/it][A + hellaswag_es: 1%|▊ | 2/293 [00:16<38:43, 7.98s/it][A + hellaswag_es: 1%|█▏ | 3/293 [00:24<38:45, 8.02s/it][A + hellaswag_es: 1%|█▌ | 4/293 [00:32<39:53, 8.28s/it][A + hellaswag_es: 2%|█▉ | 5/293 [00:41<39:47, 8.29s/it][A + hellaswag_es: 2%|██▎ | 6/293 [00:48<38:50, 8.12s/it][A + hellaswag_es: 2%|██▋ | 7/293 [00:56<38:15, 8.03s/it][A + hellaswag_es: 3%|███ | 8/293 [01:04<37:50, 7.97s/it][A + hellaswag_es: 3%|███▌ | 9/293 [01:12<37:54, 8.01s/it][A + hellaswag_es: 3%|███▊ | 10/293 [01:20<37:42, 7.99s/it][A + hellaswag_es: 4%|████▏ | 11/293 [01:28<37:16, 7.93s/it][A + hellaswag_es: 4%|████▋ | 12/293 [01:36<36:59, 7.90s/it][A + hellaswag_es: 4%|█████ | 13/293 [01:44<36:57, 7.92s/it][A + hellaswag_es: 5%|█████▍ | 14/293 [01:52<36:41, 7.89s/it][A + hellaswag_es: 5%|█████▊ | 15/293 [02:00<36:55, 7.97s/it][A + hellaswag_es: 5%|██████▏ | 16/293 [02:08<37:19, 8.08s/it][A + hellaswag_es: 6%|██████▌ | 17/293 [02:16<37:11, 8.09s/it][A + hellaswag_es: 6%|██████▉ | 18/293 [02:24<36:50, 8.04s/it][A + hellaswag_es: 6%|███████▎ | 19/293 [02:33<37:47, 8.27s/it][A + hellaswag_es: 7%|███████▋ | 20/293 [02:41<37:23, 8.22s/it][A + hellaswag_es: 7%|████████ | 21/293 [02:49<36:42, 8.10s/it][A + hellaswag_es: 8%|████████▍ | 22/293 [02:57<36:14, 8.02s/it][A + hellaswag_es: 8%|████████▊ | 23/293 [03:05<35:54, 7.98s/it][A + hellaswag_es: 8%|█████████▎ | 24/293 [03:12<35:45, 7.97s/it][A + hellaswag_es: 9%|█████████▋ | 25/293 [03:20<35:23, 7.93s/it][A + hellaswag_es: 9%|██████████ | 26/293 [03:28<35:06, 7.89s/it][A + hellaswag_es: 9%|██████████▍ | 27/293 [03:36<35:06, 7.92s/it][A + hellaswag_es: 10%|██████████▊ | 28/293 [03:45<36:02, 8.16s/it][A + hellaswag_es: 10%|███████████▏ | 29/293 [03:53<35:27, 8.06s/it][A + hellaswag_es: 10%|███████████▌ | 30/293 [04:01<35:11, 8.03s/it][A + hellaswag_es: 11%|███████████▉ | 31/293 [04:08<34:51, 7.98s/it][A + hellaswag_es: 11%|████████████▎ | 32/293 [04:17<34:58, 8.04s/it][A + hellaswag_es: 11%|████████████▋ | 33/293 [04:24<34:32, 7.97s/it][A + hellaswag_es: 12%|█████████████ | 34/293 [04:33<35:14, 8.17s/it][A + hellaswag_es: 12%|█████████████▍ | 35/293 [04:42<35:37, 8.29s/it][A + hellaswag_es: 12%|█████████████▉ | 36/293 [04:50<35:02, 8.18s/it][A + hellaswag_es: 13%|██████████████▎ | 37/293 [04:58<34:38, 8.12s/it][A + hellaswag_es: 13%|██████████████▋ | 38/293 [05:05<34:10, 8.04s/it][A + hellaswag_es: 13%|███████████████ | 39/293 [05:13<33:59, 8.03s/it][A + hellaswag_es: 14%|███████████████▍ | 40/293 [05:21<33:36, 7.97s/it][A + hellaswag_es: 14%|███████████████▊ | 41/293 [05:29<33:38, 8.01s/it][A + hellaswag_es: 14%|████████████████▏ | 42/293 [05:37<33:22, 7.98s/it][A + hellaswag_es: 15%|████████████████▌ | 43/293 [05:45<33:10, 7.96s/it][A + hellaswag_es: 15%|████████████████▉ | 44/293 [05:54<33:52, 8.16s/it][A + hellaswag_es: 15%|█████████████████▎ | 45/293 [06:02<34:16, 8.29s/it][A + hellaswag_es: 16%|█████████████████▋ | 46/293 [06:11<34:01, 8.26s/it][A + hellaswag_es: 16%|██████████████████▏ | 47/293 [06:19<33:32, 8.18s/it][A + hellaswag_es: 16%|██████████████████▌ | 48/293 [06:27<33:11, 8.13s/it][A + hellaswag_es: 17%|██████████████████▉ | 49/293 [06:35<32:51, 8.08s/it][A + hellaswag_es: 17%|███████████████████▎ | 50/293 [06:43<32:54, 8.13s/it][A + hellaswag_es: 17%|███████████████████▋ | 51/293 [06:51<33:23, 8.28s/it][A + hellaswag_es: 18%|████████████████████ | 52/293 [06:59<32:58, 8.21s/it][A + hellaswag_es: 18%|████████████████████▍ | 53/293 [07:08<33:15, 8.31s/it][A + hellaswag_es: 18%|████████████████████▊ | 54/293 [07:17<33:36, 8.44s/it][A + hellaswag_es: 19%|█████████████████████▏ | 55/293 [07:25<32:45, 8.26s/it][A + hellaswag_es: 19%|█████████████████████▌ | 56/293 [07:32<32:11, 8.15s/it][A + hellaswag_es: 19%|█████████████████████▉ | 57/293 [07:40<31:48, 8.09s/it][A + hellaswag_es: 20%|██████████████████████▎ | 58/293 [07:49<32:13, 8.23s/it][A + hellaswag_es: 20%|██████████████████████▊ | 59/293 [07:57<31:47, 8.15s/it][A + hellaswag_es: 20%|███████████████████████▏ | 60/293 [08:05<31:31, 8.12s/it][A + hellaswag_es: 21%|███████████████████████▌ | 61/293 [08:13<31:13, 8.07s/it][A + hellaswag_es: 21%|███████████████████████▉ | 62/293 [08:22<31:42, 8.24s/it][A + hellaswag_es: 22%|████████████████████████▎ | 63/293 [08:30<31:19, 8.17s/it][A + hellaswag_es: 22%|████████████████████████▋ | 64/293 [08:37<30:50, 8.08s/it][A + hellaswag_es: 22%|█████████████████████████ | 65/293 [08:46<30:53, 8.13s/it][A + hellaswag_es: 23%|█████████████████████████▍ | 66/293 [08:54<30:41, 8.11s/it][A + hellaswag_es: 23%|█████████████████████████▊ | 67/293 [09:02<30:16, 8.04s/it][A + hellaswag_es: 23%|██████████████████████████▏ | 68/293 [09:09<29:49, 7.95s/it][A + hellaswag_es: 24%|██████████████████████████▌ | 69/293 [09:18<30:16, 8.11s/it][A + hellaswag_es: 24%|██████████████████████████▉ | 70/293 [09:26<29:50, 8.03s/it][A + hellaswag_es: 24%|███████████████████████████▍ | 71/293 [09:34<30:12, 8.16s/it][A + hellaswag_es: 25%|███████████████████████████▊ | 72/293 [09:42<29:44, 8.07s/it][A + hellaswag_es: 25%|████████████████████████████▏ | 73/293 [09:51<30:45, 8.39s/it][A + hellaswag_es: 25%|████████████████████████████▌ | 74/293 [09:59<30:06, 8.25s/it][A + hellaswag_es: 26%|████████████████████████████▉ | 75/293 [10:07<29:43, 8.18s/it][A + hellaswag_es: 26%|█████████████████████████████▎ | 76/293 [10:15<29:15, 8.09s/it][A + hellaswag_es: 26%|█████████████████████████████▋ | 77/293 [10:23<29:07, 8.09s/it][A + hellaswag_es: 27%|██████████████████████████████ | 78/293 [10:31<28:49, 8.04s/it][A + hellaswag_es: 27%|██████████████████████████████▍ | 79/293 [10:39<28:34, 8.01s/it][A + hellaswag_es: 27%|██████████████████████████████▊ | 80/293 [10:47<28:58, 8.16s/it][A + hellaswag_es: 28%|███████████████████████████████▏ | 81/293 [10:55<28:35, 8.09s/it][A + hellaswag_es: 28%|███████████████████████████████▌ | 82/293 [11:04<29:10, 8.29s/it][A + hellaswag_es: 28%|████████████████████████████████ | 83/293 [11:12<28:40, 8.20s/it][A + hellaswag_es: 29%|████████████████████████████████▍ | 84/293 [11:20<28:14, 8.11s/it][A + hellaswag_es: 29%|████████████████████████████████▊ | 85/293 [11:28<28:05, 8.10s/it][A + hellaswag_es: 29%|█████████████████████████████████▏ | 86/293 [11:36<27:46, 8.05s/it][A + hellaswag_es: 30%|█████████████████████████████████▌ | 87/293 [11:44<28:01, 8.16s/it][A + hellaswag_es: 30%|█████████████████████████████████▉ | 88/293 [11:52<27:42, 8.11s/it][A + hellaswag_es: 30%|██████████████████████████████████▎ | 89/293 [12:00<27:25, 8.07s/it][A + hellaswag_es: 31%|██████████████████████████████████▋ | 90/293 [12:08<27:01, 7.99s/it][A + hellaswag_es: 31%|███████████████████████████████████ | 91/293 [12:17<27:22, 8.13s/it][A + hellaswag_es: 31%|███████████████████████████████████▍ | 92/293 [12:25<27:00, 8.06s/it][A + hellaswag_es: 32%|███████████████████████████████████▊ | 93/293 [12:33<27:26, 8.23s/it][A + hellaswag_es: 32%|████████████████████████████████████▎ | 94/293 [12:41<27:16, 8.22s/it][A + hellaswag_es: 32%|████████████████████████████████████▋ | 95/293 [12:49<26:47, 8.12s/it][A + hellaswag_es: 33%|█████████████████████████████████████ | 96/293 [12:57<26:31, 8.08s/it][A + hellaswag_es: 33%|█████████████████████████████████████▍ | 97/293 [13:05<26:20, 8.07s/it][A + hellaswag_es: 33%|█████████████████████████████████████▊ | 98/293 [13:13<26:00, 8.00s/it][A + hellaswag_es: 34%|██████████████████████████████████████▏ | 99/293 [13:21<25:36, 7.92s/it][A + hellaswag_es: 34%|██████████████████████████████████████▏ | 100/293 [13:29<25:24, 7.90s/it][A + hellaswag_es: 34%|██████████████████████████████████████▌ | 101/293 [13:37<25:25, 7.94s/it][A + hellaswag_es: 35%|██████████████████████████████████████▉ | 102/293 [13:45<25:45, 8.09s/it][A + hellaswag_es: 35%|███████████████████████████████████████▎ | 103/293 [13:53<25:23, 8.02s/it][A + hellaswag_es: 35%|███████████████████████████████████████▊ | 104/293 [14:02<25:41, 8.16s/it][A + hellaswag_es: 36%|████████████████████████████████████████▏ | 105/293 [14:10<26:01, 8.31s/it][A + hellaswag_es: 36%|████████████████████████████████████████▌ | 106/293 [14:18<25:28, 8.17s/it][A + hellaswag_es: 37%|████████████████████████████████████████▉ | 107/293 [14:26<24:59, 8.06s/it][A + hellaswag_es: 37%|█████████████████████████████████████████▎ | 108/293 [14:34<25:07, 8.15s/it][A + hellaswag_es: 37%|█████████████████████████████████████████▋ | 109/293 [14:42<24:45, 8.07s/it][A + hellaswag_es: 38%|██████████████████████████████████████████ | 110/293 [14:50<24:35, 8.07s/it][A + hellaswag_es: 38%|██████████████████████████████████████████▍ | 111/293 [14:59<24:56, 8.22s/it][A + hellaswag_es: 38%|██████████████████████████████████████████▊ | 112/293 [15:07<24:31, 8.13s/it][A + hellaswag_es: 39%|███████████████████████████████████████████▏ | 113/293 [15:15<24:17, 8.10s/it][A + hellaswag_es: 39%|███████████████████████████████████████████▌ | 114/293 [15:23<24:04, 8.07s/it][A + hellaswag_es: 39%|███████████████████████████████████████████▉ | 115/293 [15:31<23:49, 8.03s/it][A + hellaswag_es: 40%|████████████████████████████████████████████▎ | 116/293 [15:39<23:40, 8.03s/it][A + hellaswag_es: 40%|████████████████████████████████████████████▋ | 117/293 [15:47<24:02, 8.19s/it][A + hellaswag_es: 40%|█████████████████████████████████████████████ | 118/293 [15:55<23:35, 8.09s/it][A + hellaswag_es: 41%|█████████████████████████████████████████████▍ | 119/293 [16:04<24:01, 8.29s/it][A + hellaswag_es: 41%|█████████████████████████████████████████████▊ | 120/293 [16:12<24:04, 8.35s/it][A + hellaswag_es: 41%|██████████████████████████████████████████████▎ | 121/293 [16:20<23:33, 8.22s/it][A + hellaswag_es: 42%|██████████████████████████████████████████████▋ | 122/293 [16:28<23:16, 8.16s/it][A + hellaswag_es: 42%|███████████████████████████████████████████████ | 123/293 [16:37<23:19, 8.23s/it][A + hellaswag_es: 42%|███████████████████████████████████████████████▍ | 124/293 [16:46<23:52, 8.48s/it][A + hellaswag_es: 43%|███████████████████████████████████████████████▊ | 125/293 [16:54<23:21, 8.34s/it][A + hellaswag_es: 43%|████████████████████████████████████████████████▏ | 126/293 [17:02<22:56, 8.24s/it][A + hellaswag_es: 43%|████████████████████████████████████████████████▌ | 127/293 [17:10<22:34, 8.16s/it][A + hellaswag_es: 44%|████████████████████████████████████████████████▉ | 128/293 [17:19<23:03, 8.38s/it][A + hellaswag_es: 44%|█████████████████████████████████████████████████▎ | 129/293 [17:27<23:04, 8.44s/it][A + hellaswag_es: 44%|█████████████████████████████████████████████████▋ | 130/293 [17:36<23:01, 8.47s/it][A + hellaswag_es: 45%|██████████████████████████████████████████████████ | 131/293 [17:44<22:26, 8.31s/it][A + hellaswag_es: 45%|██████████████████████████████████████████████████▍ | 132/293 [17:52<22:39, 8.44s/it][A + hellaswag_es: 45%|██████████████████████████████████████████████████▊ | 133/293 [18:01<22:37, 8.48s/it][A + hellaswag_es: 46%|███████████████████████████████████████████████████▏ | 134/293 [18:09<21:58, 8.30s/it][A + hellaswag_es: 46%|███████████████████████████████████████████████████▌ | 135/293 [18:17<21:29, 8.16s/it][A + hellaswag_es: 46%|███████████████████████████████████████████████████▉ | 136/293 [18:25<21:06, 8.06s/it][A + hellaswag_es: 47%|████████████████████████████████████████████████████▎ | 137/293 [18:33<20:55, 8.05s/it][A + hellaswag_es: 47%|████████████████████████████████████████████████████▊ | 138/293 [18:40<20:38, 7.99s/it][A + hellaswag_es: 47%|█████████████████████████████████████████████████████▏ | 139/293 [18:49<21:11, 8.26s/it][A + hellaswag_es: 48%|█████████████████████████████████████████████████████▌ | 140/293 [18:57<20:49, 8.17s/it][A + hellaswag_es: 48%|█████████████████████████████████████████████████████▉ | 141/293 [19:06<20:54, 8.25s/it][A + hellaswag_es: 48%|██████████████████████████████████████████████████████▎ | 142/293 [19:14<20:57, 8.33s/it][A + hellaswag_es: 49%|██████████████████████████████████████████████████████▋ | 143/293 [19:22<20:26, 8.18s/it][A + hellaswag_es: 49%|███████████████████████████████████████████████████████ | 144/293 [19:31<20:49, 8.39s/it][A + hellaswag_es: 49%|███████████████████████████████████████████████████████▍ | 145/293 [19:39<20:20, 8.24s/it][A + hellaswag_es: 50%|███████████████████████████████████████████████████████▊ | 146/293 [19:47<19:59, 8.16s/it][A + hellaswag_es: 50%|████████████████████████████████████████████████████████▏ | 147/293 [19:55<19:43, 8.11s/it][A + hellaswag_es: 51%|████████████████████████████████████████████████████████▌ | 148/293 [20:03<19:57, 8.26s/it][A + hellaswag_es: 51%|████████████████████████████████████████████████████████▉ | 149/293 [20:11<19:31, 8.13s/it][A + hellaswag_es: 51%|█████████████████████████████████████████████████████████▎ | 150/293 [20:20<19:51, 8.33s/it][A + hellaswag_es: 52%|█████████████████████████████████████████████████████████▋ | 151/293 [20:29<19:53, 8.41s/it][A + hellaswag_es: 52%|██████████████████████████████████████████████████████████ | 152/293 [20:38<20:11, 8.59s/it][A + hellaswag_es: 52%|██████████████████████████████████████████████████████████▍ | 153/293 [20:46<19:51, 8.51s/it][A + hellaswag_es: 53%|██████████████████████████████████████████████████████████▊ | 154/293 [20:54<19:20, 8.35s/it][A + hellaswag_es: 53%|███████████████████████████████████████████████████████████▏ | 155/293 [21:02<18:55, 8.23s/it][A + hellaswag_es: 53%|███████████████████████████████████████████████████████████▋ | 156/293 [21:10<18:33, 8.13s/it][A + hellaswag_es: 54%|████████████████████████████████████████████████████████████ | 157/293 [21:18<18:17, 8.07s/it][A + hellaswag_es: 54%|████████████████████████████████████████████████████████████▍ | 158/293 [21:26<18:19, 8.14s/it][A + hellaswag_es: 54%|████████████████████████████████████████████████████████████▊ | 159/293 [21:35<18:35, 8.33s/it][A + hellaswag_es: 55%|█████████████████████████████████████████████████████████████▏ | 160/293 [21:43<18:14, 8.23s/it][A + hellaswag_es: 55%|█████████████████████████████████████████████████████████████▌ | 161/293 [21:52<18:31, 8.42s/it][A + hellaswag_es: 55%|█████████████████████████████████████████████████████████████▉ | 162/293 [22:00<18:30, 8.48s/it][A + hellaswag_es: 56%|██████████████████████████████████████████████████████████████▎ | 163/293 [22:08<18:00, 8.31s/it][A + hellaswag_es: 56%|██████████████████████████████████████████████████████████████▋ | 164/293 [22:17<17:57, 8.35s/it][A + hellaswag_es: 56%|███████████████████████████████████████████████████████████████ | 165/293 [22:25<17:54, 8.40s/it][A + hellaswag_es: 57%|███████████████████████████████████████████████████████████████▍ | 166/293 [22:33<17:25, 8.23s/it][A + hellaswag_es: 57%|███████████████████████████████████████████████████████████████▊ | 167/293 [22:41<17:06, 8.15s/it][A + hellaswag_es: 57%|████████████████████████████████████████████████████████████████▏ | 168/293 [22:49<16:48, 8.07s/it][A + hellaswag_es: 58%|████████████████████████████████████████████████████████████████▌ | 169/293 [22:57<16:37, 8.05s/it][A + hellaswag_es: 58%|████████████████████████████████████████████████████████████████▉ | 170/293 [23:05<16:43, 8.16s/it][A + hellaswag_es: 58%|█████████████████████████████████████████████████████████████████▎ | 171/293 [23:13<16:27, 8.10s/it][A + hellaswag_es: 59%|█████████████████████████████████████████████████████████████████▋ | 172/293 [23:22<16:27, 8.16s/it][A + hellaswag_es: 59%|██████████████████████████████████████████████████████████████████▏ | 173/293 [23:30<16:20, 8.17s/it][A + hellaswag_es: 59%|██████████████████████████████████████████████████████████████████▌ | 174/293 [23:38<16:08, 8.14s/it][A + hellaswag_es: 60%|██████████████████████████████████████████████████████████████████▉ | 175/293 [23:46<15:56, 8.11s/it][A + hellaswag_es: 60%|███████████████████████████████████████████████████████████████████▎ | 176/293 [23:54<15:39, 8.03s/it][A + hellaswag_es: 60%|███████████████████████████████████████████████████████████████████▋ | 177/293 [24:02<15:26, 7.99s/it][A + hellaswag_es: 61%|████████████████████████████████████████████████████████████████████ | 178/293 [24:09<15:10, 7.92s/it][A + hellaswag_es: 61%|████████████████████████████████████████████████████████████████████▍ | 179/293 [24:18<15:19, 8.06s/it][A + hellaswag_es: 61%|████████████████████████████████████████████████████████████████████▊ | 180/293 [24:27<15:46, 8.37s/it][A + hellaswag_es: 62%|█████████████████████████████████████████████████████████████████████▏ | 181/293 [24:35<15:28, 8.29s/it][A + hellaswag_es: 62%|█████████████████████████████████████████████████████████████████████▌ | 182/293 [24:43<15:06, 8.16s/it][A + hellaswag_es: 62%|█████████████████████████████████████████████████████████████████████▉ | 183/293 [24:51<14:48, 8.08s/it][A + hellaswag_es: 63%|██████████████████████████████████████████████████████████████████████▎ | 184/293 [24:59<14:37, 8.05s/it][A + hellaswag_es: 63%|██████████████████████████████████████████████████████████████████████▋ | 185/293 [25:07<14:33, 8.08s/it][A + hellaswag_es: 63%|███████████████████████████████████████████████████████████████████████ | 186/293 [25:15<14:17, 8.02s/it][A + hellaswag_es: 64%|███████████████████████████████████████████████████████████████████████▍ | 187/293 [25:23<14:07, 7.99s/it][A + hellaswag_es: 64%|███████████████████████████████████████████████████████████████████████▊ | 188/293 [25:31<14:05, 8.05s/it][A + hellaswag_es: 65%|████████████████████████████████████████████████████████████████████████▏ | 189/293 [25:39<13:58, 8.06s/it][A + hellaswag_es: 65%|████████████████████████████████████████████████████████████████████████▋ | 190/293 [25:47<13:43, 8.00s/it][A + hellaswag_es: 65%|█████████████████████████████████████████████████████████████████████████ | 191/293 [25:55<13:34, 7.98s/it][A + hellaswag_es: 66%|█████████████████████████████████████████████████████████████████████████▍ | 192/293 [26:03<13:37, 8.09s/it][A + hellaswag_es: 66%|█████████████████████████████████████████████████████████████████████████▊ | 193/293 [26:11<13:31, 8.11s/it][A + hellaswag_es: 66%|██████████████████████████████████████████████████████████████████████████▏ | 194/293 [26:20<13:36, 8.25s/it][A + hellaswag_es: 67%|██████████████████████████████████████████████████████████████████████████▌ | 195/293 [26:28<13:15, 8.12s/it][A + hellaswag_es: 67%|██████████████████████████████████████████████████████████████████████████▉ | 196/293 [26:35<12:58, 8.03s/it][A + hellaswag_es: 67%|███████████████████████████████████████████████████████████████████████████▎ | 197/293 [26:43<12:49, 8.02s/it][A + hellaswag_es: 68%|███████████████████████████████████████████████████████████████████████████▋ | 198/293 [26:51<12:38, 7.99s/it][A + hellaswag_es: 68%|████████████████████████████████████████████████████████████████████████████ | 199/293 [26:59<12:25, 7.94s/it][A + hellaswag_es: 68%|████████████████████████████████████████████████████████████████████████████▍ | 200/293 [27:07<12:14, 7.90s/it][A + hellaswag_es: 69%|████████████████████████████████████████████████████████████████████████████▊ | 201/293 [27:15<12:09, 7.93s/it][A + hellaswag_es: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 202/293 [27:23<12:01, 7.93s/it][A + hellaswag_es: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 203/293 [27:31<11:51, 7.91s/it][A + hellaswag_es: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 204/293 [27:39<11:55, 8.04s/it][A + hellaswag_es: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 205/293 [27:48<12:02, 8.21s/it][A + hellaswag_es: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 206/293 [27:56<11:47, 8.13s/it][A + hellaswag_es: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 207/293 [28:04<11:43, 8.18s/it][A + hellaswag_es: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 208/293 [28:12<11:29, 8.11s/it][A + hellaswag_es: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 209/293 [28:20<11:24, 8.14s/it][A + hellaswag_es: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 210/293 [28:28<11:09, 8.06s/it][A + hellaswag_es: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 211/293 [28:36<10:55, 7.99s/it][A + hellaswag_es: 72%|█████████████████████████████████████████████████████████████████████████████████ | 212/293 [28:44<11:02, 8.18s/it][A + hellaswag_es: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 213/293 [28:53<10:56, 8.21s/it][A + hellaswag_es: 73%|█████████████████████████████████████████████████████████████████████████████████▊ | 214/293 [29:01<10:52, 8.26s/it][A + hellaswag_es: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 215/293 [29:09<10:45, 8.28s/it][A + hellaswag_es: 74%|██████████████████████████████████████████████████████████████████████████████████▌ | 216/293 [29:17<10:31, 8.20s/it][A + hellaswag_es: 74%|██████████████████████████████████████████████████████████████████████████████████▉ | 217/293 [29:25<10:15, 8.10s/it][A + hellaswag_es: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 218/293 [29:33<10:05, 8.08s/it][A + hellaswag_es: 75%|███████████████████████████████████████████████████████████████████████████████████▋ | 219/293 [29:41<09:57, 8.08s/it][A + hellaswag_es: 75%|████████████████████████████████████████████████████████████████████████████████████ | 220/293 [29:49<09:44, 8.01s/it][A + hellaswag_es: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 221/293 [29:57<09:36, 8.00s/it][A + hellaswag_es: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 222/293 [30:05<09:30, 8.03s/it][A + hellaswag_es: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 223/293 [30:13<09:22, 8.04s/it][A + hellaswag_es: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 224/293 [30:21<09:11, 8.00s/it][A + hellaswag_es: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 225/293 [30:29<09:04, 8.01s/it][A + hellaswag_es: 77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 226/293 [30:38<09:05, 8.15s/it][A + hellaswag_es: 77%|██████████████████████████████████████████████████████████████████████████████████████▊ | 227/293 [30:46<09:03, 8.23s/it][A + hellaswag_es: 78%|███████████████████████████████████████████████████████████████████████████████████████▏ | 228/293 [30:55<08:59, 8.30s/it][A + hellaswag_es: 78%|███████████████████████████████████████████████████████████████████████████████████████▌ | 229/293 [31:03<08:44, 8.19s/it][A + hellaswag_es: 78%|███████████████████████████████████████████████████████████████████████████████████████▉ | 230/293 [31:11<08:34, 8.16s/it][A + hellaswag_es: 79%|████████████████████████████████████████████████████████████████████████████████████████▎ | 231/293 [31:19<08:32, 8.27s/it][A + hellaswag_es: 79%|████████████████████████████████████████████████████████████████████████████████████████▋ | 232/293 [31:27<08:18, 8.17s/it][A + hellaswag_es: 80%|█████████████████████████████████████████████████████████████████████████████████████████ | 233/293 [31:36<08:16, 8.28s/it][A + hellaswag_es: 80%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 234/293 [31:44<08:12, 8.34s/it][A + hellaswag_es: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 235/293 [31:52<07:56, 8.21s/it][A + hellaswag_es: 81%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 236/293 [32:00<07:45, 8.17s/it][A + hellaswag_es: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 237/293 [32:08<07:38, 8.18s/it][A + hellaswag_es: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 238/293 [32:16<07:29, 8.17s/it][A + hellaswag_es: 82%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 239/293 [32:24<07:16, 8.09s/it][A + hellaswag_es: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 240/293 [32:33<07:16, 8.23s/it][A + hellaswag_es: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 241/293 [32:41<07:01, 8.10s/it][A + hellaswag_es: 83%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 242/293 [32:50<07:06, 8.36s/it][A + hellaswag_es: 83%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 243/293 [32:58<06:55, 8.31s/it][A + hellaswag_es: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 244/293 [33:06<06:40, 8.18s/it][A + hellaswag_es: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 245/293 [33:14<06:29, 8.11s/it][A + hellaswag_es: 84%|██████████████████████████████████████████████████████████████████████████████████████████████ | 246/293 [33:22<06:23, 8.15s/it][A + hellaswag_es: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/293 [33:30<06:19, 8.24s/it][A + hellaswag_es: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/293 [33:38<06:05, 8.12s/it][A + hellaswag_es: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/293 [33:46<05:54, 8.06s/it][A + hellaswag_es: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/293 [33:55<05:54, 8.24s/it][A + hellaswag_es: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/293 [34:03<05:43, 8.18s/it][A + hellaswag_es: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/293 [34:11<05:32, 8.10s/it][A + hellaswag_es: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/293 [34:19<05:24, 8.10s/it][A + hellaswag_es: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 254/293 [34:27<05:21, 8.25s/it][A + hellaswag_es: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/293 [34:35<05:10, 8.18s/it][A + hellaswag_es: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/293 [34:43<05:00, 8.12s/it][A + hellaswag_es: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 257/293 [34:52<04:57, 8.27s/it][A + hellaswag_es: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 258/293 [35:00<04:45, 8.15s/it][A + hellaswag_es: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 259/293 [35:08<04:36, 8.13s/it][A + hellaswag_es: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/293 [35:16<04:26, 8.09s/it][A + hellaswag_es: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/293 [35:24<04:17, 8.04s/it][A + hellaswag_es: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/293 [35:32<04:08, 8.02s/it][A + hellaswag_es: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/293 [35:40<04:01, 8.07s/it][A + hellaswag_es: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/293 [35:48<03:53, 8.06s/it][A + hellaswag_es: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/293 [35:56<03:44, 8.00s/it][A + hellaswag_es: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/293 [36:04<03:35, 7.98s/it][A + hellaswag_es: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/293 [36:12<03:29, 8.05s/it][A + hellaswag_es: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 268/293 [36:20<03:19, 7.99s/it][A + hellaswag_es: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 269/293 [36:28<03:14, 8.12s/it][A + hellaswag_es: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 270/293 [36:37<03:09, 8.25s/it][A + hellaswag_es: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 271/293 [36:45<03:01, 8.27s/it][A + hellaswag_es: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 272/293 [36:53<02:52, 8.23s/it][A + hellaswag_es: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 273/293 [37:02<02:44, 8.20s/it][A + hellaswag_es: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 274/293 [37:10<02:38, 8.36s/it][A + hellaswag_es: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 275/293 [37:19<02:30, 8.37s/it][A + hellaswag_es: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 276/293 [37:27<02:21, 8.30s/it][A + hellaswag_es: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 277/293 [37:35<02:13, 8.34s/it][A + hellaswag_es: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 278/293 [37:44<02:06, 8.46s/it][A + hellaswag_es: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 279/293 [37:53<01:59, 8.56s/it][A + hellaswag_es: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 280/293 [38:01<01:49, 8.42s/it][A + hellaswag_es: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 281/293 [38:09<01:39, 8.26s/it][A + hellaswag_es: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 282/293 [38:17<01:29, 8.13s/it][A + hellaswag_es: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 283/293 [38:24<01:20, 8.03s/it][A + hellaswag_es: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 284/293 [38:33<01:14, 8.30s/it][A + hellaswag_es: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 285/293 [38:41<01:05, 8.15s/it][A + hellaswag_es: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 286/293 [38:49<00:56, 8.05s/it][A + hellaswag_es: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 287/293 [38:57<00:47, 7.95s/it][A + hellaswag_es: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 288/293 [39:06<00:41, 8.37s/it][A + hellaswag_es: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 289/293 [39:14<00:32, 8.21s/it][A + hellaswag_es: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 290/293 [39:22<00:24, 8.26s/it][A + hellaswag_es: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 291/293 [39:30<00:16, 8.14s/it][A + hellaswag_es: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 292/293 [39:38<00:08, 8.06s/it][A + hellaswag_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [39:46<00:00, 7.97s/it][A hellaswag_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [39:46<00:00, 8.14s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_es_acc 0.5501386814593556 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_es_acc_norm 0.736398549178579 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 14:25:06,070 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 14:25:06,070 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:06,188 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 14:25:06,188 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:06,306 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 14:25:06,306 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:06,424 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 14:25:06,425 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 14:25:06,425 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 14:25:06,544 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 14:25:06,544 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_es_acc'} +2024-05-29 14:25:06,604 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 14:25:06,604 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1151, 'value': 0.5501386814593556} +2024-05-29 14:25:06,665 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 14:25:07,306 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 14:25:07,306 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:07,433 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 14:25:07,433 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:07,560 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 14:25:07,560 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:07,687 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 14:25:07,688 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 14:25:07,688 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 14:25:07,816 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 14:25:07,816 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_es_acc_norm'} +2024-05-29 14:25:07,880 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 14:25:07,880 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1152, 'value': 0.736398549178579} +2024-05-29 14:25:07,944 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 30%|████████████████████████████████▌ | 37/124 [7:37:37<58:15:12, 2410.49s/it]['hellaswag_eu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 14:25:08,604 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 14:25:08,604 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:08,734 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 14:25:08,734 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:08,864 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 14:25:08,864 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 14:25:08,994 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 14:25:08,995 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 14:25:08,995 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_eu'} +2024-05-29 14:25:09,126 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_eu task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.93s/ examples][A + Generating validation split: 2000 examples [00:03, 921.73 examples/s][A + Generating validation split: 3856 examples [00:03, 2011.31 examples/s][A + Generating validation split: 5591 examples [00:03, 3255.03 examples/s][A + Generating validation split: 7338 examples [00:03, 4730.58 examples/s][A + Generating validation split: 9093 examples [00:03, 6385.64 examples/s][A Generating validation split: 9255 examples [00:03, 2670.39 examples/s] +Loaded 9255 examples +Running loglikelihood requests + + hellaswag_eu: 0%| | 0/290 [00:00<?, ?it/s][A + hellaswag_eu: 0%|▍ | 1/290 [00:09<44:32, 9.25s/it][A + hellaswag_eu: 1%|▊ | 2/290 [00:18<44:36, 9.29s/it][A + hellaswag_eu: 1%|█▏ | 3/290 [00:27<43:45, 9.15s/it][A + hellaswag_eu: 1%|█▌ | 4/290 [00:35<42:00, 8.81s/it][A + hellaswag_eu: 2%|█▉ | 5/290 [00:44<41:43, 8.79s/it][A + hellaswag_eu: 2%|██▎ | 6/290 [00:53<41:24, 8.75s/it][A + hellaswag_eu: 2%|██▊ | 7/290 [01:01<41:01, 8.70s/it][A + hellaswag_eu: 3%|███▏ | 8/290 [01:10<40:15, 8.57s/it][A + hellaswag_eu: 3%|███▌ | 9/290 [01:18<39:41, 8.47s/it][A + hellaswag_eu: 3%|███▉ | 10/290 [01:26<39:42, 8.51s/it][A + hellaswag_eu: 4%|████▎ | 11/290 [01:36<40:40, 8.75s/it][A + hellaswag_eu: 4%|████▋ | 12/290 [01:45<41:15, 8.91s/it][A + hellaswag_eu: 4%|█████ | 13/290 [01:54<40:29, 8.77s/it][A + hellaswag_eu: 5%|█████▍ | 14/290 [02:02<40:01, 8.70s/it][A + hellaswag_eu: 5%|█████▊ | 15/290 [02:11<39:39, 8.65s/it][A + hellaswag_eu: 6%|██████▏ | 16/290 [02:19<39:24, 8.63s/it][A + hellaswag_eu: 6%|██████▌ | 17/290 [02:28<39:21, 8.65s/it][A + hellaswag_eu: 6%|███████ | 18/290 [02:37<39:22, 8.69s/it][A + hellaswag_eu: 7%|███████▍ | 19/290 [02:45<39:18, 8.70s/it][A + hellaswag_eu: 7%|███████▊ | 20/290 [02:54<39:02, 8.67s/it][A + hellaswag_eu: 7%|████████▏ | 21/290 [03:03<38:59, 8.70s/it][A + hellaswag_eu: 8%|████████▌ | 22/290 [03:12<39:01, 8.74s/it][A + hellaswag_eu: 8%|████████▉ | 23/290 [03:20<38:42, 8.70s/it][A + hellaswag_eu: 8%|█████████▎ | 24/290 [03:29<38:23, 8.66s/it][A + hellaswag_eu: 9%|█████████▋ | 25/290 [03:38<39:12, 8.88s/it][A + hellaswag_eu: 9%|██████████▏ | 26/290 [03:47<38:52, 8.83s/it][A + hellaswag_eu: 9%|██████████▌ | 27/290 [03:56<39:10, 8.94s/it][A + hellaswag_eu: 10%|██████████▉ | 28/290 [04:05<38:48, 8.89s/it][A + hellaswag_eu: 10%|███████████▎ | 29/290 [04:14<39:04, 8.98s/it][A + hellaswag_eu: 10%|███████████▋ | 30/290 [04:23<38:29, 8.88s/it][A + hellaswag_eu: 11%|████████████ | 31/290 [04:32<38:38, 8.95s/it][A + hellaswag_eu: 11%|████████████▍ | 32/290 [04:41<38:13, 8.89s/it][A + hellaswag_eu: 11%|████████████▊ | 33/290 [04:50<38:26, 8.97s/it][A + hellaswag_eu: 12%|█████████████▏ | 34/290 [04:59<38:16, 8.97s/it][A + hellaswag_eu: 12%|█████████████▋ | 35/290 [05:07<37:47, 8.89s/it][A + hellaswag_eu: 12%|██████████████ | 36/290 [05:16<37:17, 8.81s/it][A + hellaswag_eu: 13%|██████████████▍ | 37/290 [05:24<36:21, 8.62s/it][A + hellaswag_eu: 13%|██████████████▊ | 38/290 [05:33<36:12, 8.62s/it][A + hellaswag_eu: 13%|███████████████▏ | 39/290 [05:42<36:49, 8.80s/it][A + hellaswag_eu: 14%|███████████████▌ | 40/290 [05:51<36:31, 8.77s/it][A + hellaswag_eu: 14%|███████████████▉ | 41/290 [06:00<36:34, 8.81s/it][A + hellaswag_eu: 14%|████████████████▎ | 42/290 [06:09<37:05, 8.97s/it][A + hellaswag_eu: 15%|████████████████▊ | 43/290 [06:18<36:38, 8.90s/it][A + hellaswag_eu: 15%|█████████████████▏ | 44/290 [06:26<36:15, 8.84s/it][A + hellaswag_eu: 16%|█████████████████▌ | 45/290 [06:35<35:56, 8.80s/it][A + hellaswag_eu: 16%|█████████████████▉ | 46/290 [06:44<36:19, 8.93s/it][A + hellaswag_eu: 16%|██████████████████▎ | 47/290 [06:53<35:53, 8.86s/it][A + hellaswag_eu: 17%|██████████████████▋ | 48/290 [07:02<35:36, 8.83s/it][A + hellaswag_eu: 17%|███████████████████ | 49/290 [07:11<35:23, 8.81s/it][A + hellaswag_eu: 17%|███████████████████▍ | 50/290 [07:19<34:49, 8.71s/it][A + hellaswag_eu: 18%|███████████████████▊ | 51/290 [07:28<34:27, 8.65s/it][A + hellaswag_eu: 18%|████████████████████▎ | 52/290 [07:36<34:26, 8.68s/it][A + hellaswag_eu: 18%|████████████████████▋ | 53/290 [07:45<34:31, 8.74s/it][A + hellaswag_eu: 19%|█████████████████████ | 54/290 [07:54<34:33, 8.78s/it][A + hellaswag_eu: 19%|█████████████████████▍ | 55/290 [08:03<34:22, 8.77s/it][A + hellaswag_eu: 19%|█████████████████████▊ | 56/290 [08:11<33:50, 8.68s/it][A + hellaswag_eu: 20%|██████████████████████▏ | 57/290 [08:21<34:32, 8.89s/it][A + hellaswag_eu: 20%|██████████████████████▌ | 58/290 [08:30<34:31, 8.93s/it][A + hellaswag_eu: 20%|██████████████████████▉ | 59/290 [08:38<34:03, 8.85s/it][A + hellaswag_eu: 21%|███████████████████████▍ | 60/290 [08:47<33:44, 8.80s/it][A + hellaswag_eu: 21%|███████████████████████▊ | 61/290 [08:56<33:38, 8.82s/it][A + hellaswag_eu: 21%|████████████████████████▏ | 62/290 [09:05<33:37, 8.85s/it][A + hellaswag_eu: 22%|████████████████████████▌ | 63/290 [09:14<33:38, 8.89s/it][A + hellaswag_eu: 22%|████████████████████████▉ | 64/290 [09:22<33:11, 8.81s/it][A + hellaswag_eu: 22%|█████████████████████████▎ | 65/290 [09:31<32:51, 8.76s/it][A + hellaswag_eu: 23%|█████████████████████████▋ | 66/290 [09:40<32:44, 8.77s/it][A + hellaswag_eu: 23%|██████████████████████████ | 67/290 [09:48<32:16, 8.68s/it][A + hellaswag_eu: 23%|██████████████████████████▍ | 68/290 [09:57<32:13, 8.71s/it][A + hellaswag_eu: 24%|██████████████████████████▉ | 69/290 [10:06<32:04, 8.71s/it][A + hellaswag_eu: 24%|███████████████████████████▎ | 70/290 [10:14<31:43, 8.65s/it][A + hellaswag_eu: 24%|███████████████████████████▋ | 71/290 [10:23<31:31, 8.64s/it][A + hellaswag_eu: 25%|████████████████████████████ | 72/290 [10:32<32:01, 8.81s/it][A + hellaswag_eu: 25%|████████████████████████████▍ | 73/290 [10:41<31:50, 8.80s/it][A + hellaswag_eu: 26%|████████████████████████████▊ | 74/290 [10:50<31:28, 8.74s/it][A + hellaswag_eu: 26%|█████████████████████████████▏ | 75/290 [10:59<31:50, 8.89s/it][A + hellaswag_eu: 26%|█████████████████████████████▌ | 76/290 [11:07<31:12, 8.75s/it][A + hellaswag_eu: 27%|██████████████████████████████ | 77/290 [11:16<31:05, 8.76s/it][A + hellaswag_eu: 27%|██████████████████████████████▍ | 78/290 [11:25<30:50, 8.73s/it][A + hellaswag_eu: 27%|██████████████████████████████▊ | 79/290 [11:33<30:41, 8.73s/it][A + hellaswag_eu: 28%|███████████████████████████████▏ | 80/290 [11:42<30:10, 8.62s/it][A + hellaswag_eu: 28%|███████████████████████████████▌ | 81/290 [11:51<30:36, 8.79s/it][A + hellaswag_eu: 28%|███████████████████████████████▉ | 82/290 [12:00<30:41, 8.85s/it][A + hellaswag_eu: 29%|████████████████████████████████▎ | 83/290 [12:09<30:19, 8.79s/it][A + hellaswag_eu: 29%|████████████████████████████████▋ | 84/290 [12:17<30:16, 8.82s/it][A + hellaswag_eu: 29%|█████████████████████████████████ | 85/290 [12:26<30:01, 8.79s/it][A + hellaswag_eu: 30%|█████████████████████████████████▌ | 86/290 [12:35<29:53, 8.79s/it][A + hellaswag_eu: 30%|█████████████████████████████████▉ | 87/290 [12:43<29:16, 8.65s/it][A + hellaswag_eu: 30%|██████████████████████████████████▎ | 88/290 [12:52<29:01, 8.62s/it][A + hellaswag_eu: 31%|██████████████████████████████████▋ | 89/290 [13:01<28:56, 8.64s/it][A + hellaswag_eu: 31%|███████████████████████████████████ | 90/290 [13:09<29:06, 8.73s/it][A + hellaswag_eu: 31%|███████████████████████████████████▍ | 91/290 [13:19<29:48, 8.99s/it][A + hellaswag_eu: 32%|███████████████████████████████████▊ | 92/290 [13:28<29:35, 8.97s/it][A + hellaswag_eu: 32%|████████████████████████████████████▏ | 93/290 [13:37<29:35, 9.01s/it][A + hellaswag_eu: 32%|████████████████████████████████████▋ | 94/290 [13:46<29:30, 9.03s/it][A + hellaswag_eu: 33%|█████████████████████████████████████ | 95/290 [13:55<29:09, 8.97s/it][A + hellaswag_eu: 33%|█████████████████████████████████████▍ | 96/290 [14:04<29:30, 9.12s/it][A + hellaswag_eu: 33%|█████████████████████████████████████▊ | 97/290 [14:13<28:58, 9.01s/it][A + hellaswag_eu: 34%|██████████████████████████████████████▏ | 98/290 [14:22<28:27, 8.89s/it][A + hellaswag_eu: 34%|██████████████████████████████████████▌ | 99/290 [14:31<28:41, 9.01s/it][A + hellaswag_eu: 34%|██████████████████████████████████████▌ | 100/290 [14:40<28:04, 8.87s/it][A + hellaswag_eu: 35%|███████████████████████████████████████ | 101/290 [14:48<27:44, 8.81s/it][A + hellaswag_eu: 35%|███████████████████████████████████████▍ | 102/290 [14:57<27:28, 8.77s/it][A + hellaswag_eu: 36%|███████████████████████████████████████▊ | 103/290 [15:06<27:54, 8.95s/it][A + hellaswag_eu: 36%|████████████████████████████████████████▏ | 104/290 [15:16<27:59, 9.03s/it][A + hellaswag_eu: 36%|████████████████████████████████████████▌ | 105/290 [15:25<27:51, 9.03s/it][A + hellaswag_eu: 37%|████████████████████████████████████████▉ | 106/290 [15:33<26:55, 8.78s/it][A + hellaswag_eu: 37%|█████████████████████████████████████████▎ | 107/290 [15:41<26:37, 8.73s/it][A + hellaswag_eu: 37%|█████████████████████████████████████████▋ | 108/290 [15:50<26:33, 8.76s/it][A + hellaswag_eu: 38%|██████████████████████████████████████████ | 109/290 [15:59<26:14, 8.70s/it][A + hellaswag_eu: 38%|██████████████████████████████████████████▍ | 110/290 [16:08<26:08, 8.71s/it][A + hellaswag_eu: 38%|██████████████████████████████████████████▊ | 111/290 [16:17<26:41, 8.95s/it][A + hellaswag_eu: 39%|███████████████████████████████████████████▎ | 112/290 [16:25<25:38, 8.64s/it][A + hellaswag_eu: 39%|███████████████████████████████████████████▋ | 113/290 [16:34<25:29, 8.64s/it][A + hellaswag_eu: 39%|████████████████████████████████████████████ | 114/290 [16:42<25:19, 8.64s/it][A + hellaswag_eu: 40%|████████████████████████████████████████████▍ | 115/290 [16:51<25:17, 8.67s/it][A + hellaswag_eu: 40%|████████████████████████████████████████████▊ | 116/290 [17:00<25:00, 8.62s/it][A + hellaswag_eu: 40%|█████████████████████████████████████████████▏ | 117/290 [17:08<24:47, 8.60s/it][A + hellaswag_eu: 41%|█████████████████████████████████████████████▌ | 118/290 [17:17<24:45, 8.64s/it][A + hellaswag_eu: 41%|█████████████████████████████████████████████▉ | 119/290 [17:25<24:37, 8.64s/it][A + hellaswag_eu: 41%|██████████████████████████████████████████████▎ | 120/290 [17:35<25:01, 8.83s/it][A + hellaswag_eu: 42%|██████████████████████████████████████████████▋ | 121/290 [17:43<24:43, 8.78s/it][A + hellaswag_eu: 42%|███████████████████████████████████████████████ | 122/290 [17:53<24:56, 8.91s/it][A + hellaswag_eu: 42%|███████████████████████████████████████████████▌ | 123/290 [18:01<24:41, 8.87s/it][A + hellaswag_eu: 43%|███████████████████████████████████████████████▉ | 124/290 [18:10<24:31, 8.86s/it][A + hellaswag_eu: 43%|████████████████████████████████████████████████▎ | 125/290 [18:19<24:20, 8.85s/it][A + hellaswag_eu: 43%|████████████████████████████████████████████████▋ | 126/290 [18:28<24:34, 8.99s/it][A + hellaswag_eu: 44%|█████████████████████████████████████████████████ | 127/290 [18:37<24:02, 8.85s/it][A + hellaswag_eu: 44%|█████████████████████████████████████████████████▍ | 128/290 [18:46<24:27, 9.06s/it][A + hellaswag_eu: 44%|█████████████████████████████████████████████████▊ | 129/290 [18:56<24:38, 9.18s/it][A + hellaswag_eu: 45%|██████████████████████████████████████████████████▏ | 130/290 [19:05<24:31, 9.20s/it][A + hellaswag_eu: 45%|██████████████████████████████████████████████████▌ | 131/290 [19:14<23:58, 9.05s/it][A + hellaswag_eu: 46%|██████████████████████████████████████████████████▉ | 132/290 [19:23<23:49, 9.05s/it][A + hellaswag_eu: 46%|███████████████████████████████████████████████████▎ | 133/290 [19:32<23:29, 8.98s/it][A + hellaswag_eu: 46%|███████████████████████████████████████████████████▊ | 134/290 [19:41<23:15, 8.94s/it][A + hellaswag_eu: 47%|████████████████████████████████████████████████████▏ | 135/290 [19:49<22:45, 8.81s/it][A + hellaswag_eu: 47%|████████████████████████████████████████████████████▌ | 136/290 [19:58<22:28, 8.76s/it][A + hellaswag_eu: 47%|████████████████████████████████████████████████████▉ | 137/290 [20:07<22:35, 8.86s/it][A + hellaswag_eu: 48%|█████████████████████████████████████████████████████▎ | 138/290 [20:15<22:14, 8.78s/it][A + hellaswag_eu: 48%|█████████████████████████████████████████████████████▋ | 139/290 [20:24<22:05, 8.78s/it][A + hellaswag_eu: 48%|██████████████████████████████████████████████████████ | 140/290 [20:33<21:49, 8.73s/it][A + hellaswag_eu: 49%|██████████████████████████████████████████████████████▍ | 141/290 [20:41<21:36, 8.70s/it][A + hellaswag_eu: 49%|██████████████████████████████████████████████████████▊ | 142/290 [20:51<22:01, 8.93s/it][A + hellaswag_eu: 49%|███████████████████████████████████████████████████████▏ | 143/290 [21:00<21:58, 8.97s/it][A + hellaswag_eu: 50%|███████████████████████████████████████████████████████▌ | 144/290 [21:08<21:30, 8.84s/it][A + hellaswag_eu: 50%|████████████████████████████████████████████████████████ | 145/290 [21:18<21:31, 8.91s/it][A + hellaswag_eu: 50%|████████████████████████████████████████████████████████▍ | 146/290 [21:26<21:11, 8.83s/it][A + hellaswag_eu: 51%|████████████████████████████████████████████████████████▊ | 147/290 [21:35<21:19, 8.95s/it][A + hellaswag_eu: 51%|█████████████████████████████████████████████████████████▏ | 148/290 [21:45<21:22, 9.03s/it][A + hellaswag_eu: 51%|█████████████████████████████████████████████████████████▌ | 149/290 [21:54<21:14, 9.04s/it][A + hellaswag_eu: 52%|█████████████████████████████████████████████████████████▉ | 150/290 [22:02<20:53, 8.96s/it][A + hellaswag_eu: 52%|██████████████████████████████████████████████████████████▎ | 151/290 [22:11<20:18, 8.77s/it][A + hellaswag_eu: 52%|██████████████████████████████████████████████████████████▋ | 152/290 [22:20<20:09, 8.77s/it][A + hellaswag_eu: 53%|███████████████████████████████████████████████████████████ | 153/290 [22:28<19:57, 8.74s/it][A + hellaswag_eu: 53%|███████████████████████████████████████████████████████████▍ | 154/290 [22:38<20:20, 8.98s/it][A + hellaswag_eu: 53%|███████████████████████████████████████████████████████████▊ | 155/290 [22:47<20:09, 8.96s/it][A + hellaswag_eu: 54%|████████████████████████████████████████████████████████████▏ | 156/290 [22:56<20:01, 8.96s/it][A + hellaswag_eu: 54%|████████████████████████████████████████████████████████████▋ | 157/290 [23:05<20:19, 9.17s/it][A + hellaswag_eu: 54%|█████████████████████████████████████████████████████████████ | 158/290 [23:13<19:32, 8.88s/it][A + hellaswag_eu: 55%|█████████████████████████████████████████████████████████████▍ | 159/290 [23:23<19:53, 9.11s/it][A + hellaswag_eu: 55%|█████████████████████████████████████████████████████████████▊ | 160/290 [23:32<19:53, 9.18s/it][A + hellaswag_eu: 56%|██████████████████████████████████████████████████████████████▏ | 161/290 [23:42<19:46, 9.20s/it][A + hellaswag_eu: 56%|██████████████████████████████████████████████████████████████▌ | 162/290 [23:51<19:23, 9.09s/it][A + hellaswag_eu: 56%|██████████████████████████████████████████████████████████████▉ | 163/290 [23:59<18:50, 8.90s/it][A + hellaswag_eu: 57%|███████████████████████████████████████████████████████████████▎ | 164/290 [24:08<18:28, 8.80s/it][A + hellaswag_eu: 57%|███████████████████████████████████████████████████████████████▋ | 165/290 [24:16<18:04, 8.68s/it][A + hellaswag_eu: 57%|████████████████████████████████████████████████████████████████ | 166/290 [24:25<18:22, 8.89s/it][A + hellaswag_eu: 58%|████████████████████████████████████████████████████████████████▍ | 167/290 [24:34<18:01, 8.80s/it][A + hellaswag_eu: 58%|████████████████████████████████████████████████████████████████▉ | 168/290 [24:43<18:13, 8.96s/it][A + hellaswag_eu: 58%|█████████████████████████████████████████████████████████████████▎ | 169/290 [24:52<17:47, 8.82s/it][A + hellaswag_eu: 59%|█████████████████████████████████████████████████████████████████▋ | 170/290 [25:00<17:25, 8.71s/it][A + hellaswag_eu: 59%|██████████████████████████████████████████████████████████████████ | 171/290 [25:09<17:25, 8.79s/it][A + hellaswag_eu: 59%|██████████████████████████████████████████████████████████████████▍ | 172/290 [25:19<17:37, 8.97s/it][A + hellaswag_eu: 60%|██████████████████████████████████████████████████████████████████▊ | 173/290 [25:28<17:39, 9.06s/it][A + hellaswag_eu: 60%|███████████████████████████████████████████████████████████████████▏ | 174/290 [25:36<17:14, 8.92s/it][A + hellaswag_eu: 60%|███████████████████████████████████████████████████████████████████▌ | 175/290 [25:45<16:58, 8.86s/it][A + hellaswag_eu: 61%|███████████████████████████████████████████████████████████████████▉ | 176/290 [25:54<17:00, 8.96s/it][A + hellaswag_eu: 61%|████████████████████████████████████████████████████████████████████▎ | 177/290 [26:03<16:52, 8.96s/it][A + hellaswag_eu: 61%|████████████████████████████████████████████████████████████████████▋ | 178/290 [26:12<16:35, 8.89s/it][A + hellaswag_eu: 62%|█████████████████████████████████████████████████████████████████████▏ | 179/290 [26:21<16:37, 8.99s/it][A + hellaswag_eu: 62%|█████████████████████████████████████████████████████████████████████▌ | 180/290 [26:30<16:16, 8.87s/it][A + hellaswag_eu: 62%|█████████████████████████████████████████████████████████████████████▉ | 181/290 [26:38<15:57, 8.78s/it][A + hellaswag_eu: 63%|██████████████████████████████████████████████████████████████████████▎ | 182/290 [26:47<15:43, 8.74s/it][A + hellaswag_eu: 63%|██████████████████████████████████████████████████████████████████████▋ | 183/290 [26:56<15:30, 8.69s/it][A + hellaswag_eu: 63%|███████████████████████████████████████████████████████████████████████ | 184/290 [27:05<15:44, 8.91s/it][A + hellaswag_eu: 64%|███████████████████████████████████████████████████████████████████████▍ | 185/290 [27:14<15:27, 8.83s/it][A + hellaswag_eu: 64%|███████████████████████████████████████████████████████████████████████▊ | 186/290 [27:23<15:16, 8.82s/it][A + hellaswag_eu: 64%|████████████████████████████████████████████████████████████████████████▏ | 187/290 [27:31<14:59, 8.73s/it][A + hellaswag_eu: 65%|████████████████████████████████████████████████████████████████████████▌ | 188/290 [27:40<14:51, 8.74s/it][A + hellaswag_eu: 65%|████████████████████████████████████████████████████████████████████████▉ | 189/290 [27:49<14:43, 8.75s/it][A + hellaswag_eu: 66%|█████████████████████████████████████████████████████████████████████████▍ | 190/290 [27:57<14:38, 8.79s/it][A + hellaswag_eu: 66%|█████████████████████████████████████████████████████████████████████████▊ | 191/290 [28:06<14:33, 8.82s/it][A + hellaswag_eu: 66%|██████████████████████████████████████████████████████████████████████████▏ | 192/290 [28:15<14:24, 8.82s/it][A + hellaswag_eu: 67%|██████████████████████████████████████████████████████████████████████████▌ | 193/290 [28:24<14:27, 8.95s/it][A + hellaswag_eu: 67%|██████████████████████████████████████████████████████████████████████████▉ | 194/290 [28:33<14:09, 8.85s/it][A + hellaswag_eu: 67%|███████████████████████████████████████████████████████████████████████████▎ | 195/290 [28:42<13:56, 8.80s/it][A + hellaswag_eu: 68%|███████████████████████████████████████████████████████████████████████████▋ | 196/290 [28:50<13:45, 8.78s/it][A + hellaswag_eu: 68%|████████████████████████████████████████████████████████████████████████████ | 197/290 [29:00<13:47, 8.90s/it][A + hellaswag_eu: 68%|████████████████████████████████████████████████████████████████████████████▍ | 198/290 [29:08<13:25, 8.76s/it][A + hellaswag_eu: 69%|████████████████████████████████████████████████████████████████████████████▊ | 199/290 [29:17<13:19, 8.79s/it][A + hellaswag_eu: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 200/290 [29:25<13:04, 8.72s/it][A + hellaswag_eu: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 201/290 [29:34<12:54, 8.71s/it][A + hellaswag_eu: 70%|██████████████████████████████████████████████████████████████████████████████ | 202/290 [29:44<13:08, 8.96s/it][A + hellaswag_eu: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 203/290 [29:53<12:58, 8.94s/it][A + hellaswag_eu: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 204/290 [30:02<12:58, 9.05s/it][A + hellaswag_eu: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 205/290 [30:11<12:57, 9.14s/it][A + hellaswag_eu: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 206/290 [30:21<12:54, 9.22s/it][A + hellaswag_eu: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 207/290 [30:29<12:33, 9.08s/it][A + hellaswag_eu: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 208/290 [30:38<12:12, 8.93s/it][A + hellaswag_eu: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 209/290 [30:47<11:58, 8.87s/it][A + hellaswag_eu: 72%|█████████████████████████████████████████████████████████████████████████████████ | 210/290 [30:56<12:00, 9.00s/it][A + hellaswag_eu: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 211/290 [31:05<11:44, 8.92s/it][A + hellaswag_eu: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 212/290 [31:13<11:26, 8.80s/it][A + hellaswag_eu: 73%|██████████████████████████████████████████████████████████████████████████████████▎ | 213/290 [31:22<11:12, 8.74s/it][A + hellaswag_eu: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 214/290 [31:31<11:05, 8.76s/it][A + hellaswag_eu: 74%|███████████████████████████████████████████████████████████████████████████████████ | 215/290 [31:39<10:51, 8.69s/it][A + hellaswag_eu: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 216/290 [31:49<11:00, 8.93s/it][A + hellaswag_eu: 75%|███████████████████████████████████████████████████████████████████████████████████▊ | 217/290 [31:58<11:02, 9.08s/it][A + hellaswag_eu: 75%|████████████████████████████████████████████████████████████████████████████████████▏ | 218/290 [32:07<11:00, 9.17s/it][A + hellaswag_eu: 76%|████████████████████████████████████████████████████████████████████████████████████▌ | 219/290 [32:16<10:36, 8.96s/it][A + hellaswag_eu: 76%|████████████████████████████████████████████████████████████████████████████████████▉ | 220/290 [32:24<10:14, 8.78s/it][A + hellaswag_eu: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 221/290 [32:33<10:00, 8.70s/it][A + hellaswag_eu: 77%|█████████████████████████████████████████████████████████████████████████████████████▋ | 222/290 [32:41<09:50, 8.68s/it][A + hellaswag_eu: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 223/290 [32:50<09:41, 8.68s/it][A + hellaswag_eu: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 224/290 [32:59<09:31, 8.66s/it][A + hellaswag_eu: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 225/290 [33:07<09:23, 8.67s/it][A + hellaswag_eu: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 226/290 [33:16<09:11, 8.62s/it][A + hellaswag_eu: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 227/290 [33:25<09:02, 8.61s/it][A + hellaswag_eu: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 228/290 [33:33<08:58, 8.69s/it][A + hellaswag_eu: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 229/290 [33:42<08:50, 8.70s/it][A + hellaswag_eu: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 230/290 [33:51<08:40, 8.68s/it][A + hellaswag_eu: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 231/290 [33:59<08:23, 8.54s/it][A + hellaswag_eu: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 232/290 [34:08<08:23, 8.69s/it][A + hellaswag_eu: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 233/290 [34:17<08:15, 8.70s/it][A + hellaswag_eu: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 234/290 [34:25<07:59, 8.56s/it][A + hellaswag_eu: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 235/290 [34:34<07:51, 8.58s/it][A + hellaswag_eu: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 236/290 [34:42<07:46, 8.63s/it][A + hellaswag_eu: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 237/290 [34:52<07:51, 8.90s/it][A + hellaswag_eu: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 238/290 [35:01<07:48, 9.02s/it][A + hellaswag_eu: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/290 [35:10<07:42, 9.08s/it][A + hellaswag_eu: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/290 [35:19<07:29, 8.99s/it][A + hellaswag_eu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 241/290 [35:28<07:20, 9.00s/it][A + hellaswag_eu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 242/290 [35:37<07:10, 8.97s/it][A + hellaswag_eu: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 243/290 [35:46<07:03, 9.02s/it][A + hellaswag_eu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 244/290 [35:55<06:47, 8.86s/it][A + hellaswag_eu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 245/290 [36:03<06:37, 8.83s/it][A + hellaswag_eu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 246/290 [36:12<06:24, 8.73s/it][A + hellaswag_eu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/290 [36:21<06:12, 8.67s/it][A + hellaswag_eu: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/290 [36:29<06:02, 8.63s/it][A + hellaswag_eu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/290 [36:38<05:57, 8.71s/it][A + hellaswag_eu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/290 [36:47<05:56, 8.91s/it][A + hellaswag_eu: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/290 [36:56<05:44, 8.83s/it][A + hellaswag_eu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/290 [37:05<05:41, 8.98s/it][A + hellaswag_eu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/290 [37:14<05:24, 8.77s/it][A + hellaswag_eu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 254/290 [37:22<05:13, 8.72s/it][A + hellaswag_eu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/290 [37:31<05:02, 8.65s/it][A + hellaswag_eu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/290 [37:40<05:02, 8.90s/it][A + hellaswag_eu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 257/290 [37:49<04:51, 8.83s/it][A + hellaswag_eu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 258/290 [37:58<04:46, 8.95s/it][A + hellaswag_eu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 259/290 [38:08<04:42, 9.13s/it][A + hellaswag_eu: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/290 [38:16<04:30, 9.00s/it][A + hellaswag_eu: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/290 [38:25<04:16, 8.84s/it][A + hellaswag_eu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/290 [38:33<04:06, 8.80s/it][A + hellaswag_eu: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/290 [38:43<04:01, 8.94s/it][A + hellaswag_eu: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/290 [38:51<03:50, 8.85s/it][A + hellaswag_eu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/290 [39:00<03:40, 8.83s/it][A + hellaswag_eu: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/290 [39:09<03:30, 8.77s/it][A + hellaswag_eu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/290 [39:17<03:20, 8.72s/it][A + hellaswag_eu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 268/290 [39:26<03:12, 8.75s/it][A + hellaswag_eu: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 269/290 [39:35<03:03, 8.75s/it][A + hellaswag_eu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 270/290 [39:44<02:53, 8.70s/it][A + hellaswag_eu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 271/290 [39:52<02:45, 8.70s/it][A + hellaswag_eu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 272/290 [40:01<02:36, 8.69s/it][A + hellaswag_eu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 273/290 [40:10<02:27, 8.68s/it][A + hellaswag_eu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 274/290 [40:18<02:19, 8.69s/it][A + hellaswag_eu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 275/290 [40:27<02:09, 8.66s/it][A + hellaswag_eu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 276/290 [40:36<02:01, 8.68s/it][A + hellaswag_eu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 277/290 [40:45<01:54, 8.81s/it][A + hellaswag_eu: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 278/290 [40:54<01:46, 8.84s/it][A + hellaswag_eu: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 279/290 [41:02<01:37, 8.82s/it][A + hellaswag_eu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 280/290 [41:11<01:27, 8.76s/it][A + hellaswag_eu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 281/290 [41:20<01:18, 8.72s/it][A + hellaswag_eu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 282/290 [41:29<01:11, 8.95s/it][A + hellaswag_eu: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 283/290 [41:38<01:02, 8.88s/it][A + hellaswag_eu: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 284/290 [41:47<00:54, 9.06s/it][A + hellaswag_eu: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 285/290 [41:56<00:44, 8.91s/it][A + hellaswag_eu: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [42:05<00:35, 9.00s/it][A + hellaswag_eu: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [42:14<00:26, 8.91s/it][A + hellaswag_eu: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [42:23<00:17, 8.92s/it][A + hellaswag_eu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [42:31<00:08, 8.79s/it][A + hellaswag_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [42:36<00:00, 7.60s/it][A hellaswag_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [42:36<00:00, 8.82s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_eu_acc 0.2661264181523501 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_eu_acc_norm 0.2922744462452728 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 15:07:51,236 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 15:07:51,236 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:51,368 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 15:07:51,368 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:51,498 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 15:07:51,499 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:51,629 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 15:07:51,630 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 15:07:51,630 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 15:07:51,762 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 15:07:51,762 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_eu_acc'} +2024-05-29 15:07:51,828 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 15:07:51,828 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1153, 'value': 0.2661264181523501} +2024-05-29 15:07:51,895 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 15:07:52,562 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 15:07:52,562 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:52,693 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 15:07:52,693 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:52,825 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 15:07:52,825 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:52,956 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 15:07:52,957 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 15:07:52,957 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 15:07:53,090 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 15:07:53,090 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_eu_acc_norm'} +2024-05-29 15:07:53,156 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 15:07:53,156 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1154, 'value': 0.2922744462452728} +2024-05-29 15:07:53,223 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 31%|█████████████████████████████████▍ | 38/124 [8:20:22<58:41:35, 2456.93s/it]['hellaswag_fr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 15:07:53,848 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 15:07:53,848 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:53,970 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 15:07:53,970 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:54,097 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 15:07:54,097 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:07:54,219 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 15:07:54,220 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 15:07:54,220 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_fr'} +2024-05-29 15:07:54,343 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_fr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.94s/ examples][A + Generating validation split: 2000 examples [00:03, 916.61 examples/s][A + Generating validation split: 3994 examples [00:03, 2074.15 examples/s][A + Generating validation split: 5612 examples [00:03, 3206.75 examples/s][A + Generating validation split: 7242 examples [00:03, 4554.03 examples/s][A + Generating validation split: 9000 examples [00:03, 6172.91 examples/s][A Generating validation split: 9338 examples [00:03, 2660.52 examples/s] +Loaded 9338 examples +Running loglikelihood requests + + hellaswag_fr: 0%| | 0/292 [00:00<?, ?it/s][A + hellaswag_fr: 0%|▍ | 1/292 [00:07<38:36, 7.96s/it][A + hellaswag_fr: 1%|▊ | 2/292 [00:16<40:28, 8.37s/it][A + hellaswag_fr: 1%|█▏ | 3/292 [00:24<39:26, 8.19s/it][A + hellaswag_fr: 1%|█▌ | 4/292 [00:33<40:02, 8.34s/it][A + hellaswag_fr: 2%|█▉ | 5/292 [00:41<39:47, 8.32s/it][A + hellaswag_fr: 2%|██▎ | 6/292 [00:49<39:44, 8.34s/it][A + hellaswag_fr: 2%|██▋ | 7/292 [00:57<39:02, 8.22s/it][A + hellaswag_fr: 3%|███ | 8/292 [01:05<38:18, 8.09s/it][A + hellaswag_fr: 3%|███▌ | 9/292 [01:14<39:18, 8.33s/it][A + hellaswag_fr: 3%|███▊ | 10/292 [01:22<38:57, 8.29s/it][A + hellaswag_fr: 4%|████▎ | 11/292 [01:30<38:51, 8.30s/it][A + hellaswag_fr: 4%|████▋ | 12/292 [01:38<38:06, 8.17s/it][A + hellaswag_fr: 4%|█████ | 13/292 [01:47<38:03, 8.18s/it][A + hellaswag_fr: 5%|█████▍ | 14/292 [01:55<38:28, 8.30s/it][A + hellaswag_fr: 5%|█████▊ | 15/292 [02:03<37:54, 8.21s/it][A + hellaswag_fr: 5%|██████▏ | 16/292 [02:11<37:37, 8.18s/it][A + hellaswag_fr: 6%|██████▌ | 17/292 [02:19<37:22, 8.15s/it][A + hellaswag_fr: 6%|██████▉ | 18/292 [02:27<37:08, 8.13s/it][A + hellaswag_fr: 7%|███████▎ | 19/292 [02:36<37:54, 8.33s/it][A + hellaswag_fr: 7%|███████▋ | 20/292 [02:45<37:54, 8.36s/it][A + hellaswag_fr: 7%|████████▏ | 21/292 [02:53<37:19, 8.26s/it][A + hellaswag_fr: 8%|████████▌ | 22/292 [03:01<37:49, 8.41s/it][A + hellaswag_fr: 8%|████████▉ | 23/292 [03:09<36:58, 8.25s/it][A + hellaswag_fr: 8%|█████████▎ | 24/292 [03:17<36:36, 8.20s/it][A + hellaswag_fr: 9%|█████████▋ | 25/292 [03:25<36:02, 8.10s/it][A + hellaswag_fr: 9%|██████████ | 26/292 [03:34<36:08, 8.15s/it][A + hellaswag_fr: 9%|██████████▍ | 27/292 [03:41<35:33, 8.05s/it][A + hellaswag_fr: 10%|██████████▊ | 28/292 [03:49<35:30, 8.07s/it][A + hellaswag_fr: 10%|███████████▏ | 29/292 [03:57<35:12, 8.03s/it][A + hellaswag_fr: 10%|███████████▌ | 30/292 [04:05<34:54, 7.99s/it][A + hellaswag_fr: 11%|███████████▉ | 31/292 [04:13<34:42, 7.98s/it][A + hellaswag_fr: 11%|████████████▍ | 32/292 [04:21<34:30, 7.96s/it][A + hellaswag_fr: 11%|████████████▊ | 33/292 [04:29<34:08, 7.91s/it][A + hellaswag_fr: 12%|█████████████▏ | 34/292 [04:37<34:13, 7.96s/it][A + hellaswag_fr: 12%|█████████████▌ | 35/292 [04:46<34:43, 8.11s/it][A + hellaswag_fr: 12%|█████████████▉ | 36/292 [04:54<34:34, 8.10s/it][A + hellaswag_fr: 13%|██████████████▎ | 37/292 [05:01<34:00, 8.00s/it][A + hellaswag_fr: 13%|██████████████▋ | 38/292 [05:09<33:48, 7.99s/it][A + hellaswag_fr: 13%|███████████████ | 39/292 [05:18<34:59, 8.30s/it][A + hellaswag_fr: 14%|███████████████▍ | 40/292 [05:26<34:16, 8.16s/it][A + hellaswag_fr: 14%|███████████████▊ | 41/292 [05:34<34:01, 8.14s/it][A + hellaswag_fr: 14%|████████████████▎ | 42/292 [05:42<33:30, 8.04s/it][A + hellaswag_fr: 15%|████████████████▋ | 43/292 [05:50<33:21, 8.04s/it][A + hellaswag_fr: 15%|█████████████████ | 44/292 [05:59<33:49, 8.18s/it][A + hellaswag_fr: 15%|█████████████████▍ | 45/292 [06:07<34:09, 8.30s/it][A + hellaswag_fr: 16%|█████████████████▊ | 46/292 [06:15<33:40, 8.21s/it][A + hellaswag_fr: 16%|██████████████████▏ | 47/292 [06:23<33:37, 8.23s/it][A + hellaswag_fr: 16%|██████████████████▌ | 48/292 [06:31<33:02, 8.12s/it][A + hellaswag_fr: 17%|██████████████████▉ | 49/292 [06:39<32:43, 8.08s/it][A + hellaswag_fr: 17%|███████████████████▎ | 50/292 [06:48<33:19, 8.26s/it][A + hellaswag_fr: 17%|███████████████████▋ | 51/292 [06:56<32:55, 8.20s/it][A + hellaswag_fr: 18%|████████████████████ | 52/292 [07:04<32:18, 8.08s/it][A + hellaswag_fr: 18%|████████████████████▌ | 53/292 [07:12<31:58, 8.03s/it][A + hellaswag_fr: 18%|████████████████████▉ | 54/292 [07:20<31:43, 8.00s/it][A + hellaswag_fr: 19%|█████████████████████▎ | 55/292 [07:28<31:30, 7.98s/it][A + hellaswag_fr: 19%|█████████████████████▋ | 56/292 [07:36<31:25, 7.99s/it][A + hellaswag_fr: 20%|██████████████████████ | 57/292 [07:44<31:13, 7.97s/it][A + hellaswag_fr: 20%|██████████████████████▍ | 58/292 [07:52<31:33, 8.09s/it][A + hellaswag_fr: 20%|██████████████████████▊ | 59/292 [08:00<31:09, 8.02s/it][A + hellaswag_fr: 21%|███████████████████████▏ | 60/292 [08:08<31:01, 8.03s/it][A + hellaswag_fr: 21%|███████████████████████▌ | 61/292 [08:16<30:54, 8.03s/it][A + hellaswag_fr: 21%|███████████████████████▉ | 62/292 [08:24<31:08, 8.13s/it][A + hellaswag_fr: 22%|████████████████████████▍ | 63/292 [08:33<31:37, 8.28s/it][A + hellaswag_fr: 22%|████████████████████████▊ | 64/292 [08:41<31:43, 8.35s/it][A + hellaswag_fr: 22%|█████████████████████████▏ | 65/292 [08:49<30:59, 8.19s/it][A + hellaswag_fr: 23%|█████████████████████████▌ | 66/292 [08:58<31:27, 8.35s/it][A + hellaswag_fr: 23%|█████████████████████████▉ | 67/292 [09:06<30:45, 8.20s/it][A + hellaswag_fr: 23%|██████████████████████████▎ | 68/292 [09:14<30:33, 8.18s/it][A + hellaswag_fr: 24%|██████████████████████████▋ | 69/292 [09:23<31:30, 8.48s/it][A + hellaswag_fr: 24%|███████████████████████████ | 70/292 [09:31<30:58, 8.37s/it][A + hellaswag_fr: 24%|███████████████████████████▍ | 71/292 [09:40<31:39, 8.59s/it][A + hellaswag_fr: 25%|███████████████████████████▊ | 72/292 [09:49<31:39, 8.63s/it][A + hellaswag_fr: 25%|████████████████████████████▎ | 73/292 [09:57<30:42, 8.41s/it][A + hellaswag_fr: 25%|████████████████████████████▋ | 74/292 [10:06<31:20, 8.63s/it][A + hellaswag_fr: 26%|█████████████████████████████ | 75/292 [10:14<30:28, 8.43s/it][A + hellaswag_fr: 26%|█████████████████████████████▍ | 76/292 [10:23<30:35, 8.50s/it][A + hellaswag_fr: 26%|█████████████████████████████▊ | 77/292 [10:32<30:56, 8.64s/it][A + hellaswag_fr: 27%|██████████████████████████████▏ | 78/292 [10:40<30:01, 8.42s/it][A + hellaswag_fr: 27%|██████████████████████████████▌ | 79/292 [10:47<29:16, 8.24s/it][A + hellaswag_fr: 27%|██████████████████████████████▉ | 80/292 [10:55<28:41, 8.12s/it][A + hellaswag_fr: 28%|███████████████████████████████▎ | 81/292 [11:03<28:38, 8.14s/it][A + hellaswag_fr: 28%|███████████████████████████████▋ | 82/292 [11:11<28:13, 8.06s/it][A + hellaswag_fr: 28%|████████████████████████████████ | 83/292 [11:19<27:50, 7.99s/it][A + hellaswag_fr: 29%|████████████████████████████████▌ | 84/292 [11:28<28:22, 8.19s/it][A + hellaswag_fr: 29%|████████████████████████████████▉ | 85/292 [11:36<28:29, 8.26s/it][A + hellaswag_fr: 29%|█████████████████████████████████▎ | 86/292 [11:44<27:55, 8.14s/it][A + hellaswag_fr: 30%|█████████████████████████████████▋ | 87/292 [11:52<27:30, 8.05s/it][A + hellaswag_fr: 30%|██████████████████████████████████ | 88/292 [12:00<27:11, 8.00s/it][A + hellaswag_fr: 30%|██████████████████████████████████▍ | 89/292 [12:08<27:00, 7.98s/it][A + hellaswag_fr: 31%|██████████████████████████████████▊ | 90/292 [12:16<26:47, 7.96s/it][A + hellaswag_fr: 31%|███████████████████████████████████▏ | 91/292 [12:24<26:38, 7.95s/it][A + hellaswag_fr: 32%|███████████████████████████████████▌ | 92/292 [12:32<26:38, 7.99s/it][A + hellaswag_fr: 32%|███████████████████████████████████▉ | 93/292 [12:40<26:42, 8.05s/it][A + hellaswag_fr: 32%|████████████████████████████████████▍ | 94/292 [12:48<26:26, 8.01s/it][A + hellaswag_fr: 33%|████████████████████████████████████▊ | 95/292 [12:56<26:28, 8.06s/it][A + hellaswag_fr: 33%|█████████████████████████████████████▏ | 96/292 [13:04<26:12, 8.02s/it][A + hellaswag_fr: 33%|█████████████████████████████████████▌ | 97/292 [13:12<26:08, 8.04s/it][A + hellaswag_fr: 34%|█████████████████████████████████████▉ | 98/292 [13:21<26:38, 8.24s/it][A + hellaswag_fr: 34%|██████████████████████████████████████▎ | 99/292 [13:29<26:21, 8.20s/it][A + hellaswag_fr: 34%|██████████████████████████████████████▎ | 100/292 [13:37<25:55, 8.10s/it][A + hellaswag_fr: 35%|██████████████████████████████████████▋ | 101/292 [13:45<26:08, 8.21s/it][A + hellaswag_fr: 35%|███████████████████████████████████████ | 102/292 [13:53<25:41, 8.11s/it][A + hellaswag_fr: 35%|███████████████████████████████████████▌ | 103/292 [14:01<25:22, 8.05s/it][A + hellaswag_fr: 36%|███████████████████████████████████████▉ | 104/292 [14:09<25:36, 8.17s/it][A + hellaswag_fr: 36%|████████████████████████████████████████▎ | 105/292 [14:17<25:07, 8.06s/it][A + hellaswag_fr: 36%|████████████████████████████████████████▋ | 106/292 [14:25<24:55, 8.04s/it][A + hellaswag_fr: 37%|█████████████████████████████████████████ | 107/292 [14:33<24:42, 8.01s/it][A + hellaswag_fr: 37%|█████████████████████████████████████████▍ | 108/292 [14:41<24:35, 8.02s/it][A + hellaswag_fr: 37%|█████████████████████████████████████████▊ | 109/292 [14:49<24:20, 7.98s/it][A + hellaswag_fr: 38%|██████████████████████████████████████████▏ | 110/292 [14:57<24:18, 8.01s/it][A + hellaswag_fr: 38%|██████████████████████████████████████████▌ | 111/292 [15:05<24:05, 7.98s/it][A + hellaswag_fr: 38%|██████████████████████████████████████████▉ | 112/292 [15:14<24:40, 8.23s/it][A + hellaswag_fr: 39%|███████████████████████████████████████████▎ | 113/292 [15:22<24:21, 8.17s/it][A + hellaswag_fr: 39%|███████████████████████████████████████████▋ | 114/292 [15:30<24:09, 8.14s/it][A + hellaswag_fr: 39%|████████████████████████████████████████████ | 115/292 [15:38<23:55, 8.11s/it][A + hellaswag_fr: 40%|████████████████████████████████████████████▍ | 116/292 [15:46<23:44, 8.09s/it][A + hellaswag_fr: 40%|████████████████████████████████████████████▉ | 117/292 [15:54<23:28, 8.05s/it][A + hellaswag_fr: 40%|█████████████████████████████████████████████▎ | 118/292 [16:02<23:10, 7.99s/it][A + hellaswag_fr: 41%|█████████████████████████████████████████████▋ | 119/292 [16:10<23:05, 8.01s/it][A + hellaswag_fr: 41%|██████████████████████████████████████████████ | 120/292 [16:18<23:22, 8.15s/it][A + hellaswag_fr: 41%|██████████████████████████████████████████████▍ | 121/292 [16:26<23:03, 8.09s/it][A + hellaswag_fr: 42%|██████████████████████████████████████████████▊ | 122/292 [16:34<22:58, 8.11s/it][A + hellaswag_fr: 42%|███████████████████████████████████████████████▏ | 123/292 [16:42<22:42, 8.06s/it][A + hellaswag_fr: 42%|███████████████████████████████████████████████▌ | 124/292 [16:50<22:27, 8.02s/it][A + hellaswag_fr: 43%|███████████████████████████████████████████████▉ | 125/292 [16:58<22:21, 8.03s/it][A + hellaswag_fr: 43%|████████████████████████████████████████████████▎ | 126/292 [17:06<22:10, 8.01s/it][A + hellaswag_fr: 43%|████████████████████████████████████████████████▋ | 127/292 [17:14<21:54, 7.96s/it][A + hellaswag_fr: 44%|█████████████████████████████████████████████████ | 128/292 [17:22<21:59, 8.04s/it][A + hellaswag_fr: 44%|█████████████████████████████████████████████████▍ | 129/292 [17:30<21:43, 8.00s/it][A + hellaswag_fr: 45%|█████████████████████████████████████████████████▊ | 130/292 [17:38<21:32, 7.98s/it][A + hellaswag_fr: 45%|██████████████████████████████████████████████████▏ | 131/292 [17:46<21:20, 7.95s/it][A + hellaswag_fr: 45%|██████████████████████████████████████████████████▋ | 132/292 [17:54<21:25, 8.04s/it][A + hellaswag_fr: 46%|███████████████████████████████████████████████████ | 133/292 [18:02<21:16, 8.03s/it][A + hellaswag_fr: 46%|███████████████████████████████████████████████████▍ | 134/292 [18:10<21:09, 8.03s/it][A + hellaswag_fr: 46%|███████████████████████████████████████████████████▊ | 135/292 [18:18<20:58, 8.01s/it][A + hellaswag_fr: 47%|████████████████████████████████████████████████████▏ | 136/292 [18:28<21:42, 8.35s/it][A + hellaswag_fr: 47%|████████████████████████████████████████████████████▌ | 137/292 [18:36<21:42, 8.40s/it][A + hellaswag_fr: 47%|████████████████████████████████████████████████████▉ | 138/292 [18:45<22:05, 8.61s/it][A + hellaswag_fr: 48%|█████████████████████████████████████████████████████▎ | 139/292 [18:53<21:31, 8.44s/it][A + hellaswag_fr: 48%|█████████████████████████████████████████████████████▋ | 140/292 [19:02<21:35, 8.52s/it][A + hellaswag_fr: 48%|██████████████████████████████████████████████████████ | 141/292 [19:10<20:56, 8.32s/it][A + hellaswag_fr: 49%|██████████████████████████████████████████████████████▍ | 142/292 [19:18<20:27, 8.18s/it][A + hellaswag_fr: 49%|██████████████████████████████████████████████████████▊ | 143/292 [19:26<20:22, 8.21s/it][A + hellaswag_fr: 49%|███████████████████████████████████████████████████████▏ | 144/292 [19:35<20:46, 8.42s/it][A + hellaswag_fr: 50%|███████████████████████████████████████████████████████▌ | 145/292 [19:43<20:14, 8.26s/it][A + hellaswag_fr: 50%|████████████████████████████████████████████████████████ | 146/292 [19:51<20:18, 8.35s/it][A + hellaswag_fr: 50%|████████████████████████████████████████████████████████▍ | 147/292 [19:59<19:53, 8.23s/it][A + hellaswag_fr: 51%|████████████████████████████████████████████████████████▊ | 148/292 [20:07<19:23, 8.08s/it][A + hellaswag_fr: 51%|█████████████████████████████████████████████████████████▏ | 149/292 [20:16<19:36, 8.23s/it][A + hellaswag_fr: 51%|█████████████████████████████████████████████████████████▌ | 150/292 [20:23<19:13, 8.12s/it][A + hellaswag_fr: 52%|█████████████████████████████████████████████████████████▉ | 151/292 [20:31<18:57, 8.07s/it][A + hellaswag_fr: 52%|██████████████████████████████████████████████████████████▎ | 152/292 [20:40<19:29, 8.36s/it][A + hellaswag_fr: 52%|██████████████████████████████████████████████████████████▋ | 153/292 [20:48<19:04, 8.24s/it][A + hellaswag_fr: 53%|███████████████████████████████████████████████████████████ | 154/292 [20:57<19:11, 8.34s/it][A + hellaswag_fr: 53%|███████████████████████████████████████████████████████████▍ | 155/292 [21:05<18:40, 8.18s/it][A + hellaswag_fr: 53%|███████████████████████████████████████████████████████████▊ | 156/292 [21:13<18:21, 8.10s/it][A + hellaswag_fr: 54%|████████████████████████████████████████████████████████████▏ | 157/292 [21:21<18:22, 8.16s/it][A + hellaswag_fr: 54%|████████████████████████████████████████████████████████████▌ | 158/292 [21:29<18:02, 8.08s/it][A + hellaswag_fr: 54%|████████████████████████████████████████████████████████████▉ | 159/292 [21:37<17:44, 8.00s/it][A + hellaswag_fr: 55%|█████████████████████████████████████████████████████████████▎ | 160/292 [21:45<17:45, 8.07s/it][A + hellaswag_fr: 55%|█████████████████████████████████████████████████████████████▊ | 161/292 [21:53<17:36, 8.06s/it][A + hellaswag_fr: 55%|██████████████████████████████████████████████████████████████▏ | 162/292 [22:01<17:17, 7.98s/it][A + hellaswag_fr: 56%|██████████████████████████████████████████████████████████████▌ | 163/292 [22:09<17:08, 7.97s/it][A + hellaswag_fr: 56%|██████████████████████████████████████████████████████████████▉ | 164/292 [22:17<17:00, 7.97s/it][A + hellaswag_fr: 57%|███████████████████████████████████████████████████████████████▎ | 165/292 [22:25<16:55, 8.00s/it][A + hellaswag_fr: 57%|███████████████████████████████████████████████████████████████▋ | 166/292 [22:33<16:45, 7.98s/it][A + hellaswag_fr: 57%|████████████████████████████████████████████████████████████████ | 167/292 [22:40<16:33, 7.95s/it][A + hellaswag_fr: 58%|████████████████████████████████████████████████████████████████▍ | 168/292 [22:48<16:24, 7.94s/it][A + hellaswag_fr: 58%|████████████████████████████████████████████████████████████████▊ | 169/292 [22:57<16:50, 8.22s/it][A + hellaswag_fr: 58%|█████████████████████████████████████████████████████████████████▏ | 170/292 [23:05<16:36, 8.16s/it][A + hellaswag_fr: 59%|█████████████████████████████████████████████████████████████████▌ | 171/292 [23:14<16:39, 8.26s/it][A + hellaswag_fr: 59%|█████████████████████████████████████████████████████████████████▉ | 172/292 [23:22<16:37, 8.31s/it][A + hellaswag_fr: 59%|██████████████████████████████████████████████████████████████████▎ | 173/292 [23:30<16:21, 8.24s/it][A + hellaswag_fr: 60%|██████████████████████████████████████████████████████████████████▋ | 174/292 [23:38<16:03, 8.16s/it][A + hellaswag_fr: 60%|███████████████████████████████████████████████████████████████████ | 175/292 [23:46<15:46, 8.09s/it][A + hellaswag_fr: 60%|███████████████████████████████████████████████████████████████████▌ | 176/292 [23:54<15:29, 8.01s/it][A + hellaswag_fr: 61%|███████████████████████████████████████████████████████████████████▉ | 177/292 [24:02<15:27, 8.07s/it][A + hellaswag_fr: 61%|████████████████████████████████████████████████████████████████████▎ | 178/292 [24:11<15:32, 8.18s/it][A + hellaswag_fr: 61%|████████████████████████████████████████████████████████████████████▋ | 179/292 [24:19<15:40, 8.33s/it][A + hellaswag_fr: 62%|█████████████████████████████████████████████████████████████████████ | 180/292 [24:28<15:31, 8.31s/it][A + hellaswag_fr: 62%|█████████████████████████████████████████████████████████████████████▍ | 181/292 [24:36<15:28, 8.36s/it][A + hellaswag_fr: 62%|█████████████████████████████████████████████████████████████████████▊ | 182/292 [24:44<15:07, 8.25s/it][A + hellaswag_fr: 63%|██████████████████████████████████████████████████████████████████████▏ | 183/292 [24:52<14:48, 8.15s/it][A + hellaswag_fr: 63%|██████████████████████████████████████████████████████████████████████▌ | 184/292 [25:00<14:46, 8.21s/it][A + hellaswag_fr: 63%|██████████████████████████████████████████████████████████████████████▉ | 185/292 [25:08<14:36, 8.19s/it][A + hellaswag_fr: 64%|███████████████████████████████████████████████████████████████████████▎ | 186/292 [25:17<14:42, 8.33s/it][A + hellaswag_fr: 64%|███████████████████████████████████████████████████████████████████████▋ | 187/292 [25:26<14:45, 8.44s/it][A + hellaswag_fr: 64%|████████████████████████████████████████████████████████████████████████ | 188/292 [25:34<14:20, 8.27s/it][A + hellaswag_fr: 65%|████████████████████████████████████████████████████████████████████████▍ | 189/292 [25:42<14:17, 8.33s/it][A + hellaswag_fr: 65%|████████████████████████████████████████████████████████████████████████▉ | 190/292 [25:50<13:53, 8.17s/it][A + hellaswag_fr: 65%|█████████████████████████████████████████████████████████████████████████▎ | 191/292 [25:58<13:38, 8.10s/it][A + hellaswag_fr: 66%|█████████████████████████████████████████████████████████████████████████▋ | 192/292 [26:06<13:41, 8.21s/it][A + hellaswag_fr: 66%|██████████████████████████████████████████████████████████████████████████ | 193/292 [26:15<13:42, 8.31s/it][A + hellaswag_fr: 66%|██████████████████████████████████████████████████████████████████████████▍ | 194/292 [26:24<13:47, 8.44s/it][A + hellaswag_fr: 67%|██████████████████████████████████████████████████████████████████████████▊ | 195/292 [26:32<13:25, 8.30s/it][A + hellaswag_fr: 67%|███████████████████████████████████████████████████████████████████████████▏ | 196/292 [26:40<13:05, 8.18s/it][A + hellaswag_fr: 67%|███████████████████████████████████████████████████████████████████████████▌ | 197/292 [26:48<13:02, 8.24s/it][A + hellaswag_fr: 68%|███████████████████████████████████████████████████████████████████████████▉ | 198/292 [26:56<12:49, 8.19s/it][A + hellaswag_fr: 68%|████████████████████████████████████████████████████████████████████████████▎ | 199/292 [27:05<12:52, 8.31s/it][A + hellaswag_fr: 68%|████████████████████████████████████████████████████████████████████████████▋ | 200/292 [27:14<13:04, 8.53s/it][A + hellaswag_fr: 69%|█████████████████████████████████████████████████████████████████████████████ | 201/292 [27:22<13:03, 8.61s/it][A + hellaswag_fr: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 202/292 [27:31<12:54, 8.60s/it][A + hellaswag_fr: 70%|█████████████████████████████████████████████████████████████████████████████▊ | 203/292 [27:39<12:27, 8.40s/it][A + hellaswag_fr: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 204/292 [27:47<12:21, 8.43s/it][A + hellaswag_fr: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 205/292 [27:55<12:01, 8.29s/it][A + hellaswag_fr: 71%|███████████████████████████████████████████████████████████████████████████████ | 206/292 [28:04<11:48, 8.23s/it][A + hellaswag_fr: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 207/292 [28:11<11:30, 8.13s/it][A + hellaswag_fr: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 208/292 [28:19<11:15, 8.04s/it][A + hellaswag_fr: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 209/292 [28:27<11:01, 7.97s/it][A + hellaswag_fr: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 210/292 [28:35<10:53, 7.97s/it][A + hellaswag_fr: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 211/292 [28:44<11:04, 8.20s/it][A + hellaswag_fr: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 212/292 [28:52<10:50, 8.13s/it][A + hellaswag_fr: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 213/292 [29:00<10:44, 8.16s/it][A + hellaswag_fr: 73%|██████████████████████████████████████████████████████████████████████████████████ | 214/292 [29:08<10:30, 8.08s/it][A + hellaswag_fr: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 215/292 [29:16<10:17, 8.01s/it][A + hellaswag_fr: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 216/292 [29:24<10:05, 7.97s/it][A + hellaswag_fr: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 217/292 [29:32<10:12, 8.17s/it][A + hellaswag_fr: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 218/292 [29:41<10:15, 8.32s/it][A + hellaswag_fr: 75%|████████████████████████████████████████████████████████████████████████████████████ | 219/292 [29:49<09:56, 8.17s/it][A + hellaswag_fr: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 220/292 [29:57<09:49, 8.18s/it][A + hellaswag_fr: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 221/292 [30:05<09:47, 8.28s/it][A + hellaswag_fr: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 222/292 [30:13<09:33, 8.20s/it][A + hellaswag_fr: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 223/292 [30:22<09:25, 8.20s/it][A + hellaswag_fr: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 224/292 [30:30<09:12, 8.12s/it][A + hellaswag_fr: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 225/292 [30:38<09:03, 8.11s/it][A + hellaswag_fr: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 226/292 [30:46<08:55, 8.11s/it][A + hellaswag_fr: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 227/292 [30:55<08:59, 8.31s/it][A + hellaswag_fr: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 228/292 [31:02<08:44, 8.19s/it][A + hellaswag_fr: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 229/292 [31:10<08:33, 8.15s/it][A + hellaswag_fr: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 230/292 [31:19<08:32, 8.27s/it][A + hellaswag_fr: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 231/292 [31:28<08:28, 8.33s/it][A + hellaswag_fr: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 232/292 [31:35<08:10, 8.17s/it][A + hellaswag_fr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 233/292 [31:43<07:57, 8.09s/it][A + hellaswag_fr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 234/292 [31:51<07:44, 8.02s/it][A + hellaswag_fr: 80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 235/292 [32:00<07:52, 8.29s/it][A + hellaswag_fr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 236/292 [32:08<07:40, 8.22s/it][A + hellaswag_fr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 237/292 [32:16<07:33, 8.24s/it][A + hellaswag_fr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 238/292 [32:24<07:18, 8.13s/it][A + hellaswag_fr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 239/292 [32:33<07:18, 8.28s/it][A + hellaswag_fr: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 240/292 [32:41<07:05, 8.19s/it][A + hellaswag_fr: 83%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 241/292 [32:49<07:03, 8.29s/it][A + hellaswag_fr: 83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 242/292 [32:58<06:57, 8.35s/it][A + hellaswag_fr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 243/292 [33:06<06:41, 8.20s/it][A + hellaswag_fr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 244/292 [33:13<06:27, 8.08s/it][A + hellaswag_fr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 245/292 [33:22<06:23, 8.15s/it][A + hellaswag_fr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 246/292 [33:30<06:15, 8.16s/it][A + hellaswag_fr: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 247/292 [33:38<06:09, 8.22s/it][A + hellaswag_fr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 248/292 [33:46<05:58, 8.14s/it][A + hellaswag_fr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 249/292 [33:54<05:47, 8.09s/it][A + hellaswag_fr: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 250/292 [34:02<05:38, 8.05s/it][A + hellaswag_fr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 251/292 [34:10<05:27, 7.99s/it][A + hellaswag_fr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 252/292 [34:18<05:18, 7.96s/it][A + hellaswag_fr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 253/292 [34:26<05:09, 7.94s/it][A + hellaswag_fr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 254/292 [34:34<05:03, 8.00s/it][A + hellaswag_fr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 255/292 [34:42<04:56, 8.01s/it][A + hellaswag_fr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 256/292 [34:50<04:46, 7.97s/it][A + hellaswag_fr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 257/292 [34:58<04:40, 8.01s/it][A + hellaswag_fr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 258/292 [35:06<04:31, 7.98s/it][A + hellaswag_fr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/292 [35:14<04:27, 8.10s/it][A + hellaswag_fr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 260/292 [35:22<04:17, 8.05s/it][A + hellaswag_fr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 261/292 [35:30<04:07, 7.99s/it][A + hellaswag_fr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 262/292 [35:38<04:01, 8.05s/it][A + hellaswag_fr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 263/292 [35:48<04:03, 8.41s/it][A + hellaswag_fr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 264/292 [35:56<03:58, 8.50s/it][A + hellaswag_fr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 265/292 [36:04<03:46, 8.38s/it][A + hellaswag_fr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 266/292 [36:13<03:39, 8.43s/it][A + hellaswag_fr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 267/292 [36:21<03:27, 8.30s/it][A + hellaswag_fr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 268/292 [36:29<03:17, 8.22s/it][A + hellaswag_fr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 269/292 [36:37<03:07, 8.14s/it][A + hellaswag_fr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 270/292 [36:45<02:58, 8.10s/it][A + hellaswag_fr: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 271/292 [36:54<02:53, 8.28s/it][A + hellaswag_fr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 272/292 [37:02<02:45, 8.28s/it][A + hellaswag_fr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 273/292 [37:10<02:34, 8.15s/it][A + hellaswag_fr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 274/292 [37:18<02:25, 8.09s/it][A + hellaswag_fr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 275/292 [37:26<02:19, 8.21s/it][A + hellaswag_fr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 276/292 [37:34<02:10, 8.15s/it][A + hellaswag_fr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 277/292 [37:43<02:03, 8.25s/it][A + hellaswag_fr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 278/292 [37:51<01:57, 8.38s/it][A + hellaswag_fr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 279/292 [37:59<01:47, 8.28s/it][A + hellaswag_fr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 280/292 [38:07<01:38, 8.17s/it][A + hellaswag_fr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 281/292 [38:15<01:29, 8.16s/it][A + hellaswag_fr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 282/292 [38:23<01:21, 8.12s/it][A + hellaswag_fr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 283/292 [38:32<01:13, 8.14s/it][A + hellaswag_fr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 284/292 [38:40<01:04, 8.07s/it][A + hellaswag_fr: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 285/292 [38:48<00:57, 8.26s/it][A + hellaswag_fr: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 286/292 [38:56<00:49, 8.24s/it][A + hellaswag_fr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 287/292 [39:05<00:41, 8.24s/it][A + hellaswag_fr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 288/292 [39:13<00:32, 8.15s/it][A + hellaswag_fr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 289/292 [39:21<00:24, 8.12s/it][A + hellaswag_fr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 290/292 [39:29<00:16, 8.19s/it][A + hellaswag_fr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 291/292 [39:37<00:08, 8.11s/it][A + hellaswag_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [39:44<00:00, 7.86s/it][A hellaswag_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [39:44<00:00, 8.17s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_fr_acc 0.5412293853073463 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_fr_acc_norm 0.7244591989719426 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 15:47:44,580 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 15:47:44,580 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:44,703 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 15:47:44,703 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:44,826 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 15:47:44,826 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:44,948 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 15:47:44,949 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 15:47:44,949 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 15:47:45,075 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 15:47:45,075 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'hellaswag_fr_acc'} +2024-05-29 15:47:45,137 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 15:47:45,137 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1155, 'value': 0.5412293853073463} +2024-05-29 15:47:45,200 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 15:47:45,832 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 15:47:45,832 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:45,957 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 15:47:45,957 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:46,081 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 15:47:46,081 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:46,206 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 15:47:46,206 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 15:47:46,206 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 15:47:46,332 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 15:47:46,332 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_fr_acc_norm'} +2024-05-29 15:47:46,395 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 15:47:46,395 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1156, 'value': 0.7244591989719426} +2024-05-29 15:47:46,458 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 31%|██████████████████████████████████▎ | 39/124 [9:00:15<57:33:34, 2437.82s/it]['hellaswag_gu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 15:47:47,097 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 15:47:47,097 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:47,223 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 15:47:47,223 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:47,348 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 15:47:47,348 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 15:47:47,474 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 15:47:47,475 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 15:47:47,475 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_gu'} +2024-05-29 15:47:47,601 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_gu task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:04, 4.71s/ examples][A + Generating validation split: 1967 examples [00:04, 576.57 examples/s][A + Generating validation split: 3435 examples [00:04, 1143.48 examples/s][A + Generating validation split: 5000 examples [00:05, 1926.89 examples/s][A + Generating validation split: 7000 examples [00:05, 3163.07 examples/s][A + Generating validation split: 8732 examples [00:05, 4457.35 examples/s][A Generating validation split: 8803 examples [00:05, 1666.54 examples/s] +Loaded 8803 examples +Running loglikelihood requests + + hellaswag_gu: 0%| | 0/276 [00:00<?, ?it/s][A + hellaswag_gu: 0%|▍ | 1/276 [00:17<1:19:43, 17.39s/it][A + hellaswag_gu: 1%|▊ | 2/276 [00:35<1:22:20, 18.03s/it][A + hellaswag_gu: 1%|█▏ | 3/276 [00:52<1:19:59, 17.58s/it][A + hellaswag_gu: 1%|█▌ | 4/276 [01:13<1:25:35, 18.88s/it][A + hellaswag_gu: 2%|██ | 5/276 [01:34<1:28:34, 19.61s/it][A + hellaswag_gu: 2%|██▍ | 6/276 [01:52<1:26:10, 19.15s/it][A + hellaswag_gu: 3%|██▊ | 7/276 [02:11<1:24:33, 18.86s/it][A + hellaswag_gu: 3%|███▏ | 8/276 [02:29<1:24:01, 18.81s/it][A + hellaswag_gu: 3%|███▋ | 9/276 [02:48<1:23:01, 18.66s/it][A + hellaswag_gu: 4%|████ | 10/276 [03:07<1:23:15, 18.78s/it][A + hellaswag_gu: 4%|████▍ | 11/276 [03:26<1:23:08, 18.83s/it][A + hellaswag_gu: 4%|████▊ | 12/276 [03:45<1:22:49, 18.82s/it][A + hellaswag_gu: 5%|█████▏ | 13/276 [04:06<1:25:35, 19.52s/it][A + hellaswag_gu: 5%|█████▋ | 14/276 [04:27<1:27:34, 20.05s/it][A + hellaswag_gu: 5%|██████ | 15/276 [04:47<1:27:16, 20.06s/it][A + hellaswag_gu: 6%|██████▍ | 16/276 [05:04<1:22:54, 19.13s/it][A + hellaswag_gu: 6%|██████▊ | 17/276 [05:22<1:21:39, 18.92s/it][A + hellaswag_gu: 7%|███████▏ | 18/276 [05:42<1:22:43, 19.24s/it][A + hellaswag_gu: 7%|███████▋ | 19/276 [06:02<1:22:47, 19.33s/it][A + hellaswag_gu: 7%|████████ | 20/276 [06:22<1:22:58, 19.45s/it][A + hellaswag_gu: 8%|████████▍ | 21/276 [06:40<1:21:29, 19.18s/it][A + hellaswag_gu: 8%|████████▊ | 22/276 [06:59<1:20:02, 18.91s/it][A + hellaswag_gu: 8%|█████████▎ | 23/276 [07:18<1:20:07, 19.00s/it][A + hellaswag_gu: 9%|█████████▋ | 24/276 [07:35<1:17:22, 18.42s/it][A + hellaswag_gu: 9%|██████████ | 25/276 [07:54<1:17:27, 18.52s/it][A + hellaswag_gu: 9%|██████████▍ | 26/276 [08:13<1:18:54, 18.94s/it][A + hellaswag_gu: 10%|██████████▊ | 27/276 [08:33<1:19:29, 19.15s/it][A + hellaswag_gu: 10%|███████████▎ | 28/276 [08:51<1:17:53, 18.84s/it][A + hellaswag_gu: 11%|███████████▋ | 29/276 [09:10<1:17:52, 18.92s/it][A + hellaswag_gu: 11%|████████████ | 30/276 [09:30<1:18:53, 19.24s/it][A + hellaswag_gu: 11%|████████████▍ | 31/276 [09:49<1:18:02, 19.11s/it][A + hellaswag_gu: 12%|████████████▊ | 32/276 [10:08<1:17:06, 18.96s/it][A + hellaswag_gu: 12%|█████████████▎ | 33/276 [10:26<1:15:23, 18.61s/it][A + hellaswag_gu: 12%|█████████████▋ | 34/276 [10:44<1:14:50, 18.56s/it][A + hellaswag_gu: 13%|██████████████ | 35/276 [11:03<1:14:52, 18.64s/it][A + hellaswag_gu: 13%|██████████████▍ | 36/276 [11:22<1:14:47, 18.70s/it][A + hellaswag_gu: 13%|██████████████▉ | 37/276 [11:39<1:13:12, 18.38s/it][A + hellaswag_gu: 14%|███████████████▎ | 38/276 [11:59<1:14:57, 18.90s/it][A + hellaswag_gu: 14%|███████████████▋ | 39/276 [12:18<1:14:33, 18.88s/it][A + hellaswag_gu: 14%|████████████████ | 40/276 [12:37<1:14:28, 18.93s/it][A + hellaswag_gu: 15%|████████████████▍ | 41/276 [12:58<1:15:57, 19.39s/it][A + hellaswag_gu: 15%|████████████████▉ | 42/276 [13:17<1:15:20, 19.32s/it][A + hellaswag_gu: 16%|█████████████████▎ | 43/276 [13:37<1:15:58, 19.56s/it][A + hellaswag_gu: 16%|█████████████████▋ | 44/276 [13:56<1:14:29, 19.26s/it][A + hellaswag_gu: 16%|██████████████████ | 45/276 [14:14<1:13:43, 19.15s/it][A + hellaswag_gu: 17%|██████████████████▌ | 46/276 [14:33<1:13:10, 19.09s/it][A + hellaswag_gu: 17%|██████████████████▉ | 47/276 [14:52<1:12:40, 19.04s/it][A + hellaswag_gu: 17%|███████████████████▎ | 48/276 [15:12<1:13:01, 19.21s/it][A + hellaswag_gu: 18%|███████████████████▋ | 49/276 [15:30<1:11:51, 19.00s/it][A + hellaswag_gu: 18%|████████████████████ | 50/276 [15:49<1:10:39, 18.76s/it][A + hellaswag_gu: 18%|████████████████████▌ | 51/276 [16:08<1:10:53, 18.90s/it][A + hellaswag_gu: 19%|████████████████████▉ | 52/276 [16:25<1:09:04, 18.50s/it][A + hellaswag_gu: 19%|█████████████████████▎ | 53/276 [16:46<1:10:39, 19.01s/it][A + hellaswag_gu: 20%|█████████████████████▋ | 54/276 [17:03<1:08:51, 18.61s/it][A + hellaswag_gu: 20%|██████████████████████ | 55/276 [17:23<1:09:40, 18.91s/it][A + hellaswag_gu: 20%|██████████████████████▌ | 56/276 [17:41<1:08:51, 18.78s/it][A + hellaswag_gu: 21%|██████████████████████▉ | 57/276 [18:01<1:08:58, 18.90s/it][A + hellaswag_gu: 21%|███████████████████████▎ | 58/276 [18:20<1:09:02, 19.00s/it][A + hellaswag_gu: 21%|███████████████████████▋ | 59/276 [18:37<1:07:00, 18.53s/it][A + hellaswag_gu: 22%|████████████████████████▏ | 60/276 [18:56<1:06:57, 18.60s/it][A + hellaswag_gu: 22%|████████████████████████▌ | 61/276 [19:14<1:05:49, 18.37s/it][A + hellaswag_gu: 22%|████████████████████████▉ | 62/276 [19:33<1:06:42, 18.70s/it][A + hellaswag_gu: 23%|█████████████████████████▎ | 63/276 [19:53<1:06:56, 18.86s/it][A + hellaswag_gu: 23%|█████████████████████████▋ | 64/276 [20:11<1:06:04, 18.70s/it][A + hellaswag_gu: 24%|██████████████████████████▏ | 65/276 [20:29<1:05:38, 18.67s/it][A + hellaswag_gu: 24%|██████████████████████████▌ | 66/276 [20:49<1:06:34, 19.02s/it][A + hellaswag_gu: 24%|██████████████████████████▉ | 67/276 [21:09<1:07:16, 19.32s/it][A + hellaswag_gu: 25%|███████████████████████████▎ | 68/276 [21:28<1:06:45, 19.26s/it][A + hellaswag_gu: 25%|███████████████████████████▊ | 69/276 [21:46<1:04:25, 18.67s/it][A + hellaswag_gu: 25%|████████████████████████████▏ | 70/276 [22:06<1:05:32, 19.09s/it][A + hellaswag_gu: 26%|████████████████████████████▌ | 71/276 [22:26<1:06:20, 19.42s/it][A + hellaswag_gu: 26%|████████████████████████████▉ | 72/276 [22:45<1:05:40, 19.32s/it][A + hellaswag_gu: 26%|█████████████████████████████▎ | 73/276 [23:04<1:05:09, 19.26s/it][A + hellaswag_gu: 27%|█████████████████████████████▊ | 74/276 [23:23<1:04:02, 19.02s/it][A + hellaswag_gu: 27%|██████████████████████████████▏ | 75/276 [23:42<1:04:07, 19.14s/it][A + hellaswag_gu: 28%|██████████████████████████████▌ | 76/276 [24:00<1:02:26, 18.73s/it][A + hellaswag_gu: 28%|██████████████████████████████▉ | 77/276 [24:19<1:02:23, 18.81s/it][A + hellaswag_gu: 28%|███████████████████████████████▎ | 78/276 [24:38<1:02:10, 18.84s/it][A + hellaswag_gu: 29%|████████████████████████████████▎ | 79/276 [24:54<59:45, 18.20s/it][A + hellaswag_gu: 29%|████████████████████████████████▏ | 80/276 [25:13<1:00:06, 18.40s/it][A + hellaswag_gu: 29%|████████████████████████████████▌ | 81/276 [25:32<1:00:18, 18.55s/it][A + hellaswag_gu: 30%|█████████████████████████████████▌ | 82/276 [25:50<59:30, 18.41s/it][A + hellaswag_gu: 30%|█████████████████████████████████▉ | 83/276 [26:08<58:34, 18.21s/it][A + hellaswag_gu: 30%|██████████████████████████████████▍ | 84/276 [26:28<59:40, 18.65s/it][A + hellaswag_gu: 31%|██████████████████████████████████▊ | 85/276 [26:46<59:21, 18.65s/it][A + hellaswag_gu: 31%|██████████████████████████████████▌ | 86/276 [27:06<1:00:04, 18.97s/it][A + hellaswag_gu: 32%|███████████████████████████████████▌ | 87/276 [27:24<58:53, 18.70s/it][A + hellaswag_gu: 32%|████████████████████████████████████ | 88/276 [27:42<58:10, 18.57s/it][A + hellaswag_gu: 32%|████████████████████████████████████▍ | 89/276 [28:01<57:43, 18.52s/it][A + hellaswag_gu: 33%|████████████████████████████████████▊ | 90/276 [28:19<57:13, 18.46s/it][A + hellaswag_gu: 33%|█████████████████████████████████████▎ | 91/276 [28:39<57:53, 18.78s/it][A + hellaswag_gu: 33%|█████████████████████████████████████▋ | 92/276 [28:56<56:04, 18.28s/it][A + hellaswag_gu: 34%|██████████████████████████████████████ | 93/276 [29:15<56:41, 18.59s/it][A + hellaswag_gu: 34%|██████████████████████████████████████▍ | 94/276 [29:33<55:43, 18.37s/it][A + hellaswag_gu: 34%|██████████████████████████████████████▉ | 95/276 [29:51<54:52, 18.19s/it][A + hellaswag_gu: 35%|███████████████████████████████████████▎ | 96/276 [30:11<56:08, 18.71s/it][A + hellaswag_gu: 35%|███████████████████████████████████████▋ | 97/276 [30:29<55:52, 18.73s/it][A + hellaswag_gu: 36%|████████████████████████████████████████ | 98/276 [30:48<55:34, 18.73s/it][A + hellaswag_gu: 36%|████████████████████████████████████████▌ | 99/276 [31:10<57:49, 19.60s/it][A + hellaswag_gu: 36%|████████████████████████████████████████▌ | 100/276 [31:28<56:14, 19.17s/it][A + hellaswag_gu: 37%|████████████████████████████████████████▉ | 101/276 [31:47<55:41, 19.09s/it][A + hellaswag_gu: 37%|█████████████████████████████████████████▍ | 102/276 [32:07<56:36, 19.52s/it][A + hellaswag_gu: 37%|█████████████████████████████████████████▊ | 103/276 [32:26<55:37, 19.29s/it][A + hellaswag_gu: 38%|██████████████████████████████████████████▏ | 104/276 [32:44<53:55, 18.81s/it][A + hellaswag_gu: 38%|██████████████████████████████████████████▌ | 105/276 [33:02<53:12, 18.67s/it][A + hellaswag_gu: 38%|███████████████████████████████████████████ | 106/276 [33:21<53:22, 18.84s/it][A + hellaswag_gu: 39%|███████████████████████████████████████████▍ | 107/276 [33:43<55:11, 19.59s/it][A + hellaswag_gu: 39%|███████████████████████████████████████████▊ | 108/276 [34:01<53:20, 19.05s/it][A + hellaswag_gu: 39%|████████████████████████████████████████████▏ | 109/276 [34:19<52:25, 18.83s/it][A + hellaswag_gu: 40%|████████████████████████████████████████████▋ | 110/276 [34:38<52:25, 18.95s/it][A + hellaswag_gu: 40%|█████████████████████████████████████████████ | 111/276 [34:57<52:26, 19.07s/it][A + hellaswag_gu: 41%|█████████████████████████████████████████████▍ | 112/276 [35:17<52:33, 19.23s/it][A + hellaswag_gu: 41%|█████████████████████████████████████████████▊ | 113/276 [35:36<52:08, 19.19s/it][A + hellaswag_gu: 41%|██████████████████████████████████████████████▎ | 114/276 [35:55<51:38, 19.13s/it][A + hellaswag_gu: 42%|██████████████████████████████████████████████▋ | 115/276 [36:16<52:57, 19.74s/it][A + hellaswag_gu: 42%|███████████████████████████████████████████████ | 116/276 [36:36<52:13, 19.59s/it][A + hellaswag_gu: 42%|███████████████████████████████████████████████▍ | 117/276 [36:56<52:13, 19.71s/it][A + hellaswag_gu: 43%|███████████████████████████████████████████████▉ | 118/276 [37:14<50:50, 19.30s/it][A + hellaswag_gu: 43%|████████████████████████████████████████████████▎ | 119/276 [37:32<49:54, 19.07s/it][A + hellaswag_gu: 43%|████████████████████████████████████████████████▋ | 120/276 [37:52<49:45, 19.14s/it][A + hellaswag_gu: 44%|█████████████████████████████████████████████████ | 121/276 [38:11<49:36, 19.20s/it][A + hellaswag_gu: 44%|█████████████████████████████████████████████████▌ | 122/276 [38:28<47:51, 18.65s/it][A + hellaswag_gu: 45%|█████████████████████████████████████████████████▉ | 123/276 [38:47<47:26, 18.60s/it][A + hellaswag_gu: 45%|██████████████████████████████████████████████████▎ | 124/276 [39:05<46:51, 18.50s/it][A + hellaswag_gu: 45%|██████████████████████████████████████████████████▋ | 125/276 [39:25<47:29, 18.87s/it][A + hellaswag_gu: 46%|███████████████████████████████████████████████████▏ | 126/276 [39:43<46:50, 18.74s/it][A + hellaswag_gu: 46%|███████████████████████████████████████████████████▌ | 127/276 [40:03<47:01, 18.94s/it][A + hellaswag_gu: 46%|███████████████████████████████████████████████████▉ | 128/276 [40:21<46:09, 18.71s/it][A + hellaswag_gu: 47%|████████████████████████████████████████████████████▎ | 129/276 [40:41<46:37, 19.03s/it][A + hellaswag_gu: 47%|████████████████████████████████████████████████████▊ | 130/276 [41:01<46:52, 19.26s/it][A + hellaswag_gu: 47%|█████████████████████████████████████████████████████▏ | 131/276 [41:21<47:21, 19.59s/it][A + hellaswag_gu: 48%|█████████████████████████████████████████████████████▌ | 132/276 [41:39<46:16, 19.28s/it][A + hellaswag_gu: 48%|█████████████████████████████████████████████████████▉ | 133/276 [41:59<46:15, 19.41s/it][A + hellaswag_gu: 49%|██████████████████████████████████████████████████████▍ | 134/276 [42:18<45:13, 19.11s/it][A + hellaswag_gu: 49%|██████████████████████████████████████████████████████▊ | 135/276 [42:35<43:56, 18.70s/it][A + hellaswag_gu: 49%|███████████████████████████████████████████████████████▏ | 136/276 [42:53<42:50, 18.36s/it][A + hellaswag_gu: 50%|███████████████████████████████████████████████████████▌ | 137/276 [43:13<43:52, 18.94s/it][A + hellaswag_gu: 50%|████████████████████████████████████████████████████████ | 138/276 [43:33<44:05, 19.17s/it][A + hellaswag_gu: 50%|████████████████████████████████████████████████████████▍ | 139/276 [43:52<43:51, 19.21s/it][A + hellaswag_gu: 51%|████████████████████████████████████████████████████████▊ | 140/276 [44:11<43:07, 19.02s/it][A + hellaswag_gu: 51%|█████████████████████████████████████████████████████████▏ | 141/276 [44:31<43:56, 19.53s/it][A + hellaswag_gu: 51%|█████████████████████████████████████████████████████████▌ | 142/276 [44:51<43:48, 19.62s/it][A + hellaswag_gu: 52%|██████████████████████████████████████████████████████████ | 143/276 [45:08<41:20, 18.65s/it][A + hellaswag_gu: 52%|██████████████████████████████████████████████████████████▍ | 144/276 [45:27<41:31, 18.88s/it][A + hellaswag_gu: 53%|██████████████████████████████████████████████████████████▊ | 145/276 [45:46<40:59, 18.77s/it][A + hellaswag_gu: 53%|███████████████████████████████████████████████████████████▏ | 146/276 [46:05<41:04, 18.96s/it][A + hellaswag_gu: 53%|███████████████████████████████████████████████████████████▋ | 147/276 [46:23<39:50, 18.53s/it][A + hellaswag_gu: 54%|████████████████████████████████████████████████████████████ | 148/276 [46:39<38:29, 18.05s/it][A + hellaswag_gu: 54%|████████████████████████████████████████████████████████████▍ | 149/276 [46:59<39:21, 18.60s/it][A + hellaswag_gu: 54%|████████████████████████████████████████████████████████████▊ | 150/276 [47:17<38:22, 18.27s/it][A + hellaswag_gu: 55%|█████████████████████████████████████████████████████████████▎ | 151/276 [47:36<38:26, 18.45s/it][A + hellaswag_gu: 55%|█████████████████████████████████████████████████████████████▋ | 152/276 [47:54<37:57, 18.37s/it][A + hellaswag_gu: 55%|██████████████████████████████████████████████████████████████ | 153/276 [48:14<38:30, 18.79s/it][A + hellaswag_gu: 56%|██████████████████████████████████████████████████████████████▍ | 154/276 [48:34<39:07, 19.24s/it][A + hellaswag_gu: 56%|██████████████████████████████████████████████████████████████▉ | 155/276 [48:53<38:35, 19.14s/it][A + hellaswag_gu: 57%|███████████████████████████████████████████████████████████████▎ | 156/276 [49:11<37:50, 18.92s/it][A + hellaswag_gu: 57%|███████████████████████████████████████████████████████████████▋ | 157/276 [49:29<36:54, 18.61s/it][A + hellaswag_gu: 57%|████████████████████████████████████████████████████████████████ | 158/276 [49:49<37:07, 18.88s/it][A + hellaswag_gu: 58%|████████████████████████████████████████████████████████████████▌ | 159/276 [50:06<36:02, 18.48s/it][A + hellaswag_gu: 58%|████████████████████████████████████████████████████████████████▉ | 160/276 [50:26<36:30, 18.88s/it][A + hellaswag_gu: 58%|█████████████████████████████████████████████████████████████████▎ | 161/276 [50:46<36:44, 19.17s/it][A + hellaswag_gu: 59%|█████████████████████████████████████████████████████████████████▋ | 162/276 [51:05<36:28, 19.19s/it][A + hellaswag_gu: 59%|██████████████████████████████████████████████████████████████████▏ | 163/276 [51:24<36:03, 19.14s/it][A + hellaswag_gu: 59%|██████████████████████████████████████████████████████████████████▌ | 164/276 [51:44<35:51, 19.21s/it][A + hellaswag_gu: 60%|██████████████████████████████████████████████████████████████████▉ | 165/276 [52:03<35:53, 19.40s/it][A + hellaswag_gu: 60%|███████████████████████████████████████████████████████████████████▎ | 166/276 [52:23<35:31, 19.37s/it][A + hellaswag_gu: 61%|███████████████████████████████████████████████████████████████████▊ | 167/276 [52:42<35:11, 19.37s/it][A + hellaswag_gu: 61%|████████████████████████████████████████████████████████████████████▏ | 168/276 [53:03<35:39, 19.81s/it][A + hellaswag_gu: 61%|████████████████████████████████████████████████████████████████████▌ | 169/276 [53:21<34:19, 19.25s/it][A + hellaswag_gu: 62%|████████████████████████████████████████████████████████████████████▉ | 170/276 [53:41<34:19, 19.43s/it][A + hellaswag_gu: 62%|█████████████████████████████████████████████████████████████████████▍ | 171/276 [54:01<34:33, 19.75s/it][A + hellaswag_gu: 62%|█████████████████████████████████████████████████████████████████████▊ | 172/276 [54:20<33:36, 19.39s/it][A + hellaswag_gu: 63%|██████████████████████████████████████████████████████████████████████▏ | 173/276 [54:39<33:23, 19.45s/it][A + hellaswag_gu: 63%|██████████████████████████████████████████████████████████████████████▌ | 174/276 [54:58<32:51, 19.33s/it][A + hellaswag_gu: 63%|███████████████████████████████████████████████████████████████████████ | 175/276 [55:18<32:34, 19.35s/it][A + hellaswag_gu: 64%|███████████████████████████████████████████████████████████████████████▍ | 176/276 [55:40<33:27, 20.07s/it][A + hellaswag_gu: 64%|███████████████████████████████████████████████████████████████████████▊ | 177/276 [55:58<32:06, 19.46s/it][A + hellaswag_gu: 64%|████████████████████████████████████████████████████████████████████████▏ | 178/276 [56:16<31:10, 19.09s/it][A + hellaswag_gu: 65%|████████████████████████████████████████████████████████████████████████▋ | 179/276 [56:37<31:54, 19.74s/it][A + hellaswag_gu: 65%|█████████████████████████████████████████████████████████████████████████ | 180/276 [56:55<30:54, 19.32s/it][A + hellaswag_gu: 66%|█████████████████████████████████████████████████████████████████████████▍ | 181/276 [57:14<30:24, 19.21s/it][A + hellaswag_gu: 66%|█████████████████████████████████████████████████████████████████████████▊ | 182/276 [57:32<29:21, 18.74s/it][A + hellaswag_gu: 66%|██████████████████████████████████████████████████████████████████████████▎ | 183/276 [57:50<28:55, 18.66s/it][A + hellaswag_gu: 67%|██████████████████████████████████████████████████████████████████████████▋ | 184/276 [58:08<28:15, 18.43s/it][A + hellaswag_gu: 67%|███████████████████████████████████████████████████████████████████████████ | 185/276 [58:29<29:01, 19.14s/it][A + hellaswag_gu: 67%|███████████████████████████████████████████████████████████████████████████▍ | 186/276 [58:48<28:34, 19.05s/it][A + hellaswag_gu: 68%|███████████████████████████████████████████████████████████████████████████▉ | 187/276 [59:07<28:15, 19.06s/it][A + hellaswag_gu: 68%|████████████████████████████████████████████████████████████████████████████▎ | 188/276 [59:25<27:39, 18.86s/it][A + hellaswag_gu: 68%|████████████████████████████████████████████████████████████████████████████▋ | 189/276 [59:44<27:08, 18.71s/it][A + hellaswag_gu: 69%|███████████████████████████████████████████████████████████████████████████▋ | 190/276 [1:00:03<27:09, 18.95s/it][A + hellaswag_gu: 69%|████████████████████████████████████████████████████████████████████████████ | 191/276 [1:00:22<26:50, 18.95s/it][A + hellaswag_gu: 70%|████████████████████████████████████████████████████████████████████████████▌ | 192/276 [1:00:40<26:10, 18.70s/it][A + hellaswag_gu: 70%|████████████████████████████████████████████████████████████████████████████▉ | 193/276 [1:00:59<25:54, 18.73s/it][A + hellaswag_gu: 70%|█████████████████████████████████████████████████████████████████████████████▎ | 194/276 [1:01:19<25:51, 18.92s/it][A + hellaswag_gu: 71%|█████████████████████████████████████████████████████████████████████████████▋ | 195/276 [1:01:36<25:03, 18.56s/it][A + hellaswag_gu: 71%|██████████████████████████████████████████████████████████████████████████████ | 196/276 [1:01:56<25:02, 18.78s/it][A + hellaswag_gu: 71%|██████████████████████████████████████████████████████████████████████████████▌ | 197/276 [1:02:14<24:25, 18.55s/it][A + hellaswag_gu: 72%|██████████████████████████████████████████████████████████████████████████████▉ | 198/276 [1:02:32<23:55, 18.40s/it][A + hellaswag_gu: 72%|███████████████████████████████████████████████████████████████████████████████▎ | 199/276 [1:02:49<23:08, 18.03s/it][A + hellaswag_gu: 72%|███████████████████████████████████████████████████████████████████████████████▋ | 200/276 [1:03:07<22:46, 17.98s/it][A + hellaswag_gu: 73%|████████████████████████████████████████████████████████████████████████████████ | 201/276 [1:03:26<23:09, 18.52s/it][A + hellaswag_gu: 73%|████████████████████████████████████████████████████████████████████████████████▌ | 202/276 [1:03:45<22:56, 18.60s/it][A + hellaswag_gu: 74%|████████████████████████████████████████████████████████████████████████████████▉ | 203/276 [1:04:06<23:30, 19.33s/it][A + hellaswag_gu: 74%|█████████████████████████████████████████████████████████████████████████████████▎ | 204/276 [1:04:24<22:32, 18.78s/it][A + hellaswag_gu: 74%|█████████████████████████████████████████████████████████████████████████████████▋ | 205/276 [1:04:42<22:07, 18.69s/it][A + hellaswag_gu: 75%|██████████████████████████████████████████████████████████████████████████████████ | 206/276 [1:05:02<22:07, 18.96s/it][A + hellaswag_gu: 75%|██████████████████████████████████████████████████████████████████████████████████▌ | 207/276 [1:05:21<21:57, 19.09s/it][A + hellaswag_gu: 75%|██████████████████████████████████████████████████████████████████████████████████▉ | 208/276 [1:05:41<21:48, 19.24s/it][A + hellaswag_gu: 76%|███████████████████████████████████████████████████████████████████████████████████▎ | 209/276 [1:05:59<21:16, 19.05s/it][A + hellaswag_gu: 76%|███████████████████████████████████████████████████████████████████████████████████▋ | 210/276 [1:06:19<21:16, 19.35s/it][A + hellaswag_gu: 76%|████████████████████████████████████████████████████████████████████████████████████ | 211/276 [1:06:37<20:24, 18.84s/it][A + hellaswag_gu: 77%|████████████████████████████████████████████████████████████████████████████████████▍ | 212/276 [1:06:56<20:14, 18.98s/it][A + hellaswag_gu: 77%|████████████████████████████████████████████████████████████████████████████████████▉ | 213/276 [1:07:17<20:21, 19.39s/it][A + hellaswag_gu: 78%|█████████████████████████████████████████████████████████████████████████████████████▎ | 214/276 [1:07:34<19:26, 18.82s/it][A + hellaswag_gu: 78%|█████████████████████████████████████████████████████████████████████████████████████▋ | 215/276 [1:07:52<18:55, 18.62s/it][A + hellaswag_gu: 78%|██████████████████████████████████████████████████████████████████████████████████████ | 216/276 [1:08:11<18:28, 18.47s/it][A + hellaswag_gu: 79%|██████████████████████████████████████████████████████████████████████████████████████▍ | 217/276 [1:08:30<18:20, 18.65s/it][A + hellaswag_gu: 79%|██████████████████████████████████████████████████████████████████████████████████████▉ | 218/276 [1:08:48<17:56, 18.56s/it][A + hellaswag_gu: 79%|███████████████████████████████████████████████████████████████████████████████████████▎ | 219/276 [1:09:06<17:25, 18.34s/it][A + hellaswag_gu: 80%|███████████████████████████████████████████████████████████████████████████████████████▋ | 220/276 [1:09:25<17:26, 18.68s/it][A + hellaswag_gu: 80%|████████████████████████████████████████████████████████████████████████████████████████ | 221/276 [1:09:44<17:09, 18.72s/it][A + hellaswag_gu: 80%|████████████████████████████████████████████████████████████████████████████████████████▍ | 222/276 [1:10:03<16:52, 18.76s/it][A + hellaswag_gu: 81%|████████████████████████████████████████████████████████████████████████████████████████▉ | 223/276 [1:10:22<16:39, 18.87s/it][A + hellaswag_gu: 81%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 224/276 [1:10:41<16:21, 18.88s/it][A + hellaswag_gu: 82%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 225/276 [1:10:59<15:43, 18.50s/it][A + hellaswag_gu: 82%|██████████████████████████████████████████████████████████████████████████████████████████ | 226/276 [1:11:18<15:34, 18.69s/it][A + hellaswag_gu: 82%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 227/276 [1:11:36<15:07, 18.52s/it][A + hellaswag_gu: 83%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 228/276 [1:11:53<14:35, 18.24s/it][A + hellaswag_gu: 83%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 229/276 [1:12:13<14:30, 18.53s/it][A + hellaswag_gu: 83%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 230/276 [1:12:32<14:21, 18.74s/it][A + hellaswag_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████ | 231/276 [1:12:50<13:56, 18.60s/it][A + hellaswag_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 232/276 [1:13:10<13:50, 18.88s/it][A + hellaswag_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 233/276 [1:13:30<13:51, 19.33s/it][A + hellaswag_gu: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 234/276 [1:13:49<13:22, 19.10s/it][A + hellaswag_gu: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 235/276 [1:14:09<13:19, 19.50s/it][A + hellaswag_gu: 86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 236/276 [1:14:28<12:51, 19.30s/it][A + hellaswag_gu: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 237/276 [1:14:47<12:26, 19.13s/it][A + hellaswag_gu: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 238/276 [1:15:06<12:11, 19.25s/it][A + hellaswag_gu: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/276 [1:15:24<11:37, 18.84s/it][A + hellaswag_gu: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/276 [1:15:43<11:21, 18.93s/it][A + hellaswag_gu: 87%|████████████████████████████████████████████████████████████████████████████████████████████████ | 241/276 [1:16:02<10:58, 18.83s/it][A + hellaswag_gu: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 242/276 [1:16:20<10:34, 18.66s/it][A + hellaswag_gu: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 243/276 [1:16:38<10:08, 18.44s/it][A + hellaswag_gu: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 244/276 [1:16:56<09:43, 18.23s/it][A + hellaswag_gu: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 245/276 [1:17:13<09:19, 18.06s/it][A + hellaswag_gu: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 246/276 [1:17:33<09:16, 18.54s/it][A + hellaswag_gu: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/276 [1:17:52<09:02, 18.70s/it][A + hellaswag_gu: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/276 [1:18:11<08:46, 18.79s/it][A + hellaswag_gu: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/276 [1:18:30<08:25, 18.74s/it][A + hellaswag_gu: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 250/276 [1:18:49<08:09, 18.83s/it][A + hellaswag_gu: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 251/276 [1:19:07<07:43, 18.53s/it][A + hellaswag_gu: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 252/276 [1:19:25<07:27, 18.65s/it][A + hellaswag_gu: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 253/276 [1:19:43<06:59, 18.22s/it][A + hellaswag_gu: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 254/276 [1:20:01<06:44, 18.40s/it][A + hellaswag_gu: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 255/276 [1:20:21<06:32, 18.71s/it][A + hellaswag_gu: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 256/276 [1:20:41<06:20, 19.03s/it][A + hellaswag_gu: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 257/276 [1:20:58<05:52, 18.57s/it][A + hellaswag_gu: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 258/276 [1:21:18<05:41, 18.96s/it][A + hellaswag_gu: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 259/276 [1:21:37<05:19, 18.81s/it][A + hellaswag_gu: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 260/276 [1:21:56<05:02, 18.93s/it][A + hellaswag_gu: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 261/276 [1:22:14<04:38, 18.60s/it][A + hellaswag_gu: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 262/276 [1:22:30<04:12, 18.04s/it][A + hellaswag_gu: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 263/276 [1:22:50<03:59, 18.45s/it][A + hellaswag_gu: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 264/276 [1:23:09<03:44, 18.72s/it][A + hellaswag_gu: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 265/276 [1:23:28<03:25, 18.70s/it][A + hellaswag_gu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 266/276 [1:23:46<03:04, 18.43s/it][A + hellaswag_gu: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 267/276 [1:24:05<02:48, 18.77s/it][A + hellaswag_gu: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 268/276 [1:24:25<02:33, 19.14s/it][A + hellaswag_gu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 269/276 [1:24:45<02:15, 19.32s/it][A + hellaswag_gu: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 270/276 [1:25:05<01:58, 19.73s/it][A + hellaswag_gu: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 271/276 [1:25:23<01:35, 19.01s/it][A + hellaswag_gu: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 272/276 [1:25:44<01:18, 19.64s/it][A + hellaswag_gu: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 273/276 [1:26:04<00:59, 19.76s/it][A + hellaswag_gu: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 274/276 [1:26:24<00:39, 19.85s/it][A + hellaswag_gu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 275/276 [1:26:45<00:20, 20.20s/it][A + hellaswag_gu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 276/276 [1:26:50<00:00, 15.72s/it][A hellaswag_gu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 276/276 [1:26:50<00:00, 18.88s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_gu_acc 0.25695785527661025 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_gu_acc_norm 0.28717482676360334 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 17:14:45,800 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 17:14:45,800 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:45,923 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 17:14:45,923 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:46,045 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 17:14:46,045 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:46,167 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 17:14:46,168 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 17:14:46,168 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 17:14:46,292 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 17:14:46,292 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_gu_acc'} +2024-05-29 17:14:46,354 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 17:14:46,354 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1157, 'value': 0.25695785527661025} +2024-05-29 17:14:46,417 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 17:14:47,074 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 17:14:47,074 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:47,204 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 17:14:47,204 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:47,334 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 17:14:47,334 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:47,464 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 17:14:47,465 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 17:14:47,465 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 17:14:47,596 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 17:14:47,596 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_gu_acc_norm'} +2024-05-29 17:14:47,662 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 17:14:47,662 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1158, 'value': 0.28717482676360334} +2024-05-29 17:14:47,728 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 32%|██████████████████████████████████▊ | 40/124 [10:27:17<76:21:59, 3272.86s/it]['hellaswag_hi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 17:14:48,386 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 17:14:48,386 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:48,516 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 17:14:48,516 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:48,645 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 17:14:48,645 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 17:14:48,774 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 17:14:48,775 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 17:14:48,775 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_hi'} +2024-05-29 17:14:48,905 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_hi task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:05, 5.71s/ examples][A + Generating validation split: 1602 examples [00:05, 390.69 examples/s][A + Generating validation split: 3022 examples [00:05, 855.66 examples/s][A + Generating validation split: 5000 examples [00:06, 1704.23 examples/s][A + Generating validation split: 7000 examples [00:06, 2772.86 examples/s][A + Generating validation split: 9000 examples [00:06, 4042.44 examples/s][A Generating validation split: 9416 examples [00:06, 1486.31 examples/s] +Loaded 9416 examples +Running loglikelihood requests + + hellaswag_hi: 0%| | 0/295 [00:00<?, ?it/s][A + hellaswag_hi: 0%|▍ | 1/295 [00:14<1:10:34, 14.40s/it][A + hellaswag_hi: 1%|▊ | 2/295 [00:28<1:10:33, 14.45s/it][A + hellaswag_hi: 1%|█▏ | 3/295 [00:44<1:13:35, 15.12s/it][A + hellaswag_hi: 1%|█▌ | 4/295 [00:59<1:11:46, 14.80s/it][A + hellaswag_hi: 2%|█▉ | 5/295 [01:14<1:11:58, 14.89s/it][A + hellaswag_hi: 2%|██▎ | 6/295 [01:28<1:11:09, 14.77s/it][A + hellaswag_hi: 2%|██▋ | 7/295 [01:42<1:09:51, 14.56s/it][A + hellaswag_hi: 3%|███ | 8/295 [01:57<1:10:29, 14.74s/it][A + hellaswag_hi: 3%|███▍ | 9/295 [02:12<1:09:24, 14.56s/it][A + hellaswag_hi: 3%|███▊ | 10/295 [02:27<1:10:38, 14.87s/it][A + hellaswag_hi: 4%|████▏ | 11/295 [02:41<1:08:40, 14.51s/it][A + hellaswag_hi: 4%|████▌ | 12/295 [02:55<1:08:03, 14.43s/it][A + hellaswag_hi: 4%|████▉ | 13/295 [03:10<1:07:59, 14.47s/it][A + hellaswag_hi: 5%|█████▎ | 14/295 [03:25<1:08:37, 14.65s/it][A + hellaswag_hi: 5%|█████▋ | 15/295 [03:39<1:07:48, 14.53s/it][A + hellaswag_hi: 5%|██████ | 16/295 [03:52<1:05:38, 14.11s/it][A + hellaswag_hi: 6%|██████▍ | 17/295 [04:07<1:05:49, 14.21s/it][A + hellaswag_hi: 6%|██████▊ | 18/295 [04:22<1:07:37, 14.65s/it][A + hellaswag_hi: 6%|███████▏ | 19/295 [04:36<1:06:47, 14.52s/it][A + hellaswag_hi: 7%|███████▌ | 20/295 [04:50<1:05:20, 14.26s/it][A + hellaswag_hi: 7%|███████▉ | 21/295 [05:04<1:05:02, 14.24s/it][A + hellaswag_hi: 7%|████████▎ | 22/295 [05:18<1:03:51, 14.03s/it][A + hellaswag_hi: 8%|████████▋ | 23/295 [05:32<1:04:10, 14.16s/it][A + hellaswag_hi: 8%|█████████ | 24/295 [05:47<1:04:35, 14.30s/it][A + hellaswag_hi: 8%|█████████▍ | 25/295 [06:02<1:04:57, 14.44s/it][A + hellaswag_hi: 9%|█████████▊ | 26/295 [06:16<1:04:26, 14.37s/it][A + hellaswag_hi: 9%|██████████▏ | 27/295 [06:30<1:03:39, 14.25s/it][A + hellaswag_hi: 9%|██████████▌ | 28/295 [06:45<1:03:53, 14.36s/it][A + hellaswag_hi: 10%|██████████▉ | 29/295 [07:00<1:05:17, 14.73s/it][A + hellaswag_hi: 10%|███████████▎ | 30/295 [07:16<1:06:48, 15.13s/it][A + hellaswag_hi: 11%|███████████▋ | 31/295 [07:32<1:07:01, 15.23s/it][A + hellaswag_hi: 11%|████████████ | 32/295 [07:45<1:04:50, 14.79s/it][A + hellaswag_hi: 11%|████████████▍ | 33/295 [07:59<1:03:38, 14.58s/it][A + hellaswag_hi: 12%|████████████▊ | 34/295 [08:14<1:03:53, 14.69s/it][A + hellaswag_hi: 12%|█████████████▏ | 35/295 [08:28<1:02:35, 14.45s/it][A + hellaswag_hi: 12%|█████████████▌ | 36/295 [08:42<1:01:59, 14.36s/it][A + hellaswag_hi: 13%|█████████████▉ | 37/295 [08:57<1:01:42, 14.35s/it][A + hellaswag_hi: 13%|██████████████▎ | 38/295 [09:11<1:01:28, 14.35s/it][A + hellaswag_hi: 13%|██████████████▋ | 39/295 [09:26<1:02:12, 14.58s/it][A + hellaswag_hi: 14%|███████████████ | 40/295 [09:41<1:02:23, 14.68s/it][A + hellaswag_hi: 14%|███████████████▍ | 41/295 [09:56<1:02:02, 14.66s/it][A + hellaswag_hi: 14%|███████████████▊ | 42/295 [10:11<1:02:02, 14.71s/it][A + hellaswag_hi: 15%|████████████████▏ | 43/295 [10:26<1:02:30, 14.88s/it][A + hellaswag_hi: 15%|████████████████▌ | 44/295 [10:40<1:01:32, 14.71s/it][A + hellaswag_hi: 15%|████████████████▉ | 45/295 [10:55<1:01:06, 14.67s/it][A + hellaswag_hi: 16%|█████████████████▎ | 46/295 [11:09<1:00:31, 14.58s/it][A + hellaswag_hi: 16%|██████████████████ | 47/295 [11:23<59:54, 14.49s/it][A + hellaswag_hi: 16%|██████████████████▍ | 48/295 [11:38<59:53, 14.55s/it][A + hellaswag_hi: 17%|██████████████████▊ | 49/295 [11:51<57:13, 13.96s/it][A + hellaswag_hi: 17%|███████████████████▏ | 50/295 [12:05<57:55, 14.18s/it][A + hellaswag_hi: 17%|███████████████████▌ | 51/295 [12:20<57:48, 14.22s/it][A + hellaswag_hi: 18%|███████████████████▉ | 52/295 [12:35<58:22, 14.41s/it][A + hellaswag_hi: 18%|████████████████████▎ | 53/295 [12:49<57:59, 14.38s/it][A + hellaswag_hi: 18%|████████████████████▋ | 54/295 [13:03<57:46, 14.38s/it][A + hellaswag_hi: 19%|█████████████████████ | 55/295 [13:18<57:52, 14.47s/it][A + hellaswag_hi: 19%|█████████████████████▍ | 56/295 [13:33<58:10, 14.61s/it][A + hellaswag_hi: 19%|█████████████████████▊ | 57/295 [13:47<57:58, 14.61s/it][A + hellaswag_hi: 20%|██████████████████████▏ | 58/295 [14:01<56:19, 14.26s/it][A + hellaswag_hi: 20%|██████████████████████▌ | 59/295 [14:17<58:08, 14.78s/it][A + hellaswag_hi: 20%|██████████████████████▉ | 60/295 [14:31<57:35, 14.70s/it][A + hellaswag_hi: 21%|███████████████████████▎ | 61/295 [14:45<56:26, 14.47s/it][A + hellaswag_hi: 21%|███████████████████████▋ | 62/295 [14:59<55:22, 14.26s/it][A + hellaswag_hi: 21%|████████████████████████▏ | 63/295 [15:13<55:12, 14.28s/it][A + hellaswag_hi: 22%|████████████████████████▌ | 64/295 [15:28<55:21, 14.38s/it][A + hellaswag_hi: 22%|████████████████████████▉ | 65/295 [15:42<54:47, 14.29s/it][A + hellaswag_hi: 22%|█████████████████████████▎ | 66/295 [15:56<54:29, 14.28s/it][A + hellaswag_hi: 23%|█████████████████████████▋ | 67/295 [16:11<54:26, 14.33s/it][A + hellaswag_hi: 23%|██████████████████████████ | 68/295 [16:25<53:41, 14.19s/it][A + hellaswag_hi: 23%|██████████████████████████▍ | 69/295 [16:39<53:36, 14.23s/it][A + hellaswag_hi: 24%|██████████████████████████▊ | 70/295 [16:54<54:24, 14.51s/it][A + hellaswag_hi: 24%|███████████████████████████▏ | 71/295 [17:09<53:59, 14.46s/it][A + hellaswag_hi: 24%|███████████████████████████▌ | 72/295 [17:23<53:35, 14.42s/it][A + hellaswag_hi: 25%|███████████████████████████▉ | 73/295 [17:37<53:10, 14.37s/it][A + hellaswag_hi: 25%|████████████████████████████▎ | 74/295 [17:52<53:34, 14.55s/it][A + hellaswag_hi: 25%|████████████████████████████▋ | 75/295 [18:06<52:45, 14.39s/it][A + hellaswag_hi: 26%|█████████████████████████████ | 76/295 [18:20<51:29, 14.11s/it][A + hellaswag_hi: 26%|█████████████████████████████▍ | 77/295 [18:34<52:06, 14.34s/it][A + hellaswag_hi: 26%|█████████████████████████████▉ | 78/295 [18:49<52:34, 14.54s/it][A + hellaswag_hi: 27%|██████████████████████████████▎ | 79/295 [19:04<52:17, 14.52s/it][A + hellaswag_hi: 27%|██████████████████████████████▋ | 80/295 [19:18<51:30, 14.37s/it][A + hellaswag_hi: 27%|███████████████████████████████ | 81/295 [19:32<50:49, 14.25s/it][A + hellaswag_hi: 28%|███████████████████████████████▍ | 82/295 [19:47<51:05, 14.39s/it][A + hellaswag_hi: 28%|███████████████████████████████▊ | 83/295 [20:01<50:22, 14.26s/it][A + hellaswag_hi: 28%|████████████████████████████████▏ | 84/295 [20:15<50:02, 14.23s/it][A + hellaswag_hi: 29%|████████████████████████████████▌ | 85/295 [20:29<50:08, 14.33s/it][A + hellaswag_hi: 29%|████████████████████████████████▉ | 86/295 [20:44<50:02, 14.37s/it][A + hellaswag_hi: 29%|█████████████████████████████████▎ | 87/295 [20:58<49:18, 14.22s/it][A + hellaswag_hi: 30%|█████████████████████████████████▋ | 88/295 [21:11<48:21, 14.02s/it][A + hellaswag_hi: 30%|██████████████████████████████████ | 89/295 [21:26<49:17, 14.36s/it][A + hellaswag_hi: 31%|██████████████████████████████████▍ | 90/295 [21:42<50:13, 14.70s/it][A + hellaswag_hi: 31%|██████████████████████████████████▊ | 91/295 [21:55<48:43, 14.33s/it][A + hellaswag_hi: 31%|███████████████████████████████████▏ | 92/295 [22:10<49:16, 14.56s/it][A + hellaswag_hi: 32%|███████████████████████████████████▌ | 93/295 [22:26<50:27, 14.99s/it][A + hellaswag_hi: 32%|████████████████████████████████████ | 94/295 [22:41<49:21, 14.73s/it][A + hellaswag_hi: 32%|████████████████████████████████████▍ | 95/295 [22:56<49:23, 14.82s/it][A + hellaswag_hi: 33%|████████████████████████████████████▊ | 96/295 [23:10<48:46, 14.71s/it][A + hellaswag_hi: 33%|█████████████████████████████████████▏ | 97/295 [23:24<48:14, 14.62s/it][A + hellaswag_hi: 33%|█████████████████████████████████████▌ | 98/295 [23:39<47:58, 14.61s/it][A + hellaswag_hi: 34%|█████████████████████████████████████▉ | 99/295 [23:55<48:58, 14.99s/it][A + hellaswag_hi: 34%|█████████████████████████████████████▉ | 100/295 [24:10<49:05, 15.10s/it][A + hellaswag_hi: 34%|██████████████████████████████████████▎ | 101/295 [24:25<48:48, 15.09s/it][A + hellaswag_hi: 35%|██████████████████████████████████████▋ | 102/295 [24:40<47:47, 14.86s/it][A + hellaswag_hi: 35%|███████████████████████████████████████ | 103/295 [24:53<46:25, 14.51s/it][A + hellaswag_hi: 35%|███████████████████████████████████████▍ | 104/295 [25:07<45:48, 14.39s/it][A + hellaswag_hi: 36%|███████████████████████████████████████▊ | 105/295 [25:21<44:50, 14.16s/it][A + hellaswag_hi: 36%|████████████████████████████████████████▏ | 106/295 [25:35<44:11, 14.03s/it][A + hellaswag_hi: 36%|████████████████████████████████████████▌ | 107/295 [25:50<44:45, 14.29s/it][A + hellaswag_hi: 37%|█████████████████████████████████████████ | 108/295 [26:05<45:12, 14.51s/it][A + hellaswag_hi: 37%|█████████████████████████████████████████▍ | 109/295 [26:20<45:44, 14.75s/it][A + hellaswag_hi: 37%|█████████████████████████████████████████▊ | 110/295 [26:35<45:46, 14.85s/it][A + hellaswag_hi: 38%|██████████████████████████████████████████▏ | 111/295 [26:51<46:21, 15.12s/it][A + hellaswag_hi: 38%|██████████████████████████████████████████▌ | 112/295 [27:05<45:31, 14.93s/it][A + hellaswag_hi: 38%|██████████████████████████████████████████▉ | 113/295 [27:21<45:46, 15.09s/it][A + hellaswag_hi: 39%|███████████████████████████████████████████▎ | 114/295 [27:35<44:37, 14.79s/it][A + hellaswag_hi: 39%|███████████████████████████████████████████▋ | 115/295 [27:49<43:26, 14.48s/it][A + hellaswag_hi: 39%|████████████████████████████████████████████ | 116/295 [28:03<43:22, 14.54s/it][A + hellaswag_hi: 40%|████████████████████████████████████████████▍ | 117/295 [28:18<43:08, 14.54s/it][A + hellaswag_hi: 40%|████████████████████████████████████████████▊ | 118/295 [28:33<43:18, 14.68s/it][A + hellaswag_hi: 40%|█████████████████████████████████████████████▏ | 119/295 [28:47<42:33, 14.51s/it][A + hellaswag_hi: 41%|█████████████████████████████████████████████▌ | 120/295 [29:02<42:27, 14.55s/it][A + hellaswag_hi: 41%|█████████████████████████████████████████████▉ | 121/295 [29:17<42:53, 14.79s/it][A + hellaswag_hi: 41%|██████████████████████████████████████████████▎ | 122/295 [29:31<41:58, 14.56s/it][A + hellaswag_hi: 42%|██████████████████████████████████████████████▋ | 123/295 [29:46<42:01, 14.66s/it][A + hellaswag_hi: 42%|███████████████████████████████████████████████ | 124/295 [30:00<40:59, 14.38s/it][A + hellaswag_hi: 42%|███████████████████████████████████████████████▍ | 125/295 [30:13<39:44, 14.03s/it][A + hellaswag_hi: 43%|███████████████████████████████████████████████▊ | 126/295 [30:27<40:01, 14.21s/it][A + hellaswag_hi: 43%|████████████████████████████████████████████████▏ | 127/295 [30:42<39:49, 14.22s/it][A + hellaswag_hi: 43%|████████████████████████████████████████████████▌ | 128/295 [30:57<40:13, 14.45s/it][A + hellaswag_hi: 44%|████████████████████████████████████████████████▉ | 129/295 [31:11<39:56, 14.44s/it][A + hellaswag_hi: 44%|█████████████████████████████████████████████████▎ | 130/295 [31:27<40:52, 14.87s/it][A + hellaswag_hi: 44%|█████████████████████████████████████████████████▋ | 131/295 [31:42<40:22, 14.77s/it][A + hellaswag_hi: 45%|██████████████████████████████████████████████████ | 132/295 [31:57<40:24, 14.88s/it][A + hellaswag_hi: 45%|██████████████████████████████████████████████████▍ | 133/295 [32:12<40:14, 14.90s/it][A + hellaswag_hi: 45%|██████████████████████████████████████████████████▊ | 134/295 [32:27<40:31, 15.10s/it][A + hellaswag_hi: 46%|███████████████████████████████████████████████████▎ | 135/295 [32:41<39:22, 14.76s/it][A + hellaswag_hi: 46%|███████████████████████████████████████████████████▋ | 136/295 [32:57<39:48, 15.02s/it][A + hellaswag_hi: 46%|████████████████████████████████████████████████████ | 137/295 [33:10<38:19, 14.55s/it][A + hellaswag_hi: 47%|████████████████████████████████████████████████████▍ | 138/295 [33:24<37:32, 14.35s/it][A + hellaswag_hi: 47%|████████████████████████████████████████████████████▊ | 139/295 [33:39<37:21, 14.37s/it][A + hellaswag_hi: 47%|█████████████████████████████████████████████████████▏ | 140/295 [33:54<38:04, 14.74s/it][A + hellaswag_hi: 48%|█████████████████████████████████████████████████████▌ | 141/295 [34:08<37:06, 14.46s/it][A + hellaswag_hi: 48%|█████████████████████████████████████████████████████▉ | 142/295 [34:24<37:43, 14.80s/it][A + hellaswag_hi: 48%|██████████████████████████████████████████████████████▎ | 143/295 [34:38<37:37, 14.85s/it][A + hellaswag_hi: 49%|██████████████████████████████████████████████████████▋ | 144/295 [34:53<36:56, 14.68s/it][A + hellaswag_hi: 49%|███████████████████████████████████████████████████████ | 145/295 [35:08<37:03, 14.82s/it][A + hellaswag_hi: 49%|███████████████████████████████████████████████████████▍ | 146/295 [35:24<37:37, 15.15s/it][A + hellaswag_hi: 50%|███████████████████████████████████████████████████████▊ | 147/295 [35:38<36:52, 14.95s/it][A + hellaswag_hi: 50%|████████████████████████████████████████████████████████▏ | 148/295 [35:52<36:03, 14.72s/it][A + hellaswag_hi: 51%|████████████████████████████████████████████████████████▌ | 149/295 [36:06<35:12, 14.47s/it][A + hellaswag_hi: 51%|████████████████████████████████████████████████████████▉ | 150/295 [36:21<35:11, 14.56s/it][A + hellaswag_hi: 51%|█████████████████████████████████████████████████████████▎ | 151/295 [36:35<34:40, 14.45s/it][A + hellaswag_hi: 52%|█████████████████████████████████████████████████████████▋ | 152/295 [36:52<35:45, 15.00s/it][A + hellaswag_hi: 52%|██████████████████████████████████████████████████████████ | 153/295 [37:07<35:25, 14.97s/it][A + hellaswag_hi: 52%|██████████████████████████████████████████████████████████▍ | 154/295 [37:21<35:01, 14.90s/it][A + hellaswag_hi: 53%|██████████████████████████████████████████████████████████▊ | 155/295 [37:36<34:54, 14.96s/it][A + hellaswag_hi: 53%|███████████████████████████████████████████████████████████▏ | 156/295 [37:51<34:17, 14.80s/it][A + hellaswag_hi: 53%|███████████████████████████████████████████████████████████▌ | 157/295 [38:05<33:39, 14.64s/it][A + hellaswag_hi: 54%|███████████████████████████████████████████████████████████▉ | 158/295 [38:19<32:59, 14.45s/it][A + hellaswag_hi: 54%|████████████████████████████████████████████████████████████▎ | 159/295 [38:33<32:36, 14.38s/it][A + hellaswag_hi: 54%|████████████████████████████████████████████████████████████▋ | 160/295 [38:48<32:22, 14.39s/it][A + hellaswag_hi: 55%|█████████████████████████████████████████████████████████████▏ | 161/295 [39:02<31:52, 14.27s/it][A + hellaswag_hi: 55%|█████████████████████████████████████████████████████████████▌ | 162/295 [39:17<32:06, 14.49s/it][A + hellaswag_hi: 55%|█████████████████████████████████████████████████████████████▉ | 163/295 [39:31<31:30, 14.32s/it][A + hellaswag_hi: 56%|██████████████████████████████████████████████████████████████▎ | 164/295 [39:45<31:32, 14.45s/it][A + hellaswag_hi: 56%|██████████████████████████████████████████████████████████████▋ | 165/295 [40:00<31:18, 14.45s/it][A + hellaswag_hi: 56%|███████████████████████████████████████████████████████████████ | 166/295 [40:14<30:36, 14.23s/it][A + hellaswag_hi: 57%|███████████████████████████████████████████████████████████████▍ | 167/295 [40:29<31:00, 14.53s/it][A + hellaswag_hi: 57%|███████████████████████████████████████████████████████████████▊ | 168/295 [40:44<30:57, 14.62s/it][A + hellaswag_hi: 57%|████████████████████████████████████████████████████████████████▏ | 169/295 [40:58<30:26, 14.50s/it][A + hellaswag_hi: 58%|████████████████████████████████████████████████████████████████▌ | 170/295 [41:12<29:53, 14.35s/it][A + hellaswag_hi: 58%|████████████████████████████████████████████████████████████████▉ | 171/295 [41:26<29:28, 14.26s/it][A + hellaswag_hi: 58%|█████████████████████████████████████████████████████████████████▎ | 172/295 [41:41<29:30, 14.39s/it][A + hellaswag_hi: 59%|█████████████████████████████████████████████████████████████████▋ | 173/295 [41:54<28:52, 14.20s/it][A + hellaswag_hi: 59%|██████████████████████████████████████████████████████████████████ | 174/295 [42:10<29:15, 14.51s/it][A + hellaswag_hi: 59%|██████████████████████████████████████████████████████████████████▍ | 175/295 [42:23<28:06, 14.06s/it][A + hellaswag_hi: 60%|██████████████████████████████████████████████████████████████████▊ | 176/295 [42:36<27:34, 13.90s/it][A + hellaswag_hi: 60%|███████████████████████████████████████████████████████████████████▏ | 177/295 [42:50<27:25, 13.95s/it][A + hellaswag_hi: 60%|███████████████████████████████████████████████████████████████████▌ | 178/295 [43:04<26:51, 13.77s/it][A + hellaswag_hi: 61%|███████████████████████████████████████████████████████████████████▉ | 179/295 [43:17<26:43, 13.83s/it][A + hellaswag_hi: 61%|████████████████████████████████████████████████████████████████████▎ | 180/295 [43:31<26:03, 13.60s/it][A + hellaswag_hi: 61%|████████████████████████████████████████████████████████████████████▋ | 181/295 [43:45<26:21, 13.88s/it][A + hellaswag_hi: 62%|█████████████████████████████████████████████████████████████████████ | 182/295 [43:59<26:04, 13.84s/it][A + hellaswag_hi: 62%|█████████████████████████████████████████████████████████████████████▍ | 183/295 [44:15<26:57, 14.45s/it][A + hellaswag_hi: 62%|█████████████████████████████████████████████████████████████████████▊ | 184/295 [44:30<27:07, 14.66s/it][A + hellaswag_hi: 63%|██████████████████████████████████████████████████████████████████████▏ | 185/295 [44:44<26:31, 14.47s/it][A + hellaswag_hi: 63%|██████████████████████████████████████████████████████████████████████▌ | 186/295 [44:58<26:08, 14.39s/it][A + hellaswag_hi: 63%|██████████████████████████████████████████████████████████████████████▉ | 187/295 [45:12<25:49, 14.35s/it][A + hellaswag_hi: 64%|███████████████████████████████████████████████████████████████████████▍ | 188/295 [45:27<25:36, 14.36s/it][A + hellaswag_hi: 64%|███████████████████████████████████████████████████████████████████████▊ | 189/295 [45:41<25:25, 14.40s/it][A + hellaswag_hi: 64%|████████████████████████████████████████████████████████████████████████▏ | 190/295 [45:56<25:19, 14.47s/it][A + hellaswag_hi: 65%|████████████████████████████████████████████████████████████████████████▌ | 191/295 [46:10<24:47, 14.30s/it][A + hellaswag_hi: 65%|████████████████████████████████████████████████████████████████████████▉ | 192/295 [46:25<25:00, 14.57s/it][A + hellaswag_hi: 65%|█████████████████████████████████████████████████████████████████████████▎ | 193/295 [46:39<24:30, 14.42s/it][A + hellaswag_hi: 66%|█████████████████████████████████████████████████████████████████████████▋ | 194/295 [46:55<24:56, 14.82s/it][A + hellaswag_hi: 66%|██████████████████████████████████████████████████████████████████████████ | 195/295 [47:10<25:08, 15.08s/it][A + hellaswag_hi: 66%|██████████████████████████████████████████████████████████████████████████▍ | 196/295 [47:25<24:38, 14.93s/it][A + hellaswag_hi: 67%|██████████████████████████████████████████████████████████████████████████▊ | 197/295 [47:39<24:06, 14.76s/it][A + hellaswag_hi: 67%|███████████████████████████████████████████████████████████████████████████▏ | 198/295 [47:54<23:34, 14.58s/it][A + hellaswag_hi: 67%|███████████████████████████████████████████████████████████████████████████▌ | 199/295 [48:08<23:15, 14.54s/it][A + hellaswag_hi: 68%|███████████████████████████████████████████████████████████████████████████▉ | 200/295 [48:23<23:24, 14.78s/it][A + hellaswag_hi: 68%|████████████████████████████████████████████████████████████████████████████▎ | 201/295 [48:38<23:15, 14.84s/it][A + hellaswag_hi: 68%|████████████████████████████████████████████████████████████████████████████▋ | 202/295 [48:54<23:17, 15.02s/it][A + hellaswag_hi: 69%|█████████████████████████████████████████████████████████████████████████████ | 203/295 [49:08<22:38, 14.77s/it][A + hellaswag_hi: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 204/295 [49:23<22:32, 14.86s/it][A + hellaswag_hi: 69%|█████████████████████████████████████████████████████████████████████████████▊ | 205/295 [49:37<21:53, 14.60s/it][A + hellaswag_hi: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 206/295 [49:52<21:38, 14.58s/it][A + hellaswag_hi: 70%|██████████████████████████████████████████████████████████████████████████████▌ | 207/295 [50:06<21:09, 14.43s/it][A + hellaswag_hi: 71%|██████████████████████████████████████████████████████████████████████████████▉ | 208/295 [50:20<21:06, 14.56s/it][A + hellaswag_hi: 71%|███████████████████████████████████████████████████████████████████████████████▎ | 209/295 [50:36<21:18, 14.86s/it][A + hellaswag_hi: 71%|███████████████████████████████████████████████████████████████████████████████▋ | 210/295 [50:51<20:59, 14.82s/it][A + hellaswag_hi: 72%|████████████████████████████████████████████████████████████████████████████████ | 211/295 [51:06<20:55, 14.94s/it][A + hellaswag_hi: 72%|████████████████████████████████████████████████████████████████████████████████▍ | 212/295 [51:21<20:35, 14.88s/it][A + hellaswag_hi: 72%|████████████████████████████████████████████████████████████████████████████████▊ | 213/295 [51:36<20:29, 15.00s/it][A + hellaswag_hi: 73%|█████████████████████████████████████████████████████████████████████████████████▏ | 214/295 [51:50<19:52, 14.72s/it][A + hellaswag_hi: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 215/295 [52:05<19:37, 14.72s/it][A + hellaswag_hi: 73%|██████████████████████████████████████████████████████████████████████████████████ | 216/295 [52:20<19:33, 14.85s/it][A + hellaswag_hi: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 217/295 [52:34<19:09, 14.73s/it][A + hellaswag_hi: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 218/295 [52:49<18:48, 14.65s/it][A + hellaswag_hi: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 219/295 [53:04<18:46, 14.82s/it][A + hellaswag_hi: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 220/295 [53:20<18:54, 15.13s/it][A + hellaswag_hi: 75%|███████████████████████████████████████████████████████████████████████████████████▉ | 221/295 [53:34<18:20, 14.87s/it][A + hellaswag_hi: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 222/295 [53:49<18:01, 14.81s/it][A + hellaswag_hi: 76%|████████████████████████████████████████████████████████████████████████████████████▋ | 223/295 [54:04<17:53, 14.91s/it][A + hellaswag_hi: 76%|█████████████████████████████████████████████████████████████████████████████████████ | 224/295 [54:19<17:32, 14.82s/it][A + hellaswag_hi: 76%|█████████████████████████████████████████████████████████████████████████████████████▍ | 225/295 [54:34<17:26, 14.94s/it][A + hellaswag_hi: 77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 226/295 [54:49<17:11, 14.95s/it][A + hellaswag_hi: 77%|██████████████████████████████████████████████████████████████████████████████████████▏ | 227/295 [55:03<16:42, 14.74s/it][A + hellaswag_hi: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 228/295 [55:17<16:19, 14.61s/it][A + hellaswag_hi: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 229/295 [55:32<15:54, 14.46s/it][A + hellaswag_hi: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 230/295 [55:46<15:46, 14.56s/it][A + hellaswag_hi: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 231/295 [56:02<15:58, 14.98s/it][A + hellaswag_hi: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 232/295 [56:17<15:43, 14.98s/it][A + hellaswag_hi: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 233/295 [56:32<15:25, 14.92s/it][A + hellaswag_hi: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 234/295 [56:48<15:26, 15.19s/it][A + hellaswag_hi: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 235/295 [57:02<14:54, 14.91s/it][A + hellaswag_hi: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 236/295 [57:16<14:18, 14.55s/it][A + hellaswag_hi: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 237/295 [57:31<14:14, 14.73s/it][A + hellaswag_hi: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 238/295 [57:47<14:17, 15.04s/it][A + hellaswag_hi: 81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 239/295 [58:02<14:03, 15.06s/it][A + hellaswag_hi: 81%|███████████████████████████████████████████████████████████████████████████████████████████ | 240/295 [58:17<13:44, 14.99s/it][A + hellaswag_hi: 82%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 241/295 [58:31<13:18, 14.79s/it][A + hellaswag_hi: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 242/295 [58:44<12:41, 14.37s/it][A + hellaswag_hi: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 243/295 [58:58<12:10, 14.04s/it][A + hellaswag_hi: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 244/295 [59:13<12:17, 14.45s/it][A + hellaswag_hi: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 245/295 [59:27<11:58, 14.38s/it][A + hellaswag_hi: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 246/295 [59:42<11:54, 14.57s/it][A + hellaswag_hi: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 247/295 [59:56<11:29, 14.36s/it][A + hellaswag_hi: 84%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/295 [1:00:10<11:04, 14.13s/it][A + hellaswag_hi: 84%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/295 [1:00:25<11:01, 14.38s/it][A + hellaswag_hi: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/295 [1:00:39<10:46, 14.37s/it][A + hellaswag_hi: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 251/295 [1:00:54<10:33, 14.39s/it][A + hellaswag_hi: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 252/295 [1:01:10<10:46, 15.04s/it][A + hellaswag_hi: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 253/295 [1:01:25<10:33, 15.08s/it][A + hellaswag_hi: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 254/295 [1:01:40<10:16, 15.04s/it][A + hellaswag_hi: 86%|███████████████████████████████████████████████████████████████████████████████████████████████ | 255/295 [1:01:56<10:05, 15.13s/it][A + hellaswag_hi: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 256/295 [1:02:10<09:45, 15.01s/it][A + hellaswag_hi: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 257/295 [1:02:25<09:21, 14.79s/it][A + hellaswag_hi: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 258/295 [1:02:39<09:05, 14.74s/it][A + hellaswag_hi: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 259/295 [1:02:54<08:48, 14.67s/it][A + hellaswag_hi: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 260/295 [1:03:08<08:28, 14.53s/it][A + hellaswag_hi: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 261/295 [1:03:23<08:23, 14.82s/it][A + hellaswag_hi: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 262/295 [1:03:38<08:11, 14.89s/it][A + hellaswag_hi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 263/295 [1:03:53<07:56, 14.90s/it][A + hellaswag_hi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 264/295 [1:04:07<07:32, 14.59s/it][A + hellaswag_hi: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 265/295 [1:04:22<07:18, 14.61s/it][A + hellaswag_hi: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 266/295 [1:04:36<07:00, 14.49s/it][A + hellaswag_hi: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 267/295 [1:04:51<06:49, 14.63s/it][A + hellaswag_hi: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 268/295 [1:05:05<06:31, 14.50s/it][A + hellaswag_hi: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 269/295 [1:05:21<06:23, 14.76s/it][A + hellaswag_hi: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 270/295 [1:05:35<06:08, 14.76s/it][A + hellaswag_hi: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 271/295 [1:05:49<05:48, 14.53s/it][A + hellaswag_hi: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 272/295 [1:06:05<05:40, 14.80s/it][A + hellaswag_hi: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 273/295 [1:06:19<05:24, 14.74s/it][A + hellaswag_hi: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 274/295 [1:06:34<05:07, 14.62s/it][A + hellaswag_hi: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 275/295 [1:06:48<04:51, 14.56s/it][A + hellaswag_hi: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 276/295 [1:07:03<04:39, 14.73s/it][A + hellaswag_hi: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 277/295 [1:07:18<04:27, 14.88s/it][A + hellaswag_hi: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 278/295 [1:07:33<04:13, 14.89s/it][A + hellaswag_hi: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 279/295 [1:07:48<03:57, 14.87s/it][A + hellaswag_hi: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 280/295 [1:08:03<03:44, 14.96s/it][A + hellaswag_hi: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 281/295 [1:08:17<03:24, 14.64s/it][A + hellaswag_hi: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 282/295 [1:08:32<03:08, 14.52s/it][A + hellaswag_hi: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 283/295 [1:08:46<02:54, 14.54s/it][A + hellaswag_hi: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 284/295 [1:09:01<02:39, 14.53s/it][A + hellaswag_hi: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 285/295 [1:09:16<02:26, 14.68s/it][A + hellaswag_hi: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 286/295 [1:09:30<02:12, 14.72s/it][A + hellaswag_hi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 287/295 [1:09:45<01:56, 14.52s/it][A + hellaswag_hi: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 288/295 [1:09:59<01:42, 14.63s/it][A + hellaswag_hi: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 289/295 [1:10:13<01:26, 14.47s/it][A + hellaswag_hi: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 290/295 [1:10:29<01:13, 14.72s/it][A + hellaswag_hi: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 291/295 [1:10:44<00:59, 14.80s/it][A + hellaswag_hi: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 292/295 [1:10:59<00:44, 14.88s/it][A + hellaswag_hi: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 293/295 [1:11:13<00:29, 14.77s/it][A + hellaswag_hi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 294/295 [1:11:27<00:14, 14.29s/it][A + hellaswag_hi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [1:11:34<00:00, 12.21s/it][A hellaswag_hi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [1:11:34<00:00, 14.56s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hi_acc 0.27676295666949874 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hi_acc_norm 0.29492353440951574 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 18:26:31,815 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 18:26:31,815 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:31,943 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 18:26:31,944 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:32,072 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 18:26:32,072 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:32,200 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 18:26:32,201 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 18:26:32,201 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 18:26:32,330 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 18:26:32,330 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_hi_acc'} +2024-05-29 18:26:32,395 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 18:26:32,395 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1159, 'value': 0.27676295666949874} +2024-05-29 18:26:32,461 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 18:26:33,095 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 18:26:33,095 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:33,219 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 18:26:33,219 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:33,343 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 18:26:33,343 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:33,467 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 18:26:33,467 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 18:26:33,467 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 18:26:33,593 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 18:26:33,593 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_hi_acc_norm'} +2024-05-29 18:26:33,656 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 18:26:33,656 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1160, 'value': 0.29492353440951574} +2024-05-29 18:26:33,719 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 33%|███████████████████████████████████▋ | 41/124 [11:39:03<82:36:12, 3582.80s/it]['hellaswag_hr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 18:26:34,355 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 18:26:34,355 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:34,480 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 18:26:34,480 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:34,604 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 18:26:34,605 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 18:26:34,729 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 18:26:34,730 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 18:26:34,730 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_hr'} +2024-05-29 18:26:34,856 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_hr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:03, 3.22s/ examples][A + Generating validation split: 1712 examples [00:03, 727.19 examples/s][A + Generating validation split: 3325 examples [00:03, 1608.47 examples/s][A + Generating validation split: 5000 examples [00:03, 2745.82 examples/s][A + Generating validation split: 7000 examples [00:03, 4343.00 examples/s][A + Generating validation split: 9000 examples [00:03, 6080.84 examples/s][A Generating validation split: 9471 examples [00:03, 2491.93 examples/s] +Loaded 9471 examples +Running loglikelihood requests + + hellaswag_hr: 0%| | 0/296 [00:00<?, ?it/s][A + hellaswag_hr: 0%|▍ | 1/296 [00:08<42:30, 8.64s/it][A + hellaswag_hr: 1%|▊ | 2/296 [00:17<42:47, 8.73s/it][A + hellaswag_hr: 1%|█▏ | 3/296 [00:26<43:05, 8.82s/it][A + hellaswag_hr: 1%|█▌ | 4/296 [00:35<43:00, 8.84s/it][A + hellaswag_hr: 2%|█▉ | 5/296 [00:43<42:33, 8.78s/it][A + hellaswag_hr: 2%|██▎ | 6/296 [00:52<42:12, 8.73s/it][A + hellaswag_hr: 2%|██▋ | 7/296 [01:01<42:55, 8.91s/it][A + hellaswag_hr: 3%|███ | 8/296 [01:10<42:45, 8.91s/it][A + hellaswag_hr: 3%|███▍ | 9/296 [01:19<43:06, 9.01s/it][A + hellaswag_hr: 3%|███▊ | 10/296 [01:28<42:17, 8.87s/it][A + hellaswag_hr: 4%|████▏ | 11/296 [01:37<42:32, 8.95s/it][A + hellaswag_hr: 4%|████▌ | 12/296 [01:46<42:49, 9.05s/it][A + hellaswag_hr: 4%|████▉ | 13/296 [01:56<42:53, 9.09s/it][A + hellaswag_hr: 5%|█████▎ | 14/296 [02:05<42:49, 9.11s/it][A + hellaswag_hr: 5%|█████▋ | 15/296 [02:13<42:03, 8.98s/it][A + hellaswag_hr: 5%|██████ | 16/296 [02:23<42:30, 9.11s/it][A + hellaswag_hr: 6%|██████▍ | 17/296 [02:32<41:53, 9.01s/it][A + hellaswag_hr: 6%|██████▊ | 18/296 [02:41<42:32, 9.18s/it][A + hellaswag_hr: 6%|███████▎ | 19/296 [02:50<41:42, 9.03s/it][A + hellaswag_hr: 7%|███████▋ | 20/296 [02:59<41:49, 9.09s/it][A + hellaswag_hr: 7%|████████ | 21/296 [03:08<41:56, 9.15s/it][A + hellaswag_hr: 7%|████████▍ | 22/296 [03:17<41:15, 9.04s/it][A + hellaswag_hr: 8%|████████▊ | 23/296 [03:25<40:07, 8.82s/it][A + hellaswag_hr: 8%|█████████▏ | 24/296 [03:34<39:35, 8.73s/it][A + hellaswag_hr: 8%|█████████▌ | 25/296 [03:43<39:30, 8.75s/it][A + hellaswag_hr: 9%|█████████▉ | 26/296 [03:51<39:08, 8.70s/it][A + hellaswag_hr: 9%|██████████▎ | 27/296 [04:00<38:39, 8.62s/it][A + hellaswag_hr: 9%|██████████▋ | 28/296 [04:09<38:47, 8.69s/it][A + hellaswag_hr: 10%|███████████ | 29/296 [04:18<39:25, 8.86s/it][A + hellaswag_hr: 10%|███████████▍ | 30/296 [04:27<39:13, 8.85s/it][A + hellaswag_hr: 10%|███████████▊ | 31/296 [04:36<39:55, 9.04s/it][A + hellaswag_hr: 11%|████████████▏ | 32/296 [04:45<39:38, 9.01s/it][A + hellaswag_hr: 11%|████████████▌ | 33/296 [04:54<39:19, 8.97s/it][A + hellaswag_hr: 11%|████████████▉ | 34/296 [05:04<39:51, 9.13s/it][A + hellaswag_hr: 12%|█████████████▎ | 35/296 [05:13<39:50, 9.16s/it][A + hellaswag_hr: 12%|█████████████▋ | 36/296 [05:22<39:10, 9.04s/it][A + hellaswag_hr: 12%|██████████████▏ | 37/296 [05:31<39:24, 9.13s/it][A + hellaswag_hr: 13%|██████████████▌ | 38/296 [05:40<39:45, 9.25s/it][A + hellaswag_hr: 13%|██████████████▉ | 39/296 [05:49<39:14, 9.16s/it][A + hellaswag_hr: 14%|███████████████▎ | 40/296 [05:58<38:49, 9.10s/it][A + hellaswag_hr: 14%|███████████████▋ | 41/296 [06:07<38:14, 9.00s/it][A + hellaswag_hr: 14%|████████████████ | 42/296 [06:16<37:41, 8.91s/it][A + hellaswag_hr: 15%|████████████████▍ | 43/296 [06:24<36:40, 8.70s/it][A + hellaswag_hr: 15%|████████████████▊ | 44/296 [06:34<37:35, 8.95s/it][A + hellaswag_hr: 15%|█████████████████▏ | 45/296 [06:42<37:11, 8.89s/it][A + hellaswag_hr: 16%|█████████████████▌ | 46/296 [06:51<36:43, 8.81s/it][A + hellaswag_hr: 16%|█████████████████▉ | 47/296 [07:00<36:25, 8.78s/it][A + hellaswag_hr: 16%|██████████████████▎ | 48/296 [07:08<36:23, 8.81s/it][A + hellaswag_hr: 17%|██████████████████▋ | 49/296 [07:17<36:05, 8.77s/it][A + hellaswag_hr: 17%|███████████████████ | 50/296 [07:27<36:49, 8.98s/it][A + hellaswag_hr: 17%|███████████████████▍ | 51/296 [07:35<35:43, 8.75s/it][A + hellaswag_hr: 18%|███████████████████▊ | 52/296 [07:44<36:10, 8.90s/it][A + hellaswag_hr: 18%|████████████████████▏ | 53/296 [07:53<36:14, 8.95s/it][A + hellaswag_hr: 18%|████████████████████▌ | 54/296 [08:02<35:59, 8.93s/it][A + hellaswag_hr: 19%|████████████████████▉ | 55/296 [08:11<35:34, 8.85s/it][A + hellaswag_hr: 19%|█████████████████████▍ | 56/296 [08:19<35:09, 8.79s/it][A + hellaswag_hr: 19%|█████████████████████▊ | 57/296 [08:28<35:15, 8.85s/it][A + hellaswag_hr: 20%|██████████████████████▏ | 58/296 [08:37<34:50, 8.78s/it][A + hellaswag_hr: 20%|██████████████████████▌ | 59/296 [08:46<34:42, 8.79s/it][A + hellaswag_hr: 20%|██████████████████████▉ | 60/296 [08:54<34:24, 8.75s/it][A + hellaswag_hr: 21%|███████████████████████▎ | 61/296 [09:04<34:52, 8.90s/it][A + hellaswag_hr: 21%|███████████████████████▋ | 62/296 [09:13<35:22, 9.07s/it][A + hellaswag_hr: 21%|████████████████████████ | 63/296 [09:23<35:31, 9.15s/it][A + hellaswag_hr: 22%|████████████████████████▍ | 64/296 [09:32<35:49, 9.27s/it][A + hellaswag_hr: 22%|████████████████████████▊ | 65/296 [09:41<35:44, 9.28s/it][A + hellaswag_hr: 22%|█████████████████████████▏ | 66/296 [09:50<34:52, 9.10s/it][A + hellaswag_hr: 23%|█████████████████████████▌ | 67/296 [09:59<34:15, 8.98s/it][A + hellaswag_hr: 23%|█████████████████████████▉ | 68/296 [10:08<33:55, 8.93s/it][A + hellaswag_hr: 23%|██████████████████████████▎ | 69/296 [10:16<33:39, 8.90s/it][A + hellaswag_hr: 24%|██████████████████████████▋ | 70/296 [10:25<33:27, 8.88s/it][A + hellaswag_hr: 24%|███████████████████████████ | 71/296 [10:35<34:06, 9.10s/it][A + hellaswag_hr: 24%|███████████████████████████▍ | 72/296 [10:44<33:30, 8.98s/it][A + hellaswag_hr: 25%|███████████████████████████▊ | 73/296 [10:52<33:05, 8.91s/it][A + hellaswag_hr: 25%|████████████████████████████▎ | 74/296 [11:01<32:49, 8.87s/it][A + hellaswag_hr: 25%|████████████████████████████▋ | 75/296 [11:10<32:24, 8.80s/it][A + hellaswag_hr: 26%|█████████████████████████████ | 76/296 [11:18<32:11, 8.78s/it][A + hellaswag_hr: 26%|█████████████████████████████▍ | 77/296 [11:27<31:32, 8.64s/it][A + hellaswag_hr: 26%|█████████████████████████████▊ | 78/296 [11:35<31:29, 8.67s/it][A + hellaswag_hr: 27%|██████████████████████████████▏ | 79/296 [11:44<31:29, 8.71s/it][A + hellaswag_hr: 27%|██████████████████████████████▌ | 80/296 [11:53<31:46, 8.83s/it][A + hellaswag_hr: 27%|██████████████████████████████▉ | 81/296 [12:02<31:40, 8.84s/it][A + hellaswag_hr: 28%|███████████████████████████████▎ | 82/296 [12:11<31:28, 8.83s/it][A + hellaswag_hr: 28%|███████████████████████████████▋ | 83/296 [12:20<31:13, 8.80s/it][A + hellaswag_hr: 28%|████████████████████████████████ | 84/296 [12:29<31:37, 8.95s/it][A + hellaswag_hr: 29%|████████████████████████████████▍ | 85/296 [12:38<31:00, 8.82s/it][A + hellaswag_hr: 29%|████████████████████████████████▊ | 86/296 [12:47<31:24, 8.97s/it][A + hellaswag_hr: 29%|█████████████████████████████████▏ | 87/296 [12:56<30:55, 8.88s/it][A + hellaswag_hr: 30%|█████████████████████████████████▌ | 88/296 [13:04<30:33, 8.81s/it][A + hellaswag_hr: 30%|█████████████████████████████████▉ | 89/296 [13:13<30:05, 8.72s/it][A + hellaswag_hr: 30%|██████████████████████████████████▎ | 90/296 [13:22<30:32, 8.90s/it][A + hellaswag_hr: 31%|██████████████████████████████████▋ | 91/296 [13:31<30:00, 8.78s/it][A + hellaswag_hr: 31%|███████████████████████████████████ | 92/296 [13:39<29:29, 8.68s/it][A + hellaswag_hr: 31%|███████████████████████████████████▌ | 93/296 [13:48<29:19, 8.67s/it][A + hellaswag_hr: 32%|███████████████████████████████████▉ | 94/296 [13:57<29:44, 8.83s/it][A + hellaswag_hr: 32%|████████████████████████████████████▎ | 95/296 [14:06<29:47, 8.90s/it][A + hellaswag_hr: 32%|████████████████████████████████████▋ | 96/296 [14:15<29:31, 8.86s/it][A + hellaswag_hr: 33%|█████████████████████████████████████ | 97/296 [14:24<29:42, 8.96s/it][A + hellaswag_hr: 33%|█████████████████████████████████████▍ | 98/296 [14:33<29:43, 9.01s/it][A + hellaswag_hr: 33%|█████████████████████████████████████▊ | 99/296 [14:42<29:10, 8.88s/it][A + hellaswag_hr: 34%|█████████████████████████████████████▊ | 100/296 [14:50<28:24, 8.70s/it][A + hellaswag_hr: 34%|██████████████████████████████████████▏ | 101/296 [14:59<28:45, 8.85s/it][A + hellaswag_hr: 34%|██████████████████████████████████████▌ | 102/296 [15:08<28:57, 8.96s/it][A + hellaswag_hr: 35%|██████████████████████████████████████▉ | 103/296 [15:17<28:33, 8.88s/it][A + hellaswag_hr: 35%|███████████████████████████████████████▎ | 104/296 [15:26<28:11, 8.81s/it][A + hellaswag_hr: 35%|███████████████████████████████████████▋ | 105/296 [15:34<28:02, 8.81s/it][A + hellaswag_hr: 36%|████████████████████████████████████████ | 106/296 [15:44<28:32, 9.01s/it][A + hellaswag_hr: 36%|████████████████████████████████████████▍ | 107/296 [15:53<28:11, 8.95s/it][A + hellaswag_hr: 36%|████████████████████████████████████████▊ | 108/296 [16:01<27:54, 8.91s/it][A + hellaswag_hr: 37%|█████████████████████████████████████████▏ | 109/296 [16:10<27:27, 8.81s/it][A + hellaswag_hr: 37%|█████████████████████████████████████████▌ | 110/296 [16:18<26:48, 8.65s/it][A + hellaswag_hr: 38%|██████████████████████████████████████████ | 111/296 [16:27<26:44, 8.67s/it][A + hellaswag_hr: 38%|██████████████████████████████████████████▍ | 112/296 [16:36<26:33, 8.66s/it][A + hellaswag_hr: 38%|██████████████████████████████████████████▊ | 113/296 [16:45<26:33, 8.71s/it][A + hellaswag_hr: 39%|███████████████████████████████████████████▏ | 114/296 [16:53<26:22, 8.69s/it][A + hellaswag_hr: 39%|███████████████████████████████████████████▌ | 115/296 [17:02<26:19, 8.73s/it][A + hellaswag_hr: 39%|███████████████████████████████████████████▉ | 116/296 [17:11<26:11, 8.73s/it][A + hellaswag_hr: 40%|████████████████████████████████████████████▎ | 117/296 [17:19<26:01, 8.72s/it][A + hellaswag_hr: 40%|████████████████████████████████████████████▋ | 118/296 [17:28<26:03, 8.78s/it][A + hellaswag_hr: 40%|█████████████████████████████████████████████ | 119/296 [17:38<26:44, 9.07s/it][A + hellaswag_hr: 41%|█████████████████████████████████████████████▍ | 120/296 [17:47<26:41, 9.10s/it][A + hellaswag_hr: 41%|█████████████████████████████████████████████▊ | 121/296 [17:57<26:52, 9.21s/it][A + hellaswag_hr: 41%|██████████████████████████████████████████████▏ | 122/296 [18:06<26:22, 9.10s/it][A + hellaswag_hr: 42%|██████████████████████████████████████████████▌ | 123/296 [18:15<26:36, 9.23s/it][A + hellaswag_hr: 42%|██████████████████████████████████████████████▉ | 124/296 [18:24<26:21, 9.19s/it][A + hellaswag_hr: 42%|███████████████████████████████████████████████▎ | 125/296 [18:33<25:26, 8.93s/it][A + hellaswag_hr: 43%|███████████████████████████████████████████████▋ | 126/296 [18:42<25:37, 9.04s/it][A + hellaswag_hr: 43%|████████████████████████████████████████████████ | 127/296 [18:51<25:41, 9.12s/it][A + hellaswag_hr: 43%|████████████████████████████████████████████████▍ | 128/296 [19:00<25:25, 9.08s/it][A + hellaswag_hr: 44%|████████████████████████████████████████████████▊ | 129/296 [19:09<25:11, 9.05s/it][A + hellaswag_hr: 44%|█████████████████████████████████████████████████▏ | 130/296 [19:18<24:48, 8.97s/it][A + hellaswag_hr: 44%|█████████████████████████████████████████████████▌ | 131/296 [19:27<24:59, 9.09s/it][A + hellaswag_hr: 45%|█████████████████████████████████████████████████▉ | 132/296 [19:36<24:36, 9.00s/it][A + hellaswag_hr: 45%|██████████████████████████████████████████████████▎ | 133/296 [19:45<24:31, 9.03s/it][A + hellaswag_hr: 45%|██████████████████████████████████████████████████▋ | 134/296 [19:54<24:16, 8.99s/it][A + hellaswag_hr: 46%|███████████████████████████████████████████████████ | 135/296 [20:03<24:07, 8.99s/it][A + hellaswag_hr: 46%|███████████████████████████████████████████████████▍ | 136/296 [20:12<23:56, 8.98s/it][A + hellaswag_hr: 46%|███████████████████████████████████████████████████▊ | 137/296 [20:21<23:40, 8.93s/it][A + hellaswag_hr: 47%|████████████████████████████████████████████████████▏ | 138/296 [20:30<23:39, 8.99s/it][A + hellaswag_hr: 47%|████████████████████████████████████████████████████▌ | 139/296 [20:39<23:19, 8.91s/it][A + hellaswag_hr: 47%|████████████████████████████████████████████████████▉ | 140/296 [20:48<23:20, 8.98s/it][A + hellaswag_hr: 48%|█████████████████████████████████████████████████████▎ | 141/296 [20:57<23:10, 8.97s/it][A + hellaswag_hr: 48%|█████████████████████████████████████████████████████▋ | 142/296 [21:05<22:51, 8.91s/it][A + hellaswag_hr: 48%|██████████████████████████████████████████████████████ | 143/296 [21:14<22:37, 8.87s/it][A + hellaswag_hr: 49%|██████████████████████████████████████████████████████▍ | 144/296 [21:23<22:40, 8.95s/it][A + hellaswag_hr: 49%|██████████████████████████████████████████████████████▊ | 145/296 [21:32<22:20, 8.88s/it][A + hellaswag_hr: 49%|███████████████████████████████████████████████████████▏ | 146/296 [21:41<22:04, 8.83s/it][A + hellaswag_hr: 50%|███████████████████████████████████████████████████████▌ | 147/296 [21:50<21:51, 8.80s/it][A + hellaswag_hr: 50%|████████████████████████████████████████████████████████ | 148/296 [21:58<21:22, 8.67s/it][A + hellaswag_hr: 50%|████████████████████████████████████████████████████████▍ | 149/296 [22:07<21:46, 8.89s/it][A + hellaswag_hr: 51%|████████████████████████████████████████████████████████▊ | 150/296 [22:17<21:53, 9.00s/it][A + hellaswag_hr: 51%|█████████████████████████████████████████████████████████▏ | 151/296 [22:25<21:32, 8.92s/it][A + hellaswag_hr: 51%|█████████████████████████████████████████████████████████▌ | 152/296 [22:34<21:27, 8.94s/it][A + hellaswag_hr: 52%|█████████████████████████████████████████████████████████▉ | 153/296 [22:43<20:47, 8.73s/it][A + hellaswag_hr: 52%|██████████████████████████████████████████████████████████▎ | 154/296 [22:51<20:43, 8.76s/it][A + hellaswag_hr: 52%|██████████████████████████████████████████████████████████▋ | 155/296 [23:00<20:49, 8.86s/it][A + hellaswag_hr: 53%|███████████████████████████████████████████████████████████ | 156/296 [23:09<20:35, 8.82s/it][A + hellaswag_hr: 53%|███████████████████████████████████████████████████████████▍ | 157/296 [23:18<20:15, 8.74s/it][A + hellaswag_hr: 53%|███████████████████████████████████████████████████████████▊ | 158/296 [23:27<20:23, 8.87s/it][A + hellaswag_hr: 54%|████████████████████████████████████████████████████████████▏ | 159/296 [23:36<20:20, 8.91s/it][A + hellaswag_hr: 54%|████████████████████████████████████████████████████████████▌ | 160/296 [23:45<20:05, 8.86s/it][A + hellaswag_hr: 54%|████████████████████████████████████████████████████████████▉ | 161/296 [23:54<20:01, 8.90s/it][A + hellaswag_hr: 55%|█████████████████████████████████████████████████████████████▎ | 162/296 [24:03<20:05, 8.99s/it][A + hellaswag_hr: 55%|█████████████████████████████████████████████████████████████▋ | 163/296 [24:12<19:44, 8.90s/it][A + hellaswag_hr: 55%|██████████████████████████████████████████████████████████████ | 164/296 [24:20<19:23, 8.82s/it][A + hellaswag_hr: 56%|██████████████████████████████████████████████████████████████▍ | 165/296 [24:29<19:11, 8.79s/it][A + hellaswag_hr: 56%|██████████████████████████████████████████████████████████████▊ | 166/296 [24:38<19:15, 8.89s/it][A + hellaswag_hr: 56%|███████████████████████████████████████████████████████████████▏ | 167/296 [24:47<18:57, 8.82s/it][A + hellaswag_hr: 57%|███████████████████████████████████████████████████████████████▌ | 168/296 [24:55<18:28, 8.66s/it][A + hellaswag_hr: 57%|███████████████████████████████████████████████████████████████▉ | 169/296 [25:04<18:23, 8.69s/it][A + hellaswag_hr: 57%|████████████████████████████████████████████████████████████████▎ | 170/296 [25:13<18:22, 8.75s/it][A + hellaswag_hr: 58%|████████████████████████████████████████████████████████████████▋ | 171/296 [25:21<18:06, 8.69s/it][A + hellaswag_hr: 58%|█████████████████████████████████████████████████████████████████ | 172/296 [25:30<17:54, 8.66s/it][A + hellaswag_hr: 58%|█████████████████████████████████████████████████████████████████▍ | 173/296 [25:39<18:08, 8.85s/it][A + hellaswag_hr: 59%|█████████████████████████████████████████████████████████████████▊ | 174/296 [25:48<18:00, 8.85s/it][A + hellaswag_hr: 59%|██████████████████████████████████████████████████████████████████▏ | 175/296 [25:57<17:47, 8.83s/it][A + hellaswag_hr: 59%|██████████████████████████████████████████████████████████████████▌ | 176/296 [26:05<17:32, 8.77s/it][A + hellaswag_hr: 60%|██████████████████████████████████████████████████████████████████▉ | 177/296 [26:14<17:32, 8.84s/it][A + hellaswag_hr: 60%|███████████████████████████████████████████████████████████████████▎ | 178/296 [26:23<17:13, 8.76s/it][A + hellaswag_hr: 60%|███████████████████████████████████████████████████████████████████▋ | 179/296 [26:32<17:22, 8.91s/it][A + hellaswag_hr: 61%|████████████████████████████████████████████████████████████████████ | 180/296 [26:41<17:18, 8.95s/it][A + hellaswag_hr: 61%|████████████████████████████████████████████████████████████████████▍ | 181/296 [26:50<17:00, 8.87s/it][A + hellaswag_hr: 61%|████████████████████████████████████████████████████████████████████▊ | 182/296 [26:59<16:42, 8.79s/it][A + hellaswag_hr: 62%|█████████████████████████████████████████████████████████████████████▏ | 183/296 [27:07<16:37, 8.83s/it][A + hellaswag_hr: 62%|█████████████████████████████████████████████████████████████████████▌ | 184/296 [27:17<16:43, 8.96s/it][A + hellaswag_hr: 62%|██████████████████████████████████████████████████████████████████████ | 185/296 [27:26<16:54, 9.14s/it][A + hellaswag_hr: 63%|██████████████████████████████████████████████████████████████████████▍ | 186/296 [27:35<16:22, 8.94s/it][A + hellaswag_hr: 63%|██████████████████████████████████████████████████████████████████████▊ | 187/296 [27:43<15:59, 8.81s/it][A + hellaswag_hr: 64%|███████████████████████████████████████████████████████████████████████▏ | 188/296 [27:52<15:52, 8.82s/it][A + hellaswag_hr: 64%|███████████████████████████████████████████████████████████████████████▌ | 189/296 [28:01<15:46, 8.85s/it][A + hellaswag_hr: 64%|███████████████████████████████████████████████████████████████████████▉ | 190/296 [28:10<15:39, 8.86s/it][A + hellaswag_hr: 65%|████████████████████████████████████████████████████████████████████████▎ | 191/296 [28:19<15:27, 8.83s/it][A + hellaswag_hr: 65%|████████████████████████████████████████████████████████████████████████▋ | 192/296 [28:28<15:37, 9.02s/it][A + hellaswag_hr: 65%|█████████████████████████████████████████████████████████████████████████ | 193/296 [28:37<15:26, 9.00s/it][A + hellaswag_hr: 66%|█████████████████████████████████████████████████████████████████████████▍ | 194/296 [28:46<15:12, 8.94s/it][A + hellaswag_hr: 66%|█████████████████████████████████████████████████████████████████████████▊ | 195/296 [28:55<14:57, 8.89s/it][A + hellaswag_hr: 66%|██████████████████████████████████████████████████████████████████████████▏ | 196/296 [29:04<14:51, 8.91s/it][A + hellaswag_hr: 67%|██████████████████████████████████████████████████████████████████████████▌ | 197/296 [29:12<14:31, 8.80s/it][A + hellaswag_hr: 67%|██████████████████████████████████████████████████████████████████████████▉ | 198/296 [29:21<14:17, 8.75s/it][A + hellaswag_hr: 67%|███████████████████████████████████████████████████████████████████████████▎ | 199/296 [29:29<14:05, 8.71s/it][A + hellaswag_hr: 68%|███████████████████████████████████████████████████████████████████████████▋ | 200/296 [29:38<14:00, 8.76s/it][A + hellaswag_hr: 68%|████████████████████████████████████████████████████████████████████████████ | 201/296 [29:48<14:10, 8.95s/it][A + hellaswag_hr: 68%|████████████████████████████████████████████████████████████████████████████▍ | 202/296 [29:56<13:55, 8.88s/it][A + hellaswag_hr: 69%|████████████████████████████████████████████████████████████████████████████▊ | 203/296 [30:05<13:43, 8.85s/it][A + hellaswag_hr: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 204/296 [30:14<13:32, 8.83s/it][A + hellaswag_hr: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 205/296 [30:23<13:19, 8.79s/it][A + hellaswag_hr: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 206/296 [30:32<13:18, 8.87s/it][A + hellaswag_hr: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 207/296 [30:41<13:25, 9.05s/it][A + hellaswag_hr: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 208/296 [30:50<13:02, 8.89s/it][A + hellaswag_hr: 71%|███████████████████████████████████████████████████████████████████████████████ | 209/296 [30:58<12:48, 8.83s/it][A + hellaswag_hr: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 210/296 [31:07<12:46, 8.91s/it][A + hellaswag_hr: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 211/296 [31:17<12:45, 9.01s/it][A + hellaswag_hr: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 212/296 [31:25<12:30, 8.93s/it][A + hellaswag_hr: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 213/296 [31:34<12:12, 8.83s/it][A + hellaswag_hr: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 214/296 [31:43<12:02, 8.82s/it][A + hellaswag_hr: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 215/296 [31:52<11:55, 8.84s/it][A + hellaswag_hr: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 216/296 [32:01<11:58, 8.99s/it][A + hellaswag_hr: 73%|██████████████████████████████████████████████████████████████████████████████████ | 217/296 [32:10<11:57, 9.08s/it][A + hellaswag_hr: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 218/296 [32:20<11:54, 9.17s/it][A + hellaswag_hr: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 219/296 [32:29<11:41, 9.10s/it][A + hellaswag_hr: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 220/296 [32:37<11:21, 8.96s/it][A + hellaswag_hr: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 221/296 [32:47<11:19, 9.06s/it][A + hellaswag_hr: 75%|████████████████████████████████████████████████████████████████████████████████████ | 222/296 [32:56<11:13, 9.10s/it][A + hellaswag_hr: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 223/296 [33:04<10:47, 8.88s/it][A + hellaswag_hr: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 224/296 [33:13<10:34, 8.82s/it][A + hellaswag_hr: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 225/296 [33:22<10:24, 8.79s/it][A + hellaswag_hr: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 226/296 [33:31<10:29, 8.99s/it][A + hellaswag_hr: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 227/296 [33:40<10:16, 8.94s/it][A + hellaswag_hr: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 228/296 [33:49<10:05, 8.90s/it][A + hellaswag_hr: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 229/296 [33:57<09:54, 8.88s/it][A + hellaswag_hr: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 230/296 [34:06<09:46, 8.88s/it][A + hellaswag_hr: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 231/296 [34:15<09:32, 8.81s/it][A + hellaswag_hr: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 232/296 [34:24<09:35, 8.99s/it][A + hellaswag_hr: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 233/296 [34:33<09:23, 8.94s/it][A + hellaswag_hr: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 234/296 [34:42<09:07, 8.84s/it][A + hellaswag_hr: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 235/296 [34:50<08:54, 8.77s/it][A + hellaswag_hr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 236/296 [34:59<08:48, 8.81s/it][A + hellaswag_hr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 237/296 [35:08<08:37, 8.77s/it][A + hellaswag_hr: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 238/296 [35:17<08:25, 8.71s/it][A + hellaswag_hr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 239/296 [35:25<08:13, 8.66s/it][A + hellaswag_hr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 240/296 [35:33<07:58, 8.54s/it][A + hellaswag_hr: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 241/296 [35:42<07:51, 8.57s/it][A + hellaswag_hr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 242/296 [35:51<07:55, 8.81s/it][A + hellaswag_hr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 243/296 [36:01<08:00, 9.06s/it][A + hellaswag_hr: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 244/296 [36:10<07:48, 9.00s/it][A + hellaswag_hr: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 245/296 [36:20<07:48, 9.19s/it][A + hellaswag_hr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 246/296 [36:29<07:40, 9.20s/it][A + hellaswag_hr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/296 [36:37<07:23, 9.05s/it][A + hellaswag_hr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/296 [36:46<07:11, 8.98s/it][A + hellaswag_hr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/296 [36:56<07:08, 9.12s/it][A + hellaswag_hr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/296 [37:05<07:04, 9.22s/it][A + hellaswag_hr: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/296 [37:14<06:48, 9.09s/it][A + hellaswag_hr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/296 [37:23<06:36, 9.00s/it][A + hellaswag_hr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/296 [37:32<06:24, 8.95s/it][A + hellaswag_hr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 254/296 [37:40<06:13, 8.88s/it][A + hellaswag_hr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/296 [37:49<06:06, 8.94s/it][A + hellaswag_hr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/296 [37:59<06:05, 9.13s/it][A + hellaswag_hr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 257/296 [38:08<05:49, 8.95s/it][A + hellaswag_hr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 258/296 [38:16<05:37, 8.88s/it][A + hellaswag_hr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 259/296 [38:25<05:25, 8.81s/it][A + hellaswag_hr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/296 [38:34<05:17, 8.82s/it][A + hellaswag_hr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/296 [38:43<05:15, 9.02s/it][A + hellaswag_hr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/296 [38:52<05:09, 9.09s/it][A + hellaswag_hr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/296 [39:01<04:56, 8.99s/it][A + hellaswag_hr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/296 [39:11<04:50, 9.09s/it][A + hellaswag_hr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/296 [39:19<04:37, 8.96s/it][A + hellaswag_hr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/296 [39:28<04:28, 8.94s/it][A + hellaswag_hr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/296 [39:37<04:17, 8.90s/it][A + hellaswag_hr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 268/296 [39:46<04:09, 8.91s/it][A + hellaswag_hr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 269/296 [39:55<04:03, 9.03s/it][A + hellaswag_hr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 270/296 [40:04<03:52, 8.92s/it][A + hellaswag_hr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 271/296 [40:13<03:41, 8.86s/it][A + hellaswag_hr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 272/296 [40:22<03:35, 8.98s/it][A + hellaswag_hr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 273/296 [40:31<03:24, 8.91s/it][A + hellaswag_hr: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 274/296 [40:40<03:18, 9.02s/it][A + hellaswag_hr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 275/296 [40:48<03:03, 8.75s/it][A + hellaswag_hr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 276/296 [40:57<02:55, 8.76s/it][A + hellaswag_hr: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 277/296 [41:06<02:50, 8.96s/it][A + hellaswag_hr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 278/296 [41:15<02:39, 8.87s/it][A + hellaswag_hr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 279/296 [41:24<02:33, 9.01s/it][A + hellaswag_hr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 280/296 [41:33<02:22, 8.91s/it][A + hellaswag_hr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 281/296 [41:42<02:16, 9.07s/it][A + hellaswag_hr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 282/296 [41:51<02:05, 8.99s/it][A + hellaswag_hr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 283/296 [42:00<01:55, 8.92s/it][A + hellaswag_hr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 284/296 [42:09<01:46, 8.87s/it][A + hellaswag_hr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 285/296 [42:17<01:37, 8.86s/it][A + hellaswag_hr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 286/296 [42:26<01:28, 8.89s/it][A + hellaswag_hr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 287/296 [42:35<01:19, 8.83s/it][A + hellaswag_hr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 288/296 [42:44<01:10, 8.79s/it][A + hellaswag_hr: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 289/296 [42:53<01:01, 8.81s/it][A + hellaswag_hr: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 290/296 [43:01<00:52, 8.77s/it][A + hellaswag_hr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 291/296 [43:10<00:43, 8.74s/it][A + hellaswag_hr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 292/296 [43:19<00:34, 8.70s/it][A + hellaswag_hr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 293/296 [43:27<00:26, 8.70s/it][A + hellaswag_hr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 294/296 [43:36<00:17, 8.75s/it][A + hellaswag_hr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 295/296 [43:45<00:08, 8.83s/it][A + hellaswag_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:54<00:00, 8.79s/it][A hellaswag_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:54<00:00, 8.90s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hr_acc 0.3508605215922289 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hr_acc_norm 0.45063879210220675 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 19:10:34,823 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 19:10:34,823 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:34,953 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 19:10:34,953 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:35,083 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 19:10:35,083 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:35,212 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 19:10:35,213 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 19:10:35,213 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 19:10:35,344 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 19:10:35,344 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'hellaswag_hr_acc'} +2024-05-29 19:10:35,410 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 19:10:35,410 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1161, 'value': 0.3508605215922289} +2024-05-29 19:10:35,476 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 19:10:36,131 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 19:10:36,131 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:36,260 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 19:10:36,260 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:36,388 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 19:10:36,388 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:36,517 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 19:10:36,517 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 19:10:36,517 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 19:10:36,647 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 19:10:36,647 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_hr_acc_norm'} +2024-05-29 19:10:36,712 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 19:10:36,712 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1162, 'value': 0.45063879210220675} +2024-05-29 19:10:36,777 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 34%|████████████████████████████████████▌ | 42/124 [12:23:06<75:11:11, 3300.88s/it]['hellaswag_hu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 19:10:37,410 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 19:10:37,410 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:37,533 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 19:10:37,533 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:37,655 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 19:10:37,655 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:10:37,778 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 19:10:37,779 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 19:10:37,779 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_hu'} +2024-05-29 19:10:37,902 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_hu task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.66s/ examples][A + Generating validation split: 2000 examples [00:02, 1008.41 examples/s][A + Generating validation split: 3768 examples [00:02, 2128.64 examples/s][A + Generating validation split: 5364 examples [00:02, 3340.00 examples/s][A + Generating validation split: 7000 examples [00:03, 4770.93 examples/s][A + Generating validation split: 9000 examples [00:03, 6668.92 examples/s][A Generating validation split: 9119 examples [00:03, 2830.59 examples/s] +Loaded 9119 examples +Running loglikelihood requests + + hellaswag_hu: 0%| | 0/285 [00:00<?, ?it/s][A + hellaswag_hu: 0%|▍ | 1/285 [00:09<44:33, 9.41s/it][A + hellaswag_hu: 1%|▊ | 2/285 [00:18<44:01, 9.33s/it][A + hellaswag_hu: 1%|█▏ | 3/285 [00:28<44:14, 9.41s/it][A + hellaswag_hu: 1%|█▌ | 4/285 [00:37<43:09, 9.22s/it][A + hellaswag_hu: 2%|██ | 5/285 [00:46<42:51, 9.18s/it][A + hellaswag_hu: 2%|██▍ | 6/285 [00:54<42:01, 9.04s/it][A + hellaswag_hu: 2%|██▊ | 7/285 [01:04<42:26, 9.16s/it][A + hellaswag_hu: 3%|███▏ | 8/285 [01:14<43:08, 9.34s/it][A + hellaswag_hu: 3%|███▌ | 9/285 [01:23<43:06, 9.37s/it][A + hellaswag_hu: 4%|███▉ | 10/285 [01:33<43:17, 9.45s/it][A + hellaswag_hu: 4%|████▎ | 11/285 [01:41<42:09, 9.23s/it][A + hellaswag_hu: 4%|████▊ | 12/285 [01:50<41:07, 9.04s/it][A + hellaswag_hu: 5%|█████▏ | 13/285 [01:59<40:25, 8.92s/it][A + hellaswag_hu: 5%|█████▌ | 14/285 [02:09<41:47, 9.25s/it][A + hellaswag_hu: 5%|█████▉ | 15/285 [02:18<41:44, 9.27s/it][A + hellaswag_hu: 6%|██████▎ | 16/285 [02:28<41:54, 9.35s/it][A + hellaswag_hu: 6%|██████▋ | 17/285 [02:37<41:45, 9.35s/it][A + hellaswag_hu: 6%|███████▏ | 18/285 [02:46<41:09, 9.25s/it][A + hellaswag_hu: 7%|███████▌ | 19/285 [02:55<40:23, 9.11s/it][A + hellaswag_hu: 7%|███████▉ | 20/285 [03:04<40:42, 9.22s/it][A + hellaswag_hu: 7%|████████▎ | 21/285 [03:12<39:20, 8.94s/it][A + hellaswag_hu: 8%|████████▋ | 22/285 [03:22<40:36, 9.27s/it][A + hellaswag_hu: 8%|█████████ | 23/285 [03:32<40:48, 9.34s/it][A + hellaswag_hu: 8%|█████████▌ | 24/285 [03:41<40:14, 9.25s/it][A + hellaswag_hu: 9%|█████████▉ | 25/285 [03:50<40:16, 9.29s/it][A + hellaswag_hu: 9%|██████████▎ | 26/285 [04:00<40:14, 9.32s/it][A + hellaswag_hu: 9%|██████████▋ | 27/285 [04:09<40:29, 9.42s/it][A + hellaswag_hu: 10%|███████████ | 28/285 [04:18<39:21, 9.19s/it][A + hellaswag_hu: 10%|███████████▍ | 29/285 [04:27<38:21, 8.99s/it][A + hellaswag_hu: 11%|███████████▉ | 30/285 [04:36<38:41, 9.11s/it][A + hellaswag_hu: 11%|████████████▎ | 31/285 [04:45<38:59, 9.21s/it][A + hellaswag_hu: 11%|████████████▋ | 32/285 [04:54<37:38, 8.93s/it][A + hellaswag_hu: 12%|█████████████ | 33/285 [05:03<37:25, 8.91s/it][A + hellaswag_hu: 12%|█████████████▍ | 34/285 [05:12<38:00, 9.09s/it][A + hellaswag_hu: 12%|█████████████▉ | 35/285 [05:21<37:28, 8.99s/it][A + hellaswag_hu: 13%|██████████████▎ | 36/285 [05:30<37:43, 9.09s/it][A + hellaswag_hu: 13%|██████████████▋ | 37/285 [05:40<38:20, 9.28s/it][A + hellaswag_hu: 13%|███████████████ | 38/285 [05:49<37:41, 9.16s/it][A + hellaswag_hu: 14%|███████████████▍ | 39/285 [05:58<38:01, 9.28s/it][A + hellaswag_hu: 14%|███████████████▊ | 40/285 [06:08<38:19, 9.38s/it][A + hellaswag_hu: 14%|████████████████▎ | 41/285 [06:18<38:50, 9.55s/it][A + hellaswag_hu: 15%|████████████████▋ | 42/285 [06:27<38:26, 9.49s/it][A + hellaswag_hu: 15%|█████████████████ | 43/285 [06:37<38:26, 9.53s/it][A + hellaswag_hu: 15%|█████████████████▍ | 44/285 [06:46<37:20, 9.30s/it][A + hellaswag_hu: 16%|█████████████████▊ | 45/285 [06:55<36:39, 9.16s/it][A + hellaswag_hu: 16%|██████████████████▏ | 46/285 [07:04<36:45, 9.23s/it][A + hellaswag_hu: 16%|██████████████████▋ | 47/285 [07:13<35:58, 9.07s/it][A + hellaswag_hu: 17%|███████████████████ | 48/285 [07:22<36:31, 9.25s/it][A + hellaswag_hu: 17%|███████████████████▍ | 49/285 [07:32<36:28, 9.27s/it][A + hellaswag_hu: 18%|███████████████████▊ | 50/285 [07:41<36:30, 9.32s/it][A + hellaswag_hu: 18%|████████████████████▏ | 51/285 [07:50<36:12, 9.28s/it][A + hellaswag_hu: 18%|████████████████████▌ | 52/285 [07:59<35:30, 9.14s/it][A + hellaswag_hu: 19%|█████████████████████ | 53/285 [08:08<35:36, 9.21s/it][A + hellaswag_hu: 19%|█████████████████████▍ | 54/285 [08:17<35:02, 9.10s/it][A + hellaswag_hu: 19%|█████████████████████▊ | 55/285 [08:27<35:13, 9.19s/it][A + hellaswag_hu: 20%|██████████████████████▏ | 56/285 [08:36<35:07, 9.20s/it][A + hellaswag_hu: 20%|██████████████████████▌ | 57/285 [08:46<35:28, 9.33s/it][A + hellaswag_hu: 20%|██████████████████████▉ | 58/285 [08:55<36:00, 9.52s/it][A + hellaswag_hu: 21%|███████████████████████▍ | 59/285 [09:04<35:17, 9.37s/it][A + hellaswag_hu: 21%|███████████████████████▊ | 60/285 [09:13<34:27, 9.19s/it][A + hellaswag_hu: 21%|████████████████████████▏ | 61/285 [09:22<33:25, 8.95s/it][A + hellaswag_hu: 22%|████████████████████████▌ | 62/285 [09:30<33:00, 8.88s/it][A + hellaswag_hu: 22%|████████████████████████▉ | 63/285 [09:39<32:47, 8.86s/it][A + hellaswag_hu: 22%|█████████████████████████▍ | 64/285 [09:48<32:45, 8.89s/it][A + hellaswag_hu: 23%|█████████████████████████▊ | 65/285 [09:58<33:11, 9.05s/it][A + hellaswag_hu: 23%|██████████████████████████▏ | 66/285 [10:06<32:40, 8.95s/it][A + hellaswag_hu: 24%|██████████████████████████▌ | 67/285 [10:15<32:24, 8.92s/it][A + hellaswag_hu: 24%|██████████████████████████▉ | 68/285 [10:24<32:44, 9.05s/it][A + hellaswag_hu: 24%|███████████████████████████▎ | 69/285 [10:34<32:37, 9.06s/it][A + hellaswag_hu: 25%|███████████████████████████▊ | 70/285 [10:43<32:56, 9.19s/it][A + hellaswag_hu: 25%|████████████████████████████▏ | 71/285 [10:52<32:15, 9.05s/it][A + hellaswag_hu: 25%|████████████████████████████▌ | 72/285 [11:01<31:47, 8.96s/it][A + hellaswag_hu: 26%|████████████████████████████▉ | 73/285 [11:11<32:59, 9.34s/it][A + hellaswag_hu: 26%|█████████████████████████████▎ | 74/285 [11:20<32:57, 9.37s/it][A + hellaswag_hu: 26%|█████████████████████████████▋ | 75/285 [11:29<32:06, 9.18s/it][A + hellaswag_hu: 27%|██████████████████████████████▏ | 76/285 [11:39<32:40, 9.38s/it][A + hellaswag_hu: 27%|██████████████████████████████▌ | 77/285 [11:48<32:48, 9.47s/it][A + hellaswag_hu: 27%|██████████████████████████████▉ | 78/285 [11:58<32:34, 9.44s/it][A + hellaswag_hu: 28%|███████████████████████████████▎ | 79/285 [12:06<31:37, 9.21s/it][A + hellaswag_hu: 28%|███████████████████████████████▋ | 80/285 [12:16<31:37, 9.25s/it][A + hellaswag_hu: 28%|████████████████████████████████ | 81/285 [12:25<31:39, 9.31s/it][A + hellaswag_hu: 29%|████████████████████████████████▌ | 82/285 [12:35<31:33, 9.33s/it][A + hellaswag_hu: 29%|████████████████████████████████▉ | 83/285 [12:44<31:36, 9.39s/it][A + hellaswag_hu: 29%|█████████████████████████████████▎ | 84/285 [12:54<31:34, 9.42s/it][A + hellaswag_hu: 30%|█████████████████████████████████▋ | 85/285 [13:03<30:52, 9.26s/it][A + hellaswag_hu: 30%|██████████████████████████████████ | 86/285 [13:12<31:02, 9.36s/it][A + hellaswag_hu: 31%|██████████████████████████████████▍ | 87/285 [13:22<31:11, 9.45s/it][A + hellaswag_hu: 31%|██████████████████████████████████▉ | 88/285 [13:31<30:31, 9.29s/it][A + hellaswag_hu: 31%|███████████████████████████████████▎ | 89/285 [13:41<31:06, 9.52s/it][A + hellaswag_hu: 32%|███████████████████████████████████▋ | 90/285 [13:50<30:20, 9.34s/it][A + hellaswag_hu: 32%|████████████████████████████████████ | 91/285 [13:58<29:32, 9.14s/it][A + hellaswag_hu: 32%|████████████████████████████████████▍ | 92/285 [14:08<29:33, 9.19s/it][A + hellaswag_hu: 33%|████████████████████████████████████▊ | 93/285 [14:17<29:34, 9.24s/it][A + hellaswag_hu: 33%|█████████████████████████████████████▎ | 94/285 [14:26<29:05, 9.14s/it][A + hellaswag_hu: 33%|█████████████████████████████████████▋ | 95/285 [14:35<29:11, 9.22s/it][A + hellaswag_hu: 34%|██████████████████████████████████████ | 96/285 [14:44<28:49, 9.15s/it][A + hellaswag_hu: 34%|██████████████████████████████████████▍ | 97/285 [14:53<28:13, 9.01s/it][A + hellaswag_hu: 34%|██████████████████████████████████████▊ | 98/285 [15:02<28:08, 9.03s/it][A + hellaswag_hu: 35%|███████████████████████████████████████▎ | 99/285 [15:11<27:33, 8.89s/it][A + hellaswag_hu: 35%|███████████████████████████████████████▎ | 100/285 [15:20<27:24, 8.89s/it][A + hellaswag_hu: 35%|███████████████████████████████████████▋ | 101/285 [15:28<27:11, 8.87s/it][A + hellaswag_hu: 36%|████████████████████████████████████████ | 102/285 [15:37<26:53, 8.82s/it][A + hellaswag_hu: 36%|████████████████████████████████████████▍ | 103/285 [15:46<26:44, 8.81s/it][A + hellaswag_hu: 36%|████████████████████████████████████████▊ | 104/285 [15:55<26:40, 8.84s/it][A + hellaswag_hu: 37%|█████████████████████████████████████████▎ | 105/285 [16:04<27:04, 9.03s/it][A + hellaswag_hu: 37%|█████████████████████████████████████████▋ | 106/285 [16:13<26:42, 8.95s/it][A + hellaswag_hu: 38%|██████████████████████████████████████████ | 107/285 [16:22<26:32, 8.95s/it][A + hellaswag_hu: 38%|██████████████████████████████████████████▍ | 108/285 [16:31<26:23, 8.94s/it][A + hellaswag_hu: 38%|██████████████████████████████████████████▊ | 109/285 [16:40<25:58, 8.85s/it][A + hellaswag_hu: 39%|███████████████████████████████████████████▏ | 110/285 [16:49<26:16, 9.01s/it][A + hellaswag_hu: 39%|███████████████████████████████████████████▌ | 111/285 [16:58<25:57, 8.95s/it][A + hellaswag_hu: 39%|████████████████████████████████████████████ | 112/285 [17:06<25:30, 8.85s/it][A + hellaswag_hu: 40%|████████████████████████████████████████████▍ | 113/285 [17:15<25:15, 8.81s/it][A + hellaswag_hu: 40%|████████████████████████████████████████████▊ | 114/285 [17:25<25:41, 9.01s/it][A + hellaswag_hu: 40%|█████████████████████████████████████████████▏ | 115/285 [17:33<25:27, 8.99s/it][A + hellaswag_hu: 41%|█████████████████████████████████████████████▌ | 116/285 [17:42<25:18, 8.98s/it][A + hellaswag_hu: 41%|█████████████████████████████████████████████▉ | 117/285 [17:52<25:33, 9.13s/it][A + hellaswag_hu: 41%|██████████████████████████████████████████████▎ | 118/285 [18:01<25:45, 9.25s/it][A + hellaswag_hu: 42%|██████████████████████████████████████████████▊ | 119/285 [18:11<25:35, 9.25s/it][A + hellaswag_hu: 42%|███████████████████████████████████████████████▏ | 120/285 [18:20<25:28, 9.26s/it][A + hellaswag_hu: 42%|███████████████████████████████████████████████▌ | 121/285 [18:29<24:51, 9.10s/it][A + hellaswag_hu: 43%|███████████████████████████████████████████████▉ | 122/285 [18:38<24:34, 9.05s/it][A + hellaswag_hu: 43%|████████████████████████████████████████████████▎ | 123/285 [18:46<24:06, 8.93s/it][A + hellaswag_hu: 44%|████████████████████████████████████████████████▋ | 124/285 [18:55<23:54, 8.91s/it][A + hellaswag_hu: 44%|█████████████████████████████████████████████████ | 125/285 [19:04<23:33, 8.83s/it][A + hellaswag_hu: 44%|█████████████████████████████████████████████████▌ | 126/285 [19:14<24:18, 9.17s/it][A + hellaswag_hu: 45%|█████████████████████████████████████████████████▉ | 127/285 [19:22<23:36, 8.97s/it][A + hellaswag_hu: 45%|██████████████████████████████████████████████████▎ | 128/285 [19:31<23:25, 8.95s/it][A + hellaswag_hu: 45%|██████████████████████████████████████████████████▋ | 129/285 [19:40<23:08, 8.90s/it][A + hellaswag_hu: 46%|███████████████████████████████████████████████████ | 130/285 [19:49<22:54, 8.87s/it][A + hellaswag_hu: 46%|███████████████████████████████████████████████████▍ | 131/285 [19:59<23:41, 9.23s/it][A + hellaswag_hu: 46%|███████████████████████████████████████████████████▊ | 132/285 [20:08<23:10, 9.09s/it][A + hellaswag_hu: 47%|████████████████████████████████████████████████████▎ | 133/285 [20:17<23:13, 9.17s/it][A + hellaswag_hu: 47%|████████████████████████████████████████████████████▋ | 134/285 [20:27<23:25, 9.31s/it][A + hellaswag_hu: 47%|█████████████████████████████████████████████████████ | 135/285 [20:36<23:26, 9.38s/it][A + hellaswag_hu: 48%|█████████████████████████████████████████████████████▍ | 136/285 [20:46<23:26, 9.44s/it][A + hellaswag_hu: 48%|█████████████████████████████████████████████████████▊ | 137/285 [20:55<22:57, 9.31s/it][A + hellaswag_hu: 48%|██████████████████████████████████████████████████████▏ | 138/285 [21:04<23:06, 9.43s/it][A + hellaswag_hu: 49%|██████████████████████████████████████████████████████▌ | 139/285 [21:14<23:01, 9.46s/it][A + hellaswag_hu: 49%|███████████████████████████████████████████████████████ | 140/285 [21:24<23:06, 9.56s/it][A + hellaswag_hu: 49%|███████████████████████████████████████████████████████▍ | 141/285 [21:33<22:33, 9.40s/it][A + hellaswag_hu: 50%|███████████████████████████████████████████████████████▊ | 142/285 [21:42<22:11, 9.31s/it][A + hellaswag_hu: 50%|████████████████████████████████████████████████████████▏ | 143/285 [21:52<22:16, 9.41s/it][A + hellaswag_hu: 51%|████████████████████████████████████████████████████████▌ | 144/285 [22:01<21:51, 9.30s/it][A + hellaswag_hu: 51%|████████████████████████████████████████████████████████▉ | 145/285 [22:09<21:18, 9.13s/it][A + hellaswag_hu: 51%|█████████████████████████████████████████████████████████▍ | 146/285 [22:18<20:51, 9.01s/it][A + hellaswag_hu: 52%|█████████████████████████████████████████████████████████▊ | 147/285 [22:27<20:28, 8.90s/it][A + hellaswag_hu: 52%|██████████████████████████████████████████████████████████▏ | 148/285 [22:36<20:45, 9.09s/it][A + hellaswag_hu: 52%|██████████████████████████████████████████████████████████▌ | 149/285 [22:45<20:31, 9.06s/it][A + hellaswag_hu: 53%|██████████████████████████████████████████████████████████▉ | 150/285 [22:54<20:15, 9.00s/it][A + hellaswag_hu: 53%|███████████████████████████████████████████████████████████▎ | 151/285 [23:03<20:15, 9.07s/it][A + hellaswag_hu: 53%|███████████████████████████████████████████████████████████▋ | 152/285 [23:13<20:31, 9.26s/it][A + hellaswag_hu: 54%|████████████████████████████████████████████████████████████▏ | 153/285 [23:23<20:43, 9.42s/it][A + hellaswag_hu: 54%|████████████████████████████████████████████████████████████▌ | 154/285 [23:31<20:05, 9.20s/it][A + hellaswag_hu: 54%|████████████████████████████████████████████████████████████▉ | 155/285 [23:40<19:45, 9.12s/it][A + hellaswag_hu: 55%|█████████████████████████████████████████████████████████████▎ | 156/285 [23:50<19:53, 9.25s/it][A + hellaswag_hu: 55%|█████████████████████████████████████████████████████████████▋ | 157/285 [23:59<19:33, 9.17s/it][A + hellaswag_hu: 55%|██████████████████████████████████████████████████████████████ | 158/285 [24:08<19:20, 9.13s/it][A + hellaswag_hu: 56%|██████████████████████████████████████████████████████████████▍ | 159/285 [24:17<18:56, 9.02s/it][A + hellaswag_hu: 56%|██████████████████████████████████████████████████████████████▉ | 160/285 [24:26<18:40, 8.96s/it][A + hellaswag_hu: 56%|███████████████████████████████████████████████████████████████▎ | 161/285 [24:35<18:51, 9.12s/it][A + hellaswag_hu: 57%|███████████████████████████████████████████████████████████████▋ | 162/285 [24:45<19:12, 9.37s/it][A + hellaswag_hu: 57%|████████████████████████████████████████████████████████████████ | 163/285 [24:54<18:41, 9.20s/it][A + hellaswag_hu: 58%|████████████████████████████████████████████████████████████████▍ | 164/285 [25:03<18:35, 9.22s/it][A + hellaswag_hu: 58%|████████████████████████████████████████████████████████████████▊ | 165/285 [25:13<18:55, 9.46s/it][A + hellaswag_hu: 58%|█████████████████████████████████████████████████████████████████▏ | 166/285 [25:23<18:45, 9.46s/it][A + hellaswag_hu: 59%|█████████████████████████████████████████████████████████████████▋ | 167/285 [25:31<18:09, 9.24s/it][A + hellaswag_hu: 59%|██████████████████████████████████████████████████████████████████ | 168/285 [25:40<17:44, 9.10s/it][A + hellaswag_hu: 59%|██████████████████████████████████████████████████████████████████▍ | 169/285 [25:49<17:24, 9.00s/it][A + hellaswag_hu: 60%|██████████████████████████████████████████████████████████████████▊ | 170/285 [25:58<17:09, 8.96s/it][A + hellaswag_hu: 60%|███████████████████████████████████████████████████████████████████▏ | 171/285 [26:07<17:15, 9.09s/it][A + hellaswag_hu: 60%|███████████████████████████████████████████████████████████████████▌ | 172/285 [26:16<17:11, 9.13s/it][A + hellaswag_hu: 61%|███████████████████████████████████████████████████████████████████▉ | 173/285 [26:25<16:49, 9.01s/it][A + hellaswag_hu: 61%|████████████████████████████████████████████████████████████████████▍ | 174/285 [26:34<16:34, 8.96s/it][A + hellaswag_hu: 61%|████████████████████████████████████████████████████████████████████▊ | 175/285 [26:44<16:47, 9.16s/it][A + hellaswag_hu: 62%|█████████████████████████████████████████████████████████████████████▏ | 176/285 [26:52<16:32, 9.10s/it][A + hellaswag_hu: 62%|█████████████████████████████████████████████████████████████████████▌ | 177/285 [27:01<16:01, 8.90s/it][A + hellaswag_hu: 62%|█████████████████████████████████████████████████████████████████████▉ | 178/285 [27:10<15:47, 8.86s/it][A + hellaswag_hu: 63%|██████████████████████████████████████████████████████████████████████▎ | 179/285 [27:19<15:59, 9.05s/it][A + hellaswag_hu: 63%|██████████████████████████████████████████████████████████████████████▋ | 180/285 [27:28<15:41, 8.97s/it][A + hellaswag_hu: 64%|███████████████████████████████████████████████████████████████████████▏ | 181/285 [27:37<15:37, 9.02s/it][A + hellaswag_hu: 64%|███████████████████████████████████████████████████████████████████████▌ | 182/285 [27:47<15:43, 9.16s/it][A + hellaswag_hu: 64%|███████████████████████████████████████████████████████████████████████▉ | 183/285 [27:56<15:41, 9.23s/it][A + hellaswag_hu: 65%|████████████████████████████████████████████████████████████████████████▎ | 184/285 [28:05<15:25, 9.16s/it][A + hellaswag_hu: 65%|████████████████████████████████████████████████████████████████████████▋ | 185/285 [28:15<15:31, 9.31s/it][A + hellaswag_hu: 65%|█████████████████████████████████████████████████████████████████████████ | 186/285 [28:24<15:23, 9.32s/it][A + hellaswag_hu: 66%|█████████████████████████████████████████████████████████████████████████▍ | 187/285 [28:33<15:10, 9.29s/it][A + hellaswag_hu: 66%|█████████████████████████████████████████████████████████████████████████▉ | 188/285 [28:42<14:56, 9.24s/it][A + hellaswag_hu: 66%|██████████████████████████████████████████████████████████████████████████▎ | 189/285 [28:51<14:34, 9.11s/it][A + hellaswag_hu: 67%|██████████████████████████████████████████████████████████████████████████▋ | 190/285 [29:00<14:14, 8.99s/it][A + hellaswag_hu: 67%|███████████████████████████████████████████████████████████████████████████ | 191/285 [29:09<14:03, 8.97s/it][A + hellaswag_hu: 67%|███████████████████████████████████████████████████████████████████████████▍ | 192/285 [29:18<13:51, 8.94s/it][A + hellaswag_hu: 68%|███████████████████████████████████████████████████████████████████████████▊ | 193/285 [29:26<13:24, 8.74s/it][A + hellaswag_hu: 68%|████████████████████████████████████████████████████████████████████████████▏ | 194/285 [29:35<13:20, 8.80s/it][A + hellaswag_hu: 68%|████████████████████████████████████████████████████████████████████████████▋ | 195/285 [29:44<13:28, 8.99s/it][A + hellaswag_hu: 69%|█████████████████████████████████████████████████████████████████████████████ | 196/285 [29:54<13:28, 9.08s/it][A + hellaswag_hu: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 197/285 [30:03<13:28, 9.19s/it][A + hellaswag_hu: 69%|█████████████████████████████████████████████████████████████████████████████▊ | 198/285 [30:12<13:26, 9.27s/it][A + hellaswag_hu: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 199/285 [30:22<13:13, 9.23s/it][A + hellaswag_hu: 70%|██████████████████████████████████████████████████████████████████████████████▌ | 200/285 [30:31<13:14, 9.35s/it][A + hellaswag_hu: 71%|██████████████████████████████████████████████████████████████████████████████▉ | 201/285 [30:40<12:51, 9.18s/it][A + hellaswag_hu: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 202/285 [30:49<12:46, 9.23s/it][A + hellaswag_hu: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 203/285 [30:59<12:37, 9.24s/it][A + hellaswag_hu: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 204/285 [31:07<12:16, 9.09s/it][A + hellaswag_hu: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 205/285 [31:16<11:59, 8.99s/it][A + hellaswag_hu: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 206/285 [31:25<11:49, 8.98s/it][A + hellaswag_hu: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 207/285 [31:34<11:28, 8.82s/it][A + hellaswag_hu: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 208/285 [31:42<11:09, 8.69s/it][A + hellaswag_hu: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 209/285 [31:51<11:18, 8.92s/it][A + hellaswag_hu: 74%|██████████████████████████████████████████████████████████████████████████████████▌ | 210/285 [32:01<11:25, 9.13s/it][A + hellaswag_hu: 74%|██████████████████████████████████████████████████████████████████████████████████▉ | 211/285 [32:10<11:19, 9.18s/it][A + hellaswag_hu: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 212/285 [32:19<11:00, 9.05s/it][A + hellaswag_hu: 75%|███████████████████████████████████████████████████████████████████████████████████▋ | 213/285 [32:28<10:57, 9.13s/it][A + hellaswag_hu: 75%|████████████████████████████████████████████████████████████████████████████████████ | 214/285 [32:38<11:01, 9.31s/it][A + hellaswag_hu: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 215/285 [32:47<10:46, 9.23s/it][A + hellaswag_hu: 76%|████████████████████████████████████████████████████████████████████████████████████▉ | 216/285 [32:57<10:42, 9.31s/it][A + hellaswag_hu: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 217/285 [33:06<10:30, 9.27s/it][A + hellaswag_hu: 76%|█████████████████████████████████████████████████████████████████████████████████████▋ | 218/285 [33:15<10:12, 9.14s/it][A + hellaswag_hu: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 219/285 [33:24<10:14, 9.31s/it][A + hellaswag_hu: 77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 220/285 [33:33<09:56, 9.17s/it][A + hellaswag_hu: 78%|██████████████████████████████████████████████████████████████████████████████████████▊ | 221/285 [33:43<09:54, 9.29s/it][A + hellaswag_hu: 78%|███████████████████████████████████████████████████████████████████████████████████████▏ | 222/285 [33:52<09:35, 9.14s/it][A + hellaswag_hu: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 223/285 [34:00<09:17, 9.00s/it][A + hellaswag_hu: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 224/285 [34:10<09:14, 9.09s/it][A + hellaswag_hu: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 225/285 [34:18<09:00, 9.00s/it][A + hellaswag_hu: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 226/285 [34:27<08:46, 8.92s/it][A + hellaswag_hu: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 227/285 [34:36<08:36, 8.90s/it][A + hellaswag_hu: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 228/285 [34:45<08:34, 9.03s/it][A + hellaswag_hu: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 229/285 [34:54<08:18, 8.90s/it][A + hellaswag_hu: 81%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 230/285 [35:03<08:16, 9.03s/it][A + hellaswag_hu: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 231/285 [35:12<08:06, 9.01s/it][A + hellaswag_hu: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 232/285 [35:21<07:57, 9.00s/it][A + hellaswag_hu: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 233/285 [35:29<07:36, 8.78s/it][A + hellaswag_hu: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 234/285 [35:38<07:30, 8.83s/it][A + hellaswag_hu: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 235/285 [35:47<07:22, 8.84s/it][A + hellaswag_hu: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 236/285 [35:57<07:26, 9.12s/it][A + hellaswag_hu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 237/285 [36:07<07:30, 9.39s/it][A + hellaswag_hu: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 238/285 [36:16<07:12, 9.20s/it][A + hellaswag_hu: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 239/285 [36:25<07:06, 9.27s/it][A + hellaswag_hu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 240/285 [36:35<07:04, 9.44s/it][A + hellaswag_hu: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 241/285 [36:44<06:45, 9.21s/it][A + hellaswag_hu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 242/285 [36:54<06:45, 9.43s/it][A + hellaswag_hu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 243/285 [37:02<06:28, 9.25s/it][A + hellaswag_hu: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 244/285 [37:13<06:32, 9.56s/it][A + hellaswag_hu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 245/285 [37:22<06:21, 9.53s/it][A + hellaswag_hu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 246/285 [37:30<05:56, 9.13s/it][A + hellaswag_hu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 247/285 [37:40<05:55, 9.35s/it][A + hellaswag_hu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/285 [37:50<05:46, 9.36s/it][A + hellaswag_hu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/285 [37:59<05:36, 9.35s/it][A + hellaswag_hu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/285 [38:09<05:29, 9.43s/it][A + hellaswag_hu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 251/285 [38:18<05:15, 9.29s/it][A + hellaswag_hu: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 252/285 [38:26<05:00, 9.11s/it][A + hellaswag_hu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 253/285 [38:36<04:54, 9.22s/it][A + hellaswag_hu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 254/285 [38:45<04:50, 9.37s/it][A + hellaswag_hu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 255/285 [38:55<04:40, 9.34s/it][A + hellaswag_hu: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 256/285 [39:03<04:25, 9.14s/it][A + hellaswag_hu: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 257/285 [39:13<04:20, 9.32s/it][A + hellaswag_hu: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 258/285 [39:23<04:14, 9.41s/it][A + hellaswag_hu: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 259/285 [39:31<03:59, 9.21s/it][A + hellaswag_hu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 260/285 [39:41<03:54, 9.38s/it][A + hellaswag_hu: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 261/285 [39:51<03:45, 9.40s/it][A + hellaswag_hu: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 262/285 [40:00<03:32, 9.22s/it][A + hellaswag_hu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 263/285 [40:08<03:16, 8.95s/it][A + hellaswag_hu: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 264/285 [40:18<03:13, 9.20s/it][A + hellaswag_hu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 265/285 [40:27<03:04, 9.23s/it][A + hellaswag_hu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 266/285 [40:36<02:57, 9.33s/it][A + hellaswag_hu: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 267/285 [40:45<02:45, 9.18s/it][A + hellaswag_hu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 268/285 [40:54<02:33, 9.06s/it][A + hellaswag_hu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 269/285 [41:03<02:24, 9.01s/it][A + hellaswag_hu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 270/285 [41:12<02:16, 9.10s/it][A + hellaswag_hu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 271/285 [41:22<02:08, 9.16s/it][A + hellaswag_hu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 272/285 [41:31<02:01, 9.37s/it][A + hellaswag_hu: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 273/285 [41:41<01:52, 9.37s/it][A + hellaswag_hu: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 274/285 [41:50<01:43, 9.39s/it][A + hellaswag_hu: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 275/285 [41:59<01:31, 9.14s/it][A + hellaswag_hu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 276/285 [42:08<01:21, 9.06s/it][A + hellaswag_hu: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 277/285 [42:17<01:12, 9.07s/it][A + hellaswag_hu: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 278/285 [42:26<01:03, 9.04s/it][A + hellaswag_hu: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 279/285 [42:35<00:54, 9.16s/it][A + hellaswag_hu: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 280/285 [42:44<00:45, 9.11s/it][A + hellaswag_hu: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 281/285 [42:53<00:36, 9.05s/it][A + hellaswag_hu: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 282/285 [43:03<00:27, 9.23s/it][A + hellaswag_hu: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 283/285 [43:12<00:18, 9.12s/it][A + hellaswag_hu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 284/285 [43:20<00:08, 8.95s/it][A + hellaswag_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 285/285 [43:29<00:00, 8.89s/it][A hellaswag_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 285/285 [43:29<00:00, 9.16s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hu_acc 0.2783199912271082 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hu_acc_norm 0.3179076653141792 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 19:54:12,632 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 19:54:12,632 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:12,763 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 19:54:12,763 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:12,894 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 19:54:12,895 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:13,026 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 19:54:13,027 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 19:54:13,027 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 19:54:13,159 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 19:54:13,159 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_hu_acc'} +2024-05-29 19:54:13,226 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 19:54:13,226 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1163, 'value': 0.2783199912271082} +2024-05-29 19:54:13,293 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 19:54:13,925 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 19:54:13,925 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:14,049 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 19:54:14,049 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:14,173 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 19:54:14,173 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:14,296 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 19:54:14,297 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 19:54:14,297 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 19:54:14,422 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 19:54:14,422 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_hu_acc_norm'} +2024-05-29 19:54:14,484 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 19:54:14,484 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1164, 'value': 0.3179076653141792} +2024-05-29 19:54:14,547 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 35%|█████████████████████████████████████▍ | 43/124 [13:06:43<69:39:31, 3095.94s/it]['hellaswag_hy'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 19:54:15,175 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 19:54:15,175 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:15,298 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 19:54:15,298 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:15,421 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 19:54:15,421 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 19:54:15,545 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 19:54:15,545 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 19:54:15,545 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_hy'} +2024-05-29 19:54:15,669 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_hy task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:03, 3.73s/ examples][A + Generating validation split: 1640 examples [00:03, 604.73 examples/s][A + Generating validation split: 3121 examples [00:03, 1315.69 examples/s][A + Generating validation split: 5000 examples [00:04, 2453.13 examples/s][A + Generating validation split: 7000 examples [00:04, 3882.68 examples/s][A + Generating validation split: 8632 examples [00:04, 5196.67 examples/s][A Generating validation split: 8632 examples [00:04, 2014.24 examples/s] +Loaded 8632 examples +Running loglikelihood requests + + hellaswag_hy: 0%| | 0/270 [00:00<?, ?it/s][A + hellaswag_hy: 0%|▍ | 1/270 [00:17<1:16:23, 17.04s/it][A + hellaswag_hy: 1%|▊ | 2/270 [00:33<1:13:59, 16.56s/it][A + hellaswag_hy: 1%|█▏ | 3/270 [00:49<1:13:35, 16.54s/it][A + hellaswag_hy: 1%|█▋ | 4/270 [01:06<1:13:35, 16.60s/it][A + hellaswag_hy: 2%|██ | 5/270 [01:23<1:13:36, 16.67s/it][A + hellaswag_hy: 2%|██▍ | 6/270 [01:38<1:11:36, 16.28s/it][A + hellaswag_hy: 3%|██▉ | 7/270 [01:56<1:13:23, 16.74s/it][A + hellaswag_hy: 3%|███▎ | 8/270 [02:12<1:11:59, 16.49s/it][A + hellaswag_hy: 3%|███▋ | 9/270 [02:29<1:11:58, 16.55s/it][A + hellaswag_hy: 4%|████ | 10/270 [02:45<1:11:58, 16.61s/it][A + hellaswag_hy: 4%|████▌ | 11/270 [03:02<1:11:39, 16.60s/it][A + hellaswag_hy: 4%|████▉ | 12/270 [03:18<1:11:09, 16.55s/it][A + hellaswag_hy: 5%|█████▎ | 13/270 [03:36<1:11:44, 16.75s/it][A + hellaswag_hy: 5%|█████▊ | 14/270 [03:53<1:12:13, 16.93s/it][A + hellaswag_hy: 6%|██████▏ | 15/270 [04:10<1:12:01, 16.95s/it][A + hellaswag_hy: 6%|██████▌ | 16/270 [04:27<1:12:00, 17.01s/it][A + hellaswag_hy: 6%|██████▉ | 17/270 [04:43<1:10:45, 16.78s/it][A + hellaswag_hy: 7%|███████▍ | 18/270 [05:01<1:11:16, 16.97s/it][A + hellaswag_hy: 7%|███████▊ | 19/270 [05:18<1:11:15, 17.03s/it][A + hellaswag_hy: 7%|████████▏ | 20/270 [05:34<1:09:46, 16.74s/it][A + hellaswag_hy: 8%|████████▋ | 21/270 [05:51<1:10:03, 16.88s/it][A + hellaswag_hy: 8%|█████████ | 22/270 [06:06<1:07:19, 16.29s/it][A + hellaswag_hy: 9%|█████████▍ | 23/270 [06:22<1:06:46, 16.22s/it][A + hellaswag_hy: 9%|█████████▊ | 24/270 [06:38<1:05:53, 16.07s/it][A + hellaswag_hy: 9%|██████████▎ | 25/270 [06:55<1:06:19, 16.24s/it][A + hellaswag_hy: 10%|██████████▋ | 26/270 [07:13<1:08:20, 16.80s/it][A + hellaswag_hy: 10%|███████████ | 27/270 [07:30<1:08:12, 16.84s/it][A + hellaswag_hy: 10%|███████████▌ | 28/270 [07:46<1:07:22, 16.70s/it][A + hellaswag_hy: 11%|███████████▉ | 29/270 [08:04<1:09:11, 17.23s/it][A + hellaswag_hy: 11%|████████████▎ | 30/270 [08:21<1:07:38, 16.91s/it][A + hellaswag_hy: 11%|████████████▋ | 31/270 [08:37<1:06:50, 16.78s/it][A + hellaswag_hy: 12%|█████████████▏ | 32/270 [08:54<1:07:13, 16.95s/it][A + hellaswag_hy: 12%|█████████████▌ | 33/270 [09:10<1:05:43, 16.64s/it][A + hellaswag_hy: 13%|█████████████▉ | 34/270 [09:26<1:04:44, 16.46s/it][A + hellaswag_hy: 13%|██████████████▍ | 35/270 [09:42<1:03:40, 16.26s/it][A + hellaswag_hy: 13%|██████████████▊ | 36/270 [09:59<1:04:06, 16.44s/it][A + hellaswag_hy: 14%|███████████████▏ | 37/270 [10:15<1:02:47, 16.17s/it][A + hellaswag_hy: 14%|███████████████▌ | 38/270 [10:32<1:03:41, 16.47s/it][A + hellaswag_hy: 14%|████████████████ | 39/270 [10:49<1:03:50, 16.58s/it][A + hellaswag_hy: 15%|████████████████▍ | 40/270 [11:05<1:03:07, 16.47s/it][A + hellaswag_hy: 15%|████████████████▊ | 41/270 [11:22<1:03:27, 16.63s/it][A + hellaswag_hy: 16%|█████████████████▎ | 42/270 [11:38<1:02:22, 16.41s/it][A + hellaswag_hy: 16%|█████████████████▋ | 43/270 [11:54<1:02:34, 16.54s/it][A + hellaswag_hy: 16%|██████████████████ | 44/270 [12:13<1:04:19, 17.08s/it][A + hellaswag_hy: 17%|██████████████████▌ | 45/270 [12:29<1:02:44, 16.73s/it][A + hellaswag_hy: 17%|███████████████████▎ | 46/270 [12:43<59:44, 16.00s/it][A + hellaswag_hy: 17%|███████████████████▎ | 47/270 [13:01<1:01:27, 16.54s/it][A + hellaswag_hy: 18%|███████████████████▋ | 48/270 [13:18<1:01:41, 16.67s/it][A + hellaswag_hy: 18%|████████████████████▏ | 49/270 [13:35<1:01:43, 16.76s/it][A + hellaswag_hy: 19%|████████████████████▉ | 50/270 [13:50<59:50, 16.32s/it][A + hellaswag_hy: 19%|█████████████████████▎ | 51/270 [14:05<58:34, 16.05s/it][A + hellaswag_hy: 19%|█████████████████████▊ | 52/270 [14:20<57:08, 15.73s/it][A + hellaswag_hy: 20%|██████████████████████▏ | 53/270 [14:37<58:00, 16.04s/it][A + hellaswag_hy: 20%|██████████████████████▌ | 54/270 [14:55<59:30, 16.53s/it][A + hellaswag_hy: 20%|███████████████████████ | 55/270 [15:10<57:45, 16.12s/it][A + hellaswag_hy: 21%|███████████████████████▍ | 56/270 [15:28<59:01, 16.55s/it][A + hellaswag_hy: 21%|███████████████████████▊ | 57/270 [15:45<59:32, 16.77s/it][A + hellaswag_hy: 21%|████████████████████████▎ | 58/270 [15:59<56:56, 16.12s/it][A + hellaswag_hy: 22%|████████████████████████▋ | 59/270 [16:17<58:06, 16.53s/it][A + hellaswag_hy: 22%|█████████████████████████ | 60/270 [16:33<57:37, 16.46s/it][A + hellaswag_hy: 23%|█████████████████████████▌ | 61/270 [16:51<58:40, 16.85s/it][A + hellaswag_hy: 23%|█████████████████████████▉ | 62/270 [17:08<58:33, 16.89s/it][A + hellaswag_hy: 23%|██████████████████████████▎ | 63/270 [17:23<56:34, 16.40s/it][A + hellaswag_hy: 24%|██████████████████████████▊ | 64/270 [17:40<56:53, 16.57s/it][A + hellaswag_hy: 24%|███████████████████████████▏ | 65/270 [17:57<56:47, 16.62s/it][A + hellaswag_hy: 24%|███████████████████████████▌ | 66/270 [18:14<57:06, 16.80s/it][A + hellaswag_hy: 25%|████████████████████████████ | 67/270 [18:31<56:57, 16.83s/it][A + hellaswag_hy: 25%|████████████████████████████▍ | 68/270 [18:47<56:05, 16.66s/it][A + hellaswag_hy: 26%|████████████████████████████▉ | 69/270 [19:02<54:13, 16.19s/it][A + hellaswag_hy: 26%|█████████████████████████████▎ | 70/270 [19:20<55:40, 16.70s/it][A + hellaswag_hy: 26%|█████████████████████████████▋ | 71/270 [19:36<54:13, 16.35s/it][A + hellaswag_hy: 27%|██████████████████████████████▏ | 72/270 [19:52<53:24, 16.18s/it][A + hellaswag_hy: 27%|██████████████████████████████▌ | 73/270 [20:07<52:00, 15.84s/it][A + hellaswag_hy: 27%|██████████████████████████████▉ | 74/270 [20:24<52:41, 16.13s/it][A + hellaswag_hy: 28%|███████████████████████████████▍ | 75/270 [20:40<53:13, 16.38s/it][A + hellaswag_hy: 28%|███████████████████████████████▊ | 76/270 [20:58<53:42, 16.61s/it][A + hellaswag_hy: 29%|████████████████████████████████▏ | 77/270 [21:16<55:03, 17.12s/it][A + hellaswag_hy: 29%|████████████████████████████████▋ | 78/270 [21:33<55:01, 17.19s/it][A + hellaswag_hy: 29%|█████████████████████████████████ | 79/270 [21:50<54:13, 17.03s/it][A + hellaswag_hy: 30%|█████████████████████████████████▍ | 80/270 [22:06<53:15, 16.82s/it][A + hellaswag_hy: 30%|█████████████████████████████████▉ | 81/270 [22:23<52:35, 16.69s/it][A + hellaswag_hy: 30%|██████████████████████████████████▎ | 82/270 [22:41<53:45, 17.16s/it][A + hellaswag_hy: 31%|██████████████████████████████████▋ | 83/270 [22:57<52:26, 16.82s/it][A + hellaswag_hy: 31%|███████████████████████████████████▏ | 84/270 [23:13<51:44, 16.69s/it][A + hellaswag_hy: 31%|███████████████████████████████████▌ | 85/270 [23:30<51:38, 16.75s/it][A + hellaswag_hy: 32%|███████████████████████████████████▉ | 86/270 [23:47<51:25, 16.77s/it][A + hellaswag_hy: 32%|████████████████████████████████████▍ | 87/270 [24:05<52:05, 17.08s/it][A + hellaswag_hy: 33%|████████████████████████████████████▊ | 88/270 [24:22<51:28, 16.97s/it][A + hellaswag_hy: 33%|█████████████████████████████████████▏ | 89/270 [24:38<50:48, 16.84s/it][A + hellaswag_hy: 33%|█████████████████████████████████████▋ | 90/270 [24:55<50:55, 16.97s/it][A + hellaswag_hy: 34%|██████████████████████████████████████ | 91/270 [25:12<49:51, 16.71s/it][A + hellaswag_hy: 34%|██████████████████████████████████████▌ | 92/270 [25:27<48:14, 16.26s/it][A + hellaswag_hy: 34%|██████████████████████████████████████▉ | 93/270 [25:44<48:40, 16.50s/it][A + hellaswag_hy: 35%|███████████████████████████████████████▎ | 94/270 [26:01<49:03, 16.72s/it][A + hellaswag_hy: 35%|███████████████████████████████████████▊ | 95/270 [26:17<48:27, 16.61s/it][A + hellaswag_hy: 36%|████████████████████████████████████████▏ | 96/270 [26:33<47:21, 16.33s/it][A + hellaswag_hy: 36%|████████████████████████████████████████▌ | 97/270 [26:50<47:22, 16.43s/it][A + hellaswag_hy: 36%|█████████████████████████████████████████ | 98/270 [27:04<45:32, 15.89s/it][A + hellaswag_hy: 37%|█████████████████████████████████████████▍ | 99/270 [27:20<45:08, 15.84s/it][A + hellaswag_hy: 37%|█████████████████████████████████████████▍ | 100/270 [27:37<45:35, 16.09s/it][A + hellaswag_hy: 37%|█████████████████████████████████████████▉ | 101/270 [27:54<46:11, 16.40s/it][A + hellaswag_hy: 38%|██████████████████████████████████████████▎ | 102/270 [28:10<45:34, 16.27s/it][A + hellaswag_hy: 38%|██████████████████████████████████████████▋ | 103/270 [28:26<45:19, 16.29s/it][A + hellaswag_hy: 39%|███████████████████████████████████████████▏ | 104/270 [28:42<44:36, 16.12s/it][A + hellaswag_hy: 39%|███████████████████████████████████████████▌ | 105/270 [29:00<46:13, 16.81s/it][A + hellaswag_hy: 39%|███████████████████████████████████████████▉ | 106/270 [29:18<46:45, 17.10s/it][A + hellaswag_hy: 40%|████████████████████████████████████████████▍ | 107/270 [29:35<46:10, 17.00s/it][A + hellaswag_hy: 40%|████████████████████████████████████████████▊ | 108/270 [29:52<45:57, 17.02s/it][A + hellaswag_hy: 40%|█████████████████████████████████████████████▏ | 109/270 [30:08<45:07, 16.82s/it][A + hellaswag_hy: 41%|█████████████████████████████████████████████▋ | 110/270 [30:24<43:57, 16.49s/it][A + hellaswag_hy: 41%|██████████████████████████████████████████████ | 111/270 [30:41<43:45, 16.51s/it][A + hellaswag_hy: 41%|██████████████████████████████████████████████▍ | 112/270 [30:57<43:27, 16.50s/it][A + hellaswag_hy: 42%|██████████████████████████████████████████████▊ | 113/270 [31:15<44:25, 16.98s/it][A + hellaswag_hy: 42%|███████████████████████████████████████████████▎ | 114/270 [31:33<44:49, 17.24s/it][A + hellaswag_hy: 43%|███████████████████████████████████████████████▋ | 115/270 [31:51<44:58, 17.41s/it][A + hellaswag_hy: 43%|████████████████████████████████████████████████ | 116/270 [32:07<43:37, 17.00s/it][A + hellaswag_hy: 43%|████████████████████████████████████████████████▌ | 117/270 [32:24<43:37, 17.11s/it][A + hellaswag_hy: 44%|████████████████████████████████████████████████▉ | 118/270 [32:40<42:39, 16.84s/it][A + hellaswag_hy: 44%|█████████████████████████████████████████████████▎ | 119/270 [32:56<41:40, 16.56s/it][A + hellaswag_hy: 44%|█████████████████████████████████████████████████▊ | 120/270 [33:12<40:32, 16.22s/it][A + hellaswag_hy: 45%|██████████████████████████████████████████████████▏ | 121/270 [33:29<40:45, 16.41s/it][A + hellaswag_hy: 45%|██████████████████████████████████████████████████▌ | 122/270 [33:44<39:52, 16.17s/it][A + hellaswag_hy: 46%|███████████████████████████████████████████████████ | 123/270 [34:03<41:36, 16.98s/it][A + hellaswag_hy: 46%|███████████████████████████████████████████████████▍ | 124/270 [34:20<41:14, 16.95s/it][A + hellaswag_hy: 46%|███████████████████████████████████████████████████▊ | 125/270 [34:37<40:42, 16.85s/it][A + hellaswag_hy: 47%|████████████████████████████████████████████████████▎ | 126/270 [34:52<39:44, 16.56s/it][A + hellaswag_hy: 47%|████████████████████████████████████████████████████▋ | 127/270 [35:09<39:49, 16.71s/it][A + hellaswag_hy: 47%|█████████████████████████████████████████████████████ | 128/270 [35:27<40:07, 16.96s/it][A + hellaswag_hy: 48%|█████████████████████████████████████████████████████▌ | 129/270 [35:44<39:49, 16.95s/it][A + hellaswag_hy: 48%|█████████████████████████████████████████████████████▉ | 130/270 [36:01<39:28, 16.92s/it][A + hellaswag_hy: 49%|██████████████████████████████████████████████████████▎ | 131/270 [36:18<39:16, 16.95s/it][A + hellaswag_hy: 49%|██████████████████████████████████████████████████████▊ | 132/270 [36:36<39:37, 17.23s/it][A + hellaswag_hy: 49%|███████████████████████████████████████████████████████▏ | 133/270 [36:53<39:03, 17.11s/it][A + hellaswag_hy: 50%|███████████████████████████████████████████████████████▌ | 134/270 [37:09<38:11, 16.85s/it][A + hellaswag_hy: 50%|████████████████████████████████████████████████████████ | 135/270 [37:24<37:07, 16.50s/it][A + hellaswag_hy: 50%|████████████████████████████████████████████████████████▍ | 136/270 [37:40<36:05, 16.16s/it][A + hellaswag_hy: 51%|████████████████████████████████████████████████████████▊ | 137/270 [37:57<36:32, 16.49s/it][A + hellaswag_hy: 51%|█████████████████████████████████████████████████████████▏ | 138/270 [38:13<35:50, 16.29s/it][A + hellaswag_hy: 51%|█████████████████████████████████████████████████████████▋ | 139/270 [38:29<35:44, 16.37s/it][A + hellaswag_hy: 52%|██████████████████████████████████████████████████████████ | 140/270 [38:45<35:01, 16.17s/it][A + hellaswag_hy: 52%|██████████████████████████████████████████████████████████▍ | 141/270 [39:02<35:05, 16.32s/it][A + hellaswag_hy: 53%|██████████████████████████████████████████████████████████▉ | 142/270 [39:19<35:28, 16.63s/it][A + hellaswag_hy: 53%|███████████████████████████████████████████████████████████▎ | 143/270 [39:36<35:12, 16.64s/it][A + hellaswag_hy: 53%|███████████████████████████████████████████████████████████▋ | 144/270 [39:51<34:03, 16.22s/it][A + hellaswag_hy: 54%|████████████████████████████████████████████████████████████▏ | 145/270 [40:08<34:16, 16.46s/it][A + hellaswag_hy: 54%|████████████████████████████████████████████████████████████▌ | 146/270 [40:25<33:59, 16.45s/it][A + hellaswag_hy: 54%|████████████████████████████████████████████████████████████▉ | 147/270 [40:41<33:29, 16.34s/it][A + hellaswag_hy: 55%|█████████████████████████████████████████████████████████████▍ | 148/270 [40:56<32:40, 16.07s/it][A + hellaswag_hy: 55%|█████████████████████████████████████████████████████████████▊ | 149/270 [41:14<33:24, 16.57s/it][A + hellaswag_hy: 56%|██████████████████████████████████████████████████████████████▏ | 150/270 [41:28<31:49, 15.92s/it][A + hellaswag_hy: 56%|██████████████████████████████████████████████████████████████▋ | 151/270 [41:46<32:37, 16.45s/it][A + hellaswag_hy: 56%|███████████████████████████████████████████████████████████████ | 152/270 [42:03<32:54, 16.73s/it][A + hellaswag_hy: 57%|███████████████████████████████████████████████████████████████▍ | 153/270 [42:19<32:08, 16.48s/it][A + hellaswag_hy: 57%|███████████████████████████████████████████████████████████████▉ | 154/270 [42:36<31:50, 16.47s/it][A + hellaswag_hy: 57%|████████████████████████████████████████████████████████████████▎ | 155/270 [42:52<31:40, 16.53s/it][A + hellaswag_hy: 58%|████████████████████████████████████████████████████████████████▋ | 156/270 [43:09<31:23, 16.52s/it][A + hellaswag_hy: 58%|█████████████████████████████████████████████████████████████████▏ | 157/270 [43:24<30:16, 16.08s/it][A + hellaswag_hy: 59%|█████████████████████████████████████████████████████████████████▌ | 158/270 [43:41<30:46, 16.49s/it][A + hellaswag_hy: 59%|█████████████████████████████████████████████████████████████████▉ | 159/270 [43:57<29:59, 16.21s/it][A + hellaswag_hy: 59%|██████████████████████████████████████████████████████████████████▎ | 160/270 [44:13<29:37, 16.15s/it][A + hellaswag_hy: 60%|██████████████████████████████████████████████████████████████████▊ | 161/270 [44:29<29:32, 16.26s/it][A + hellaswag_hy: 60%|███████████████████████████████████████████████████████████████████▏ | 162/270 [44:47<29:48, 16.56s/it][A + hellaswag_hy: 60%|███████████████████████████████████████████████████████████████████▌ | 163/270 [45:04<30:10, 16.92s/it][A + hellaswag_hy: 61%|████████████████████████████████████████████████████████████████████ | 164/270 [45:21<29:53, 16.92s/it][A + hellaswag_hy: 61%|████████████████████████████████████████████████████████████████████▍ | 165/270 [45:38<29:34, 16.90s/it][A + hellaswag_hy: 61%|████████████████████████████████████████████████████████████████████▊ | 166/270 [45:56<29:40, 17.12s/it][A + hellaswag_hy: 62%|█████████████████████████████████████████████████████████████████████▎ | 167/270 [46:14<29:45, 17.33s/it][A + hellaswag_hy: 62%|█████████████████████████████████████████████████████████████████████▋ | 168/270 [46:32<29:46, 17.52s/it][A + hellaswag_hy: 63%|██████████████████████████████████████████████████████████████████████ | 169/270 [46:48<28:54, 17.18s/it][A + hellaswag_hy: 63%|██████████████████████████████████████████████████████████████████████▌ | 170/270 [47:06<28:52, 17.32s/it][A + hellaswag_hy: 63%|██████████████████████████████████████████████████████████████████████▉ | 171/270 [47:22<28:16, 17.14s/it][A + hellaswag_hy: 64%|███████████████████████████████████████████████████████████████████████▎ | 172/270 [47:39<27:47, 17.01s/it][A + hellaswag_hy: 64%|███████████████████████████████████████████████████████████████████████▊ | 173/270 [47:54<26:33, 16.43s/it][A + hellaswag_hy: 64%|████████████████████████████████████████████████████████████████████████▏ | 174/270 [48:10<26:12, 16.38s/it][A + hellaswag_hy: 65%|████████████████████████████████████████████████████████████████████████▌ | 175/270 [48:27<26:05, 16.48s/it][A + hellaswag_hy: 65%|█████████████████████████████████████████████████████████████████████████ | 176/270 [48:45<26:16, 16.77s/it][A + hellaswag_hy: 66%|█████████████████████████████████████████████████████████████████████████▍ | 177/270 [49:01<25:56, 16.74s/it][A + hellaswag_hy: 66%|█████████████████████████████████████████████████████████████████████████▊ | 178/270 [49:18<25:30, 16.64s/it][A + hellaswag_hy: 66%|██████████████████████████████████████████████████████████████████████████▎ | 179/270 [49:35<25:48, 17.02s/it][A + hellaswag_hy: 67%|██████████████████████████████████████████████████████████████████████████▋ | 180/270 [49:51<25:02, 16.70s/it][A + hellaswag_hy: 67%|███████████████████████████████████████████████████████████████████████████ | 181/270 [50:08<24:53, 16.78s/it][A + hellaswag_hy: 67%|███████████████████████████████████████████████████████████████████████████▍ | 182/270 [50:24<23:56, 16.32s/it][A + hellaswag_hy: 68%|███████████████████████████████████████████████████████████████████████████▉ | 183/270 [50:40<23:40, 16.33s/it][A + hellaswag_hy: 68%|████████████████████████████████████████████████████████████████████████████▎ | 184/270 [50:58<24:06, 16.82s/it][A + hellaswag_hy: 69%|████████████████████████████████████████████████████████████████████████████▋ | 185/270 [51:15<23:45, 16.77s/it][A + hellaswag_hy: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 186/270 [51:31<23:14, 16.60s/it][A + hellaswag_hy: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 187/270 [51:46<22:19, 16.14s/it][A + hellaswag_hy: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 188/270 [52:03<22:19, 16.34s/it][A + hellaswag_hy: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 189/270 [52:19<22:13, 16.47s/it][A + hellaswag_hy: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 190/270 [52:38<22:47, 17.09s/it][A + hellaswag_hy: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 191/270 [52:54<22:08, 16.82s/it][A + hellaswag_hy: 71%|███████████████████████████████████████████████████████████████████████████████▋ | 192/270 [53:11<21:40, 16.67s/it][A + hellaswag_hy: 71%|████████████████████████████████████████████████████████████████████████████████ | 193/270 [53:27<21:22, 16.66s/it][A + hellaswag_hy: 72%|████████████████████████████████████████████████████████████████████████████████▍ | 194/270 [53:43<20:55, 16.52s/it][A + hellaswag_hy: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 195/270 [53:59<20:25, 16.34s/it][A + hellaswag_hy: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 196/270 [54:17<20:38, 16.74s/it][A + hellaswag_hy: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 197/270 [54:34<20:28, 16.83s/it][A + hellaswag_hy: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 198/270 [54:51<20:11, 16.82s/it][A + hellaswag_hy: 74%|██████████████████████████████████████████████████████████████████████████████████▌ | 199/270 [55:07<19:34, 16.54s/it][A + hellaswag_hy: 74%|██████████████████████████████████████████████████████████████████████████████████▉ | 200/270 [55:23<19:19, 16.56s/it][A + hellaswag_hy: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 201/270 [55:39<18:36, 16.18s/it][A + hellaswag_hy: 75%|███████████████████████████████████████████████████████████████████████████████████▊ | 202/270 [55:55<18:22, 16.22s/it][A + hellaswag_hy: 75%|████████████████████████████████████████████████████████████████████████████████████▏ | 203/270 [56:11<18:06, 16.21s/it][A + hellaswag_hy: 76%|████████████████████████████████████████████████████████████████████████████████████▌ | 204/270 [56:27<17:40, 16.06s/it][A + hellaswag_hy: 76%|█████████████████████████████████████████████████████████████████████████████████████ | 205/270 [56:42<16:59, 15.69s/it][A + hellaswag_hy: 76%|█████████████████████████████████████████████████████████████████████████████████████▍ | 206/270 [57:00<17:37, 16.53s/it][A + hellaswag_hy: 77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 207/270 [57:18<17:50, 17.00s/it][A + hellaswag_hy: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 208/270 [57:36<17:44, 17.17s/it][A + hellaswag_hy: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 209/270 [57:51<16:50, 16.56s/it][A + hellaswag_hy: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 210/270 [58:06<16:04, 16.08s/it][A + hellaswag_hy: 78%|███████████████████████████████████████████████████████████████████████████████████████▌ | 211/270 [58:23<16:01, 16.29s/it][A + hellaswag_hy: 79%|███████████████████████████████████████████████████████████████████████████████████████▉ | 212/270 [58:40<15:58, 16.53s/it][A + hellaswag_hy: 79%|████████████████████████████████████████████████████████████████████████████████████████▎ | 213/270 [58:55<15:22, 16.19s/it][A + hellaswag_hy: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 214/270 [59:12<15:16, 16.37s/it][A + hellaswag_hy: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 215/270 [59:29<15:08, 16.51s/it][A + hellaswag_hy: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 216/270 [59:44<14:38, 16.27s/it][A + hellaswag_hy: 80%|████████████████████████████████████████████████████████████████████████████████████████▍ | 217/270 [1:00:02<14:46, 16.72s/it][A + hellaswag_hy: 81%|████████████████████████████████████████████████████████████████████████████████████████▊ | 218/270 [1:00:19<14:28, 16.71s/it][A + hellaswag_hy: 81%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 219/270 [1:00:36<14:16, 16.79s/it][A + hellaswag_hy: 81%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 220/270 [1:00:52<13:50, 16.60s/it][A + hellaswag_hy: 82%|██████████████████████████████████████████████████████████████████████████████████████████ | 221/270 [1:01:09<13:37, 16.67s/it][A + hellaswag_hy: 82%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 222/270 [1:01:27<13:40, 17.09s/it][A + hellaswag_hy: 83%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 223/270 [1:01:43<13:10, 16.81s/it][A + hellaswag_hy: 83%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 224/270 [1:01:59<12:45, 16.63s/it][A + hellaswag_hy: 83%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 225/270 [1:02:16<12:31, 16.69s/it][A + hellaswag_hy: 84%|████████████████████████████████████████████████████████████████████████████████████████████ | 226/270 [1:02:33<12:20, 16.83s/it][A + hellaswag_hy: 84%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 227/270 [1:02:52<12:24, 17.32s/it][A + hellaswag_hy: 84%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 228/270 [1:03:10<12:15, 17.50s/it][A + hellaswag_hy: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 229/270 [1:03:27<12:00, 17.58s/it][A + hellaswag_hy: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 230/270 [1:03:44<11:26, 17.16s/it][A + hellaswag_hy: 86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 231/270 [1:04:01<11:12, 17.25s/it][A + hellaswag_hy: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 232/270 [1:04:19<11:01, 17.42s/it][A + hellaswag_hy: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 233/270 [1:04:36<10:36, 17.21s/it][A + hellaswag_hy: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 234/270 [1:04:53<10:24, 17.35s/it][A + hellaswag_hy: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 235/270 [1:05:09<09:53, 16.96s/it][A + hellaswag_hy: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 236/270 [1:05:26<09:36, 16.94s/it][A + hellaswag_hy: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 237/270 [1:05:43<09:18, 16.94s/it][A + hellaswag_hy: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 238/270 [1:05:59<08:54, 16.72s/it][A + hellaswag_hy: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/270 [1:06:16<08:41, 16.81s/it][A + hellaswag_hy: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 240/270 [1:06:34<08:35, 17.17s/it][A + hellaswag_hy: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 241/270 [1:06:51<08:14, 17.06s/it][A + hellaswag_hy: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 242/270 [1:07:09<08:04, 17.32s/it][A + hellaswag_hy: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 243/270 [1:07:26<07:40, 17.05s/it][A + hellaswag_hy: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 244/270 [1:07:42<07:19, 16.91s/it][A + hellaswag_hy: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 245/270 [1:07:58<06:58, 16.73s/it][A + hellaswag_hy: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 246/270 [1:08:15<06:42, 16.78s/it][A + hellaswag_hy: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 247/270 [1:08:30<06:10, 16.10s/it][A + hellaswag_hy: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 248/270 [1:08:46<05:53, 16.09s/it][A + hellaswag_hy: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 249/270 [1:09:02<05:38, 16.11s/it][A + hellaswag_hy: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 250/270 [1:09:19<05:24, 16.20s/it][A + hellaswag_hy: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 251/270 [1:09:36<05:16, 16.68s/it][A + hellaswag_hy: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 252/270 [1:09:53<05:02, 16.80s/it][A + hellaswag_hy: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 253/270 [1:10:10<04:47, 16.89s/it][A + hellaswag_hy: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 254/270 [1:10:27<04:29, 16.86s/it][A + hellaswag_hy: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 255/270 [1:10:44<04:11, 16.75s/it][A + hellaswag_hy: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 256/270 [1:11:01<03:58, 17.03s/it][A + hellaswag_hy: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 257/270 [1:11:18<03:39, 16.86s/it][A + hellaswag_hy: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 258/270 [1:11:35<03:24, 17.00s/it][A + hellaswag_hy: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 259/270 [1:11:52<03:05, 16.90s/it][A + hellaswag_hy: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 260/270 [1:12:08<02:45, 16.54s/it][A + hellaswag_hy: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 261/270 [1:12:24<02:27, 16.37s/it][A + hellaswag_hy: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 262/270 [1:12:39<02:09, 16.21s/it][A + hellaswag_hy: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 263/270 [1:12:56<01:55, 16.47s/it][A + hellaswag_hy: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 264/270 [1:13:14<01:39, 16.64s/it][A + hellaswag_hy: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 265/270 [1:13:29<01:21, 16.34s/it][A + hellaswag_hy: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 266/270 [1:13:45<01:05, 16.26s/it][A + hellaswag_hy: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 267/270 [1:14:02<00:48, 16.29s/it][A + hellaswag_hy: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 268/270 [1:14:17<00:32, 16.13s/it][A + hellaswag_hy: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 269/270 [1:14:35<00:16, 16.73s/it][A + hellaswag_hy: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 270/270 [1:14:49<00:00, 15.85s/it][A hellaswag_hy: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 270/270 [1:14:49<00:00, 16.63s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hy_acc 0.2508109360518999 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hy_acc_norm 0.2795412418906395 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 21:09:11,773 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 21:09:11,773 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:11,900 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 21:09:11,901 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:12,028 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 21:09:12,028 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:12,155 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 21:09:12,156 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 21:09:12,156 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 21:09:12,285 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 21:09:12,285 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_hy_acc'} +2024-05-29 21:09:12,350 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 21:09:12,350 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1165, 'value': 0.2508109360518999} +2024-05-29 21:09:12,415 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 21:09:13,035 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 21:09:13,035 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:13,157 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 21:09:13,157 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:13,278 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 21:09:13,278 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:13,400 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 21:09:13,400 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 21:09:13,400 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 21:09:13,523 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 21:09:13,523 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_hy_acc_norm'} +2024-05-29 21:09:13,585 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 21:09:13,585 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1166, 'value': 0.2795412418906395} +2024-05-29 21:09:13,646 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 35%|██████████████████████████████████████▎ | 44/124 [14:21:42<78:09:11, 3516.89s/it]['hellaswag_id'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 21:09:14,292 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 21:09:14,292 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:14,419 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 21:09:14,419 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:14,547 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 21:09:14,547 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:09:14,675 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 21:09:14,676 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 21:09:14,676 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_id'} +2024-05-29 21:09:14,804 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_id task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.66s/ examples][A + Generating validation split: 2000 examples [00:02, 1009.54 examples/s][A + Generating validation split: 4000 examples [00:02, 2267.38 examples/s][A + Generating validation split: 6000 examples [00:03, 3767.34 examples/s][A + Generating validation split: 8000 examples [00:03, 5470.39 examples/s][A Generating validation split: 9314 examples [00:03, 2912.61 examples/s] +Loaded 9314 examples +Running loglikelihood requests + + hellaswag_id: 0%| | 0/292 [00:00<?, ?it/s][A + hellaswag_id: 0%|▍ | 1/292 [00:08<40:23, 8.33s/it][A + hellaswag_id: 1%|▊ | 2/292 [00:16<40:59, 8.48s/it][A + hellaswag_id: 1%|█▏ | 3/292 [00:25<41:28, 8.61s/it][A + hellaswag_id: 1%|█▌ | 4/292 [00:34<40:55, 8.53s/it][A + hellaswag_id: 2%|█▉ | 5/292 [00:43<41:49, 8.74s/it][A + hellaswag_id: 2%|██▎ | 6/292 [00:51<41:40, 8.74s/it][A + hellaswag_id: 2%|██▋ | 7/292 [01:00<41:06, 8.66s/it][A + hellaswag_id: 3%|███ | 8/292 [01:09<41:12, 8.71s/it][A + hellaswag_id: 3%|███▌ | 9/292 [01:17<40:49, 8.66s/it][A + hellaswag_id: 3%|███▊ | 10/292 [01:26<40:31, 8.62s/it][A + hellaswag_id: 4%|████▎ | 11/292 [01:34<40:14, 8.59s/it][A + hellaswag_id: 4%|████▋ | 12/292 [01:43<40:13, 8.62s/it][A + hellaswag_id: 4%|█████ | 13/292 [01:52<40:13, 8.65s/it][A + hellaswag_id: 5%|█████▍ | 14/292 [02:00<40:07, 8.66s/it][A + hellaswag_id: 5%|█████▊ | 15/292 [02:09<39:22, 8.53s/it][A + hellaswag_id: 5%|██████▏ | 16/292 [02:17<39:11, 8.52s/it][A + hellaswag_id: 6%|██████▌ | 17/292 [02:26<39:01, 8.52s/it][A + hellaswag_id: 6%|██████▉ | 18/292 [02:34<39:03, 8.55s/it][A + hellaswag_id: 7%|███████▎ | 19/292 [02:43<38:44, 8.52s/it][A + hellaswag_id: 7%|███████▋ | 20/292 [02:51<38:55, 8.59s/it][A + hellaswag_id: 7%|████████▏ | 21/292 [03:00<38:28, 8.52s/it][A + hellaswag_id: 8%|████████▌ | 22/292 [03:09<38:35, 8.58s/it][A + hellaswag_id: 8%|████████▉ | 23/292 [03:18<39:06, 8.72s/it][A + hellaswag_id: 8%|█████████▎ | 24/292 [03:26<37:55, 8.49s/it][A + hellaswag_id: 9%|█████████▋ | 25/292 [03:34<38:09, 8.57s/it][A + hellaswag_id: 9%|██████████ | 26/292 [03:43<37:56, 8.56s/it][A + hellaswag_id: 9%|██████████▍ | 27/292 [03:52<38:39, 8.75s/it][A + hellaswag_id: 10%|██████████▊ | 28/292 [04:01<38:15, 8.70s/it][A + hellaswag_id: 10%|███████████▏ | 29/292 [04:09<38:06, 8.69s/it][A + hellaswag_id: 10%|███████████▌ | 30/292 [04:18<38:30, 8.82s/it][A + hellaswag_id: 11%|███████████▉ | 31/292 [04:27<38:15, 8.79s/it][A + hellaswag_id: 11%|████████████▍ | 32/292 [04:35<37:16, 8.60s/it][A + hellaswag_id: 11%|████████████▊ | 33/292 [04:44<37:05, 8.59s/it][A + hellaswag_id: 12%|█████████████▏ | 34/292 [04:53<37:16, 8.67s/it][A + hellaswag_id: 12%|█████████████▌ | 35/292 [05:02<37:50, 8.83s/it][A + hellaswag_id: 12%|█████████████▉ | 36/292 [05:11<37:54, 8.88s/it][A + hellaswag_id: 13%|██████████████▎ | 37/292 [05:20<37:26, 8.81s/it][A + hellaswag_id: 13%|██████████████▋ | 38/292 [05:28<36:41, 8.67s/it][A + hellaswag_id: 13%|███████████████ | 39/292 [05:36<36:19, 8.61s/it][A + hellaswag_id: 14%|███████████████▍ | 40/292 [05:45<36:15, 8.63s/it][A + hellaswag_id: 14%|███████████████▊ | 41/292 [05:54<36:39, 8.76s/it][A + hellaswag_id: 14%|████████████████▎ | 42/292 [06:03<37:10, 8.92s/it][A + hellaswag_id: 15%|████████████████▋ | 43/292 [06:12<36:27, 8.78s/it][A + hellaswag_id: 15%|█████████████████ | 44/292 [06:21<36:18, 8.79s/it][A + hellaswag_id: 15%|█████████████████▍ | 45/292 [06:29<35:55, 8.73s/it][A + hellaswag_id: 16%|█████████████████▊ | 46/292 [06:38<35:39, 8.70s/it][A + hellaswag_id: 16%|██████████████████▏ | 47/292 [06:46<35:20, 8.66s/it][A + hellaswag_id: 16%|██████████████████▌ | 48/292 [06:55<35:04, 8.62s/it][A + hellaswag_id: 17%|██████████████████▉ | 49/292 [07:04<35:03, 8.66s/it][A + hellaswag_id: 17%|███████████████████▎ | 50/292 [07:13<35:35, 8.83s/it][A + hellaswag_id: 17%|███████████████████▋ | 51/292 [07:22<35:28, 8.83s/it][A + hellaswag_id: 18%|████████████████████ | 52/292 [07:30<34:55, 8.73s/it][A + hellaswag_id: 18%|████████████████████▌ | 53/292 [07:39<34:44, 8.72s/it][A + hellaswag_id: 18%|████████████████████▉ | 54/292 [07:48<34:26, 8.68s/it][A + hellaswag_id: 19%|█████████████████████▎ | 55/292 [07:56<34:09, 8.65s/it][A + hellaswag_id: 19%|█████████████████████▋ | 56/292 [08:05<34:04, 8.66s/it][A + hellaswag_id: 20%|██████████████████████ | 57/292 [08:15<35:05, 8.96s/it][A + hellaswag_id: 20%|██████████████████████▍ | 58/292 [08:23<34:28, 8.84s/it][A + hellaswag_id: 20%|██████████████████████▊ | 59/292 [08:32<34:24, 8.86s/it][A + hellaswag_id: 21%|███████████████████████▏ | 60/292 [08:41<34:17, 8.87s/it][A + hellaswag_id: 21%|███████████████████████▌ | 61/292 [08:50<34:43, 9.02s/it][A + hellaswag_id: 21%|███████████████████████▉ | 62/292 [08:59<34:33, 9.02s/it][A + hellaswag_id: 22%|████████████████████████▍ | 63/292 [09:08<33:59, 8.90s/it][A + hellaswag_id: 22%|████████████████████████▊ | 64/292 [09:17<34:24, 9.05s/it][A + hellaswag_id: 22%|█████████████████████████▏ | 65/292 [09:26<33:57, 8.97s/it][A + hellaswag_id: 23%|█████████████████████████▌ | 66/292 [09:35<33:31, 8.90s/it][A + hellaswag_id: 23%|█████████████████████████▉ | 67/292 [09:44<33:38, 8.97s/it][A + hellaswag_id: 23%|██████████████████████████▎ | 68/292 [09:53<33:42, 9.03s/it][A + hellaswag_id: 24%|██████████████████████████▋ | 69/292 [10:02<33:09, 8.92s/it][A + hellaswag_id: 24%|███████████████████████████ | 70/292 [10:10<32:16, 8.72s/it][A + hellaswag_id: 24%|███████████████████████████▍ | 71/292 [10:18<31:15, 8.49s/it][A + hellaswag_id: 25%|███████████████████████████▊ | 72/292 [10:27<31:14, 8.52s/it][A + hellaswag_id: 25%|████████████████████████████▎ | 73/292 [10:35<31:18, 8.58s/it][A + hellaswag_id: 25%|████████████████████████████▋ | 74/292 [10:44<31:14, 8.60s/it][A + hellaswag_id: 26%|█████████████████████████████ | 75/292 [10:52<31:02, 8.58s/it][A + hellaswag_id: 26%|█████████████████████████████▍ | 76/292 [11:01<31:11, 8.67s/it][A + hellaswag_id: 26%|█████████████████████████████▊ | 77/292 [11:10<31:07, 8.69s/it][A + hellaswag_id: 27%|██████████████████████████████▏ | 78/292 [11:19<31:17, 8.78s/it][A + hellaswag_id: 27%|██████████████████████████████▌ | 79/292 [11:28<31:08, 8.77s/it][A + hellaswag_id: 27%|██████████████████████████████▉ | 80/292 [11:37<31:41, 8.97s/it][A + hellaswag_id: 28%|███████████████████████████████▎ | 81/292 [11:46<31:14, 8.88s/it][A + hellaswag_id: 28%|███████████████████████████████▋ | 82/292 [11:55<30:56, 8.84s/it][A + hellaswag_id: 28%|████████████████████████████████ | 83/292 [12:03<30:30, 8.76s/it][A + hellaswag_id: 29%|████████████████████████████████▌ | 84/292 [12:12<30:22, 8.76s/it][A + hellaswag_id: 29%|████████████████████████████████▉ | 85/292 [12:21<30:31, 8.85s/it][A + hellaswag_id: 29%|█████████████████████████████████▎ | 86/292 [12:30<30:16, 8.82s/it][A + hellaswag_id: 30%|█████████████████████████████████▋ | 87/292 [12:38<29:53, 8.75s/it][A + hellaswag_id: 30%|██████████████████████████████████ | 88/292 [12:47<29:36, 8.71s/it][A + hellaswag_id: 30%|██████████████████████████████████▍ | 89/292 [12:56<29:21, 8.68s/it][A + hellaswag_id: 31%|██████████████████████████████████▊ | 90/292 [13:04<29:14, 8.68s/it][A + hellaswag_id: 31%|███████████████████████████████████▏ | 91/292 [13:13<29:04, 8.68s/it][A + hellaswag_id: 32%|███████████████████████████████████▌ | 92/292 [13:21<28:40, 8.60s/it][A + hellaswag_id: 32%|███████████████████████████████████▉ | 93/292 [13:30<28:32, 8.61s/it][A + hellaswag_id: 32%|████████████████████████████████████▍ | 94/292 [13:39<29:07, 8.82s/it][A + hellaswag_id: 33%|████████████████████████████████████▊ | 95/292 [13:49<29:22, 8.94s/it][A + hellaswag_id: 33%|█████████████████████████████████████▏ | 96/292 [13:58<29:26, 9.01s/it][A + hellaswag_id: 33%|█████████████████████████████████████▌ | 97/292 [14:07<29:07, 8.96s/it][A + hellaswag_id: 34%|█████████████████████████████████████▉ | 98/292 [14:15<28:30, 8.82s/it][A + hellaswag_id: 34%|██████████████████████████████████████▎ | 99/292 [14:24<28:12, 8.77s/it][A + hellaswag_id: 34%|██████████████████████████████████████▎ | 100/292 [14:32<27:58, 8.74s/it][A + hellaswag_id: 35%|██████████████████████████████████████▋ | 101/292 [14:42<28:23, 8.92s/it][A + hellaswag_id: 35%|███████████████████████████████████████ | 102/292 [14:50<27:47, 8.78s/it][A + hellaswag_id: 35%|███████████████████████████████████████▌ | 103/292 [14:59<27:53, 8.85s/it][A + hellaswag_id: 36%|███████████████████████████████████████▉ | 104/292 [15:08<27:53, 8.90s/it][A + hellaswag_id: 36%|████████████████████████████████████████▎ | 105/292 [15:17<27:28, 8.82s/it][A + hellaswag_id: 36%|████████████████████████████████████████▋ | 106/292 [15:26<27:12, 8.78s/it][A + hellaswag_id: 37%|█████████████████████████████████████████ | 107/292 [15:34<26:18, 8.54s/it][A + hellaswag_id: 37%|█████████████████████████████████████████▍ | 108/292 [15:43<26:46, 8.73s/it][A + hellaswag_id: 37%|█████████████████████████████████████████▊ | 109/292 [15:51<26:28, 8.68s/it][A + hellaswag_id: 38%|██████████████████████████████████████████▏ | 110/292 [16:00<26:24, 8.70s/it][A + hellaswag_id: 38%|██████████████████████████████████████████▌ | 111/292 [16:09<26:10, 8.67s/it][A + hellaswag_id: 38%|██████████████████████████████████████████▉ | 112/292 [16:17<25:55, 8.64s/it][A + hellaswag_id: 39%|███████████████████████████████████████████▎ | 113/292 [16:26<25:42, 8.62s/it][A + hellaswag_id: 39%|███████████████████████████████████████████▋ | 114/292 [16:35<26:00, 8.77s/it][A + hellaswag_id: 39%|████████████████████████████████████████████ | 115/292 [16:44<25:50, 8.76s/it][A + hellaswag_id: 40%|████████████████████████████████████████████▍ | 116/292 [16:52<25:31, 8.70s/it][A + hellaswag_id: 40%|████████████████████████████████████████████▉ | 117/292 [17:02<25:54, 8.88s/it][A + hellaswag_id: 40%|█████████████████████████████████████████████▎ | 118/292 [17:10<25:37, 8.83s/it][A + hellaswag_id: 41%|█████████████████████████████████████████████▋ | 119/292 [17:20<25:54, 8.99s/it][A + hellaswag_id: 41%|██████████████████████████████████████████████ | 120/292 [17:29<25:59, 9.07s/it][A + hellaswag_id: 41%|██████████████████████████████████████████████▍ | 121/292 [17:37<25:22, 8.90s/it][A + hellaswag_id: 42%|██████████████████████████████████████████████▊ | 122/292 [17:46<24:53, 8.79s/it][A + hellaswag_id: 42%|███████████████████████████████████████████████▏ | 123/292 [17:55<24:47, 8.80s/it][A + hellaswag_id: 42%|███████████████████████████████████████████████▌ | 124/292 [18:03<24:30, 8.75s/it][A + hellaswag_id: 43%|███████████████████████████████████████████████▉ | 125/292 [18:12<24:05, 8.66s/it][A + hellaswag_id: 43%|████████████████████████████████████████████████▎ | 126/292 [18:21<24:01, 8.69s/it][A + hellaswag_id: 43%|████████████████████████████████████████████████▋ | 127/292 [18:29<23:45, 8.64s/it][A + hellaswag_id: 44%|█████████████████████████████████████████████████ | 128/292 [18:38<23:49, 8.71s/it][A + hellaswag_id: 44%|█████████████████████████████████████████████████▍ | 129/292 [18:47<23:35, 8.69s/it][A + hellaswag_id: 45%|█████████████████████████████████████████████████▊ | 130/292 [18:55<23:29, 8.70s/it][A + hellaswag_id: 45%|██████████████████████████████████████████████████▏ | 131/292 [19:04<23:12, 8.65s/it][A + hellaswag_id: 45%|██████████████████████████████████████████████████▋ | 132/292 [19:12<22:46, 8.54s/it][A + hellaswag_id: 46%|███████████████████████████████████████████████████ | 133/292 [19:21<22:52, 8.63s/it][A + hellaswag_id: 46%|███████████████████████████████████████████████████▍ | 134/292 [19:30<23:11, 8.80s/it][A + hellaswag_id: 46%|███████████████████████████████████████████████████▊ | 135/292 [19:39<22:45, 8.70s/it][A + hellaswag_id: 47%|████████████████████████████████████████████████████▏ | 136/292 [19:48<22:52, 8.80s/it][A + hellaswag_id: 47%|████████████████████████████████████████████████████▌ | 137/292 [19:56<22:33, 8.73s/it][A + hellaswag_id: 47%|████████████████████████████████████████████████████▉ | 138/292 [20:05<22:16, 8.68s/it][A + hellaswag_id: 48%|█████████████████████████████████████████████████████▎ | 139/292 [20:13<21:59, 8.63s/it][A + hellaswag_id: 48%|█████████████████████████████████████████████████████▋ | 140/292 [20:22<21:55, 8.66s/it][A + hellaswag_id: 48%|██████████████████████████████████████████████████████ | 141/292 [20:31<22:19, 8.87s/it][A + hellaswag_id: 49%|██████████████████████████████████████████████████████▍ | 142/292 [20:40<22:09, 8.86s/it][A + hellaswag_id: 49%|██████████████████████████████████████████████████████▊ | 143/292 [20:49<21:41, 8.73s/it][A + hellaswag_id: 49%|███████████████████████████████████████████████████████▏ | 144/292 [20:57<21:36, 8.76s/it][A + hellaswag_id: 50%|███████████████████████████████████████████████████████▌ | 145/292 [21:07<21:54, 8.94s/it][A + hellaswag_id: 50%|████████████████████████████████████████████████████████ | 146/292 [21:15<21:29, 8.83s/it][A + hellaswag_id: 50%|████████████████████████████████████████████████████████▍ | 147/292 [21:24<21:25, 8.87s/it][A + hellaswag_id: 51%|████████████████████████████████████████████████████████▊ | 148/292 [21:33<21:21, 8.90s/it][A + hellaswag_id: 51%|█████████████████████████████████████████████████████████▏ | 149/292 [21:42<21:22, 8.97s/it][A + hellaswag_id: 51%|█████████████████████████████████████████████████████████▌ | 150/292 [21:51<21:03, 8.90s/it][A + hellaswag_id: 52%|█████████████████████████████████████████████████████████▉ | 151/292 [22:00<21:10, 9.01s/it][A + hellaswag_id: 52%|██████████████████████████████████████████████████████████▎ | 152/292 [22:10<21:18, 9.13s/it][A + hellaswag_id: 52%|██████████████████████████████████████████████████████████▋ | 153/292 [22:19<21:13, 9.16s/it][A + hellaswag_id: 53%|███████████████████████████████████████████████████████████ | 154/292 [22:28<21:00, 9.13s/it][A + hellaswag_id: 53%|███████████████████████████████████████████████████████████▍ | 155/292 [22:37<20:46, 9.10s/it][A + hellaswag_id: 53%|███████████████████████████████████████████████████████████▊ | 156/292 [22:46<20:41, 9.13s/it][A + hellaswag_id: 54%|████████████████████████████████████████████████████████████▏ | 157/292 [22:55<20:10, 8.97s/it][A + hellaswag_id: 54%|████████████████████████████████████████████████████████████▌ | 158/292 [23:04<19:51, 8.89s/it][A + hellaswag_id: 54%|████████████████████████████████████████████████████████████▉ | 159/292 [23:12<19:30, 8.80s/it][A + hellaswag_id: 55%|█████████████████████████████████████████████████████████████▎ | 160/292 [23:21<19:12, 8.73s/it][A + hellaswag_id: 55%|█████████████████████████████████████████████████████████████▊ | 161/292 [23:29<18:50, 8.63s/it][A + hellaswag_id: 55%|██████████████████████████████████████████████████████████████▏ | 162/292 [23:38<18:39, 8.61s/it][A + hellaswag_id: 56%|██████████████████████████████████████████████████████████████▌ | 163/292 [23:46<18:24, 8.56s/it][A + hellaswag_id: 56%|██████████████████████████████████████████████████████████████▉ | 164/292 [23:55<18:33, 8.70s/it][A + hellaswag_id: 57%|███████████████████████████████████████████████████████████████▎ | 165/292 [24:04<18:24, 8.70s/it][A + hellaswag_id: 57%|███████████████████████████████████████████████████████████████▋ | 166/292 [24:13<18:36, 8.86s/it][A + hellaswag_id: 57%|████████████████████████████████████████████████████████████████ | 167/292 [24:22<18:12, 8.74s/it][A + hellaswag_id: 58%|████████████████████████████████████████████████████████████████▍ | 168/292 [24:30<17:53, 8.65s/it][A + hellaswag_id: 58%|████████████████████████████████████████████████████████████████▊ | 169/292 [24:39<17:42, 8.63s/it][A + hellaswag_id: 58%|█████████████████████████████████████████████████████████████████▏ | 170/292 [24:47<17:29, 8.60s/it][A + hellaswag_id: 59%|█████████████████████████████████████████████████████████████████▌ | 171/292 [24:56<17:18, 8.58s/it][A + hellaswag_id: 59%|█████████████████████████████████████████████████████████████████▉ | 172/292 [25:04<17:07, 8.57s/it][A + hellaswag_id: 59%|██████████████████████████████████████████████████████████████████▎ | 173/292 [25:13<16:59, 8.57s/it][A + hellaswag_id: 60%|██████████████████████████████████████████████████████████████████▋ | 174/292 [25:22<16:55, 8.61s/it][A + hellaswag_id: 60%|███████████████████████████████████████████████████████████████████ | 175/292 [25:31<17:07, 8.78s/it][A + hellaswag_id: 60%|███████████████████████████████████████████████████████████████████▌ | 176/292 [25:39<16:50, 8.71s/it][A + hellaswag_id: 61%|███████████████████████████████████████████████████████████████████▉ | 177/292 [25:48<16:45, 8.75s/it][A + hellaswag_id: 61%|████████████████████████████████████████████████████████████████████▎ | 178/292 [25:57<16:30, 8.69s/it][A + hellaswag_id: 61%|████████████████████████████████████████████████████████████████████▋ | 179/292 [26:06<16:25, 8.72s/it][A + hellaswag_id: 62%|█████████████████████████████████████████████████████████████████████ | 180/292 [26:15<16:26, 8.81s/it][A + hellaswag_id: 62%|█████████████████████████████████████████████████████████████████████▍ | 181/292 [26:23<16:18, 8.82s/it][A + hellaswag_id: 62%|█████████████████████████████████████████████████████████████████████▊ | 182/292 [26:32<15:58, 8.72s/it][A + hellaswag_id: 63%|██████████████████████████████████████████████████████████████████████▏ | 183/292 [26:40<15:47, 8.70s/it][A + hellaswag_id: 63%|██████████████████████████████████████████████████████████████████████▌ | 184/292 [26:50<15:53, 8.83s/it][A + hellaswag_id: 63%|██████████████████████████████████████████████████████████████████████▉ | 185/292 [26:58<15:41, 8.80s/it][A + hellaswag_id: 64%|███████████████████████████████████████████████████████████████████████▎ | 186/292 [27:08<15:47, 8.94s/it][A + hellaswag_id: 64%|███████████████████████████████████████████████████████████████████████▋ | 187/292 [27:17<15:42, 8.98s/it][A + hellaswag_id: 64%|████████████████████████████████████████████████████████████████████████ | 188/292 [27:26<15:37, 9.02s/it][A + hellaswag_id: 65%|████████████████████████████████████████████████████████████████████████▍ | 189/292 [27:34<15:13, 8.87s/it][A + hellaswag_id: 65%|████████████████████████████████████████████████████████████████████████▉ | 190/292 [27:43<14:48, 8.71s/it][A + hellaswag_id: 65%|█████████████████████████████████████████████████████████████████████████▎ | 191/292 [27:52<14:51, 8.83s/it][A + hellaswag_id: 66%|█████████████████████████████████████████████████████████████████████████▋ | 192/292 [28:01<14:39, 8.80s/it][A + hellaswag_id: 66%|██████████████████████████████████████████████████████████████████████████ | 193/292 [28:09<14:22, 8.71s/it][A + hellaswag_id: 66%|██████████████████████████████████████████████████████████████████████████▍ | 194/292 [28:18<14:10, 8.68s/it][A + hellaswag_id: 67%|██████████████████████████████████████████████████████████████████████████▊ | 195/292 [28:26<14:02, 8.68s/it][A + hellaswag_id: 67%|███████████████████████████████████████████████████████████████████████████▏ | 196/292 [28:35<14:05, 8.81s/it][A + hellaswag_id: 67%|███████████████████████████████████████████████████████████████████████████▌ | 197/292 [28:44<13:50, 8.75s/it][A + hellaswag_id: 68%|███████████████████████████████████████████████████████████████████████████▉ | 198/292 [28:52<13:31, 8.63s/it][A + hellaswag_id: 68%|████████████████████████████████████████████████████████████████████████████▎ | 199/292 [29:01<13:34, 8.76s/it][A + hellaswag_id: 68%|████████████████████████████████████████████████████████████████████████████▋ | 200/292 [29:10<13:27, 8.78s/it][A + hellaswag_id: 69%|█████████████████████████████████████████████████████████████████████████████ | 201/292 [29:19<13:20, 8.80s/it][A + hellaswag_id: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 202/292 [29:28<13:26, 8.96s/it][A + hellaswag_id: 70%|█████████████████████████████████████████████████████████████████████████████▊ | 203/292 [29:38<13:28, 9.08s/it][A + hellaswag_id: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 204/292 [29:46<13:07, 8.94s/it][A + hellaswag_id: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 205/292 [29:56<13:06, 9.04s/it][A + hellaswag_id: 71%|███████████████████████████████████████████████████████████████████████████████ | 206/292 [30:05<12:53, 9.00s/it][A + hellaswag_id: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 207/292 [30:13<12:37, 8.91s/it][A + hellaswag_id: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 208/292 [30:22<12:17, 8.78s/it][A + hellaswag_id: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 209/292 [30:30<12:01, 8.69s/it][A + hellaswag_id: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 210/292 [30:39<12:02, 8.81s/it][A + hellaswag_id: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 211/292 [30:48<11:47, 8.73s/it][A + hellaswag_id: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 212/292 [30:56<11:25, 8.57s/it][A + hellaswag_id: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 213/292 [31:05<11:19, 8.61s/it][A + hellaswag_id: 73%|██████████████████████████████████████████████████████████████████████████████████ | 214/292 [31:13<11:14, 8.64s/it][A + hellaswag_id: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 215/292 [31:22<11:11, 8.72s/it][A + hellaswag_id: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 216/292 [31:31<10:59, 8.68s/it][A + hellaswag_id: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 217/292 [31:40<10:52, 8.70s/it][A + hellaswag_id: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 218/292 [31:49<11:00, 8.93s/it][A + hellaswag_id: 75%|████████████████████████████████████████████████████████████████████████████████████ | 219/292 [31:58<10:59, 9.03s/it][A + hellaswag_id: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 220/292 [32:07<10:39, 8.88s/it][A + hellaswag_id: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 221/292 [32:16<10:22, 8.77s/it][A + hellaswag_id: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 222/292 [32:24<10:14, 8.78s/it][A + hellaswag_id: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 223/292 [32:33<10:02, 8.73s/it][A + hellaswag_id: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 224/292 [32:41<09:49, 8.68s/it][A + hellaswag_id: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 225/292 [32:50<09:42, 8.69s/it][A + hellaswag_id: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 226/292 [32:59<09:34, 8.71s/it][A + hellaswag_id: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 227/292 [33:08<09:26, 8.72s/it][A + hellaswag_id: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 228/292 [33:17<09:31, 8.94s/it][A + hellaswag_id: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 229/292 [33:26<09:16, 8.84s/it][A + hellaswag_id: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 230/292 [33:35<09:14, 8.95s/it][A + hellaswag_id: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 231/292 [33:43<08:51, 8.72s/it][A + hellaswag_id: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 232/292 [33:52<08:48, 8.81s/it][A + hellaswag_id: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 233/292 [34:01<08:45, 8.91s/it][A + hellaswag_id: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 234/292 [34:10<08:33, 8.86s/it][A + hellaswag_id: 80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 235/292 [34:19<08:19, 8.77s/it][A + hellaswag_id: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 236/292 [34:27<08:09, 8.74s/it][A + hellaswag_id: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 237/292 [34:36<07:55, 8.64s/it][A + hellaswag_id: 82%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 238/292 [34:44<07:49, 8.69s/it][A + hellaswag_id: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 239/292 [34:53<07:42, 8.72s/it][A + hellaswag_id: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 240/292 [35:02<07:34, 8.74s/it][A + hellaswag_id: 83%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 241/292 [35:11<07:25, 8.73s/it][A + hellaswag_id: 83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 242/292 [35:20<07:17, 8.75s/it][A + hellaswag_id: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 243/292 [35:29<07:15, 8.89s/it][A + hellaswag_id: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 244/292 [35:38<07:04, 8.85s/it][A + hellaswag_id: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 245/292 [35:46<06:54, 8.82s/it][A + hellaswag_id: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 246/292 [35:55<06:43, 8.78s/it][A + hellaswag_id: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 247/292 [36:04<06:34, 8.76s/it][A + hellaswag_id: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 248/292 [36:12<06:22, 8.70s/it][A + hellaswag_id: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 249/292 [36:21<06:12, 8.66s/it][A + hellaswag_id: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 250/292 [36:30<06:04, 8.68s/it][A + hellaswag_id: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 251/292 [36:39<06:01, 8.81s/it][A + hellaswag_id: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 252/292 [36:47<05:50, 8.77s/it][A + hellaswag_id: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 253/292 [36:56<05:45, 8.87s/it][A + hellaswag_id: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 254/292 [37:05<05:29, 8.67s/it][A + hellaswag_id: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 255/292 [37:13<05:14, 8.50s/it][A + hellaswag_id: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 256/292 [37:21<05:06, 8.52s/it][A + hellaswag_id: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 257/292 [37:30<05:02, 8.63s/it][A + hellaswag_id: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 258/292 [37:39<04:52, 8.61s/it][A + hellaswag_id: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/292 [37:47<04:44, 8.62s/it][A + hellaswag_id: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 260/292 [37:56<04:37, 8.66s/it][A + hellaswag_id: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 261/292 [38:05<04:29, 8.70s/it][A + hellaswag_id: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 262/292 [38:14<04:22, 8.74s/it][A + hellaswag_id: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 263/292 [38:22<04:11, 8.69s/it][A + hellaswag_id: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 264/292 [38:31<04:02, 8.66s/it][A + hellaswag_id: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 265/292 [38:40<03:53, 8.65s/it][A + hellaswag_id: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 266/292 [38:48<03:45, 8.67s/it][A + hellaswag_id: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 267/292 [38:56<03:32, 8.51s/it][A + hellaswag_id: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 268/292 [39:05<03:24, 8.53s/it][A + hellaswag_id: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 269/292 [39:14<03:18, 8.65s/it][A + hellaswag_id: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 270/292 [39:23<03:10, 8.66s/it][A + hellaswag_id: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 271/292 [39:31<03:01, 8.66s/it][A + hellaswag_id: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 272/292 [39:40<02:54, 8.71s/it][A + hellaswag_id: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 273/292 [39:49<02:44, 8.67s/it][A + hellaswag_id: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 274/292 [39:57<02:34, 8.56s/it][A + hellaswag_id: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 275/292 [40:06<02:25, 8.58s/it][A + hellaswag_id: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 276/292 [40:14<02:17, 8.60s/it][A + hellaswag_id: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 277/292 [40:23<02:09, 8.65s/it][A + hellaswag_id: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 278/292 [40:32<02:01, 8.68s/it][A + hellaswag_id: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 279/292 [40:41<01:54, 8.83s/it][A + hellaswag_id: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 280/292 [40:50<01:46, 8.91s/it][A + hellaswag_id: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 281/292 [40:59<01:38, 8.95s/it][A + hellaswag_id: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 282/292 [41:08<01:30, 9.01s/it][A + hellaswag_id: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 283/292 [41:17<01:20, 8.98s/it][A + hellaswag_id: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 284/292 [41:26<01:12, 9.02s/it][A + hellaswag_id: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 285/292 [41:35<01:02, 8.90s/it][A + hellaswag_id: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 286/292 [41:44<00:53, 8.84s/it][A + hellaswag_id: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 287/292 [41:52<00:43, 8.80s/it][A + hellaswag_id: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 288/292 [42:01<00:35, 8.91s/it][A + hellaswag_id: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 289/292 [42:10<00:26, 8.92s/it][A + hellaswag_id: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 290/292 [42:19<00:17, 8.82s/it][A + hellaswag_id: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 291/292 [42:28<00:08, 8.97s/it][A + hellaswag_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [42:33<00:00, 7.76s/it][A hellaswag_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [42:33<00:00, 8.75s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_id_acc 0.39220528237062485 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_id_acc_norm 0.5135280223319734 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 21:51:53,767 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 21:51:53,767 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:53,895 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 21:51:53,895 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:54,021 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 21:51:54,021 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:54,148 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 21:51:54,149 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 21:51:54,149 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 21:51:54,276 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 21:51:54,276 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_id_acc'} +2024-05-29 21:51:54,341 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 21:51:54,341 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1167, 'value': 0.39220528237062485} +2024-05-29 21:51:54,405 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 21:51:55,030 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 21:51:55,030 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:55,153 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 21:51:55,153 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:55,276 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 21:51:55,276 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:55,398 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 21:51:55,399 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 21:51:55,399 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 21:51:55,522 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 21:51:55,523 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_id_acc_norm'} +2024-05-29 21:51:55,585 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 21:51:55,585 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1168, 'value': 0.5135280223319734} +2024-05-29 21:51:55,647 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 36%|███████████████████████████████████████▏ | 45/124 [15:04:24<70:53:23, 3230.42s/it]['hellaswag_it'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 21:51:56,290 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 21:51:56,290 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:56,417 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 21:51:56,417 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:56,544 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 21:51:56,544 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 21:51:56,671 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 21:51:56,672 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 21:51:56,672 INFO sqlalchemy.engine.Engine [generated in 0.00021s] {'name_1_1': 'hellaswag_it'} +2024-05-29 21:51:56,800 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_it task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:03, 3.16s/ examples][A + Generating validation split: 1763 examples [00:03, 762.56 examples/s][A + Generating validation split: 3442 examples [00:03, 1695.40 examples/s][A + Generating validation split: 5133 examples [00:03, 2863.32 examples/s][A + Generating validation split: 7000 examples [00:03, 4385.68 examples/s][A + Generating validation split: 9000 examples [00:03, 6186.17 examples/s][A Generating validation split: 9193 examples [00:03, 2482.66 examples/s] +Loaded 9193 examples +Running loglikelihood requests + + hellaswag_it: 0%| | 0/288 [00:00<?, ?it/s][A + hellaswag_it: 0%|▍ | 1/288 [00:07<38:08, 7.97s/it][A + hellaswag_it: 1%|▊ | 2/288 [00:15<38:02, 7.98s/it][A + hellaswag_it: 1%|█▏ | 3/288 [00:23<37:48, 7.96s/it][A + hellaswag_it: 1%|█▌ | 4/288 [00:31<37:50, 8.00s/it][A + hellaswag_it: 2%|█▉ | 5/288 [00:39<37:32, 7.96s/it][A + hellaswag_it: 2%|██▍ | 6/288 [00:47<37:43, 8.03s/it][A + hellaswag_it: 2%|██▊ | 7/288 [00:55<37:26, 7.99s/it][A + hellaswag_it: 3%|███▏ | 8/288 [01:04<37:57, 8.13s/it][A + hellaswag_it: 3%|███▌ | 9/288 [01:12<38:16, 8.23s/it][A + hellaswag_it: 3%|███▉ | 10/288 [01:21<38:10, 8.24s/it][A + hellaswag_it: 4%|████▎ | 11/288 [01:30<39:12, 8.49s/it][A + hellaswag_it: 4%|████▋ | 12/288 [01:38<38:33, 8.38s/it][A + hellaswag_it: 5%|█████ | 13/288 [01:46<37:46, 8.24s/it][A + hellaswag_it: 5%|█████▍ | 14/288 [01:54<37:16, 8.16s/it][A + hellaswag_it: 5%|█████▉ | 15/288 [02:02<36:52, 8.11s/it][A + hellaswag_it: 6%|██████▎ | 16/288 [02:10<36:45, 8.11s/it][A + hellaswag_it: 6%|██████▋ | 17/288 [02:18<36:22, 8.05s/it][A + hellaswag_it: 6%|███████ | 18/288 [02:26<35:59, 8.00s/it][A + hellaswag_it: 7%|███████▍ | 19/288 [02:34<35:56, 8.02s/it][A + hellaswag_it: 7%|███████▊ | 20/288 [02:42<36:59, 8.28s/it][A + hellaswag_it: 7%|████████▏ | 21/288 [02:51<36:31, 8.21s/it][A + hellaswag_it: 8%|████████▋ | 22/288 [02:59<36:17, 8.19s/it][A + hellaswag_it: 8%|█████████ | 23/288 [03:07<36:11, 8.20s/it][A + hellaswag_it: 8%|█████████▍ | 24/288 [03:15<35:38, 8.10s/it][A + hellaswag_it: 9%|█████████▊ | 25/288 [03:23<36:11, 8.26s/it][A + hellaswag_it: 9%|██████████▏ | 26/288 [03:32<36:56, 8.46s/it][A + hellaswag_it: 9%|██████████▌ | 27/288 [03:41<36:54, 8.49s/it][A + hellaswag_it: 10%|██████████▉ | 28/288 [03:49<35:58, 8.30s/it][A + hellaswag_it: 10%|███████████▍ | 29/288 [03:57<35:14, 8.16s/it][A + hellaswag_it: 10%|███████████▊ | 30/288 [04:05<34:59, 8.14s/it][A + hellaswag_it: 11%|████████████▏ | 31/288 [04:13<34:36, 8.08s/it][A + hellaswag_it: 11%|████████████▌ | 32/288 [04:21<35:01, 8.21s/it][A + hellaswag_it: 11%|████████████▉ | 33/288 [04:29<35:01, 8.24s/it][A + hellaswag_it: 12%|█████████████▎ | 34/288 [04:38<35:46, 8.45s/it][A + hellaswag_it: 12%|█████████████▋ | 35/288 [04:46<35:00, 8.30s/it][A + hellaswag_it: 12%|██████████████▏ | 36/288 [04:54<34:27, 8.20s/it][A + hellaswag_it: 13%|██████████████▌ | 37/288 [05:03<34:55, 8.35s/it][A + hellaswag_it: 13%|██████████████▉ | 38/288 [05:11<34:34, 8.30s/it][A + hellaswag_it: 14%|███████████████▎ | 39/288 [05:20<35:16, 8.50s/it][A + hellaswag_it: 14%|███████████████▋ | 40/288 [05:28<34:18, 8.30s/it][A + hellaswag_it: 14%|████████████████ | 41/288 [05:36<33:46, 8.20s/it][A + hellaswag_it: 15%|████████████████▍ | 42/288 [05:44<33:20, 8.13s/it][A + hellaswag_it: 15%|████████████████▊ | 43/288 [05:52<32:59, 8.08s/it][A + hellaswag_it: 15%|█████████████████▎ | 44/288 [06:00<32:57, 8.11s/it][A + hellaswag_it: 16%|█████████████████▋ | 45/288 [06:08<32:47, 8.10s/it][A + hellaswag_it: 16%|██████████████████ | 46/288 [06:16<32:36, 8.08s/it][A + hellaswag_it: 16%|██████████████████▍ | 47/288 [06:24<32:22, 8.06s/it][A + hellaswag_it: 17%|██████████████████▊ | 48/288 [06:32<32:06, 8.03s/it][A + hellaswag_it: 17%|███████████████████▏ | 49/288 [06:41<32:36, 8.19s/it][A + hellaswag_it: 17%|███████████████████▌ | 50/288 [06:49<32:41, 8.24s/it][A + hellaswag_it: 18%|████████████████████ | 51/288 [06:57<32:15, 8.17s/it][A + hellaswag_it: 18%|████████████████████▍ | 52/288 [07:05<31:42, 8.06s/it][A + hellaswag_it: 18%|████████████████████▊ | 53/288 [07:13<31:25, 8.02s/it][A + hellaswag_it: 19%|█████████████████████▏ | 54/288 [07:21<31:47, 8.15s/it][A + hellaswag_it: 19%|█████████████████████▌ | 55/288 [07:29<31:30, 8.11s/it][A + hellaswag_it: 19%|█████████████████████▉ | 56/288 [07:37<31:09, 8.06s/it][A + hellaswag_it: 20%|██████████████████████▎ | 57/288 [07:45<30:50, 8.01s/it][A + hellaswag_it: 20%|██████████████████████▊ | 58/288 [07:53<30:35, 7.98s/it][A + hellaswag_it: 20%|███████████████████████▏ | 59/288 [08:01<30:43, 8.05s/it][A + hellaswag_it: 21%|███████████████████████▌ | 60/288 [08:10<30:59, 8.16s/it][A + hellaswag_it: 21%|███████████████████████▉ | 61/288 [08:18<30:43, 8.12s/it][A + hellaswag_it: 22%|████████████████████████▎ | 62/288 [08:26<30:25, 8.08s/it][A + hellaswag_it: 22%|████████████████████████▋ | 63/288 [08:34<30:04, 8.02s/it][A + hellaswag_it: 22%|█████████████████████████ | 64/288 [08:42<30:42, 8.23s/it][A + hellaswag_it: 23%|█████████████████████████▌ | 65/288 [08:51<30:38, 8.25s/it][A + hellaswag_it: 23%|█████████████████████████▉ | 66/288 [08:58<30:05, 8.13s/it][A + hellaswag_it: 23%|██████████████████████████▎ | 67/288 [09:06<29:37, 8.04s/it][A + hellaswag_it: 24%|██████████████████████████▋ | 68/288 [09:15<30:34, 8.34s/it][A + hellaswag_it: 24%|███████████████████████████ | 69/288 [09:24<30:52, 8.46s/it][A + hellaswag_it: 24%|███████████████████████████▍ | 70/288 [09:32<30:04, 8.28s/it][A + hellaswag_it: 25%|███████████████████████████▊ | 71/288 [09:40<29:53, 8.26s/it][A + hellaswag_it: 25%|████████████████████████████▎ | 72/288 [09:49<30:42, 8.53s/it][A + hellaswag_it: 25%|████████████████████████████▋ | 73/288 [09:57<29:55, 8.35s/it][A + hellaswag_it: 26%|█████████████████████████████ | 74/288 [10:05<29:13, 8.20s/it][A + hellaswag_it: 26%|█████████████████████████████▍ | 75/288 [10:14<29:34, 8.33s/it][A + hellaswag_it: 26%|█████████████████████████████▊ | 76/288 [10:22<29:24, 8.32s/it][A + hellaswag_it: 27%|██████████████████████████████▏ | 77/288 [10:30<28:50, 8.20s/it][A + hellaswag_it: 27%|██████████████████████████████▌ | 78/288 [10:38<28:19, 8.09s/it][A + hellaswag_it: 27%|██████████████████████████████▉ | 79/288 [10:46<28:00, 8.04s/it][A + hellaswag_it: 28%|███████████████████████████████▍ | 80/288 [10:54<27:49, 8.03s/it][A + hellaswag_it: 28%|███████████████████████████████▊ | 81/288 [11:02<28:10, 8.17s/it][A + hellaswag_it: 28%|████████████████████████████████▏ | 82/288 [11:10<27:50, 8.11s/it][A + hellaswag_it: 29%|████████████████████████████████▌ | 83/288 [11:18<27:19, 8.00s/it][A + hellaswag_it: 29%|████████████████████████████████▉ | 84/288 [11:26<27:08, 7.98s/it][A + hellaswag_it: 30%|█████████████████████████████████▎ | 85/288 [11:34<27:39, 8.17s/it][A + hellaswag_it: 30%|█████████████████████████████████▋ | 86/288 [11:42<27:14, 8.09s/it][A + hellaswag_it: 30%|██████████████████████████████████▏ | 87/288 [11:50<26:52, 8.02s/it][A + hellaswag_it: 31%|██████████████████████████████████▌ | 88/288 [11:58<26:41, 8.01s/it][A + hellaswag_it: 31%|██████████████████████████████████▉ | 89/288 [12:07<27:10, 8.19s/it][A + hellaswag_it: 31%|███████████████████████████████████▎ | 90/288 [12:15<27:12, 8.24s/it][A + hellaswag_it: 32%|███████████████████████████████████▋ | 91/288 [12:23<26:54, 8.20s/it][A + hellaswag_it: 32%|████████████████████████████████████ | 92/288 [12:31<26:48, 8.21s/it][A + hellaswag_it: 32%|████████████████████████████████████▍ | 93/288 [12:39<26:26, 8.13s/it][A + hellaswag_it: 33%|████████████████████████████████████▉ | 94/288 [12:48<26:37, 8.23s/it][A + hellaswag_it: 33%|█████████████████████████████████████▎ | 95/288 [12:57<27:24, 8.52s/it][A + hellaswag_it: 33%|█████████████████████████████████████▋ | 96/288 [13:05<26:42, 8.35s/it][A + hellaswag_it: 34%|██████████████████████████████████████ | 97/288 [13:14<26:57, 8.47s/it][A + hellaswag_it: 34%|██████████████████████████████████████▍ | 98/288 [13:23<27:15, 8.61s/it][A + hellaswag_it: 34%|██████████████████████████████████████▊ | 99/288 [13:31<27:03, 8.59s/it][A + hellaswag_it: 35%|██████████████████████████████████████▉ | 100/288 [13:39<26:15, 8.38s/it][A + hellaswag_it: 35%|███████████████████████████████████████▎ | 101/288 [13:47<25:48, 8.28s/it][A + hellaswag_it: 35%|███████████████████████████████████████▋ | 102/288 [13:56<25:53, 8.35s/it][A + hellaswag_it: 36%|████████████████████████████████████████ | 103/288 [14:04<25:27, 8.25s/it][A + hellaswag_it: 36%|████████████████████████████████████████▍ | 104/288 [14:12<24:55, 8.13s/it][A + hellaswag_it: 36%|████████████████████████████████████████▊ | 105/288 [14:20<25:15, 8.28s/it][A + hellaswag_it: 37%|█████████████████████████████████████████▏ | 106/288 [14:29<25:09, 8.29s/it][A + hellaswag_it: 37%|█████████████████████████████████████████▌ | 107/288 [14:37<24:46, 8.22s/it][A + hellaswag_it: 38%|██████████████████████████████████████████ | 108/288 [14:45<24:45, 8.25s/it][A + hellaswag_it: 38%|██████████████████████████████████████████▍ | 109/288 [14:53<24:48, 8.32s/it][A + hellaswag_it: 38%|██████████████████████████████████████████▊ | 110/288 [15:02<25:02, 8.44s/it][A + hellaswag_it: 39%|███████████████████████████████████████████▏ | 111/288 [15:10<24:28, 8.30s/it][A + hellaswag_it: 39%|███████████████████████████████████████████▌ | 112/288 [15:19<24:39, 8.40s/it][A + hellaswag_it: 39%|███████████████████████████████████████████▉ | 113/288 [15:27<24:46, 8.49s/it][A + hellaswag_it: 40%|████████████████████████████████████████████▎ | 114/288 [15:35<24:02, 8.29s/it][A + hellaswag_it: 40%|████████████████████████████████████████████▋ | 115/288 [15:44<24:04, 8.35s/it][A + hellaswag_it: 40%|█████████████████████████████████████████████ | 116/288 [15:52<23:31, 8.21s/it][A + hellaswag_it: 41%|█████████████████████████████████████████████▌ | 117/288 [16:00<23:43, 8.33s/it][A + hellaswag_it: 41%|█████████████████████████████████████████████▉ | 118/288 [16:08<23:16, 8.21s/it][A + hellaswag_it: 41%|██████████████████████████████████████████████▎ | 119/288 [16:16<23:04, 8.19s/it][A + hellaswag_it: 42%|██████████████████████████████████████████████▋ | 120/288 [16:24<22:43, 8.11s/it][A + hellaswag_it: 42%|███████████████████████████████████████████████ | 121/288 [16:33<23:03, 8.28s/it][A + hellaswag_it: 42%|███████████████████████████████████████████████▍ | 122/288 [16:41<22:39, 8.19s/it][A + hellaswag_it: 43%|███████████████████████████████████████████████▊ | 123/288 [16:50<22:56, 8.34s/it][A + hellaswag_it: 43%|████████████████████████████████████████████████▏ | 124/288 [16:58<22:32, 8.25s/it][A + hellaswag_it: 43%|████████████████████████████████████████████████▌ | 125/288 [17:06<22:08, 8.15s/it][A + hellaswag_it: 44%|█████████████████████████████████████████████████ | 126/288 [17:13<21:47, 8.07s/it][A + hellaswag_it: 44%|█████████████████████████████████████████████████▍ | 127/288 [17:21<21:34, 8.04s/it][A + hellaswag_it: 44%|█████████████████████████████████████████████████▊ | 128/288 [17:30<21:54, 8.22s/it][A + hellaswag_it: 45%|██████████████████████████████████████████████████▏ | 129/288 [17:38<21:36, 8.15s/it][A + hellaswag_it: 45%|██████████████████████████████████████████████████▌ | 130/288 [17:46<21:10, 8.04s/it][A + hellaswag_it: 45%|██████████████████████████████████████████████████▉ | 131/288 [17:54<21:00, 8.03s/it][A + hellaswag_it: 46%|███████████████████████████████████████████████████▎ | 132/288 [18:02<21:19, 8.20s/it][A + hellaswag_it: 46%|███████████████████████████████████████████████████▋ | 133/288 [18:11<21:29, 8.32s/it][A + hellaswag_it: 47%|████████████████████████████████████████████████████ | 134/288 [18:19<20:59, 8.18s/it][A + hellaswag_it: 47%|████████████████████████████████████████████████████▌ | 135/288 [18:27<20:35, 8.08s/it][A + hellaswag_it: 47%|████████████████████████████████████████████████████▉ | 136/288 [18:35<20:27, 8.07s/it][A + hellaswag_it: 48%|█████████████████████████████████████████████████████▎ | 137/288 [18:43<20:15, 8.05s/it][A + hellaswag_it: 48%|█████████████████████████████████████████████████████▋ | 138/288 [18:51<20:04, 8.03s/it][A + hellaswag_it: 48%|██████████████████████████████████████████████████████ | 139/288 [18:59<20:01, 8.07s/it][A + hellaswag_it: 49%|██████████████████████████████████████████████████████▍ | 140/288 [19:07<19:44, 8.00s/it][A + hellaswag_it: 49%|██████████████████████████████████████████████████████▊ | 141/288 [19:15<19:30, 7.96s/it][A + hellaswag_it: 49%|███████████████████████████████████████████████████████▏ | 142/288 [19:23<19:25, 7.99s/it][A + hellaswag_it: 50%|███████████████████████████████████████████████████████▌ | 143/288 [19:31<19:23, 8.02s/it][A + hellaswag_it: 50%|████████████████████████████████████████████████████████ | 144/288 [19:39<19:29, 8.12s/it][A + hellaswag_it: 50%|████████████████████████████████████████████████████████▍ | 145/288 [19:48<19:43, 8.28s/it][A + hellaswag_it: 51%|████████████████████████████████████████████████████████▊ | 146/288 [19:56<19:42, 8.33s/it][A + hellaswag_it: 51%|█████████████████████████████████████████████████████████▏ | 147/288 [20:04<19:15, 8.19s/it][A + hellaswag_it: 51%|█████████████████████████████████████████████████████████▌ | 148/288 [20:13<19:18, 8.27s/it][A + hellaswag_it: 52%|█████████████████████████████████████████████████████████▉ | 149/288 [20:20<18:57, 8.19s/it][A + hellaswag_it: 52%|██████████████████████████████████████████████████████████▎ | 150/288 [20:29<18:54, 8.22s/it][A + hellaswag_it: 52%|██████████████████████████████████████████████████████████▋ | 151/288 [20:37<18:55, 8.29s/it][A + hellaswag_it: 53%|███████████████████████████████████████████████████████████ | 152/288 [20:45<18:28, 8.15s/it][A + hellaswag_it: 53%|███████████████████████████████████████████████████████████▌ | 153/288 [20:54<18:32, 8.24s/it][A + hellaswag_it: 53%|███████████████████████████████████████████████████████████▉ | 154/288 [21:02<18:26, 8.26s/it][A + hellaswag_it: 54%|████████████████████████████████████████████████████████████▎ | 155/288 [21:10<18:05, 8.16s/it][A + hellaswag_it: 54%|████████████████████████████████████████████████████████████▋ | 156/288 [21:18<17:44, 8.06s/it][A + hellaswag_it: 55%|█████████████████████████████████████████████████████████████ | 157/288 [21:26<17:34, 8.05s/it][A + hellaswag_it: 55%|█████████████████████████████████████████████████████████████▍ | 158/288 [21:33<17:19, 7.99s/it][A + hellaswag_it: 55%|█████████████████████████████████████████████████████████████▊ | 159/288 [21:42<17:20, 8.07s/it][A + hellaswag_it: 56%|██████████████████████████████████████████████████████████████▏ | 160/288 [21:50<17:34, 8.24s/it][A + hellaswag_it: 56%|██████████████████████████████████████████████████████████████▌ | 161/288 [21:58<17:15, 8.15s/it][A + hellaswag_it: 56%|███████████████████████████████████████████████████████████████ | 162/288 [22:06<16:58, 8.08s/it][A + hellaswag_it: 57%|███████████████████████████████████████████████████████████████▍ | 163/288 [22:15<17:18, 8.31s/it][A + hellaswag_it: 57%|███████████████████████████████████████████████████████████████▊ | 164/288 [22:23<16:59, 8.22s/it][A + hellaswag_it: 57%|████████████████████████████████████████████████████████████████▏ | 165/288 [22:31<16:45, 8.17s/it][A + hellaswag_it: 58%|████████████████████████████████████████████████████████████████▌ | 166/288 [22:39<16:24, 8.07s/it][A + hellaswag_it: 58%|████████████████████████████████████████████████████████████████▉ | 167/288 [22:47<16:23, 8.13s/it][A + hellaswag_it: 58%|█████████████████████████████████████████████████████████████████▎ | 168/288 [22:55<16:12, 8.10s/it][A + hellaswag_it: 59%|█████████████████████████████████████████████████████████████████▋ | 169/288 [23:03<15:55, 8.03s/it][A + hellaswag_it: 59%|██████████████████████████████████████████████████████████████████ | 170/288 [23:11<15:44, 8.01s/it][A + hellaswag_it: 59%|██████████████████████████████████████████████████████████████████▌ | 171/288 [23:20<15:59, 8.20s/it][A + hellaswag_it: 60%|██████████████████████████████████████████████████████████████████▉ | 172/288 [23:28<16:07, 8.34s/it][A + hellaswag_it: 60%|███████████████████████████████████████████████████████████████████▎ | 173/288 [23:36<15:43, 8.20s/it][A + hellaswag_it: 60%|███████████████████████████████████████████████████████████████████▋ | 174/288 [23:45<15:47, 8.32s/it][A + hellaswag_it: 61%|████████████████████████████████████████████████████████████████████ | 175/288 [23:54<15:53, 8.44s/it][A + hellaswag_it: 61%|████████████████████████████████████████████████████████████████████▍ | 176/288 [24:01<15:26, 8.28s/it][A + hellaswag_it: 61%|████████████████████████████████████████████████████████████████████▊ | 177/288 [24:09<15:03, 8.14s/it][A + hellaswag_it: 62%|█████████████████████████████████████████████████████████████████████▏ | 178/288 [24:18<15:13, 8.30s/it][A + hellaswag_it: 62%|█████████████████████████████████████████████████████████████████████▌ | 179/288 [24:26<15:06, 8.32s/it][A + hellaswag_it: 62%|██████████████████████████████████████████████████████████████████████ | 180/288 [24:34<14:46, 8.21s/it][A + hellaswag_it: 63%|██████████████████████████████████████████████████████████████████████▍ | 181/288 [24:42<14:28, 8.12s/it][A + hellaswag_it: 63%|██████████████████████████████████████████████████████████████████████▊ | 182/288 [24:50<14:20, 8.12s/it][A + hellaswag_it: 64%|███████████████████████████████████████████████████████████████████████▏ | 183/288 [24:58<14:12, 8.11s/it][A + hellaswag_it: 64%|███████████████████████████████████████████████████████████████████████▌ | 184/288 [25:06<13:58, 8.06s/it][A + hellaswag_it: 64%|███████████████████████████████████████████████████████████████████████▉ | 185/288 [25:15<13:52, 8.09s/it][A + hellaswag_it: 65%|████████████████████████████████████████████████████████████████████████▎ | 186/288 [25:22<13:39, 8.03s/it][A + hellaswag_it: 65%|████████████████████████████████████████████████████████████████████████▋ | 187/288 [25:30<13:29, 8.02s/it][A + hellaswag_it: 65%|█████████████████████████████████████████████████████████████████████████ | 188/288 [25:38<13:19, 7.99s/it][A + hellaswag_it: 66%|█████████████████████████████████████████████████████████████████████████▌ | 189/288 [25:46<13:08, 7.96s/it][A + hellaswag_it: 66%|█████████████████████████████████████████████████████████████████████████▉ | 190/288 [25:54<13:02, 7.99s/it][A + hellaswag_it: 66%|██████████████████████████████████████████████████████████████████████████▎ | 191/288 [26:03<13:20, 8.26s/it][A + hellaswag_it: 67%|██████████████████████████████████████████████████████████████████████████▋ | 192/288 [26:11<13:02, 8.15s/it][A + hellaswag_it: 67%|███████████████████████████████████████████████████████████████████████████ | 193/288 [26:20<13:03, 8.25s/it][A + hellaswag_it: 67%|███████████████████████████████████████████████████████████████████████████▍ | 194/288 [26:28<13:06, 8.37s/it][A + hellaswag_it: 68%|███████████████████████████████████████████████████████████████████████████▊ | 195/288 [26:36<12:50, 8.28s/it][A + hellaswag_it: 68%|████████████████████████████████████████████████████████████████████████████▏ | 196/288 [26:44<12:31, 8.17s/it][A + hellaswag_it: 68%|████████████████████████████████████████████████████████████████████████████▌ | 197/288 [26:52<12:18, 8.12s/it][A + hellaswag_it: 69%|█████████████████████████████████████████████████████████████████████████████ | 198/288 [27:01<12:19, 8.22s/it][A + hellaswag_it: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 199/288 [27:09<12:02, 8.12s/it][A + hellaswag_it: 69%|█████████████████████████████████████████████████████████████████████████████▊ | 200/288 [27:17<12:02, 8.21s/it][A + hellaswag_it: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 201/288 [27:25<11:47, 8.13s/it][A + hellaswag_it: 70%|██████████████████████████████████████████████████████████████████████████████▌ | 202/288 [27:34<11:54, 8.30s/it][A + hellaswag_it: 70%|██████████████████████████████████████████████████████████████████████████████▉ | 203/288 [27:42<11:56, 8.43s/it][A + hellaswag_it: 71%|███████████████████████████████████████████████████████████████████████████████▎ | 204/288 [27:51<11:49, 8.45s/it][A + hellaswag_it: 71%|███████████████████████████████████████████████████████████████████████████████▋ | 205/288 [27:59<11:27, 8.29s/it][A + hellaswag_it: 72%|████████████████████████████████████████████████████████████████████████████████ | 206/288 [28:07<11:11, 8.19s/it][A + hellaswag_it: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 207/288 [28:15<11:16, 8.35s/it][A + hellaswag_it: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 208/288 [28:23<11:00, 8.25s/it][A + hellaswag_it: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 209/288 [28:32<10:52, 8.27s/it][A + hellaswag_it: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 210/288 [28:40<10:36, 8.16s/it][A + hellaswag_it: 73%|██████████████████████████████████████████████████████████████████████████████████ | 211/288 [28:48<10:24, 8.11s/it][A + hellaswag_it: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 212/288 [28:55<10:09, 8.01s/it][A + hellaswag_it: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 213/288 [29:03<10:00, 8.00s/it][A + hellaswag_it: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 214/288 [29:11<09:47, 7.94s/it][A + hellaswag_it: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 215/288 [29:19<09:42, 7.98s/it][A + hellaswag_it: 75%|████████████████████████████████████████████████████████████████████████████████████ | 216/288 [29:27<09:33, 7.97s/it][A + hellaswag_it: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 217/288 [29:35<09:24, 7.95s/it][A + hellaswag_it: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 218/288 [29:43<09:13, 7.91s/it][A + hellaswag_it: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 219/288 [29:51<09:06, 7.93s/it][A + hellaswag_it: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 220/288 [29:59<09:02, 7.98s/it][A + hellaswag_it: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 221/288 [30:07<08:58, 8.04s/it][A + hellaswag_it: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 222/288 [30:16<09:14, 8.40s/it][A + hellaswag_it: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 223/288 [30:25<09:09, 8.46s/it][A + hellaswag_it: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 224/288 [30:33<08:51, 8.30s/it][A + hellaswag_it: 78%|███████████████████████████████████████████████████████████████████████████████████████▌ | 225/288 [30:41<08:34, 8.17s/it][A + hellaswag_it: 78%|███████████████████████████████████████████████████████████████████████████████████████▉ | 226/288 [30:49<08:20, 8.07s/it][A + hellaswag_it: 79%|████████████████████████████████████████████████████████████████████████████████████████▎ | 227/288 [30:57<08:24, 8.26s/it][A + hellaswag_it: 79%|████████████████████████████████████████████████████████████████████████████████████████▋ | 228/288 [31:05<08:10, 8.18s/it][A + hellaswag_it: 80%|█████████████████████████████████████████████████████████████████████████████████████████ | 229/288 [31:14<08:12, 8.35s/it][A + hellaswag_it: 80%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 230/288 [31:22<08:00, 8.28s/it][A + hellaswag_it: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 231/288 [31:31<07:54, 8.33s/it][A + hellaswag_it: 81%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 232/288 [31:39<07:46, 8.33s/it][A + hellaswag_it: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 233/288 [31:48<07:41, 8.40s/it][A + hellaswag_it: 81%|███████████████████████████████████████████████████████████████████████████████████████████ | 234/288 [31:56<07:27, 8.28s/it][A + hellaswag_it: 82%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 235/288 [32:04<07:18, 8.28s/it][A + hellaswag_it: 82%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 236/288 [32:12<07:12, 8.32s/it][A + hellaswag_it: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 237/288 [32:20<07:00, 8.25s/it][A + hellaswag_it: 83%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 238/288 [32:28<06:49, 8.18s/it][A + hellaswag_it: 83%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 239/288 [32:37<06:49, 8.35s/it][A + hellaswag_it: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 240/288 [32:45<06:35, 8.25s/it][A + hellaswag_it: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 241/288 [32:54<06:33, 8.36s/it][A + hellaswag_it: 84%|██████████████████████████████████████████████████████████████████████████████████████████████ | 242/288 [33:02<06:18, 8.23s/it][A + hellaswag_it: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 243/288 [33:10<06:07, 8.16s/it][A + hellaswag_it: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 244/288 [33:18<05:56, 8.09s/it][A + hellaswag_it: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 245/288 [33:25<05:45, 8.04s/it][A + hellaswag_it: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 246/288 [33:34<05:45, 8.22s/it][A + hellaswag_it: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 247/288 [33:42<05:34, 8.16s/it][A + hellaswag_it: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/288 [33:50<05:26, 8.16s/it][A + hellaswag_it: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/288 [33:59<05:19, 8.20s/it][A + hellaswag_it: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/288 [34:07<05:09, 8.14s/it][A + hellaswag_it: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 251/288 [34:15<04:59, 8.09s/it][A + hellaswag_it: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 252/288 [34:23<04:51, 8.10s/it][A + hellaswag_it: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 253/288 [34:31<04:41, 8.04s/it][A + hellaswag_it: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 254/288 [34:39<04:36, 8.13s/it][A + hellaswag_it: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 255/288 [34:47<04:25, 8.04s/it][A + hellaswag_it: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 256/288 [34:55<04:19, 8.12s/it][A + hellaswag_it: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 257/288 [35:04<04:17, 8.30s/it][A + hellaswag_it: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 258/288 [35:12<04:05, 8.20s/it][A + hellaswag_it: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 259/288 [35:20<03:55, 8.13s/it][A + hellaswag_it: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 260/288 [35:28<03:45, 8.07s/it][A + hellaswag_it: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 261/288 [35:36<03:36, 8.02s/it][A + hellaswag_it: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 262/288 [35:44<03:28, 8.03s/it][A + hellaswag_it: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 263/288 [35:52<03:20, 8.03s/it][A + hellaswag_it: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 264/288 [36:00<03:18, 8.26s/it][A + hellaswag_it: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 265/288 [36:09<03:11, 8.34s/it][A + hellaswag_it: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 266/288 [36:17<03:00, 8.19s/it][A + hellaswag_it: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 267/288 [36:25<02:50, 8.11s/it][A + hellaswag_it: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 268/288 [36:33<02:40, 8.03s/it][A + hellaswag_it: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 269/288 [36:41<02:32, 8.04s/it][A + hellaswag_it: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 270/288 [36:49<02:26, 8.15s/it][A + hellaswag_it: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 271/288 [36:57<02:17, 8.11s/it][A + hellaswag_it: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 272/288 [37:05<02:08, 8.06s/it][A + hellaswag_it: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 273/288 [37:13<02:01, 8.13s/it][A + hellaswag_it: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 274/288 [37:22<01:54, 8.18s/it][A + hellaswag_it: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 275/288 [37:30<01:45, 8.15s/it][A + hellaswag_it: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 276/288 [37:39<01:40, 8.39s/it][A + hellaswag_it: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 277/288 [37:48<01:34, 8.56s/it][A + hellaswag_it: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 278/288 [37:56<01:25, 8.51s/it][A + hellaswag_it: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 279/288 [38:04<01:14, 8.33s/it][A + hellaswag_it: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 280/288 [38:12<01:05, 8.19s/it][A + hellaswag_it: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 281/288 [38:20<00:56, 8.08s/it][A + hellaswag_it: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 282/288 [38:29<00:50, 8.34s/it][A + hellaswag_it: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 283/288 [38:37<00:42, 8.45s/it][A + hellaswag_it: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 284/288 [38:45<00:33, 8.30s/it][A + hellaswag_it: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 285/288 [38:53<00:24, 8.17s/it][A + hellaswag_it: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 286/288 [39:02<00:16, 8.37s/it][A + hellaswag_it: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 287/288 [39:10<00:08, 8.26s/it][A + hellaswag_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [39:15<00:00, 7.28s/it][A hellaswag_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [39:15<00:00, 8.18s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_it_acc 0.5202871750244752 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_it_acc_norm 0.7085826172087458 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 22:31:17,620 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 22:31:17,620 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:17,745 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 22:31:17,745 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:17,869 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 22:31:17,869 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:17,994 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 22:31:17,995 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 22:31:17,995 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 22:31:18,121 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 22:31:18,121 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_it_acc'} +2024-05-29 22:31:18,185 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 22:31:18,185 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1169, 'value': 0.5202871750244752} +2024-05-29 22:31:18,248 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 22:31:18,875 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 22:31:18,875 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:18,998 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 22:31:18,998 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:19,121 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 22:31:19,122 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:19,245 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 22:31:19,245 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-29 22:31:19,245 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-29 22:31:19,369 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-29 22:31:19,370 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_it_acc_norm'} +2024-05-29 22:31:19,432 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-29 22:31:19,432 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1170, 'value': 0.7085826172087458} +2024-05-29 22:31:19,495 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 37%|████████████████████████████████████████ | 46/124 [15:43:48<64:21:35, 2970.45s/it]['hellaswag_kn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-29 22:31:20,146 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-29 22:31:20,147 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:20,275 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-29 22:31:20,275 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:20,404 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-29 22:31:20,404 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-29 22:31:20,532 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-29 22:31:20,533 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-29 22:31:20,533 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_kn'} +2024-05-29 22:31:20,662 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_kn task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:06, 6.36s/ examples][A + Generating validation split: 1613 examples [00:06, 354.38 examples/s][A + Generating validation split: 3092 examples [00:06, 793.73 examples/s][A + Generating validation split: 5000 examples [00:06, 1540.53 examples/s][A + Generating validation split: 7000 examples [00:06, 2530.65 examples/s][A + Generating validation split: 8862 examples [00:06, 3647.53 examples/s][A Generating validation split: 8862 examples [00:06, 1276.77 examples/s] +Loaded 8862 examples +Running loglikelihood requests + + hellaswag_kn: 0%| | 0/277 [00:00<?, ?it/s][A + hellaswag_kn: 0%|▍ | 1/277 [00:21<1:37:48, 21.26s/it][A + hellaswag_kn: 1%|▊ | 2/277 [00:41<1:34:34, 20.64s/it][A + hellaswag_kn: 1%|█▏ | 3/277 [01:02<1:34:02, 20.59s/it][A + hellaswag_kn: 1%|█▌ | 4/277 [01:20<1:30:36, 19.91s/it][A + hellaswag_kn: 2%|██ | 5/277 [01:41<1:30:37, 19.99s/it][A + hellaswag_kn: 2%|██▍ | 6/277 [02:01<1:30:46, 20.10s/it][A + hellaswag_kn: 3%|██▊ | 7/277 [02:20<1:29:09, 19.81s/it][A + hellaswag_kn: 3%|███▏ | 8/277 [02:39<1:27:45, 19.57s/it][A + hellaswag_kn: 3%|███▋ | 9/277 [03:00<1:28:39, 19.85s/it][A + hellaswag_kn: 4%|████ | 10/277 [03:20<1:28:53, 19.97s/it][A + hellaswag_kn: 4%|████▍ | 11/277 [03:41<1:30:24, 20.39s/it][A + hellaswag_kn: 4%|████▊ | 12/277 [04:03<1:31:25, 20.70s/it][A + hellaswag_kn: 5%|█████▏ | 13/277 [04:21<1:28:13, 20.05s/it][A + hellaswag_kn: 5%|█████▌ | 14/277 [04:43<1:30:40, 20.68s/it][A + hellaswag_kn: 5%|██████ | 15/277 [05:04<1:29:53, 20.59s/it][A + hellaswag_kn: 6%|██████▍ | 16/277 [05:23<1:27:50, 20.19s/it][A + hellaswag_kn: 6%|██████▊ | 17/277 [05:42<1:26:27, 19.95s/it][A + hellaswag_kn: 6%|███████▏ | 18/277 [06:03<1:26:56, 20.14s/it][A + hellaswag_kn: 7%|███████▌ | 19/277 [06:22<1:25:49, 19.96s/it][A + hellaswag_kn: 7%|████████ | 20/277 [06:44<1:28:01, 20.55s/it][A + hellaswag_kn: 8%|████████▍ | 21/277 [07:06<1:28:58, 20.85s/it][A + hellaswag_kn: 8%|████████▊ | 22/277 [07:26<1:27:49, 20.67s/it][A + hellaswag_kn: 8%|█████████▏ | 23/277 [07:46<1:27:03, 20.56s/it][A + hellaswag_kn: 9%|█████████▌ | 24/277 [08:07<1:26:53, 20.61s/it][A + hellaswag_kn: 9%|██████████ | 25/277 [08:27<1:25:39, 20.40s/it][A + hellaswag_kn: 9%|██████████▍ | 26/277 [08:47<1:24:46, 20.26s/it][A + hellaswag_kn: 10%|██████████▊ | 27/277 [09:09<1:26:35, 20.78s/it][A + hellaswag_kn: 10%|███████████▏ | 28/277 [09:29<1:25:47, 20.67s/it][A + hellaswag_kn: 10%|███████████▌ | 29/277 [09:48<1:23:19, 20.16s/it][A + hellaswag_kn: 11%|████████████ | 30/277 [10:08<1:22:38, 20.07s/it][A + hellaswag_kn: 11%|████████████▍ | 31/277 [10:31<1:25:55, 20.96s/it][A + hellaswag_kn: 12%|████████████▊ | 32/277 [10:51<1:24:15, 20.64s/it][A + hellaswag_kn: 12%|█████████████▏ | 33/277 [11:11<1:22:52, 20.38s/it][A + hellaswag_kn: 12%|█████████████▌ | 34/277 [11:33<1:24:25, 20.84s/it][A + hellaswag_kn: 13%|██████████████ | 35/277 [11:53<1:23:17, 20.65s/it][A + hellaswag_kn: 13%|██████████████▍ | 36/277 [12:12<1:21:25, 20.27s/it][A + hellaswag_kn: 13%|██████████████▊ | 37/277 [12:32<1:19:49, 19.96s/it][A + hellaswag_kn: 14%|███████████████▏ | 38/277 [12:52<1:19:40, 20.00s/it][A + hellaswag_kn: 14%|███████████████▋ | 39/277 [13:12<1:19:48, 20.12s/it][A + hellaswag_kn: 14%|████████████████ | 40/277 [13:34<1:21:33, 20.65s/it][A + hellaswag_kn: 15%|████████████████▍ | 41/277 [13:54<1:20:37, 20.50s/it][A + hellaswag_kn: 15%|████████████████▊ | 42/277 [14:15<1:21:03, 20.70s/it][A + hellaswag_kn: 16%|█████████████████▏ | 43/277 [14:36<1:20:09, 20.55s/it][A + hellaswag_kn: 16%|█████████████████▋ | 44/277 [14:56<1:19:58, 20.59s/it][A + hellaswag_kn: 16%|██████████████████ | 45/277 [15:20<1:23:01, 21.47s/it][A + hellaswag_kn: 17%|██████████████████▍ | 46/277 [15:40<1:20:44, 20.97s/it][A + hellaswag_kn: 17%|██████████████████▊ | 47/277 [16:01<1:20:56, 21.12s/it][A + hellaswag_kn: 17%|███████████████████▏ | 48/277 [16:24<1:22:46, 21.69s/it][A + hellaswag_kn: 18%|███████████████████▋ | 49/277 [16:45<1:21:17, 21.39s/it][A + hellaswag_kn: 18%|████████████████████ | 50/277 [17:07<1:22:14, 21.74s/it][A + hellaswag_kn: 18%|████████████████████▍ | 51/277 [17:29<1:21:21, 21.60s/it][A + hellaswag_kn: 19%|████████████████████▊ | 52/277 [17:48<1:18:12, 20.86s/it][A + hellaswag_kn: 19%|█████████████████████▏ | 53/277 [18:06<1:15:09, 20.13s/it][A + hellaswag_kn: 19%|█████████████████████▋ | 54/277 [18:27<1:16:09, 20.49s/it][A + hellaswag_kn: 20%|██████████████████████ | 55/277 [18:46<1:14:08, 20.04s/it][A + hellaswag_kn: 20%|██████████████████████▍ | 56/277 [19:08<1:15:47, 20.58s/it][A + hellaswag_kn: 21%|██████████████████████▊ | 57/277 [19:28<1:15:00, 20.46s/it][A + hellaswag_kn: 21%|███████████████████████▏ | 58/277 [19:49<1:14:32, 20.42s/it][A + hellaswag_kn: 21%|███████████████████████▋ | 59/277 [20:09<1:13:34, 20.25s/it][A + hellaswag_kn: 22%|████████████████████████ | 60/277 [20:29<1:12:48, 20.13s/it][A + hellaswag_kn: 22%|████████████████████████▍ | 61/277 [20:48<1:12:05, 20.02s/it][A + hellaswag_kn: 22%|████████████████████████▊ | 62/277 [21:10<1:13:37, 20.55s/it][A + hellaswag_kn: 23%|█████████████████████████▏ | 63/277 [21:32<1:14:37, 20.92s/it][A + hellaswag_kn: 23%|█████████████████████████▋ | 64/277 [21:52<1:13:14, 20.63s/it][A + hellaswag_kn: 23%|██████████████████████████ | 65/277 [22:12<1:12:13, 20.44s/it][A + hellaswag_kn: 24%|██████████████████████████▍ | 66/277 [22:31<1:10:57, 20.18s/it][A + hellaswag_kn: 24%|██████████████████████████▊ | 67/277 [22:52<1:11:25, 20.41s/it][A + hellaswag_kn: 25%|███████████████████████████▏ | 68/277 [23:13<1:11:33, 20.54s/it][A + hellaswag_kn: 25%|███████████████████████████▋ | 69/277 [23:31<1:08:46, 19.84s/it][A + hellaswag_kn: 25%|████████████████████████████ | 70/277 [23:52<1:09:23, 20.11s/it][A + hellaswag_kn: 26%|████████████████████████████▍ | 71/277 [24:13<1:09:18, 20.19s/it][A + hellaswag_kn: 26%|████████████████████████████▊ | 72/277 [24:34<1:10:01, 20.49s/it][A + hellaswag_kn: 26%|█████████████████████████████▎ | 73/277 [24:55<1:10:44, 20.81s/it][A + hellaswag_kn: 27%|█████████████████████████████▋ | 74/277 [25:15<1:09:40, 20.59s/it][A + hellaswag_kn: 27%|██████████████████████████████ | 75/277 [25:36<1:09:11, 20.55s/it][A + hellaswag_kn: 27%|██████████████████████████████▍ | 76/277 [25:54<1:06:16, 19.78s/it][A + hellaswag_kn: 28%|██████████████████████████████▊ | 77/277 [26:15<1:07:19, 20.20s/it][A + hellaswag_kn: 28%|███████████████████████████████▎ | 78/277 [26:37<1:08:41, 20.71s/it][A + hellaswag_kn: 29%|███████████████████████████████▋ | 79/277 [26:57<1:07:21, 20.41s/it][A + hellaswag_kn: 29%|████████████████████████████████ | 80/277 [27:16<1:06:25, 20.23s/it][A + hellaswag_kn: 29%|████████████████████████████████▍ | 81/277 [27:37<1:06:42, 20.42s/it][A + hellaswag_kn: 30%|████████████████████████████████▊ | 82/277 [27:58<1:06:43, 20.53s/it][A + hellaswag_kn: 30%|█████████████████████████████████▎ | 83/277 [28:19<1:06:40, 20.62s/it][A + hellaswag_kn: 30%|█████████████████████████████████▋ | 84/277 [28:36<1:03:05, 19.61s/it][A + hellaswag_kn: 31%|██████████████████████████████████ | 85/277 [28:57<1:03:30, 19.85s/it][A + hellaswag_kn: 31%|██████████████████████████████████▍ | 86/277 [29:16<1:02:51, 19.75s/it][A + hellaswag_kn: 31%|██████████████████████████████████▊ | 87/277 [29:37<1:03:33, 20.07s/it][A + hellaswag_kn: 32%|███████████████████████████████████▎ | 88/277 [29:58<1:03:58, 20.31s/it][A + hellaswag_kn: 32%|███████████████████████████████████▋ | 89/277 [30:20<1:05:42, 20.97s/it][A + hellaswag_kn: 32%|████████████████████████████████████ | 90/277 [30:41<1:05:20, 20.96s/it][A + hellaswag_kn: 33%|████████████████████████████████████▍ | 91/277 [31:02<1:04:41, 20.87s/it][A + hellaswag_kn: 33%|████████████████████████████████████▊ | 92/277 [31:23<1:04:35, 20.95s/it][A + hellaswag_kn: 34%|█████████████████████████████████████▎ | 93/277 [31:44<1:04:19, 20.98s/it][A + hellaswag_kn: 34%|█████████████████████████████████████▋ | 94/277 [32:04<1:03:01, 20.67s/it][A + hellaswag_kn: 34%|██████████████████████████████████████ | 95/277 [32:25<1:03:26, 20.91s/it][A + hellaswag_kn: 35%|██████████████████████████████████████▍ | 96/277 [32:46<1:03:01, 20.89s/it][A + hellaswag_kn: 35%|██████████████████████████████████████▊ | 97/277 [33:07<1:02:31, 20.84s/it][A + hellaswag_kn: 35%|███████████████████████████████████████▎ | 98/277 [33:27<1:01:41, 20.68s/it][A + hellaswag_kn: 36%|███████████████████████████████████████▋ | 99/277 [33:48<1:01:18, 20.66s/it][A + hellaswag_kn: 36%|███████████████████████████████████████▋ | 100/277 [34:09<1:01:04, 20.71s/it][A + hellaswag_kn: 36%|████████████████████████████████████████ | 101/277 [34:30<1:00:54, 20.76s/it][A + hellaswag_kn: 37%|████████████████████████████████████████▌ | 102/277 [34:51<1:00:43, 20.82s/it][A + hellaswag_kn: 37%|████████████████████████████████████████▉ | 103/277 [35:12<1:00:52, 20.99s/it][A + hellaswag_kn: 38%|█████████████████████████████████████████▎ | 104/277 [35:33<1:00:12, 20.88s/it][A + hellaswag_kn: 38%|██████████████████████████████████████████▍ | 105/277 [35:53<59:28, 20.75s/it][A + hellaswag_kn: 38%|██████████████████████████████████████████▊ | 106/277 [36:12<57:42, 20.25s/it][A + hellaswag_kn: 39%|███████████████████████████████████████████▎ | 107/277 [36:32<56:49, 20.06s/it][A + hellaswag_kn: 39%|███████████████████████████████████████████▋ | 108/277 [36:52<56:17, 19.99s/it][A + hellaswag_kn: 39%|████████████████████████████████████████████ | 109/277 [37:12<56:24, 20.15s/it][A + hellaswag_kn: 40%|████████████████████████████████████████████▍ | 110/277 [37:33<56:45, 20.39s/it][A + hellaswag_kn: 40%|████████████████████████████████████████████▉ | 111/277 [37:53<55:46, 20.16s/it][A + hellaswag_kn: 40%|█████████████████████████████████████████████▎ | 112/277 [38:13<55:23, 20.14s/it][A + hellaswag_kn: 41%|█████████████████████████████████████████████▋ | 113/277 [38:32<54:24, 19.90s/it][A + hellaswag_kn: 41%|██████████████████████████████████████████████ | 114/277 [38:51<53:03, 19.53s/it][A + hellaswag_kn: 42%|██████████████████████████████████████████████▍ | 115/277 [39:12<54:15, 20.10s/it][A + hellaswag_kn: 42%|██████████████████████████████████████████████▉ | 116/277 [39:31<53:01, 19.76s/it][A + hellaswag_kn: 42%|███████████████████████████████████████████████▎ | 117/277 [39:52<53:26, 20.04s/it][A + hellaswag_kn: 43%|███████████████████████████████████████████████▋ | 118/277 [40:12<53:07, 20.05s/it][A + hellaswag_kn: 43%|████████████████████████████████████████████████ | 119/277 [40:32<52:45, 20.03s/it][A + hellaswag_kn: 43%|████████████████████████████████████████████████▌ | 120/277 [40:50<50:29, 19.30s/it][A + hellaswag_kn: 44%|████████████████████████████████████████████████▉ | 121/277 [41:10<50:55, 19.58s/it][A + hellaswag_kn: 44%|█████████████████████████████████████████████████▎ | 122/277 [41:28<49:48, 19.28s/it][A + hellaswag_kn: 44%|█████████████████████████████████████████████████▋ | 123/277 [41:50<51:07, 19.92s/it][A + hellaswag_kn: 45%|██████████████████████████████████████████████████▏ | 124/277 [42:10<50:46, 19.91s/it][A + hellaswag_kn: 45%|██████████████████████████████████████████████████▌ | 125/277 [42:31<51:31, 20.34s/it][A + hellaswag_kn: 45%|██████████████████████████████████████████████████▉ | 126/277 [42:52<51:39, 20.53s/it][A + hellaswag_kn: 46%|███████████████████████████████████████████████████▎ | 127/277 [43:15<52:51, 21.14s/it][A + hellaswag_kn: 46%|███████████████████████████████████████████████████▊ | 128/277 [43:35<52:13, 21.03s/it][A + hellaswag_kn: 47%|████████████████████████████████████████████████████▏ | 129/277 [43:56<51:54, 21.05s/it][A + hellaswag_kn: 47%|████████████████████████████████████████████████████▌ | 130/277 [44:16<50:28, 20.60s/it][A + hellaswag_kn: 47%|████████████████████████████████████████████████████▉ | 131/277 [44:35<49:15, 20.24s/it][A + hellaswag_kn: 48%|█████████████████████████████████████████████████████▎ | 132/277 [44:58<51:01, 21.11s/it][A + hellaswag_kn: 48%|█████████████████████████████████████████████████████▊ | 133/277 [45:18<49:38, 20.69s/it][A + hellaswag_kn: 48%|██████████████████████████████████████████████████████▏ | 134/277 [45:40<49:59, 20.97s/it][A + hellaswag_kn: 49%|██████████████████████████████████████████████████████▌ | 135/277 [46:01<50:06, 21.17s/it][A + hellaswag_kn: 49%|██████████████████████████████████████████████████████▉ | 136/277 [46:20<48:12, 20.52s/it][A + hellaswag_kn: 49%|███████████████████████████████████████████████████████▍ | 137/277 [46:42<48:32, 20.80s/it][A + hellaswag_kn: 50%|███████████████████████████████████████████████████████▊ | 138/277 [47:04<49:08, 21.21s/it][A + hellaswag_kn: 50%|████████████████████████████████████████████████████████▏ | 139/277 [47:25<48:25, 21.05s/it][A + hellaswag_kn: 51%|████████████████████████████████████████████████████████▌ | 140/277 [47:45<47:21, 20.74s/it][A + hellaswag_kn: 51%|█████████████████████████████████████████████████████████ | 141/277 [48:05<46:41, 20.60s/it][A + hellaswag_kn: 51%|█████████████████████████████████████████████████████████▍ | 142/277 [48:25<45:55, 20.41s/it][A + hellaswag_kn: 52%|█████████████████████████████████████████████████████████▊ | 143/277 [48:46<46:04, 20.63s/it][A + hellaswag_kn: 52%|██████████████████████████████████████████████████████████▏ | 144/277 [49:09<47:08, 21.26s/it][A + hellaswag_kn: 52%|██████████████████████████████████████████████████████████▋ | 145/277 [49:31<47:06, 21.41s/it][A + hellaswag_kn: 53%|███████████████████████████████████████████████████████████ | 146/277 [49:51<46:01, 21.08s/it][A + hellaswag_kn: 53%|███████████████████████████████████████████████████████████▍ | 147/277 [50:12<45:45, 21.12s/it][A + hellaswag_kn: 53%|███████████████████████████████████████████████████████████▊ | 148/277 [50:32<44:16, 20.59s/it][A + hellaswag_kn: 54%|████████████████████████████████████████████████████████████▏ | 149/277 [50:52<43:38, 20.46s/it][A + hellaswag_kn: 54%|████████████████████████████████████████████████████████████▋ | 150/277 [51:13<43:59, 20.79s/it][A + hellaswag_kn: 55%|█████████████████████████████████████████████████████████████ | 151/277 [51:34<43:24, 20.67s/it][A + hellaswag_kn: 55%|█████████████████████████████████████████████████████████████▍ | 152/277 [51:54<42:52, 20.58s/it][A + hellaswag_kn: 55%|█████████████████████████████████████████████████████████████▊ | 153/277 [52:15<42:35, 20.61s/it][A + hellaswag_kn: 56%|██████████████████████████████████████████████████████████████▎ | 154/277 [52:35<41:53, 20.44s/it][A + hellaswag_kn: 56%|██████████████████████████████████████████████████████████████▋ | 155/277 [52:56<41:45, 20.54s/it][A + hellaswag_kn: 56%|███████████████████████████████████████████████████████████████ | 156/277 [53:17<41:59, 20.82s/it][A + hellaswag_kn: 57%|███████████████████████████████████████████████████████████████▍ | 157/277 [53:39<42:08, 21.07s/it][A + hellaswag_kn: 57%|███████████████████████████████████████████████████████████████▉ | 158/277 [53:59<41:04, 20.71s/it][A + hellaswag_kn: 57%|████████████████████████████████████████████████████████████████▎ | 159/277 [54:18<40:18, 20.49s/it][A + hellaswag_kn: 58%|████████████████████████████████████████████████████████████████▋ | 160/277 [54:39<40:02, 20.54s/it][A + hellaswag_kn: 58%|█████████████████████████████████████████████████████████████████ | 161/277 [54:59<39:08, 20.25s/it][A + hellaswag_kn: 58%|█████████████████████████████████████████████████████████████████▌ | 162/277 [55:19<39:03, 20.38s/it][A + hellaswag_kn: 59%|█████████████████████████████████████████████████████████████████▉ | 163/277 [55:42<40:06, 21.11s/it][A + hellaswag_kn: 59%|██████████████████████████████████████████████████████████████████▎ | 164/277 [56:01<38:33, 20.47s/it][A + hellaswag_kn: 60%|██████████████████████████████████████████████████████████████████▋ | 165/277 [56:21<37:56, 20.33s/it][A + hellaswag_kn: 60%|███████████████████████████████████████████████████████████████████ | 166/277 [56:41<37:04, 20.04s/it][A + hellaswag_kn: 60%|███████████████████████████████████████████████████████████████████▌ | 167/277 [56:59<36:05, 19.69s/it][A + hellaswag_kn: 61%|███████████████████████████████████████████████████████████████████▉ | 168/277 [57:20<36:00, 19.82s/it][A + hellaswag_kn: 61%|████████████████████████████████████████████████████████████████████▎ | 169/277 [57:41<36:25, 20.23s/it][A + hellaswag_kn: 61%|████████████████████████████████████████████████████████████████████▋ | 170/277 [58:03<36:59, 20.74s/it][A + hellaswag_kn: 62%|█████████████████████████████████████████████████████████████████████▏ | 171/277 [58:22<36:00, 20.39s/it][A + hellaswag_kn: 62%|█████████████████████████████████████████████████████████████████████▌ | 172/277 [58:45<36:46, 21.02s/it][A + hellaswag_kn: 62%|█████████████████████████████████████████████████████████████████████▉ | 173/277 [59:04<35:24, 20.43s/it][A + hellaswag_kn: 63%|██████████████████████████████████████████████████████████████████████▎ | 174/277 [59:24<35:11, 20.50s/it][A + hellaswag_kn: 63%|██████████████████████████████████████████████████████████████████████▊ | 175/277 [59:44<34:11, 20.12s/it][A + hellaswag_kn: 64%|█████████████████████████████████████████████████████████████████████▉ | 176/277 [1:00:04<33:45, 20.05s/it][A + hellaswag_kn: 64%|██████████████████████████████████████████████████████████████████████▎ | 177/277 [1:00:23<33:16, 19.97s/it][A + hellaswag_kn: 64%|██████████████████████████████████████████████████████████████████████▋ | 178/277 [1:00:41<31:58, 19.38s/it][A + hellaswag_kn: 65%|███████████████████████████████████████████████████████████████████████ | 179/277 [1:01:01<31:55, 19.55s/it][A + hellaswag_kn: 65%|███████████████████████████████████████████████████████████████████████▍ | 180/277 [1:01:22<31:59, 19.78s/it][A + hellaswag_kn: 65%|███████████████████████████████████████████████████████████████████████▉ | 181/277 [1:01:43<32:12, 20.13s/it][A + hellaswag_kn: 66%|████████████████████████████████████████████████████████████████████████▎ | 182/277 [1:02:03<31:58, 20.19s/it][A + hellaswag_kn: 66%|████████████████████████████████████████████████████████████████████████▋ | 183/277 [1:02:24<32:10, 20.53s/it][A + hellaswag_kn: 66%|█████████████████████████████████████████████████████████████████████████ | 184/277 [1:02:46<32:24, 20.91s/it][A + hellaswag_kn: 67%|█████████████████████████████████████████████████████████████████████████▍ | 185/277 [1:03:05<31:17, 20.41s/it][A + hellaswag_kn: 67%|█████████████████████████████████████████████████████████████████████████▊ | 186/277 [1:03:26<31:06, 20.52s/it][A + hellaswag_kn: 68%|██████████████████████████████████████████████████████████████████████████▎ | 187/277 [1:03:45<29:57, 19.97s/it][A + hellaswag_kn: 68%|██████████████████████████████████████████████████████████████████████████▋ | 188/277 [1:04:05<29:35, 19.95s/it][A + hellaswag_kn: 68%|███████████████████████████████████████████████████████████████████████████ | 189/277 [1:04:23<28:45, 19.60s/it][A + hellaswag_kn: 69%|███████████████████████████████████████████████████████████████████████████▍ | 190/277 [1:04:44<28:58, 19.98s/it][A + hellaswag_kn: 69%|███████████████████████████████████████████████████████████████████████████▊ | 191/277 [1:05:05<28:44, 20.06s/it][A + hellaswag_kn: 69%|████████████████████████████████████████████████████████████████████████████▏ | 192/277 [1:05:28<29:45, 21.01s/it][A + hellaswag_kn: 70%|████████████████████████████████████████████████████████████████████████████▋ | 193/277 [1:05:46<28:20, 20.25s/it][A + hellaswag_kn: 70%|█████████████████████████████████████████████████████████████████████████████ | 194/277 [1:06:07<28:25, 20.55s/it][A + hellaswag_kn: 70%|█████████████████████████████████████████████████████████████████████████████▍ | 195/277 [1:06:29<28:21, 20.75s/it][A + hellaswag_kn: 71%|█████████████████████████████████████████████████████████████████████████████▊ | 196/277 [1:06:52<28:53, 21.40s/it][A + hellaswag_kn: 71%|██████████████████████████████████████████████████████████████████████████████▏ | 197/277 [1:07:12<28:16, 21.20s/it][A + hellaswag_kn: 71%|██████████████████████████████████████████████████████████████████████████████▋ | 198/277 [1:07:33<27:53, 21.18s/it][A + hellaswag_kn: 72%|███████████████████████████████████████████████████████████████████████████████ | 199/277 [1:07:54<27:13, 20.95s/it][A + hellaswag_kn: 72%|███████████████████████████████████████████████████████████████████████████████▍ | 200/277 [1:08:14<26:41, 20.80s/it][A + hellaswag_kn: 73%|███████████████████████████████████████████████████████████████████████████████▊ | 201/277 [1:08:34<25:49, 20.39s/it][A + hellaswag_kn: 73%|████████████████████████████████████████████████████████████████████████████████▏ | 202/277 [1:08:53<25:10, 20.14s/it][A + hellaswag_kn: 73%|████████████████████████████████████████████████████████████████████████████████▌ | 203/277 [1:09:11<24:05, 19.53s/it][A + hellaswag_kn: 74%|█████████████████████████████████████████████████████████████████████████████████ | 204/277 [1:09:33<24:28, 20.12s/it][A + hellaswag_kn: 74%|█████████████████████████████████████████████████████████████████████████████████▍ | 205/277 [1:09:53<24:04, 20.07s/it][A + hellaswag_kn: 74%|█████████████████████████████████████████████████████████████████████████████████▊ | 206/277 [1:10:13<23:42, 20.04s/it][A + hellaswag_kn: 75%|██████████████████████████████████████████████████████████████████████████████████▏ | 207/277 [1:10:36<24:33, 21.05s/it][A + hellaswag_kn: 75%|██████████████████████████████████████████████████████████████████████████████████▌ | 208/277 [1:10:57<24:02, 20.90s/it][A + hellaswag_kn: 75%|██████████████████████████████████████████████████████████████████████████████████▉ | 209/277 [1:11:16<23:16, 20.53s/it][A + hellaswag_kn: 76%|███████████████████████████████████████████████████████████████████████████████████▍ | 210/277 [1:11:38<23:23, 20.95s/it][A + hellaswag_kn: 76%|███████████████████████████████████████████████████████████████████████████████████▊ | 211/277 [1:12:01<23:29, 21.35s/it][A + hellaswag_kn: 77%|████████████████████████████████████████████████████████████████████████████████████▏ | 212/277 [1:12:19<22:17, 20.58s/it][A + hellaswag_kn: 77%|████████████████████████████████████████████████████████████████████████████████████▌ | 213/277 [1:12:39<21:45, 20.39s/it][A + hellaswag_kn: 77%|████████████████████████████████████████████████████████████████████████████████████▉ | 214/277 [1:12:59<21:18, 20.29s/it][A + hellaswag_kn: 78%|█████████████████████████████████████████████████████████████████████████████████████▍ | 215/277 [1:13:22<21:44, 21.04s/it][A + hellaswag_kn: 78%|█████████████████████████████████████████████████████████████████████████████████████▊ | 216/277 [1:13:41<20:46, 20.43s/it][A + hellaswag_kn: 78%|██████████████████████████████████████████████████████████████████████████████████████▏ | 217/277 [1:14:02<20:24, 20.41s/it][A + hellaswag_kn: 79%|██████████████████████████████████████████████████████████████████████████████████████▌ | 218/277 [1:14:22<20:00, 20.35s/it][A + hellaswag_kn: 79%|██████████████████████████████████████████████████████████████████████████████████████▉ | 219/277 [1:14:42<19:33, 20.23s/it][A + hellaswag_kn: 79%|███████████████████████████████████████████████████████████████████████████████████████▎ | 220/277 [1:15:02<19:04, 20.08s/it][A + hellaswag_kn: 80%|███████████████████████████████████████████████████████████████████████████████████████▊ | 221/277 [1:15:22<18:49, 20.17s/it][A + hellaswag_kn: 80%|████████████████████████████████████████████████████████████████████████████████████████▏ | 222/277 [1:15:41<18:08, 19.78s/it][A + hellaswag_kn: 81%|████████████████████████████████████████████████████████████████████████████████████████▌ | 223/277 [1:16:02<18:15, 20.28s/it][A + hellaswag_kn: 81%|████████████████████████████████████████████████████████████████████████████████████████▉ | 224/277 [1:16:22<17:52, 20.23s/it][A + hellaswag_kn: 81%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 225/277 [1:16:43<17:36, 20.31s/it][A + hellaswag_kn: 82%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 226/277 [1:17:05<17:43, 20.85s/it][A + hellaswag_kn: 82%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 227/277 [1:17:25<17:05, 20.51s/it][A + hellaswag_kn: 82%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 228/277 [1:17:46<16:58, 20.78s/it][A + hellaswag_kn: 83%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 229/277 [1:18:06<16:27, 20.56s/it][A + hellaswag_kn: 83%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 230/277 [1:18:27<16:11, 20.67s/it][A + hellaswag_kn: 83%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 231/277 [1:18:47<15:35, 20.33s/it][A + hellaswag_kn: 84%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 232/277 [1:19:06<15:04, 20.10s/it][A + hellaswag_kn: 84%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 233/277 [1:19:28<15:08, 20.66s/it][A + hellaswag_kn: 84%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 234/277 [1:19:48<14:38, 20.43s/it][A + hellaswag_kn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 235/277 [1:20:09<14:20, 20.49s/it][A + hellaswag_kn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 236/277 [1:20:29<13:57, 20.42s/it][A + hellaswag_kn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 237/277 [1:20:49<13:37, 20.44s/it][A + hellaswag_kn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 238/277 [1:21:10<13:23, 20.61s/it][A + hellaswag_kn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 239/277 [1:21:31<12:59, 20.53s/it][A + hellaswag_kn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 240/277 [1:21:51<12:41, 20.57s/it][A + hellaswag_kn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 241/277 [1:22:12<12:20, 20.58s/it][A + hellaswag_kn: 87%|████████████████████████████████████████████████████████████████████████████████████████████████ | 242/277 [1:22:31<11:41, 20.05s/it][A + hellaswag_kn: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 243/277 [1:22:51<11:25, 20.16s/it][A + hellaswag_kn: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 244/277 [1:23:12<11:13, 20.41s/it][A + hellaswag_kn: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 245/277 [1:23:34<11:05, 20.79s/it][A + hellaswag_kn: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 246/277 [1:23:55<10:47, 20.88s/it][A + hellaswag_kn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 247/277 [1:24:14<10:12, 20.43s/it][A + hellaswag_kn: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/277 [1:24:35<09:53, 20.46s/it][A + hellaswag_kn: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 249/277 [1:24:56<09:37, 20.62s/it][A + hellaswag_kn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 250/277 [1:25:15<09:02, 20.09s/it][A + hellaswag_kn: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 251/277 [1:25:36<08:51, 20.44s/it][A + hellaswag_kn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 252/277 [1:25:56<08:24, 20.19s/it][A + hellaswag_kn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 253/277 [1:26:16<08:07, 20.33s/it][A + hellaswag_kn: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 254/277 [1:26:35<07:33, 19.73s/it][A + hellaswag_kn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 255/277 [1:26:55<07:21, 20.09s/it][A + hellaswag_kn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 256/277 [1:27:17<07:12, 20.61s/it][A + hellaswag_kn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 257/277 [1:27:37<06:46, 20.31s/it][A + hellaswag_kn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 258/277 [1:27:58<06:29, 20.50s/it][A + hellaswag_kn: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 259/277 [1:28:18<06:05, 20.30s/it][A + hellaswag_kn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 260/277 [1:28:39<05:48, 20.51s/it][A + hellaswag_kn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 261/277 [1:29:00<05:32, 20.79s/it][A + hellaswag_kn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 262/277 [1:29:20<05:09, 20.64s/it][A + hellaswag_kn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 263/277 [1:29:42<04:51, 20.80s/it][A + hellaswag_kn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 264/277 [1:30:04<04:35, 21.19s/it][A + hellaswag_kn: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 265/277 [1:30:23<04:07, 20.66s/it][A + hellaswag_kn: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/277 [1:30:43<03:44, 20.41s/it][A + hellaswag_kn: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/277 [1:31:03<03:22, 20.24s/it][A + hellaswag_kn: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 268/277 [1:31:24<03:03, 20.41s/it][A + hellaswag_kn: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 269/277 [1:31:44<02:42, 20.34s/it][A + hellaswag_kn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 270/277 [1:32:05<02:23, 20.56s/it][A + hellaswag_kn: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 271/277 [1:32:26<02:03, 20.63s/it][A + hellaswag_kn: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 272/277 [1:32:46<01:42, 20.40s/it][A + hellaswag_kn: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 273/277 [1:33:06<01:21, 20.36s/it][A + hellaswag_kn: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 274/277 [1:33:27<01:02, 20.70s/it][A + hellaswag_kn: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 275/277 [1:33:47<00:40, 20.34s/it][A + hellaswag_kn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 276/277 [1:34:07<00:20, 20.31s/it][A + hellaswag_kn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277/277 [1:34:27<00:00, 20.08s/it][A hellaswag_kn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277/277 [1:34:27<00:00, 20.46s/it] +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_kn_acc 0.2575039494470774 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_kn_acc_norm 0.2967727375310314 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 00:05:56,746 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 00:05:56,746 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:56,870 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 00:05:56,870 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:56,994 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 00:05:56,994 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:57,119 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 00:05:57,119 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 00:05:57,119 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 00:05:57,245 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 00:05:57,245 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_kn_acc'} +2024-05-30 00:05:57,308 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 00:05:57,308 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1171, 'value': 0.2575039494470774} +2024-05-30 00:05:57,371 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 00:05:57,988 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 00:05:57,988 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:58,110 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 00:05:58,110 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:58,231 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 00:05:58,231 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:58,352 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 00:05:58,353 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 00:05:58,353 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 00:05:58,475 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 00:05:58,475 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_kn_acc_norm'} +2024-05-30 00:05:58,537 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 00:05:58,537 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1172, 'value': 0.2967727375310314} +2024-05-30 00:05:58,598 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 38%|████████████████████████████████████████▉ | 47/124 [17:18:27<80:54:54, 3783.05s/it]['hellaswag_ml'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 00:05:59,242 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 00:05:59,242 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:59,370 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 00:05:59,370 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:59,497 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 00:05:59,497 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 00:05:59,624 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 00:05:59,625 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 00:05:59,625 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ml'} +2024-05-30 00:05:59,753 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_ml task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:07, 7.46s/ examples][A + Generating validation split: 1963 examples [00:07, 367.45 examples/s][A + Generating validation split: 3356 examples [00:07, 720.73 examples/s][A + Generating validation split: 5000 examples [00:07, 1280.17 examples/s][A + Generating validation split: 7000 examples [00:07, 2161.52 examples/s][A + Generating validation split: 8933 examples [00:08, 3212.55 examples/s][A Generating validation split: 8933 examples [00:08, 1109.05 examples/s] +Loaded 8933 examples +Running loglikelihood requests + + hellaswag_ml: 0%| | 0/280 [00:00<?, ?it/s][A + hellaswag_ml: 0%|▍ | 1/280 [00:21<1:39:57, 21.50s/it][A + hellaswag_ml: 1%|▊ | 2/280 [00:41<1:34:34, 20.41s/it][A + hellaswag_ml: 1%|█▏ | 3/280 [01:01<1:34:32, 20.48s/it][A + hellaswag_ml: 1%|█▌ | 4/280 [01:20<1:31:52, 19.97s/it][A + hellaswag_ml: 2%|██ | 5/280 [01:40<1:30:39, 19.78s/it][A + hellaswag_ml: 2%|██▍ | 6/280 [01:59<1:29:22, 19.57s/it][A + hellaswag_ml: 2%|██▊ | 7/280 [02:19<1:29:33, 19.68s/it][A + hellaswag_ml: 3%|███▏ | 8/280 [02:37<1:27:07, 19.22s/it][A + hellaswag_ml: 3%|███▌ | 9/280 [02:55<1:25:08, 18.85s/it][A + hellaswag_ml: 4%|███▉ | 10/280 [03:13<1:23:58, 18.66s/it][A + hellaswag_ml: 4%|████▎ | 11/280 [03:35<1:27:39, 19.55s/it][A + hellaswag_ml: 4%|████▊ | 12/280 [03:55<1:28:09, 19.74s/it][A + hellaswag_ml: 5%|█████▏ | 13/280 [04:15<1:28:34, 19.90s/it][A + hellaswag_ml: 5%|█████▌ | 14/280 [04:36<1:28:37, 19.99s/it][A + hellaswag_ml: 5%|█████▉ | 15/280 [04:54<1:26:33, 19.60s/it][A + hellaswag_ml: 6%|██████▎ | 16/280 [05:15<1:27:07, 19.80s/it][A + hellaswag_ml: 6%|██████▋ | 17/280 [05:34<1:26:46, 19.80s/it][A + hellaswag_ml: 6%|███████▏ | 18/280 [05:54<1:26:37, 19.84s/it][A + hellaswag_ml: 7%|███████▌ | 19/280 [06:14<1:26:31, 19.89s/it][A + hellaswag_ml: 7%|███████▉ | 20/280 [06:35<1:26:41, 20.01s/it][A + hellaswag_ml: 8%|████████▎ | 21/280 [06:53<1:24:53, 19.67s/it][A + hellaswag_ml: 8%|████████▋ | 22/280 [07:15<1:26:35, 20.14s/it][A + hellaswag_ml: 8%|█████████ | 23/280 [07:37<1:29:26, 20.88s/it][A + hellaswag_ml: 9%|█████████▌ | 24/280 [07:57<1:27:05, 20.41s/it][A + hellaswag_ml: 9%|█████████▉ | 25/280 [08:16<1:25:46, 20.18s/it][A + hellaswag_ml: 9%|██████████▎ | 26/280 [08:35<1:23:38, 19.76s/it][A + hellaswag_ml: 10%|██████████▋ | 27/280 [08:55<1:24:00, 19.92s/it][A + hellaswag_ml: 10%|███████████ | 28/280 [09:17<1:25:50, 20.44s/it][A + hellaswag_ml: 10%|███████████▍ | 29/280 [09:34<1:21:44, 19.54s/it][A + hellaswag_ml: 11%|███████████▉ | 30/280 [09:55<1:22:05, 19.70s/it][A + hellaswag_ml: 11%|████████████▎ | 31/280 [10:15<1:23:08, 20.03s/it][A + hellaswag_ml: 11%|████████████▋ | 32/280 [10:36<1:23:13, 20.13s/it][A + hellaswag_ml: 12%|█████████████ | 33/280 [10:56<1:22:42, 20.09s/it][A + hellaswag_ml: 12%|█████████████▍ | 34/280 [11:16<1:22:45, 20.18s/it][A + hellaswag_ml: 12%|█████████████▉ | 35/280 [11:38<1:24:03, 20.59s/it][A + hellaswag_ml: 13%|██████████████▎ | 36/280 [11:56<1:20:43, 19.85s/it][A + hellaswag_ml: 13%|██████████████▋ | 37/280 [12:19<1:23:54, 20.72s/it][A + hellaswag_ml: 14%|███████████████ | 38/280 [12:38<1:22:36, 20.48s/it][A + hellaswag_ml: 14%|███████████████▍ | 39/280 [12:59<1:21:56, 20.40s/it][A + hellaswag_ml: 14%|███████████████▊ | 40/280 [13:17<1:19:30, 19.88s/it][A + hellaswag_ml: 15%|████████████████▎ | 41/280 [13:36<1:18:16, 19.65s/it][A + hellaswag_ml: 15%|████████████████▋ | 42/280 [13:55<1:16:37, 19.32s/it][A + hellaswag_ml: 15%|█████████████████ | 43/280 [14:15<1:17:30, 19.62s/it][A + hellaswag_ml: 16%|█████████████████▍ | 44/280 [14:35<1:16:59, 19.58s/it][A + hellaswag_ml: 16%|█████████████████▊ | 45/280 [14:54<1:16:36, 19.56s/it][A + hellaswag_ml: 16%|██████████████████▏ | 46/280 [15:14<1:16:50, 19.70s/it][A + hellaswag_ml: 17%|██████████████████▋ | 47/280 [15:34<1:15:56, 19.55s/it][A + hellaswag_ml: 17%|███████████████████ | 48/280 [15:52<1:14:09, 19.18s/it][A + hellaswag_ml: 18%|███████████████████▍ | 49/280 [16:11<1:13:41, 19.14s/it][A + hellaswag_ml: 18%|███████████████████▊ | 50/280 [16:29<1:12:12, 18.84s/it][A + hellaswag_ml: 18%|████████████████████▏ | 51/280 [16:50<1:14:16, 19.46s/it][A + hellaswag_ml: 19%|████████████████████▌ | 52/280 [17:10<1:14:59, 19.74s/it][A + hellaswag_ml: 19%|█████████████████████ | 53/280 [17:30<1:15:09, 19.86s/it][A + hellaswag_ml: 19%|█████████████████████▍ | 54/280 [17:51<1:15:54, 20.15s/it][A + hellaswag_ml: 20%|█████████████████████▊ | 55/280 [18:10<1:13:48, 19.68s/it][A + hellaswag_ml: 20%|██████████████████████▏ | 56/280 [18:29<1:13:02, 19.56s/it][A + hellaswag_ml: 20%|██████████████████████▌ | 57/280 [18:49<1:12:35, 19.53s/it][A + hellaswag_ml: 21%|██████████████████████▉ | 58/280 [19:08<1:11:33, 19.34s/it][A + hellaswag_ml: 21%|███████████████████████▍ | 59/280 [19:26<1:10:42, 19.20s/it][A + hellaswag_ml: 21%|███████████████████████▊ | 60/280 [19:48<1:12:44, 19.84s/it][A + hellaswag_ml: 22%|████████████████████████▏ | 61/280 [20:08<1:12:22, 19.83s/it][A + hellaswag_ml: 22%|████████████████████████▌ | 62/280 [20:28<1:12:33, 19.97s/it][A + hellaswag_ml: 22%|████████████████████████▉ | 63/280 [20:48<1:12:58, 20.18s/it][A + hellaswag_ml: 23%|█████████████████████████▎ | 64/280 [21:09<1:13:09, 20.32s/it][A + hellaswag_ml: 23%|█████████████████████████▊ | 65/280 [21:29<1:12:19, 20.19s/it][A + hellaswag_ml: 24%|██████████████████████████▏ | 66/280 [21:46<1:08:29, 19.20s/it][A + hellaswag_ml: 24%|██████████████████████████▌ | 67/280 [22:07<1:10:01, 19.72s/it][A + hellaswag_ml: 24%|██████████████████████████▉ | 68/280 [22:27<1:09:47, 19.75s/it][A + hellaswag_ml: 25%|███████████████████████████▎ | 69/280 [22:48<1:11:24, 20.30s/it][A + hellaswag_ml: 25%|███████████████████████████▊ | 70/280 [23:07<1:09:01, 19.72s/it][A + hellaswag_ml: 25%|████████████████████████████▏ | 71/280 [23:26<1:08:19, 19.62s/it][A + hellaswag_ml: 26%|████████████████████████████▌ | 72/280 [23:46<1:08:06, 19.65s/it][A + hellaswag_ml: 26%|████████████████████████████▉ | 73/280 [24:04<1:06:04, 19.15s/it][A + hellaswag_ml: 26%|█████████████████████████████▎ | 74/280 [24:24<1:06:39, 19.41s/it][A + hellaswag_ml: 27%|█████████████████████████████▋ | 75/280 [24:45<1:07:50, 19.85s/it][A + hellaswag_ml: 27%|██████████████████████████████▏ | 76/280 [25:05<1:08:16, 20.08s/it][A + hellaswag_ml: 28%|██████████████████████████████▌ | 77/280 [25:25<1:07:16, 19.89s/it][A + hellaswag_ml: 28%|██████████████████████████████▉ | 78/280 [25:46<1:08:33, 20.36s/it][A + hellaswag_ml: 28%|███████████████████████████████▎ | 79/280 [26:06<1:07:37, 20.19s/it][A + hellaswag_ml: 29%|███████████████████████████████▋ | 80/280 [26:28<1:09:10, 20.75s/it][A + hellaswag_ml: 29%|████████████████████████████████ | 81/280 [26:47<1:07:20, 20.30s/it][A + hellaswag_ml: 29%|████████████████████████████████▌ | 82/280 [27:07<1:06:43, 20.22s/it][A + hellaswag_ml: 30%|████████████████████████████████▉ | 83/280 [27:26<1:04:53, 19.76s/it][A + hellaswag_ml: 30%|█████████████████████████████████▎ | 84/280 [27:45<1:03:34, 19.46s/it][A + hellaswag_ml: 30%|█████████████████████████████████▋ | 85/280 [28:02<1:01:06, 18.80s/it][A + hellaswag_ml: 31%|██████████████████████████████████ | 86/280 [28:23<1:02:37, 19.37s/it][A + hellaswag_ml: 31%|██████████████████████████████████▍ | 87/280 [28:44<1:04:00, 19.90s/it][A + hellaswag_ml: 31%|██████████████████████████████████▉ | 88/280 [29:03<1:03:09, 19.74s/it][A + hellaswag_ml: 32%|███████████████████████████████████▎ | 89/280 [29:22<1:01:59, 19.47s/it][A + hellaswag_ml: 32%|███████████████████████████████████▋ | 90/280 [29:41<1:01:13, 19.33s/it][A + hellaswag_ml: 32%|████████████████████████████████████ | 91/280 [30:01<1:01:23, 19.49s/it][A + hellaswag_ml: 33%|████████████████████████████████████▍ | 92/280 [30:21<1:01:53, 19.75s/it][A + hellaswag_ml: 33%|████████████████████████████████████▊ | 93/280 [30:42<1:02:32, 20.07s/it][A + hellaswag_ml: 34%|█████████████████████████████████████▎ | 94/280 [31:03<1:03:00, 20.33s/it][A + hellaswag_ml: 34%|█████████████████████████████████████▋ | 95/280 [31:23<1:02:01, 20.11s/it][A + hellaswag_ml: 34%|██████████████████████████████████████ | 96/280 [31:43<1:02:14, 20.30s/it][A + hellaswag_ml: 35%|██████████████████████████████████████▍ | 97/280 [32:04<1:02:34, 20.52s/it][A + hellaswag_ml: 35%|██████████████████████████████████████▊ | 98/280 [32:26<1:03:05, 20.80s/it][A + hellaswag_ml: 35%|███████████████████████████████████████▏ | 99/280 [32:44<1:00:45, 20.14s/it][A + hellaswag_ml: 36%|████████████████████████████████████████ | 100/280 [33:03<58:41, 19.56s/it][A + hellaswag_ml: 36%|████████████████████████████████████████▍ | 101/280 [33:22<58:21, 19.56s/it][A + hellaswag_ml: 36%|████████████████████████████████████████▊ | 102/280 [33:41<57:35, 19.41s/it][A + hellaswag_ml: 37%|█████████████████████████████████████████▏ | 103/280 [34:02<58:27, 19.82s/it][A + hellaswag_ml: 37%|█████████████████████████████████████████▌ | 104/280 [34:21<57:43, 19.68s/it][A + hellaswag_ml: 38%|██████████████████████████████████████████ | 105/280 [34:42<58:21, 20.01s/it][A + hellaswag_ml: 38%|██████████████████████████████████████████▍ | 106/280 [35:02<58:08, 20.05s/it][A + hellaswag_ml: 38%|██████████████████████████████████████████▊ | 107/280 [35:23<58:18, 20.22s/it][A + hellaswag_ml: 39%|███████████████████████████████████████████▏ | 108/280 [35:43<57:26, 20.04s/it][A + hellaswag_ml: 39%|███████████████████████████████████████████▌ | 109/280 [36:05<59:28, 20.87s/it][A + hellaswag_ml: 39%|████████████████████████████████████████████ | 110/280 [36:25<58:18, 20.58s/it][A + hellaswag_ml: 40%|████████████████████████████████████████████▍ | 111/280 [36:43<55:54, 19.85s/it][A + hellaswag_ml: 40%|████████████████████████████████████████████▊ | 112/280 [37:04<56:03, 20.02s/it][A + hellaswag_ml: 40%|█████████████████████████████████████████████▏ | 113/280 [37:24<55:32, 19.95s/it][A + hellaswag_ml: 41%|█████████████████████████████████████████████▌ | 114/280 [37:43<54:44, 19.79s/it][A + hellaswag_ml: 41%|██████████████████████████████████████████████ | 115/280 [38:04<55:24, 20.15s/it][A + hellaswag_ml: 41%|██████████████████████████████████████████████▍ | 116/280 [38:24<55:12, 20.20s/it][A + hellaswag_ml: 42%|██████████████████████████████████████████████▊ | 117/280 [38:43<53:52, 19.83s/it][A + hellaswag_ml: 42%|███████████████████████████████████████████████▏ | 118/280 [39:04<54:05, 20.03s/it][A + hellaswag_ml: 42%|███████████████████████████████████████████████▌ | 119/280 [39:24<53:43, 20.02s/it][A + hellaswag_ml: 43%|████████████████████████████████████████████████ | 120/280 [39:44<53:41, 20.13s/it][A + hellaswag_ml: 43%|████████████████████████████████████████████████▍ | 121/280 [40:05<54:10, 20.44s/it][A + hellaswag_ml: 44%|████████████████████████████████████████████████▊ | 122/280 [40:25<53:05, 20.16s/it][A + hellaswag_ml: 44%|█████████████████████████████████████████████████▏ | 123/280 [40:44<52:09, 19.93s/it][A + hellaswag_ml: 44%|█████████████████████████████████████████████████▌ | 124/280 [41:04<51:18, 19.74s/it][A + hellaswag_ml: 45%|██████████████████████████████████████████████████ | 125/280 [41:23<50:45, 19.65s/it][A + hellaswag_ml: 45%|██████████████████████████████████████████████████▍ | 126/280 [41:43<50:36, 19.72s/it][A + hellaswag_ml: 45%|██████████████████████████████████████████████████▊ | 127/280 [42:01<49:26, 19.39s/it][A + hellaswag_ml: 46%|███████████████████████████████████████████████████▏ | 128/280 [42:20<48:33, 19.17s/it][A + hellaswag_ml: 46%|███████████████████████████████████████████████████▌ | 129/280 [42:39<47:39, 18.94s/it][A + hellaswag_ml: 46%|████████████████████████████████████████████████████ | 130/280 [42:59<48:13, 19.29s/it][A + hellaswag_ml: 47%|████████████████████████████████████████████████████▍ | 131/280 [43:18<47:59, 19.32s/it][A + hellaswag_ml: 47%|████████████████████████████████████████████████████▊ | 132/280 [43:37<47:25, 19.23s/it][A + hellaswag_ml: 48%|█████████████████████████████████████████████████████▏ | 133/280 [43:56<47:10, 19.26s/it][A + hellaswag_ml: 48%|█████████████████████████████████████████████████████▌ | 134/280 [44:17<47:50, 19.66s/it][A + hellaswag_ml: 48%|██████████████████████████████████████████████████████ | 135/280 [44:36<46:50, 19.38s/it][A + hellaswag_ml: 49%|██████████████████████████████████████████████████████▍ | 136/280 [44:56<47:24, 19.75s/it][A + hellaswag_ml: 49%|██████████████████████████████████████████████████████▊ | 137/280 [45:17<47:23, 19.88s/it][A + hellaswag_ml: 49%|███████████████████████████████████████████████████████▏ | 138/280 [45:35<46:03, 19.46s/it][A + hellaswag_ml: 50%|███████████████████████████████████████████████████████▌ | 139/280 [45:56<46:44, 19.89s/it][A + hellaswag_ml: 50%|████████████████████████████████████████████████████████ | 140/280 [46:14<45:24, 19.46s/it][A + hellaswag_ml: 50%|████████████████████████████████████████████████████████▍ | 141/280 [46:36<46:30, 20.07s/it][A + hellaswag_ml: 51%|████████████████████████████████████████████████████████▊ | 142/280 [46:55<45:31, 19.80s/it][A + hellaswag_ml: 51%|█████████████████████████████████████████████████████████▏ | 143/280 [47:14<44:48, 19.62s/it][A + hellaswag_ml: 51%|█████████████████████████████████████████████████████████▌ | 144/280 [47:35<45:25, 20.04s/it][A + hellaswag_ml: 52%|██████████████████████████████████████████████████████████ | 145/280 [47:55<44:38, 19.84s/it][A + hellaswag_ml: 52%|██████████████████████████████████████████████████████████▍ | 146/280 [48:13<43:06, 19.30s/it][A + hellaswag_ml: 52%|██████████████████████████████████████████████████████████▊ | 147/280 [48:31<42:15, 19.07s/it][A + hellaswag_ml: 53%|███████████████████████████████████████████████████████████▏ | 148/280 [48:49<40:53, 18.59s/it][A + hellaswag_ml: 53%|███████████████████████████████████████████████████████████▌ | 149/280 [49:09<41:39, 19.08s/it][A + hellaswag_ml: 54%|████████████████████████████████████████████████████████████ | 150/280 [49:29<41:49, 19.30s/it][A + hellaswag_ml: 54%|████████████████████████████████████████████████████████████▍ | 151/280 [49:49<42:18, 19.68s/it][A + hellaswag_ml: 54%|████████████████████████████████████████████████████████████▊ | 152/280 [50:08<41:37, 19.51s/it][A + hellaswag_ml: 55%|█████████████████████████████████████████████████████████████▏ | 153/280 [50:27<40:55, 19.33s/it][A + hellaswag_ml: 55%|█████████████████████████████████████████████████████████████▌ | 154/280 [50:46<40:29, 19.28s/it][A + hellaswag_ml: 55%|██████████████████████████████████████████████████████████████ | 155/280 [51:06<40:32, 19.46s/it][A + hellaswag_ml: 56%|██████████████████████████████████████████████████████████████▍ | 156/280 [51:26<40:35, 19.64s/it][A + hellaswag_ml: 56%|██████████████████████████████████████████████████████████████▊ | 157/280 [51:47<40:50, 19.92s/it][A + hellaswag_ml: 56%|███████████████████████████████████████████████████████████████▏ | 158/280 [52:04<38:48, 19.09s/it][A + hellaswag_ml: 57%|███████████████████████████████████████████████████████████████▌ | 159/280 [52:24<38:55, 19.30s/it][A + hellaswag_ml: 57%|████████████████████████████████████████████████████████████████ | 160/280 [52:43<38:43, 19.36s/it][A + hellaswag_ml: 57%|████████████████████████████████████████████████████████████████▍ | 161/280 [53:05<39:58, 20.16s/it][A + hellaswag_ml: 58%|████████████████████████████████████████████████████████████████▊ | 162/280 [53:27<40:15, 20.47s/it][A + hellaswag_ml: 58%|█████████████████████████████████████████████████████████████████▏ | 163/280 [53:46<39:12, 20.11s/it][A + hellaswag_ml: 59%|█████████████████████████████████████████████████████████████████▌ | 164/280 [54:06<39:07, 20.24s/it][A + hellaswag_ml: 59%|██████████████████████████████████████████████████████████████████ | 165/280 [54:25<37:55, 19.79s/it][A + hellaswag_ml: 59%|██████████████████████████████████████████████████████████████████▍ | 166/280 [54:44<37:18, 19.63s/it][A + hellaswag_ml: 60%|██████████████████████████████████████████████████████████████████▊ | 167/280 [55:04<36:43, 19.50s/it][A + hellaswag_ml: 60%|███████████████████████████████████████████████████████████████████▏ | 168/280 [55:23<36:07, 19.35s/it][A + hellaswag_ml: 60%|███████████████████████████████████████████████████████████████████▌ | 169/280 [55:43<36:34, 19.77s/it][A + hellaswag_ml: 61%|████████████████████████████████████████████████████████████████████ | 170/280 [56:03<35:56, 19.61s/it][A + hellaswag_ml: 61%|████████████████████████████████████████████████████████████████████▍ | 171/280 [56:22<35:29, 19.53s/it][A + hellaswag_ml: 61%|████████████████████████████████████████████████████████████████████▊ | 172/280 [56:40<34:24, 19.11s/it][A + hellaswag_ml: 62%|█████████████████████████████████████████████████████████████████████▏ | 173/280 [57:01<35:04, 19.67s/it][A + hellaswag_ml: 62%|█████████████████████████████████████████████████████████████████████▌ | 174/280 [57:20<34:13, 19.37s/it][A + hellaswag_ml: 62%|██████████████████████████████████████████████████████████████████████ | 175/280 [57:40<34:33, 19.75s/it][A + hellaswag_ml: 63%|██████████████████████████████████████████████████████████████████████▍ | 176/280 [57:59<33:48, 19.50s/it][A + hellaswag_ml: 63%|██████████████████████████████████████████████████████████████████████▊ | 177/280 [58:22<34:57, 20.36s/it][A + hellaswag_ml: 64%|███████████████████████████████████████████████████████████████████████▏ | 178/280 [58:43<35:06, 20.65s/it][A + hellaswag_ml: 64%|███████████████████████████████████████████████████████████████████████▌ | 179/280 [59:02<34:05, 20.25s/it][A + hellaswag_ml: 64%|████████████████████████████████████████████████████████████████████████ | 180/280 [59:21<33:07, 19.87s/it][A + hellaswag_ml: 65%|████████████████████████████████████████████████████████████████████████▍ | 181/280 [59:40<32:16, 19.56s/it][A + hellaswag_ml: 65%|███████████████████████████████████████████████████████████████████████▌ | 182/280 [1:00:00<32:19, 19.79s/it][A + hellaswag_ml: 65%|███████████████████████████████████████████████████████████████████████▉ | 183/280 [1:00:19<31:15, 19.34s/it][A + hellaswag_ml: 66%|████████████████████████████████████████████████████████████████████████▎ | 184/280 [1:00:41<32:22, 20.23s/it][A + hellaswag_ml: 66%|████████████████████████████████████████████████████████████████████████▋ | 185/280 [1:01:01<32:08, 20.30s/it][A + hellaswag_ml: 66%|█████████████████████████████████████████████████████████████████████████ | 186/280 [1:01:23<32:17, 20.62s/it][A + hellaswag_ml: 67%|█████████████████████████████████████████████████████████████████████████▍ | 187/280 [1:01:41<30:39, 19.78s/it][A + hellaswag_ml: 67%|█████████████████████████████████████████████████████████████████████████▊ | 188/280 [1:02:00<29:56, 19.53s/it][A + hellaswag_ml: 68%|██████████████████████████████████████████████████████████████████████████▎ | 189/280 [1:02:20<30:03, 19.82s/it][A + hellaswag_ml: 68%|██████████████████████████████████████████████████████████████████████████▋ | 190/280 [1:02:38<28:49, 19.21s/it][A + hellaswag_ml: 68%|███████████████████████████████████████████████████████████████████████████ | 191/280 [1:02:57<28:30, 19.22s/it][A + hellaswag_ml: 69%|███████████████████████████████████████████████████████████████████████████▍ | 192/280 [1:03:17<28:21, 19.33s/it][A + hellaswag_ml: 69%|███████████████████████████████████████████████████████████████████████████▊ | 193/280 [1:03:39<29:05, 20.06s/it][A + hellaswag_ml: 69%|████████████████████████████████████████████████████████████████████████████▏ | 194/280 [1:03:59<28:47, 20.09s/it][A + hellaswag_ml: 70%|████████████████████████████████████████████████████████████████████████████▌ | 195/280 [1:04:19<28:33, 20.16s/it][A + hellaswag_ml: 70%|█████████████████████████████████████████████████████████████████████████████ | 196/280 [1:04:38<27:40, 19.76s/it][A + hellaswag_ml: 70%|█████████████████████████████████████████████████████████████████████████████▍ | 197/280 [1:04:58<27:28, 19.86s/it][A + hellaswag_ml: 71%|█████████████████████████████████████████████████████████████████████████████▊ | 198/280 [1:05:18<27:03, 19.80s/it][A + hellaswag_ml: 71%|██████████████████████████████████████████████████████████████████████████████▏ | 199/280 [1:05:40<27:45, 20.56s/it][A + hellaswag_ml: 71%|██████████████████████████████████████████████████████████████████████████████▌ | 200/280 [1:05:59<26:42, 20.03s/it][A + hellaswag_ml: 72%|██████████████████████████████████████████████████████████████████████████████▉ | 201/280 [1:06:19<26:30, 20.13s/it][A + hellaswag_ml: 72%|███████████████████████████████████████████████████████████████████████████████▎ | 202/280 [1:06:39<26:12, 20.15s/it][A + hellaswag_ml: 72%|███████████████████████████████████████████████████████████████████████████████▊ | 203/280 [1:07:01<26:19, 20.51s/it][A + hellaswag_ml: 73%|████████████████████████████████████████████████████████████████████████████████▏ | 204/280 [1:07:20<25:41, 20.28s/it][A + hellaswag_ml: 73%|████████████████████████████████████████████████████████████████████████████████▌ | 205/280 [1:07:41<25:31, 20.41s/it][A + hellaswag_ml: 74%|████████████████████████████████████████████████████████████████████████████████▉ | 206/280 [1:08:00<24:38, 19.98s/it][A + hellaswag_ml: 74%|█████████████████████████████████████████████████████████████████████████████████▎ | 207/280 [1:08:21<24:39, 20.27s/it][A + hellaswag_ml: 74%|█████████████████████████████████████████████████████████████████████████████████▋ | 208/280 [1:08:40<23:52, 19.90s/it][A + hellaswag_ml: 75%|██████████████████████████████████████████████████████████████████████████████████ | 209/280 [1:08:59<23:02, 19.48s/it][A + hellaswag_ml: 75%|██████████████████████████████████████████████████████████████████████████████████▌ | 210/280 [1:09:19<22:58, 19.69s/it][A + hellaswag_ml: 75%|██████████████████████████████████████████████████████████████████████████████████▉ | 211/280 [1:09:38<22:36, 19.66s/it][A + hellaswag_ml: 76%|███████████████████████████████████████████████████████████████████████████████████▎ | 212/280 [1:09:58<22:22, 19.74s/it][A + hellaswag_ml: 76%|███████████████████████████████████████████████████████████████████████████████████▋ | 213/280 [1:10:19<22:20, 20.01s/it][A + hellaswag_ml: 76%|████████████████████████████████████████████████████████████████████████████████████ | 214/280 [1:10:39<21:53, 19.90s/it][A + hellaswag_ml: 77%|████████████████████████████████████████████████████████████████████████████████████▍ | 215/280 [1:10:59<21:48, 20.14s/it][A + hellaswag_ml: 77%|████████████████████████████████████████████████████████████████████████████████████▊ | 216/280 [1:11:18<21:11, 19.87s/it][A + hellaswag_ml: 78%|█████████████████████████████████████████████████████████████████████████████████████▎ | 217/280 [1:11:38<20:52, 19.88s/it][A + hellaswag_ml: 78%|█████████████████████████████████████████████████████████████████████████████████████▋ | 218/280 [1:12:00<20:58, 20.30s/it][A + hellaswag_ml: 78%|██████████████████████████████████████████████████████████████████████████████████████ | 219/280 [1:12:18<20:09, 19.83s/it][A + hellaswag_ml: 79%|██████████████████████████████████████████████████████████████████████████████████████▍ | 220/280 [1:12:38<19:42, 19.70s/it][A + hellaswag_ml: 79%|██████████████████████████████████████████████████████████████████████████████████████▊ | 221/280 [1:12:58<19:38, 19.98s/it][A + hellaswag_ml: 79%|███████████████████████████████████████████████████████████████████████████████████████▏ | 222/280 [1:13:18<19:07, 19.79s/it][A + hellaswag_ml: 80%|███████████████████████████████████████████████████████████████████████████████████████▌ | 223/280 [1:13:39<19:10, 20.18s/it][A + hellaswag_ml: 80%|████████████████████████████████████████████████████████████████████████████████████████ | 224/280 [1:13:59<18:42, 20.04s/it][A + hellaswag_ml: 80%|████████████████████████████████████████████████████████████████████████████████████████▍ | 225/280 [1:14:21<18:58, 20.70s/it][A + hellaswag_ml: 81%|████████████████████████████████████████████████████████████████████████████████████████▊ | 226/280 [1:14:39<17:51, 19.84s/it][A + hellaswag_ml: 81%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 227/280 [1:14:57<17:08, 19.41s/it][A + hellaswag_ml: 81%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 228/280 [1:15:18<17:06, 19.75s/it][A + hellaswag_ml: 82%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 229/280 [1:15:37<16:46, 19.74s/it][A + hellaswag_ml: 82%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 230/280 [1:15:56<16:13, 19.47s/it][A + hellaswag_ml: 82%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 231/280 [1:16:17<16:16, 19.93s/it][A + hellaswag_ml: 83%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 232/280 [1:16:38<16:11, 20.24s/it][A + hellaswag_ml: 83%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 233/280 [1:16:58<15:48, 20.18s/it][A + hellaswag_ml: 84%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 234/280 [1:17:17<15:08, 19.75s/it][A + hellaswag_ml: 84%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 235/280 [1:17:37<14:48, 19.75s/it][A + hellaswag_ml: 84%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 236/280 [1:17:56<14:18, 19.52s/it][A + hellaswag_ml: 85%|█████████████████████████████████████████████████████████████████████████████████████████████ | 237/280 [1:18:14<13:43, 19.15s/it][A + hellaswag_ml: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 238/280 [1:18:33<13:25, 19.18s/it][A + hellaswag_ml: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 239/280 [1:18:55<13:42, 20.05s/it][A + hellaswag_ml: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 240/280 [1:19:15<13:23, 20.09s/it][A + hellaswag_ml: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 241/280 [1:19:35<13:02, 20.06s/it][A + hellaswag_ml: 86%|███████████████████████████████████████████████████████████████████████████████████████████████ | 242/280 [1:19:55<12:33, 19.84s/it][A + hellaswag_ml: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 243/280 [1:20:13<11:58, 19.42s/it][A + hellaswag_ml: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 244/280 [1:20:33<11:47, 19.67s/it][A + hellaswag_ml: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 245/280 [1:20:54<11:40, 20.01s/it][A + hellaswag_ml: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 246/280 [1:21:14<11:15, 19.87s/it][A + hellaswag_ml: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 247/280 [1:21:33<10:47, 19.63s/it][A + hellaswag_ml: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/280 [1:21:54<10:38, 19.95s/it][A + hellaswag_ml: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/280 [1:22:14<10:23, 20.11s/it][A + hellaswag_ml: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/280 [1:22:34<10:01, 20.05s/it][A + hellaswag_ml: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 251/280 [1:22:53<09:35, 19.86s/it][A + hellaswag_ml: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 252/280 [1:23:14<09:23, 20.14s/it][A + hellaswag_ml: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 253/280 [1:23:35<09:08, 20.32s/it][A + hellaswag_ml: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 254/280 [1:23:54<08:39, 19.99s/it][A + hellaswag_ml: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 255/280 [1:24:14<08:15, 19.83s/it][A + hellaswag_ml: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 256/280 [1:24:33<07:56, 19.84s/it][A + hellaswag_ml: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 257/280 [1:24:53<07:35, 19.82s/it][A + hellaswag_ml: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 258/280 [1:25:12<07:06, 19.40s/it][A + hellaswag_ml: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 259/280 [1:25:33<07:02, 20.11s/it][A + hellaswag_ml: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 260/280 [1:25:55<06:49, 20.47s/it][A + hellaswag_ml: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 261/280 [1:26:14<06:22, 20.14s/it][A + hellaswag_ml: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 262/280 [1:26:35<06:08, 20.45s/it][A + hellaswag_ml: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 263/280 [1:26:55<05:46, 20.38s/it][A + hellaswag_ml: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 264/280 [1:27:15<05:23, 20.22s/it][A + hellaswag_ml: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 265/280 [1:27:35<04:59, 19.97s/it][A + hellaswag_ml: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 266/280 [1:27:55<04:40, 20.06s/it][A + hellaswag_ml: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 267/280 [1:28:15<04:19, 19.93s/it][A + hellaswag_ml: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 268/280 [1:28:34<03:56, 19.75s/it][A + hellaswag_ml: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 269/280 [1:28:53<03:36, 19.69s/it][A + hellaswag_ml: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 270/280 [1:29:13<03:17, 19.74s/it][A + hellaswag_ml: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 271/280 [1:29:34<03:00, 20.06s/it][A + hellaswag_ml: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 272/280 [1:29:57<02:47, 20.89s/it][A + hellaswag_ml: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 273/280 [1:30:19<02:27, 21.14s/it][A + hellaswag_ml: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 274/280 [1:30:38<02:02, 20.47s/it][A + hellaswag_ml: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 275/280 [1:31:00<01:45, 21.05s/it][A + hellaswag_ml: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 276/280 [1:31:21<01:23, 20.89s/it][A + hellaswag_ml: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 277/280 [1:31:43<01:03, 21.22s/it][A + hellaswag_ml: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 278/280 [1:32:04<00:42, 21.37s/it][A + hellaswag_ml: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 279/280 [1:32:25<00:21, 21.11s/it][A + hellaswag_ml: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 280/280 [1:32:30<00:00, 16.38s/it][A hellaswag_ml: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 280/280 [1:32:30<00:00, 19.82s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ml_acc 0.25165118101421696 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ml_acc_norm 0.2932945259151461 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 01:38:40,969 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 01:38:40,969 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:41,096 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 01:38:41,097 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:41,223 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 01:38:41,224 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:41,351 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 01:38:41,351 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 01:38:41,351 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 01:38:41,480 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 01:38:41,480 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ml_acc'} +2024-05-30 01:38:41,544 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 01:38:41,544 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1173, 'value': 0.25165118101421696} +2024-05-30 01:38:41,609 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 01:38:42,243 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 01:38:42,243 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:42,367 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 01:38:42,367 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:42,491 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 01:38:42,491 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:42,615 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 01:38:42,616 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 01:38:42,616 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 01:38:42,741 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 01:38:42,741 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_ml_acc_norm'} +2024-05-30 01:38:42,804 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 01:38:42,804 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1174, 'value': 0.2932945259151461} +2024-05-30 01:38:42,867 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 39%|█████████████████████████████████████████▊ | 48/124 [18:51:12<91:08:43, 4317.41s/it]['hellaswag_mr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 01:38:43,476 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 01:38:43,476 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:43,596 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 01:38:43,596 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:43,715 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 01:38:43,715 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 01:38:43,835 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 01:38:43,835 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 01:38:43,835 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_mr'} +2024-05-30 01:38:43,955 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_mr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:06, 6.13s/ examples][A + Generating validation split: 2000 examples [00:06, 452.35 examples/s][A + Generating validation split: 4000 examples [00:06, 1055.31 examples/s][A + Generating validation split: 5727 examples [00:06, 1743.74 examples/s][A + Generating validation split: 7198 examples [00:06, 2485.21 examples/s][A + Generating validation split: 9000 examples [00:06, 3614.90 examples/s][A Generating validation split: 9279 examples [00:06, 1377.66 examples/s] +Loaded 9279 examples +Running loglikelihood requests + + hellaswag_mr: 0%| | 0/290 [00:00<?, ?it/s][A + hellaswag_mr: 0%|▍ | 1/290 [00:15<1:16:20, 15.85s/it][A + hellaswag_mr: 1%|▊ | 2/290 [00:30<1:11:54, 14.98s/it][A + hellaswag_mr: 1%|█▏ | 3/290 [00:45<1:12:11, 15.09s/it][A + hellaswag_mr: 1%|█▌ | 4/290 [01:01<1:13:48, 15.49s/it][A + hellaswag_mr: 2%|█▉ | 5/290 [01:16<1:12:06, 15.18s/it][A + hellaswag_mr: 2%|██▎ | 6/290 [01:30<1:10:24, 14.87s/it][A + hellaswag_mr: 2%|██▋ | 7/290 [01:43<1:08:01, 14.42s/it][A + hellaswag_mr: 3%|███ | 8/290 [01:59<1:09:11, 14.72s/it][A + hellaswag_mr: 3%|███▍ | 9/290 [02:14<1:09:59, 14.94s/it][A + hellaswag_mr: 3%|███▊ | 10/290 [02:31<1:12:20, 15.50s/it][A + hellaswag_mr: 4%|████▏ | 11/290 [02:45<1:09:56, 15.04s/it][A + hellaswag_mr: 4%|████▌ | 12/290 [02:59<1:08:08, 14.71s/it][A + hellaswag_mr: 4%|████▉ | 13/290 [03:14<1:08:01, 14.73s/it][A + hellaswag_mr: 5%|█████▎ | 14/290 [03:29<1:08:12, 14.83s/it][A + hellaswag_mr: 5%|█████▋ | 15/290 [03:43<1:07:13, 14.67s/it][A + hellaswag_mr: 6%|██████ | 16/290 [03:58<1:07:11, 14.71s/it][A + hellaswag_mr: 6%|██████▌ | 17/290 [04:14<1:08:32, 15.06s/it][A + hellaswag_mr: 6%|██████▉ | 18/290 [04:29<1:07:56, 14.99s/it][A + hellaswag_mr: 7%|███████▎ | 19/290 [04:44<1:07:37, 14.97s/it][A + hellaswag_mr: 7%|███████▋ | 20/290 [04:58<1:07:19, 14.96s/it][A + hellaswag_mr: 7%|████████ | 21/290 [05:14<1:08:18, 15.24s/it][A + hellaswag_mr: 8%|████████▍ | 22/290 [05:30<1:08:57, 15.44s/it][A + hellaswag_mr: 8%|████████▊ | 23/290 [05:46<1:08:54, 15.48s/it][A + hellaswag_mr: 8%|█████████▏ | 24/290 [06:00<1:07:32, 15.24s/it][A + hellaswag_mr: 9%|█████████▌ | 25/290 [06:16<1:07:29, 15.28s/it][A + hellaswag_mr: 9%|█████████▉ | 26/290 [06:31<1:07:28, 15.34s/it][A + hellaswag_mr: 9%|██████████▎ | 27/290 [06:46<1:06:29, 15.17s/it][A + hellaswag_mr: 10%|██████████▋ | 28/290 [07:00<1:05:02, 14.89s/it][A + hellaswag_mr: 10%|███████████ | 29/290 [07:15<1:04:43, 14.88s/it][A + hellaswag_mr: 10%|███████████▍ | 30/290 [07:30<1:03:57, 14.76s/it][A + hellaswag_mr: 11%|███████████▊ | 31/290 [07:45<1:04:42, 14.99s/it][A + hellaswag_mr: 11%|████████████▏ | 32/290 [08:00<1:04:43, 15.05s/it][A + hellaswag_mr: 11%|████████████▋ | 33/290 [08:15<1:03:52, 14.91s/it][A + hellaswag_mr: 12%|█████████████ | 34/290 [08:29<1:03:04, 14.78s/it][A + hellaswag_mr: 12%|█████████████▍ | 35/290 [08:45<1:03:58, 15.05s/it][A + hellaswag_mr: 12%|█████████████▊ | 36/290 [08:59<1:01:55, 14.63s/it][A + hellaswag_mr: 13%|██████████████▏ | 37/290 [09:14<1:02:03, 14.72s/it][A + hellaswag_mr: 13%|██████████████▌ | 38/290 [09:29<1:02:02, 14.77s/it][A + hellaswag_mr: 13%|██████████████▉ | 39/290 [09:44<1:02:17, 14.89s/it][A + hellaswag_mr: 14%|███████████████▎ | 40/290 [09:59<1:02:20, 14.96s/it][A + hellaswag_mr: 14%|███████████████▋ | 41/290 [10:15<1:02:58, 15.17s/it][A + hellaswag_mr: 14%|████████████████ | 42/290 [10:29<1:01:32, 14.89s/it][A + hellaswag_mr: 15%|████████████████▍ | 43/290 [10:44<1:02:12, 15.11s/it][A + hellaswag_mr: 15%|████████████████▊ | 44/290 [11:00<1:02:58, 15.36s/it][A + hellaswag_mr: 16%|█████████████████▏ | 45/290 [11:15<1:02:16, 15.25s/it][A + hellaswag_mr: 16%|█████████████████▌ | 46/290 [11:30<1:01:08, 15.03s/it][A + hellaswag_mr: 16%|█████████████████▉ | 47/290 [11:46<1:01:57, 15.30s/it][A + hellaswag_mr: 17%|██████████████████▎ | 48/290 [12:01<1:01:11, 15.17s/it][A + hellaswag_mr: 17%|██████████████████▊ | 49/290 [12:15<1:00:23, 15.04s/it][A + hellaswag_mr: 17%|███████████████████▍ | 50/290 [12:29<58:21, 14.59s/it][A + hellaswag_mr: 18%|███████████████████▊ | 51/290 [12:44<58:25, 14.67s/it][A + hellaswag_mr: 18%|████████████████████▎ | 52/290 [12:58<57:47, 14.57s/it][A + hellaswag_mr: 18%|████████████████████▋ | 53/290 [13:13<58:04, 14.70s/it][A + hellaswag_mr: 19%|█████████████████████ | 54/290 [13:29<58:39, 14.92s/it][A + hellaswag_mr: 19%|█████████████████████▍ | 55/290 [13:43<57:48, 14.76s/it][A + hellaswag_mr: 19%|█████████████████████▊ | 56/290 [13:58<57:22, 14.71s/it][A + hellaswag_mr: 20%|██████████████████████▏ | 57/290 [14:12<57:17, 14.76s/it][A + hellaswag_mr: 20%|██████████████████████▌ | 58/290 [14:28<57:45, 14.94s/it][A + hellaswag_mr: 20%|██████████████████████▉ | 59/290 [14:42<56:35, 14.70s/it][A + hellaswag_mr: 21%|███████████████████████▍ | 60/290 [14:56<55:56, 14.59s/it][A + hellaswag_mr: 21%|███████████████████████▊ | 61/290 [15:11<56:06, 14.70s/it][A + hellaswag_mr: 21%|████████████████████████▏ | 62/290 [15:27<57:06, 15.03s/it][A + hellaswag_mr: 22%|████████████████████████▌ | 63/290 [15:42<56:56, 15.05s/it][A + hellaswag_mr: 22%|████████████████████████▉ | 64/290 [15:56<55:49, 14.82s/it][A + hellaswag_mr: 22%|█████████████████████████▎ | 65/290 [16:10<54:18, 14.48s/it][A + hellaswag_mr: 23%|█████████████████████████▋ | 66/290 [16:25<55:00, 14.74s/it][A + hellaswag_mr: 23%|██████████████████████████ | 67/290 [16:40<54:37, 14.70s/it][A + hellaswag_mr: 23%|██████████████████████████▍ | 68/290 [16:54<53:46, 14.53s/it][A + hellaswag_mr: 24%|██████████████████████████▉ | 69/290 [17:11<55:36, 15.10s/it][A + hellaswag_mr: 24%|███████████████████████████▎ | 70/290 [17:26<55:10, 15.05s/it][A + hellaswag_mr: 24%|███████████████████████████▋ | 71/290 [17:40<54:49, 15.02s/it][A + hellaswag_mr: 25%|████████████████████████████ | 72/290 [17:56<55:29, 15.27s/it][A + hellaswag_mr: 25%|████████████████████████████▍ | 73/290 [18:11<54:28, 15.06s/it][A + hellaswag_mr: 26%|████████████████████████████▊ | 74/290 [18:25<53:24, 14.83s/it][A + hellaswag_mr: 26%|█████████████████████████████▏ | 75/290 [18:41<53:50, 15.03s/it][A + hellaswag_mr: 26%|█████████████████████████████▌ | 76/290 [18:54<52:03, 14.60s/it][A + hellaswag_mr: 27%|██████████████████████████████ | 77/290 [19:10<52:41, 14.84s/it][A + hellaswag_mr: 27%|██████████████████████████████▍ | 78/290 [19:26<53:39, 15.19s/it][A + hellaswag_mr: 27%|██████████████████████████████▊ | 79/290 [19:40<52:39, 14.97s/it][A + hellaswag_mr: 28%|███████████████████████████████▏ | 80/290 [19:56<52:46, 15.08s/it][A + hellaswag_mr: 28%|███████████████████████████████▌ | 81/290 [20:09<51:23, 14.75s/it][A + hellaswag_mr: 28%|███████████████████████████████▉ | 82/290 [20:24<51:05, 14.74s/it][A + hellaswag_mr: 29%|████████████████████████████████▎ | 83/290 [20:40<52:10, 15.12s/it][A + hellaswag_mr: 29%|████████████████████████████████▋ | 84/290 [20:54<51:01, 14.86s/it][A + hellaswag_mr: 29%|█████████████████████████████████ | 85/290 [21:10<51:22, 15.04s/it][A + hellaswag_mr: 30%|█████████████████████████████████▌ | 86/290 [21:25<50:58, 14.99s/it][A + hellaswag_mr: 30%|█████████████████████████████████▉ | 87/290 [21:40<50:32, 14.94s/it][A + hellaswag_mr: 30%|██████████████████████████████████▎ | 88/290 [21:55<51:01, 15.16s/it][A + hellaswag_mr: 31%|██████████████████████████████████▋ | 89/290 [22:11<51:20, 15.33s/it][A + hellaswag_mr: 31%|███████████████████████████████████ | 90/290 [22:25<49:55, 14.98s/it][A + hellaswag_mr: 31%|███████████████████████████████████▍ | 91/290 [22:40<49:47, 15.01s/it][A + hellaswag_mr: 32%|███████████████████████████████████▊ | 92/290 [22:54<48:35, 14.73s/it][A + hellaswag_mr: 32%|████████████████████████████████████▏ | 93/290 [23:09<48:46, 14.85s/it][A + hellaswag_mr: 32%|████████████████████████████████████▋ | 94/290 [23:24<48:05, 14.72s/it][A + hellaswag_mr: 33%|█████████████████████████████████████ | 95/290 [23:40<49:11, 15.14s/it][A + hellaswag_mr: 33%|█████████████████████████████████████▍ | 96/290 [23:55<48:34, 15.02s/it][A + hellaswag_mr: 33%|█████████████████████████████████████▊ | 97/290 [24:11<49:21, 15.34s/it][A + hellaswag_mr: 34%|██████████████████████████████████████▏ | 98/290 [24:24<47:13, 14.76s/it][A + hellaswag_mr: 34%|██████████████████████████████████████▌ | 99/290 [24:38<46:27, 14.59s/it][A + hellaswag_mr: 34%|██████████████████████████████████████▌ | 100/290 [24:53<45:46, 14.45s/it][A + hellaswag_mr: 35%|███████████████████████████████████████ | 101/290 [25:08<46:19, 14.71s/it][A + hellaswag_mr: 35%|███████████████████████████████████████▍ | 102/290 [25:23<46:41, 14.90s/it][A + hellaswag_mr: 36%|███████████████████████████████████████▊ | 103/290 [25:38<46:22, 14.88s/it][A + hellaswag_mr: 36%|████████████████████████████████████████▏ | 104/290 [25:53<46:38, 15.04s/it][A + hellaswag_mr: 36%|████████████████████████████████████████▌ | 105/290 [26:09<46:30, 15.08s/it][A + hellaswag_mr: 37%|████████████████████████████████████████▉ | 106/290 [26:24<46:26, 15.15s/it][A + hellaswag_mr: 37%|█████████████████████████████████████████▎ | 107/290 [26:39<45:46, 15.01s/it][A + hellaswag_mr: 37%|█████████████████████████████████████████▋ | 108/290 [26:52<44:23, 14.63s/it][A + hellaswag_mr: 38%|██████████████████████████████████████████ | 109/290 [27:07<43:40, 14.48s/it][A + hellaswag_mr: 38%|██████████████████████████████████████████▍ | 110/290 [27:23<44:53, 14.96s/it][A + hellaswag_mr: 38%|██████████████████████████████████████████▊ | 111/290 [27:37<44:09, 14.80s/it][A + hellaswag_mr: 39%|███████████████████████████████████████████▎ | 112/290 [27:52<43:53, 14.79s/it][A + hellaswag_mr: 39%|███████████████████████████████████████████▋ | 113/290 [28:08<44:43, 15.16s/it][A + hellaswag_mr: 39%|████████████████████████████████████████████ | 114/290 [28:23<44:21, 15.12s/it][A + hellaswag_mr: 40%|████████████████████████████████████████████▍ | 115/290 [28:38<43:44, 15.00s/it][A + hellaswag_mr: 40%|████████████████████████████████████████████▊ | 116/290 [28:53<43:33, 15.02s/it][A + hellaswag_mr: 40%|█████████████████████████████████████████████▏ | 117/290 [29:06<41:28, 14.38s/it][A + hellaswag_mr: 41%|█████████████████████████████████████████████▌ | 118/290 [29:20<41:11, 14.37s/it][A + hellaswag_mr: 41%|█████████████████████████████████████████████▉ | 119/290 [29:35<41:39, 14.62s/it][A + hellaswag_mr: 41%|██████████████████████████████████████████████▎ | 120/290 [29:49<41:10, 14.53s/it][A + hellaswag_mr: 42%|██████████████████████████████████████████████▋ | 121/290 [30:04<40:56, 14.53s/it][A + hellaswag_mr: 42%|███████████████████████████████████████████████ | 122/290 [30:20<42:00, 15.00s/it][A + hellaswag_mr: 42%|███████████████████████████████████████████████▌ | 123/290 [30:37<43:13, 15.53s/it][A + hellaswag_mr: 43%|███████████████████████████████████████████████▉ | 124/290 [30:52<42:35, 15.39s/it][A + hellaswag_mr: 43%|████████████████████████████████████████████████▎ | 125/290 [31:08<43:06, 15.68s/it][A + hellaswag_mr: 43%|████████████████████████████████████████████████▋ | 126/290 [31:23<42:23, 15.51s/it][A + hellaswag_mr: 44%|█████████████████████████████████████████████████ | 127/290 [31:38<41:08, 15.14s/it][A + hellaswag_mr: 44%|█████████████████████████████████████████████████▍ | 128/290 [31:53<40:48, 15.12s/it][A + hellaswag_mr: 44%|█████████████████████████████████████████████████▊ | 129/290 [32:08<40:22, 15.04s/it][A + hellaswag_mr: 45%|██████████████████████████████████████████████████▏ | 130/290 [32:23<40:49, 15.31s/it][A + hellaswag_mr: 45%|██████████████████████████████████████████████████▌ | 131/290 [32:38<40:11, 15.17s/it][A + hellaswag_mr: 46%|██████████████████████████████████████████████████▉ | 132/290 [32:53<39:16, 14.92s/it][A + hellaswag_mr: 46%|███████████████████████████████████████████████████▎ | 133/290 [33:08<39:05, 14.94s/it][A + hellaswag_mr: 46%|███████████████████████████████████████████████████▊ | 134/290 [33:22<38:09, 14.68s/it][A + hellaswag_mr: 47%|████████████████████████████████████████████████████▏ | 135/290 [33:35<36:38, 14.18s/it][A + hellaswag_mr: 47%|████████████████████████████████████████████████████▌ | 136/290 [33:50<37:09, 14.48s/it][A + hellaswag_mr: 47%|████████████████████████████████████████████████████▉ | 137/290 [34:04<36:48, 14.43s/it][A + hellaswag_mr: 48%|█████████████████████████████████████████████████████▎ | 138/290 [34:18<36:15, 14.32s/it][A + hellaswag_mr: 48%|█████████████████████████████████████████████████████▋ | 139/290 [34:34<37:01, 14.71s/it][A + hellaswag_mr: 48%|██████████████████████████████████████████████████████ | 140/290 [34:50<37:57, 15.18s/it][A + hellaswag_mr: 49%|██████████████████████████████████████████████████████▍ | 141/290 [35:05<37:07, 14.95s/it][A + hellaswag_mr: 49%|██████████████████████████████████████████████████████▊ | 142/290 [35:20<36:57, 14.99s/it][A + hellaswag_mr: 49%|███████████████████████████████████████████████████████▏ | 143/290 [35:35<36:39, 14.97s/it][A + hellaswag_mr: 50%|███████████████████████████████████████████████████████▌ | 144/290 [35:50<36:25, 14.97s/it][A + hellaswag_mr: 50%|████████████████████████████████████████████████████████ | 145/290 [36:03<35:00, 14.49s/it][A + hellaswag_mr: 50%|████████████████████████████████████████████████████████▍ | 146/290 [36:17<34:33, 14.40s/it][A + hellaswag_mr: 51%|████████████████████████████████████████████████████████▊ | 147/290 [36:32<34:27, 14.46s/it][A + hellaswag_mr: 51%|█████████████████████████████████████████████████████████▏ | 148/290 [36:47<35:05, 14.83s/it][A + hellaswag_mr: 51%|█████████████████████████████████████████████████████████▌ | 149/290 [37:02<34:43, 14.77s/it][A + hellaswag_mr: 52%|█████████████████████████████████████████████████████████▉ | 150/290 [37:17<34:22, 14.73s/it][A + hellaswag_mr: 52%|██████████████████████████████████████████████████████████▎ | 151/290 [37:30<33:17, 14.37s/it][A + hellaswag_mr: 52%|██████████████████████████████████████████████████████████▋ | 152/290 [37:45<33:00, 14.35s/it][A + hellaswag_mr: 53%|███████████████████████████████████████████████████████████ | 153/290 [37:59<32:34, 14.26s/it][A + hellaswag_mr: 53%|███████████████████████████████████████████████████████████▍ | 154/290 [38:13<32:25, 14.31s/it][A + hellaswag_mr: 53%|███████████████████████████████████████████████████████████▊ | 155/290 [38:28<32:40, 14.52s/it][A + hellaswag_mr: 54%|████████████████████████████████████████████████████████████▏ | 156/290 [38:42<31:45, 14.22s/it][A + hellaswag_mr: 54%|████████████████████████████████████████████████████████████▋ | 157/290 [38:58<33:01, 14.90s/it][A + hellaswag_mr: 54%|█████████████████████████████████████████████████████████████ | 158/290 [39:13<32:35, 14.81s/it][A + hellaswag_mr: 55%|█████████████████████████████████████████████████████████████▍ | 159/290 [39:28<32:30, 14.89s/it][A + hellaswag_mr: 55%|█████████████████████████████████████████████████████████████▊ | 160/290 [39:43<32:24, 14.96s/it][A + hellaswag_mr: 56%|██████████████████████████████████████████████████████████████▏ | 161/290 [39:58<32:22, 15.06s/it][A + hellaswag_mr: 56%|██████████████████████████████████████████████████████████████▌ | 162/290 [40:13<32:06, 15.05s/it][A + hellaswag_mr: 56%|██████████████████████████████████████████████████████████████▉ | 163/290 [40:28<32:02, 15.14s/it][A + hellaswag_mr: 57%|███████████████████████████████████████████████████████████████▎ | 164/290 [40:43<31:06, 14.81s/it][A + hellaswag_mr: 57%|███████████████████████████████████████████████████████████████▋ | 165/290 [40:57<30:46, 14.77s/it][A + hellaswag_mr: 57%|████████████████████████████████████████████████████████████████ | 166/290 [41:12<30:48, 14.90s/it][A + hellaswag_mr: 58%|████████████████████████████████████████████████████████████████▍ | 167/290 [41:27<30:39, 14.96s/it][A + hellaswag_mr: 58%|████████████████████████████████████████████████████████████████▉ | 168/290 [41:42<29:54, 14.71s/it][A + hellaswag_mr: 58%|█████████████████████████████████████████████████████████████████▎ | 169/290 [41:57<30:10, 14.97s/it][A + hellaswag_mr: 59%|█████████████████████████████████████████████████████████████████▋ | 170/290 [42:13<30:13, 15.11s/it][A + hellaswag_mr: 59%|██████████████████████████████████████████████████████████████████ | 171/290 [42:27<29:42, 14.98s/it][A + hellaswag_mr: 59%|██████████████████████████████████████████████████████████████████▍ | 172/290 [42:42<29:11, 14.84s/it][A + hellaswag_mr: 60%|██████████████████████████████████████████████████████████████████▊ | 173/290 [42:57<28:51, 14.80s/it][A + hellaswag_mr: 60%|███████████████████████████████████████████████████████████████████▏ | 174/290 [43:12<28:49, 14.91s/it][A + hellaswag_mr: 60%|███████████████████████████████████████████████████████████████████▌ | 175/290 [43:28<29:29, 15.39s/it][A + hellaswag_mr: 61%|███████████████████████████████████████████████████████████████████▉ | 176/290 [43:43<28:47, 15.15s/it][A + hellaswag_mr: 61%|████████████████████████████████████████████████████████████████████▎ | 177/290 [43:57<27:53, 14.81s/it][A + hellaswag_mr: 61%|████████████████████████████████████████████████████████████████████▋ | 178/290 [44:12<27:53, 14.94s/it][A + hellaswag_mr: 62%|█████████████████████████████████████████████████████████████████████▏ | 179/290 [44:27<27:43, 14.99s/it][A + hellaswag_mr: 62%|█████████████████████████████████████████████████████████████████████▌ | 180/290 [44:41<27:07, 14.79s/it][A + hellaswag_mr: 62%|█████████████████████████████████████████████████████████████████████▉ | 181/290 [44:56<26:55, 14.82s/it][A + hellaswag_mr: 63%|██████████████████████████████████████████████████████████████████████▎ | 182/290 [45:11<26:31, 14.74s/it][A + hellaswag_mr: 63%|██████████████████████████████████████████████████████████████████████▋ | 183/290 [45:26<26:43, 14.98s/it][A + hellaswag_mr: 63%|███████████████████████████████████████████████████████████████████████ | 184/290 [45:42<26:37, 15.08s/it][A + hellaswag_mr: 64%|███████████████████████████████████████████████████████████████████████▍ | 185/290 [45:56<25:40, 14.67s/it][A + hellaswag_mr: 64%|███████████████████████████████████████████████████████████████████████▊ | 186/290 [46:11<25:47, 14.88s/it][A + hellaswag_mr: 64%|████████████████████████████████████████████████████████████████████████▏ | 187/290 [46:27<26:07, 15.22s/it][A + hellaswag_mr: 65%|████████████████████████████████████████████████████████████████████████▌ | 188/290 [46:42<25:47, 15.17s/it][A + hellaswag_mr: 65%|████████████████████████████████████████████████████████████████████████▉ | 189/290 [46:58<25:48, 15.33s/it][A + hellaswag_mr: 66%|█████████████████████████████████████████████████████████████████████████▍ | 190/290 [47:14<26:10, 15.71s/it][A + hellaswag_mr: 66%|█████████████████████████████████████████████████████████████████████████▊ | 191/290 [47:30<25:45, 15.61s/it][A + hellaswag_mr: 66%|██████████████████████████████████████████████████████████████████████████▏ | 192/290 [47:46<25:41, 15.72s/it][A + hellaswag_mr: 67%|██████████████████████████████████████████████████████████████████████████▌ | 193/290 [48:01<25:11, 15.58s/it][A + hellaswag_mr: 67%|██████████████████████████████████████████████████████████████████████████▉ | 194/290 [48:16<24:52, 15.54s/it][A + hellaswag_mr: 67%|███████████████████████████████████████████████████████████████████████████▎ | 195/290 [48:30<23:50, 15.05s/it][A + hellaswag_mr: 68%|███████████████████████████████████████████████████████████████████████████▋ | 196/290 [48:46<23:53, 15.25s/it][A + hellaswag_mr: 68%|████████████████████████████████████████████████████████████████████████████ | 197/290 [49:01<23:37, 15.24s/it][A + hellaswag_mr: 68%|████████████████████████████████████████████████████████████████████████████▍ | 198/290 [49:17<23:29, 15.32s/it][A + hellaswag_mr: 69%|████████████████████████████████████████████████████████████████████████████▊ | 199/290 [49:32<23:06, 15.23s/it][A + hellaswag_mr: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 200/290 [49:47<22:55, 15.28s/it][A + hellaswag_mr: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 201/290 [50:01<22:16, 15.02s/it][A + hellaswag_mr: 70%|██████████████████████████████████████████████████████████████████████████████ | 202/290 [50:17<22:17, 15.19s/it][A + hellaswag_mr: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 203/290 [50:32<21:52, 15.09s/it][A + hellaswag_mr: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 204/290 [50:47<21:41, 15.13s/it][A + hellaswag_mr: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 205/290 [51:03<21:39, 15.28s/it][A + hellaswag_mr: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 206/290 [51:18<21:29, 15.35s/it][A + hellaswag_mr: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 207/290 [51:32<20:31, 14.84s/it][A + hellaswag_mr: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 208/290 [51:46<20:04, 14.69s/it][A + hellaswag_mr: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 209/290 [52:02<20:10, 14.94s/it][A + hellaswag_mr: 72%|█████████████████████████████████████████████████████████████████████████████████ | 210/290 [52:16<19:33, 14.67s/it][A + hellaswag_mr: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 211/290 [52:31<19:25, 14.76s/it][A + hellaswag_mr: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 212/290 [52:45<18:52, 14.52s/it][A + hellaswag_mr: 73%|██████████████████████████████████████████████████████████████████████████████████▎ | 213/290 [53:00<18:52, 14.71s/it][A + hellaswag_mr: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 214/290 [53:14<18:20, 14.48s/it][A + hellaswag_mr: 74%|███████████████████████████████████████████████████████████████████████████████████ | 215/290 [53:29<18:21, 14.69s/it][A + hellaswag_mr: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 216/290 [53:43<17:42, 14.36s/it][A + hellaswag_mr: 75%|███████████████████████████████████████████████████████████████████████████████████▊ | 217/290 [53:57<17:23, 14.30s/it][A + hellaswag_mr: 75%|████████████████████████████████████████████████████████████████████████████████████▏ | 218/290 [54:12<17:22, 14.48s/it][A + hellaswag_mr: 76%|████████████████████████████████████████████████████████████████████████████████████▌ | 219/290 [54:26<16:58, 14.34s/it][A + hellaswag_mr: 76%|████████████████████████████████████████████████████████████████████████████████████▉ | 220/290 [54:41<16:57, 14.54s/it][A + hellaswag_mr: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 221/290 [54:56<16:51, 14.66s/it][A + hellaswag_mr: 77%|█████████████████████████████████████████████████████████████████████████████████████▋ | 222/290 [55:10<16:35, 14.64s/it][A + hellaswag_mr: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 223/290 [55:25<16:32, 14.81s/it][A + hellaswag_mr: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 224/290 [55:41<16:30, 15.01s/it][A + hellaswag_mr: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 225/290 [55:55<15:59, 14.76s/it][A + hellaswag_mr: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 226/290 [56:10<15:54, 14.92s/it][A + hellaswag_mr: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 227/290 [56:26<15:53, 15.13s/it][A + hellaswag_mr: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 228/290 [56:41<15:31, 15.02s/it][A + hellaswag_mr: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 229/290 [56:56<15:19, 15.07s/it][A + hellaswag_mr: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 230/290 [57:11<15:06, 15.11s/it][A + hellaswag_mr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 231/290 [57:26<14:42, 14.95s/it][A + hellaswag_mr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 232/290 [57:40<14:20, 14.83s/it][A + hellaswag_mr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 233/290 [57:57<14:34, 15.33s/it][A + hellaswag_mr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 234/290 [58:12<14:17, 15.32s/it][A + hellaswag_mr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 235/290 [58:27<14:00, 15.29s/it][A + hellaswag_mr: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 236/290 [58:41<13:21, 14.84s/it][A + hellaswag_mr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 237/290 [58:56<13:10, 14.92s/it][A + hellaswag_mr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 238/290 [59:11<12:58, 14.96s/it][A + hellaswag_mr: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/290 [59:26<12:33, 14.78s/it][A + hellaswag_mr: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/290 [59:41<12:19, 14.80s/it][A + hellaswag_mr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 241/290 [59:55<11:57, 14.64s/it][A + hellaswag_mr: 83%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 242/290 [1:00:10<11:52, 14.84s/it][A + hellaswag_mr: 84%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 243/290 [1:00:25<11:39, 14.88s/it][A + hellaswag_mr: 84%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 244/290 [1:00:41<11:44, 15.32s/it][A + hellaswag_mr: 84%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 245/290 [1:00:57<11:26, 15.26s/it][A + hellaswag_mr: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 246/290 [1:01:12<11:19, 15.44s/it][A + hellaswag_mr: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 247/290 [1:01:26<10:40, 14.90s/it][A + hellaswag_mr: 86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 248/290 [1:01:41<10:28, 14.96s/it][A + hellaswag_mr: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 249/290 [1:01:56<10:12, 14.94s/it][A + hellaswag_mr: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 250/290 [1:02:12<10:04, 15.11s/it][A + hellaswag_mr: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 251/290 [1:02:26<09:41, 14.90s/it][A + hellaswag_mr: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 252/290 [1:02:41<09:22, 14.81s/it][A + hellaswag_mr: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 253/290 [1:02:56<09:14, 14.99s/it][A + hellaswag_mr: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 254/290 [1:03:10<08:50, 14.74s/it][A + hellaswag_mr: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 255/290 [1:03:24<08:29, 14.56s/it][A + hellaswag_mr: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 256/290 [1:03:39<08:16, 14.61s/it][A + hellaswag_mr: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 257/290 [1:03:53<08:00, 14.57s/it][A + hellaswag_mr: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 258/290 [1:04:08<07:50, 14.71s/it][A + hellaswag_mr: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 259/290 [1:04:22<07:23, 14.32s/it][A + hellaswag_mr: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 260/290 [1:04:37<07:20, 14.68s/it][A + hellaswag_mr: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 261/290 [1:04:52<07:06, 14.69s/it][A + hellaswag_mr: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 262/290 [1:05:07<06:52, 14.72s/it][A + hellaswag_mr: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 263/290 [1:05:21<06:32, 14.54s/it][A + hellaswag_mr: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 264/290 [1:05:36<06:21, 14.69s/it][A + hellaswag_mr: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 265/290 [1:05:50<05:58, 14.35s/it][A + hellaswag_mr: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 266/290 [1:06:04<05:42, 14.25s/it][A + hellaswag_mr: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 267/290 [1:06:20<05:41, 14.87s/it][A + hellaswag_mr: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 268/290 [1:06:35<05:26, 14.83s/it][A + hellaswag_mr: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 269/290 [1:06:50<05:11, 14.83s/it][A + hellaswag_mr: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 270/290 [1:07:06<05:05, 15.26s/it][A + hellaswag_mr: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 271/290 [1:07:22<04:54, 15.50s/it][A + hellaswag_mr: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 272/290 [1:07:36<04:31, 15.11s/it][A + hellaswag_mr: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 273/290 [1:07:52<04:19, 15.24s/it][A + hellaswag_mr: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 274/290 [1:08:06<04:01, 15.07s/it][A + hellaswag_mr: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 275/290 [1:08:20<03:40, 14.70s/it][A + hellaswag_mr: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 276/290 [1:08:35<03:26, 14.77s/it][A + hellaswag_mr: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 277/290 [1:08:51<03:17, 15.18s/it][A + hellaswag_mr: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 278/290 [1:09:07<03:02, 15.24s/it][A + hellaswag_mr: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 279/290 [1:09:22<02:49, 15.44s/it][A + hellaswag_mr: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 280/290 [1:09:36<02:28, 14.90s/it][A + hellaswag_mr: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 281/290 [1:09:50<02:12, 14.71s/it][A + hellaswag_mr: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 282/290 [1:10:04<01:56, 14.51s/it][A + hellaswag_mr: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 283/290 [1:10:20<01:44, 14.88s/it][A + hellaswag_mr: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 284/290 [1:10:35<01:28, 14.80s/it][A + hellaswag_mr: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 285/290 [1:10:50<01:14, 14.83s/it][A + hellaswag_mr: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [1:11:05<01:00, 15.04s/it][A + hellaswag_mr: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [1:11:20<00:45, 15.04s/it][A + hellaswag_mr: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [1:11:35<00:29, 14.97s/it][A + hellaswag_mr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [1:11:50<00:14, 14.96s/it][A + hellaswag_mr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [1:12:05<00:00, 15.10s/it][A hellaswag_mr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [1:12:05<00:00, 14.92s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_mr_acc 0.2566009268240112 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_mr_acc_norm 0.29033301002263173 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 02:50:58,407 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 02:50:58,407 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:50:58,528 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 02:50:58,528 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:50:58,649 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 02:50:58,650 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:50:58,771 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 02:50:58,772 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 02:50:58,772 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 02:50:58,894 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 02:50:58,894 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_mr_acc'} +2024-05-30 02:50:58,956 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 02:50:58,956 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1175, 'value': 0.2566009268240112} +2024-05-30 02:50:59,018 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 02:50:59,632 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 02:50:59,632 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:50:59,752 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 02:50:59,752 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:50:59,873 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 02:50:59,873 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:50:59,993 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 02:50:59,994 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 02:50:59,994 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 02:51:00,117 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 02:51:00,117 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_mr_acc_norm'} +2024-05-30 02:51:00,178 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 02:51:00,178 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1176, 'value': 0.29033301002263173} +2024-05-30 02:51:00,239 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 40%|██████████████████████████████████████████▋ | 49/124 [20:03:29<90:04:15, 4323.40s/it]['hellaswag_ne'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 02:51:00,895 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 02:51:00,895 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:51:01,024 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 02:51:01,024 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:51:01,152 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 02:51:01,152 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 02:51:01,281 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 02:51:01,282 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 02:51:01,282 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ne'} +2024-05-30 02:51:01,411 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_ne task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:06, 6.30s/ examples][A + Generating validation split: 2000 examples [00:06, 440.38 examples/s][A + Generating validation split: 3713 examples [00:06, 949.41 examples/s][A + Generating validation split: 5184 examples [00:06, 1523.93 examples/s][A + Generating validation split: 7000 examples [00:06, 2436.65 examples/s][A + Generating validation split: 9000 examples [00:06, 3663.15 examples/s][A Generating validation split: 9318 examples [00:06, 1348.73 examples/s] +Loaded 9318 examples +Running loglikelihood requests + + hellaswag_ne: 0%| | 0/292 [00:00<?, ?it/s][A + hellaswag_ne: 0%|▍ | 1/292 [00:14<1:08:26, 14.11s/it][A + hellaswag_ne: 1%|▊ | 2/292 [00:28<1:08:16, 14.13s/it][A + hellaswag_ne: 1%|█▏ | 3/292 [00:43<1:10:00, 14.53s/it][A + hellaswag_ne: 1%|█▌ | 4/292 [00:57<1:08:51, 14.35s/it][A + hellaswag_ne: 2%|█▉ | 5/292 [01:12<1:10:28, 14.73s/it][A + hellaswag_ne: 2%|██▎ | 6/292 [01:26<1:09:08, 14.50s/it][A + hellaswag_ne: 2%|██▋ | 7/292 [01:41<1:09:06, 14.55s/it][A + hellaswag_ne: 3%|███ | 8/292 [01:55<1:08:28, 14.47s/it][A + hellaswag_ne: 3%|███▍ | 9/292 [02:11<1:09:34, 14.75s/it][A + hellaswag_ne: 3%|███▊ | 10/292 [02:26<1:10:17, 14.96s/it][A + hellaswag_ne: 4%|████▏ | 11/292 [02:40<1:08:38, 14.66s/it][A + hellaswag_ne: 4%|████▌ | 12/292 [02:54<1:07:22, 14.44s/it][A + hellaswag_ne: 4%|████▉ | 13/292 [03:09<1:07:41, 14.56s/it][A + hellaswag_ne: 5%|█████▎ | 14/292 [03:23<1:07:33, 14.58s/it][A + hellaswag_ne: 5%|█████▋ | 15/292 [03:37<1:06:07, 14.32s/it][A + hellaswag_ne: 5%|██████ | 16/292 [03:50<1:04:25, 14.01s/it][A + hellaswag_ne: 6%|██████▍ | 17/292 [04:05<1:04:40, 14.11s/it][A + hellaswag_ne: 6%|██████▊ | 18/292 [04:19<1:04:43, 14.17s/it][A + hellaswag_ne: 7%|███████▏ | 19/292 [04:33<1:04:14, 14.12s/it][A + hellaswag_ne: 7%|███████▌ | 20/292 [04:47<1:03:31, 14.01s/it][A + hellaswag_ne: 7%|███████▉ | 21/292 [05:01<1:03:16, 14.01s/it][A + hellaswag_ne: 8%|████████▎ | 22/292 [05:16<1:03:59, 14.22s/it][A + hellaswag_ne: 8%|████████▋ | 23/292 [05:30<1:03:54, 14.26s/it][A + hellaswag_ne: 8%|█████████ | 24/292 [05:45<1:04:12, 14.38s/it][A + hellaswag_ne: 9%|█████████▌ | 25/292 [06:00<1:05:24, 14.70s/it][A + hellaswag_ne: 9%|█████████▉ | 26/292 [06:14<1:04:53, 14.64s/it][A + hellaswag_ne: 9%|██████████▎ | 27/292 [06:28<1:03:06, 14.29s/it][A + hellaswag_ne: 10%|██████████▋ | 28/292 [06:43<1:03:13, 14.37s/it][A + hellaswag_ne: 10%|███████████ | 29/292 [06:57<1:03:09, 14.41s/it][A + hellaswag_ne: 10%|███████████▍ | 30/292 [07:12<1:03:36, 14.57s/it][A + hellaswag_ne: 11%|███████████▊ | 31/292 [07:27<1:03:21, 14.57s/it][A + hellaswag_ne: 11%|████████████▏ | 32/292 [07:42<1:04:28, 14.88s/it][A + hellaswag_ne: 11%|████████████▌ | 33/292 [07:56<1:02:20, 14.44s/it][A + hellaswag_ne: 12%|████████████▉ | 34/292 [08:10<1:01:54, 14.40s/it][A + hellaswag_ne: 12%|█████████████▎ | 35/292 [08:25<1:02:25, 14.57s/it][A + hellaswag_ne: 12%|█████████████▋ | 36/292 [08:39<1:01:29, 14.41s/it][A + hellaswag_ne: 13%|██████████████ | 37/292 [08:54<1:02:17, 14.66s/it][A + hellaswag_ne: 13%|██████████████▍ | 38/292 [09:07<1:00:12, 14.22s/it][A + hellaswag_ne: 13%|██████████████▊ | 39/292 [09:22<1:00:40, 14.39s/it][A + hellaswag_ne: 14%|███████████████▍ | 40/292 [09:36<59:51, 14.25s/it][A + hellaswag_ne: 14%|███████████████▌ | 41/292 [09:52<1:01:13, 14.64s/it][A + hellaswag_ne: 14%|███████████████▉ | 42/292 [10:07<1:01:24, 14.74s/it][A + hellaswag_ne: 15%|████████████████▎ | 43/292 [10:21<1:01:16, 14.77s/it][A + hellaswag_ne: 15%|████████████████▋ | 44/292 [10:36<1:01:22, 14.85s/it][A + hellaswag_ne: 15%|█████████████████ | 45/292 [10:51<1:01:05, 14.84s/it][A + hellaswag_ne: 16%|█████████████████▍ | 46/292 [11:05<1:00:00, 14.64s/it][A + hellaswag_ne: 16%|██████████████████▏ | 47/292 [11:20<59:38, 14.61s/it][A + hellaswag_ne: 16%|██████████████████▌ | 48/292 [11:35<59:51, 14.72s/it][A + hellaswag_ne: 17%|██████████████████▉ | 49/292 [11:49<58:47, 14.52s/it][A + hellaswag_ne: 17%|███████████████████▎ | 50/292 [12:04<59:29, 14.75s/it][A + hellaswag_ne: 17%|███████████████████▋ | 51/292 [12:20<59:53, 14.91s/it][A + hellaswag_ne: 18%|███████████████████▊ | 52/292 [12:36<1:01:42, 15.43s/it][A + hellaswag_ne: 18%|████████████████████▏ | 53/292 [12:51<1:00:50, 15.28s/it][A + hellaswag_ne: 18%|████████████████████▌ | 54/292 [13:07<1:00:50, 15.34s/it][A + hellaswag_ne: 19%|████████████████████▉ | 55/292 [13:22<1:00:58, 15.44s/it][A + hellaswag_ne: 19%|█████████████████████▋ | 56/292 [13:36<59:16, 15.07s/it][A + hellaswag_ne: 20%|██████████████████████ | 57/292 [13:51<58:28, 14.93s/it][A + hellaswag_ne: 20%|██████████████████████▍ | 58/292 [14:06<57:42, 14.79s/it][A + hellaswag_ne: 20%|██████████████████████▊ | 59/292 [14:20<56:44, 14.61s/it][A + hellaswag_ne: 21%|███████████████████████▏ | 60/292 [14:33<55:22, 14.32s/it][A + hellaswag_ne: 21%|███████████████████████▌ | 61/292 [14:48<55:06, 14.32s/it][A + hellaswag_ne: 21%|███████████████████████▉ | 62/292 [15:03<55:40, 14.52s/it][A + hellaswag_ne: 22%|████████████████████████▍ | 63/292 [15:18<56:06, 14.70s/it][A + hellaswag_ne: 22%|████████████████████████▊ | 64/292 [15:33<56:51, 14.96s/it][A + hellaswag_ne: 22%|█████████████████████████▏ | 65/292 [15:48<56:09, 14.84s/it][A + hellaswag_ne: 23%|█████████████████████████▌ | 66/292 [16:03<55:57, 14.85s/it][A + hellaswag_ne: 23%|█████████████████████████▉ | 67/292 [16:18<55:53, 14.90s/it][A + hellaswag_ne: 23%|██████████████████████████▎ | 68/292 [16:32<55:04, 14.75s/it][A + hellaswag_ne: 24%|██████████████████████████▋ | 69/292 [16:46<53:24, 14.37s/it][A + hellaswag_ne: 24%|███████████████████████████ | 70/292 [17:00<52:55, 14.30s/it][A + hellaswag_ne: 24%|███████████████████████████▍ | 71/292 [17:14<52:53, 14.36s/it][A + hellaswag_ne: 25%|███████████████████████████▊ | 72/292 [17:28<52:00, 14.18s/it][A + hellaswag_ne: 25%|████████████████████████████▎ | 73/292 [17:42<51:29, 14.11s/it][A + hellaswag_ne: 25%|████████████████████████████▋ | 74/292 [17:57<51:39, 14.22s/it][A + hellaswag_ne: 26%|█████████████████████████████ | 75/292 [18:12<53:00, 14.66s/it][A + hellaswag_ne: 26%|█████████████████████████████▍ | 76/292 [18:27<52:32, 14.59s/it][A + hellaswag_ne: 26%|█████████████████████████████▊ | 77/292 [18:42<52:37, 14.69s/it][A + hellaswag_ne: 27%|██████████████████████████████▏ | 78/292 [18:56<51:36, 14.47s/it][A + hellaswag_ne: 27%|██████████████████████████████▌ | 79/292 [19:11<51:59, 14.64s/it][A + hellaswag_ne: 27%|██████████████████████████████▉ | 80/292 [19:26<52:06, 14.75s/it][A + hellaswag_ne: 28%|███████████████████████████████▎ | 81/292 [19:41<52:37, 14.96s/it][A + hellaswag_ne: 28%|███████████████████████████████▋ | 82/292 [19:56<52:50, 15.10s/it][A + hellaswag_ne: 28%|████████████████████████████████ | 83/292 [20:09<50:14, 14.42s/it][A + hellaswag_ne: 29%|████████████████████████████████▌ | 84/292 [20:24<49:52, 14.39s/it][A + hellaswag_ne: 29%|████████████████████████████████▉ | 85/292 [20:39<50:29, 14.63s/it][A + hellaswag_ne: 29%|█████████████████████████████████▎ | 86/292 [20:53<50:03, 14.58s/it][A + hellaswag_ne: 30%|█████████████████████████████████▋ | 87/292 [21:08<49:55, 14.61s/it][A + hellaswag_ne: 30%|██████████████████████████████████ | 88/292 [21:22<49:32, 14.57s/it][A + hellaswag_ne: 30%|██████████████████████████████████▍ | 89/292 [21:37<48:56, 14.46s/it][A + hellaswag_ne: 31%|██████████████████████████████████▊ | 90/292 [21:51<48:18, 14.35s/it][A + hellaswag_ne: 31%|███████████████████████████████████▏ | 91/292 [22:04<47:08, 14.07s/it][A + hellaswag_ne: 32%|███████████████████████████████████▌ | 92/292 [22:18<47:09, 14.15s/it][A + hellaswag_ne: 32%|███████████████████████████████████▉ | 93/292 [22:32<46:35, 14.05s/it][A + hellaswag_ne: 32%|████████████████████████████████████▍ | 94/292 [22:48<47:59, 14.54s/it][A + hellaswag_ne: 33%|████████████████████████████████████▊ | 95/292 [23:01<46:30, 14.16s/it][A + hellaswag_ne: 33%|█████████████████████████████████████▏ | 96/292 [23:16<47:09, 14.43s/it][A + hellaswag_ne: 33%|█████████████████████████████████████▌ | 97/292 [23:31<46:59, 14.46s/it][A + hellaswag_ne: 34%|█████████████████████████████████████▉ | 98/292 [23:45<46:27, 14.37s/it][A + hellaswag_ne: 34%|██████████████████████████████████████▎ | 99/292 [24:01<47:25, 14.75s/it][A + hellaswag_ne: 34%|██████████████████████████████████████▎ | 100/292 [24:15<46:28, 14.52s/it][A + hellaswag_ne: 35%|██████████████████████████████████████▋ | 101/292 [24:29<46:27, 14.60s/it][A + hellaswag_ne: 35%|███████████████████████████████████████ | 102/292 [24:44<45:55, 14.50s/it][A + hellaswag_ne: 35%|███████████████████████████████████████▌ | 103/292 [24:59<46:12, 14.67s/it][A + hellaswag_ne: 36%|███████████████████████████████████████▉ | 104/292 [25:14<46:26, 14.82s/it][A + hellaswag_ne: 36%|████████████████████████████████████████▎ | 105/292 [25:29<46:40, 14.98s/it][A + hellaswag_ne: 36%|████████████████████████████████████████▋ | 106/292 [25:44<46:27, 14.99s/it][A + hellaswag_ne: 37%|█████████████████████████████████████████ | 107/292 [25:57<44:12, 14.34s/it][A + hellaswag_ne: 37%|█████████████████████████████████████████▍ | 108/292 [26:11<43:20, 14.13s/it][A + hellaswag_ne: 37%|█████████████████████████████████████████▊ | 109/292 [26:25<43:13, 14.17s/it][A + hellaswag_ne: 38%|██████████████████████████████████████████▏ | 110/292 [26:40<43:42, 14.41s/it][A + hellaswag_ne: 38%|██████████████████████████████████████████▌ | 111/292 [26:55<44:13, 14.66s/it][A + hellaswag_ne: 38%|██████████████████████████████████████████▉ | 112/292 [27:10<44:10, 14.73s/it][A + hellaswag_ne: 39%|███████████████████████████████████████████▎ | 113/292 [27:24<43:32, 14.60s/it][A + hellaswag_ne: 39%|███████████████████████████████████████████▋ | 114/292 [27:39<43:15, 14.58s/it][A + hellaswag_ne: 39%|████████████████████████████████████████████ | 115/292 [27:54<43:27, 14.73s/it][A + hellaswag_ne: 40%|████████████████████████████████████████████▍ | 116/292 [28:09<43:43, 14.90s/it][A + hellaswag_ne: 40%|████████████████████████████████████████████▉ | 117/292 [28:25<44:18, 15.19s/it][A + hellaswag_ne: 40%|█████████████████████████████████████████████▎ | 118/292 [28:40<43:43, 15.08s/it][A + hellaswag_ne: 41%|█████████████████████████████████████████████▋ | 119/292 [28:55<43:24, 15.05s/it][A + hellaswag_ne: 41%|██████████████████████████████████████████████ | 120/292 [29:10<43:19, 15.11s/it][A + hellaswag_ne: 41%|██████████████████████████████████████████████▍ | 121/292 [29:24<42:10, 14.80s/it][A + hellaswag_ne: 42%|██████████████████████████████████████████████▊ | 122/292 [29:38<41:19, 14.59s/it][A + hellaswag_ne: 42%|███████████████████████████████████████████████▏ | 123/292 [29:54<41:58, 14.90s/it][A + hellaswag_ne: 42%|███████████████████████████████████████████████▌ | 124/292 [30:09<41:28, 14.82s/it][A + hellaswag_ne: 43%|███████████████████████████████████████████████▉ | 125/292 [30:25<42:16, 15.19s/it][A + hellaswag_ne: 43%|████████████████████████████████████████████████▎ | 126/292 [30:40<41:50, 15.12s/it][A + hellaswag_ne: 43%|████████████████████████████████████████████████▋ | 127/292 [30:54<41:21, 15.04s/it][A + hellaswag_ne: 44%|█████████████████████████████████████████████████ | 128/292 [31:08<40:02, 14.65s/it][A + hellaswag_ne: 44%|█████████████████████████████████████████████████▍ | 129/292 [31:24<40:19, 14.84s/it][A + hellaswag_ne: 45%|█████████████████████████████████████████████████▊ | 130/292 [31:38<39:27, 14.62s/it][A + hellaswag_ne: 45%|██████████████████████████████████████████████████▏ | 131/292 [31:53<39:57, 14.89s/it][A + hellaswag_ne: 45%|██████████████████████████████████████████████████▋ | 132/292 [32:07<39:10, 14.69s/it][A + hellaswag_ne: 46%|███████████████████████████████████████████████████ | 133/292 [32:21<38:20, 14.47s/it][A + hellaswag_ne: 46%|███████████████████████████████████████████████████▍ | 134/292 [32:36<37:55, 14.40s/it][A + hellaswag_ne: 46%|███████████████████████████████████████████████████▊ | 135/292 [32:50<37:52, 14.48s/it][A + hellaswag_ne: 47%|████████████████████████████████████████████████████▏ | 136/292 [33:04<37:23, 14.38s/it][A + hellaswag_ne: 47%|████████████████████████████████████████████████████▌ | 137/292 [33:19<37:04, 14.35s/it][A + hellaswag_ne: 47%|████████████████████████████████████████████████████▉ | 138/292 [33:34<37:48, 14.73s/it][A + hellaswag_ne: 48%|█████████████████████████████████████████████████████▎ | 139/292 [33:50<38:33, 15.12s/it][A + hellaswag_ne: 48%|█████████████████████████████████████████████████████▋ | 140/292 [34:04<37:18, 14.73s/it][A + hellaswag_ne: 48%|██████████████████████████████████████████████████████ | 141/292 [34:20<37:37, 14.95s/it][A + hellaswag_ne: 49%|██████████████████████████████████████████████████████▍ | 142/292 [34:33<36:28, 14.59s/it][A + hellaswag_ne: 49%|██████████████████████████████████████████████████████▊ | 143/292 [34:48<36:05, 14.53s/it][A + hellaswag_ne: 49%|███████████████████████████████████████████████████████▏ | 144/292 [35:02<35:45, 14.50s/it][A + hellaswag_ne: 50%|███████████████████████████████████████████████████████▌ | 145/292 [35:18<36:17, 14.81s/it][A + hellaswag_ne: 50%|████████████████████████████████████████████████████████ | 146/292 [35:32<35:42, 14.67s/it][A + hellaswag_ne: 50%|████████████████████████████████████████████████████████▍ | 147/292 [35:47<35:32, 14.71s/it][A + hellaswag_ne: 51%|████████████████████████████████████████████████████████▊ | 148/292 [36:01<35:14, 14.68s/it][A + hellaswag_ne: 51%|█████████████████████████████████████████████████████████▏ | 149/292 [36:17<35:46, 15.01s/it][A + hellaswag_ne: 51%|█████████████████████████████████████████████████████████▌ | 150/292 [36:33<36:08, 15.27s/it][A + hellaswag_ne: 52%|█████████████████████████████████████████████████████████▉ | 151/292 [36:47<35:09, 14.96s/it][A + hellaswag_ne: 52%|██████████████████████████████████████████████████████████▎ | 152/292 [37:02<34:43, 14.88s/it][A + hellaswag_ne: 52%|██████████████████████████████████████████████████████████▋ | 153/292 [37:18<35:00, 15.11s/it][A + hellaswag_ne: 53%|███████████████████████████████████████████████████████████ | 154/292 [37:32<34:08, 14.85s/it][A + hellaswag_ne: 53%|███████████████████████████████████████████████████████████▍ | 155/292 [37:46<33:20, 14.60s/it][A + hellaswag_ne: 53%|███████████████████████████████████████████████████████████▊ | 156/292 [38:00<32:31, 14.35s/it][A + hellaswag_ne: 54%|████████████████████████████████████████████████████████████▏ | 157/292 [38:16<33:16, 14.79s/it][A + hellaswag_ne: 54%|████████████████████████████████████████████████████████████▌ | 158/292 [38:30<33:04, 14.81s/it][A + hellaswag_ne: 54%|████████████████████████████████████████████████████████████▉ | 159/292 [38:45<32:33, 14.69s/it][A + hellaswag_ne: 55%|█████████████████████████████████████████████████████████████▎ | 160/292 [38:58<31:24, 14.27s/it][A + hellaswag_ne: 55%|█████████████████████████████████████████████████████████████▊ | 161/292 [39:13<31:22, 14.37s/it][A + hellaswag_ne: 55%|██████████████████████████████████████████████████████████████▏ | 162/292 [39:27<30:56, 14.28s/it][A + hellaswag_ne: 56%|██████████████████████████████████████████████████████████████▌ | 163/292 [39:42<31:00, 14.42s/it][A + hellaswag_ne: 56%|██████████████████████████████████████████████████████████████▉ | 164/292 [39:58<31:56, 14.97s/it][A + hellaswag_ne: 57%|███████████████████████████████████████████████████████████████▎ | 165/292 [40:13<31:55, 15.08s/it][A + hellaswag_ne: 57%|███████████████████████████████████████████████████████████████▋ | 166/292 [40:28<31:30, 15.00s/it][A + hellaswag_ne: 57%|████████████████████████████████████████████████████████████████ | 167/292 [40:42<30:36, 14.69s/it][A + hellaswag_ne: 58%|████████████████████████████████████████████████████████████████▍ | 168/292 [40:56<30:04, 14.56s/it][A + hellaswag_ne: 58%|████████████████████████████████████████████████████████████████▊ | 169/292 [41:10<29:33, 14.42s/it][A + hellaswag_ne: 58%|█████████████████████████████████████████████████████████████████▏ | 170/292 [41:24<29:10, 14.35s/it][A + hellaswag_ne: 59%|█████████████████████████████████████████████████████████████████▌ | 171/292 [41:38<28:30, 14.14s/it][A + hellaswag_ne: 59%|█████████████████████████████████████████████████████████████████▉ | 172/292 [41:53<28:36, 14.31s/it][A + hellaswag_ne: 59%|██████████████████████████████████████████████████████████████████▎ | 173/292 [42:07<28:20, 14.29s/it][A + hellaswag_ne: 60%|██████████████████████████████████████████████████████████████████▋ | 174/292 [42:21<28:02, 14.25s/it][A + hellaswag_ne: 60%|███████████████████████████████████████████████████████████████████ | 175/292 [42:36<28:08, 14.44s/it][A + hellaswag_ne: 60%|███████████████████████████████████████████████████████████████████▌ | 176/292 [42:50<27:47, 14.37s/it][A + hellaswag_ne: 61%|███████████████████████████████████████████████████████████████████▉ | 177/292 [43:04<27:10, 14.18s/it][A + hellaswag_ne: 61%|████████████████████████████████████████████████████████████████████▎ | 178/292 [43:17<26:26, 13.91s/it][A + hellaswag_ne: 61%|████████████████████████████████████████████████████████████████████▋ | 179/292 [43:32<26:48, 14.24s/it][A + hellaswag_ne: 62%|█████████████████████████████████████████████████████████████████████ | 180/292 [43:47<27:03, 14.50s/it][A + hellaswag_ne: 62%|█████████████████████████████████████████████████████████████████████▍ | 181/292 [44:02<26:47, 14.48s/it][A + hellaswag_ne: 62%|█████████████████████████████████████████████████████████████████████▊ | 182/292 [44:17<26:41, 14.56s/it][A + hellaswag_ne: 63%|██████████████████████████████████████████████████████████████████████▏ | 183/292 [44:32<26:49, 14.77s/it][A + hellaswag_ne: 63%|██████████████████████████████████████████████████████████████████████▌ | 184/292 [44:45<25:54, 14.39s/it][A + hellaswag_ne: 63%|██████████████████████████████████████████████████████████████████████▉ | 185/292 [44:59<25:07, 14.09s/it][A + hellaswag_ne: 64%|███████████████████████████████████████████████████████████████████████▎ | 186/292 [45:13<25:01, 14.17s/it][A + hellaswag_ne: 64%|███████████████████████████████████████████████████████████████████████▋ | 187/292 [45:28<25:10, 14.39s/it][A + hellaswag_ne: 64%|████████████████████████████████████████████████████████████████████████ | 188/292 [45:45<26:05, 15.05s/it][A + hellaswag_ne: 65%|████████████████████████████████████████████████████████████████████████▍ | 189/292 [46:00<25:46, 15.02s/it][A + hellaswag_ne: 65%|████████████████████████████████████████████████████████████████████████▉ | 190/292 [46:13<24:45, 14.57s/it][A + hellaswag_ne: 65%|█████████████████████████████████████████████████████████████████████████▎ | 191/292 [46:27<23:59, 14.25s/it][A + hellaswag_ne: 66%|█████████████████████████████████████████████████████████████████████████▋ | 192/292 [46:42<24:10, 14.51s/it][A + hellaswag_ne: 66%|██████████████████████████████████████████████████████████████████████████ | 193/292 [46:58<24:42, 14.97s/it][A + hellaswag_ne: 66%|██████████████████████████████████████████████████████████████████████████▍ | 194/292 [47:12<23:59, 14.68s/it][A + hellaswag_ne: 67%|██████████████████████████████████████████████████████████████████████████▊ | 195/292 [47:27<24:03, 14.88s/it][A + hellaswag_ne: 67%|███████████████████████████████████████████████████████████████████████████▏ | 196/292 [47:40<23:02, 14.41s/it][A + hellaswag_ne: 67%|███████████████████████████████████████████████████████████████████████████▌ | 197/292 [47:56<23:16, 14.70s/it][A + hellaswag_ne: 68%|███████████████████████████████████████████████████████████████████████████▉ | 198/292 [48:11<23:09, 14.78s/it][A + hellaswag_ne: 68%|████████████████████████████████████████████████████████████████████████████▎ | 199/292 [48:25<22:53, 14.77s/it][A + hellaswag_ne: 68%|████████████████████████████████████████████████████████████████████████████▋ | 200/292 [48:39<22:02, 14.37s/it][A + hellaswag_ne: 69%|█████████████████████████████████████████████████████████████████████████████ | 201/292 [48:53<21:45, 14.34s/it][A + hellaswag_ne: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 202/292 [49:07<21:11, 14.13s/it][A + hellaswag_ne: 70%|█████████████████████████████████████████████████████████████████████████████▊ | 203/292 [49:21<20:52, 14.07s/it][A + hellaswag_ne: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 204/292 [49:35<20:52, 14.23s/it][A + hellaswag_ne: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 205/292 [49:50<20:59, 14.48s/it][A + hellaswag_ne: 71%|███████████████████████████████████████████████████████████████████████████████ | 206/292 [50:05<20:57, 14.63s/it][A + hellaswag_ne: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 207/292 [50:19<20:08, 14.22s/it][A + hellaswag_ne: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 208/292 [50:34<20:12, 14.44s/it][A + hellaswag_ne: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 209/292 [50:50<20:35, 14.88s/it][A + hellaswag_ne: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 210/292 [51:04<20:13, 14.80s/it][A + hellaswag_ne: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 211/292 [51:19<19:58, 14.80s/it][A + hellaswag_ne: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 212/292 [51:34<20:01, 15.02s/it][A + hellaswag_ne: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 213/292 [51:50<20:09, 15.30s/it][A + hellaswag_ne: 73%|██████████████████████████████████████████████████████████████████████████████████ | 214/292 [52:06<20:06, 15.47s/it][A + hellaswag_ne: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 215/292 [52:21<19:24, 15.12s/it][A + hellaswag_ne: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 216/292 [52:35<18:47, 14.84s/it][A + hellaswag_ne: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 217/292 [52:49<18:15, 14.61s/it][A + hellaswag_ne: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 218/292 [53:03<18:00, 14.60s/it][A + hellaswag_ne: 75%|████████████████████████████████████████████████████████████████████████████████████ | 219/292 [53:18<17:36, 14.47s/it][A + hellaswag_ne: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 220/292 [53:32<17:12, 14.33s/it][A + hellaswag_ne: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 221/292 [53:46<17:07, 14.48s/it][A + hellaswag_ne: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 222/292 [54:01<16:54, 14.50s/it][A + hellaswag_ne: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 223/292 [54:16<16:52, 14.68s/it][A + hellaswag_ne: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 224/292 [54:30<16:29, 14.55s/it][A + hellaswag_ne: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 225/292 [54:45<16:12, 14.52s/it][A + hellaswag_ne: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 226/292 [55:01<16:22, 14.88s/it][A + hellaswag_ne: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 227/292 [55:15<15:54, 14.68s/it][A + hellaswag_ne: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 228/292 [55:29<15:36, 14.64s/it][A + hellaswag_ne: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 229/292 [55:43<15:14, 14.51s/it][A + hellaswag_ne: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 230/292 [55:58<15:06, 14.62s/it][A + hellaswag_ne: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 231/292 [56:13<14:45, 14.51s/it][A + hellaswag_ne: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 232/292 [56:27<14:35, 14.58s/it][A + hellaswag_ne: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 233/292 [56:42<14:28, 14.72s/it][A + hellaswag_ne: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 234/292 [56:57<14:09, 14.65s/it][A + hellaswag_ne: 80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 235/292 [57:11<13:37, 14.35s/it][A + hellaswag_ne: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 236/292 [57:27<14:04, 15.08s/it][A + hellaswag_ne: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 237/292 [57:41<13:33, 14.80s/it][A + hellaswag_ne: 82%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 238/292 [57:57<13:29, 15.00s/it][A + hellaswag_ne: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 239/292 [58:11<13:02, 14.77s/it][A + hellaswag_ne: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 240/292 [58:26<12:43, 14.69s/it][A + hellaswag_ne: 83%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 241/292 [58:40<12:26, 14.64s/it][A + hellaswag_ne: 83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 242/292 [58:56<12:22, 14.84s/it][A + hellaswag_ne: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 243/292 [59:11<12:15, 15.01s/it][A + hellaswag_ne: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 244/292 [59:26<12:08, 15.17s/it][A + hellaswag_ne: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 245/292 [59:41<11:49, 15.11s/it][A + hellaswag_ne: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 246/292 [59:56<11:32, 15.05s/it][A + hellaswag_ne: 85%|█████████████████████████████████████████████████████████████████████████████████████████████ | 247/292 [1:00:11<11:15, 15.00s/it][A + hellaswag_ne: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 248/292 [1:00:26<10:55, 14.90s/it][A + hellaswag_ne: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 249/292 [1:00:41<10:40, 14.90s/it][A + hellaswag_ne: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 250/292 [1:00:56<10:32, 15.05s/it][A + hellaswag_ne: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 251/292 [1:01:11<10:19, 15.11s/it][A + hellaswag_ne: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 252/292 [1:01:26<10:02, 15.07s/it][A + hellaswag_ne: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 253/292 [1:01:40<09:31, 14.65s/it][A + hellaswag_ne: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 254/292 [1:01:55<09:15, 14.62s/it][A + hellaswag_ne: 87%|████████████████████████████████████████████████████████████████████████████████████████████████ | 255/292 [1:02:09<08:59, 14.58s/it][A + hellaswag_ne: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 256/292 [1:02:25<08:56, 14.91s/it][A + hellaswag_ne: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 257/292 [1:02:39<08:32, 14.63s/it][A + hellaswag_ne: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 258/292 [1:02:54<08:20, 14.73s/it][A + hellaswag_ne: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 259/292 [1:03:08<08:02, 14.61s/it][A + hellaswag_ne: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 260/292 [1:03:23<07:46, 14.58s/it][A + hellaswag_ne: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 261/292 [1:03:37<07:26, 14.41s/it][A + hellaswag_ne: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 262/292 [1:03:51<07:10, 14.34s/it][A + hellaswag_ne: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 263/292 [1:04:06<07:06, 14.71s/it][A + hellaswag_ne: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 264/292 [1:04:22<06:55, 14.84s/it][A + hellaswag_ne: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 265/292 [1:04:36<06:39, 14.78s/it][A + hellaswag_ne: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 266/292 [1:04:50<06:18, 14.56s/it][A + hellaswag_ne: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 267/292 [1:05:05<06:06, 14.67s/it][A + hellaswag_ne: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 268/292 [1:05:19<05:45, 14.40s/it][A + hellaswag_ne: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 269/292 [1:05:32<05:25, 14.15s/it][A + hellaswag_ne: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 270/292 [1:05:46<05:10, 14.10s/it][A + hellaswag_ne: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 271/292 [1:06:01<05:02, 14.39s/it][A + hellaswag_ne: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 272/292 [1:06:15<04:44, 14.21s/it][A + hellaswag_ne: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 273/292 [1:06:30<04:35, 14.48s/it][A + hellaswag_ne: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 274/292 [1:06:46<04:26, 14.78s/it][A + hellaswag_ne: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 275/292 [1:06:59<04:04, 14.36s/it][A + hellaswag_ne: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 276/292 [1:07:13<03:47, 14.23s/it][A + hellaswag_ne: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 277/292 [1:07:28<03:37, 14.49s/it][A + hellaswag_ne: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 278/292 [1:07:44<03:26, 14.76s/it][A + hellaswag_ne: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 279/292 [1:07:57<03:06, 14.35s/it][A + hellaswag_ne: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 280/292 [1:08:12<02:55, 14.65s/it][A + hellaswag_ne: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 281/292 [1:08:27<02:40, 14.61s/it][A + hellaswag_ne: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 282/292 [1:08:41<02:23, 14.31s/it][A + hellaswag_ne: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 283/292 [1:08:55<02:10, 14.51s/it][A + hellaswag_ne: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 284/292 [1:09:10<01:55, 14.46s/it][A + hellaswag_ne: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 285/292 [1:09:26<01:44, 14.98s/it][A + hellaswag_ne: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 286/292 [1:09:40<01:28, 14.67s/it][A + hellaswag_ne: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 287/292 [1:09:54<01:12, 14.56s/it][A + hellaswag_ne: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 288/292 [1:10:07<00:55, 13.94s/it][A + hellaswag_ne: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 289/292 [1:10:22<00:42, 14.33s/it][A + hellaswag_ne: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 290/292 [1:10:36<00:28, 14.28s/it][A + hellaswag_ne: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 291/292 [1:10:51<00:14, 14.31s/it][A + hellaswag_ne: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [1:10:57<00:00, 11.99s/it][A hellaswag_ne: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [1:10:57<00:00, 14.58s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ne_acc 0.2630392788151964 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ne_acc_norm 0.29126421978965444 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 04:02:07,843 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 04:02:07,843 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:07,975 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 04:02:07,975 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:08,106 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 04:02:08,106 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:08,237 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 04:02:08,238 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 04:02:08,238 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 04:02:08,370 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 04:02:08,370 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_ne_acc'} +2024-05-30 04:02:08,437 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 04:02:08,437 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1177, 'value': 0.2630392788151964} +2024-05-30 04:02:08,503 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 04:02:09,158 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 04:02:09,158 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:09,287 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 04:02:09,287 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:09,416 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 04:02:09,416 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:09,545 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 04:02:09,545 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 04:02:09,545 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 04:02:09,675 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 04:02:09,675 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_ne_acc_norm'} +2024-05-30 04:02:09,740 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 04:02:09,741 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1178, 'value': 0.29126421978965444} +2024-05-30 04:02:09,806 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 40%|███████████████████████████████████████████▌ | 50/124 [21:14:39<88:32:16, 4307.25s/it]['hellaswag_nl'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 04:02:10,450 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 04:02:10,450 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:10,576 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 04:02:10,576 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:10,702 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 04:02:10,702 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:02:10,828 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 04:02:10,829 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 04:02:10,829 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_nl'} +2024-05-30 04:02:10,956 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_nl task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.90s/ examples][A + Generating validation split: 1777 examples [00:03, 833.04 examples/s][A + Generating validation split: 3509 examples [00:03, 1868.00 examples/s][A + Generating validation split: 5249 examples [00:03, 3146.11 examples/s][A + Generating validation split: 7000 examples [00:03, 4649.81 examples/s][A + Generating validation split: 9000 examples [00:03, 6539.71 examples/s][A Generating validation split: 9265 examples [00:03, 2692.42 examples/s] +Loaded 9265 examples +Running loglikelihood requests + + hellaswag_nl: 0%| | 0/290 [00:00<?, ?it/s][A + hellaswag_nl: 0%|▍ | 1/290 [00:08<40:48, 8.47s/it][A + hellaswag_nl: 1%|▊ | 2/290 [00:16<40:00, 8.34s/it][A + hellaswag_nl: 1%|█▏ | 3/290 [00:24<39:05, 8.17s/it][A + hellaswag_nl: 1%|█▌ | 4/290 [00:33<39:59, 8.39s/it][A + hellaswag_nl: 2%|█▉ | 5/290 [00:41<39:00, 8.21s/it][A + hellaswag_nl: 2%|██▎ | 6/290 [00:49<38:51, 8.21s/it][A + hellaswag_nl: 2%|██▊ | 7/290 [00:57<38:10, 8.10s/it][A + hellaswag_nl: 3%|███▏ | 8/290 [01:05<37:48, 8.05s/it][A + hellaswag_nl: 3%|███▌ | 9/290 [01:13<37:36, 8.03s/it][A + hellaswag_nl: 3%|███▉ | 10/290 [01:22<39:19, 8.43s/it][A + hellaswag_nl: 4%|████▎ | 11/290 [01:31<39:57, 8.59s/it][A + hellaswag_nl: 4%|████▋ | 12/290 [01:39<39:03, 8.43s/it][A + hellaswag_nl: 4%|█████ | 13/290 [01:47<38:43, 8.39s/it][A + hellaswag_nl: 5%|█████▍ | 14/290 [01:56<38:48, 8.44s/it][A + hellaswag_nl: 5%|█████▊ | 15/290 [02:04<37:58, 8.28s/it][A + hellaswag_nl: 6%|██████▏ | 16/290 [02:12<37:15, 8.16s/it][A + hellaswag_nl: 6%|██████▌ | 17/290 [02:20<37:44, 8.29s/it][A + hellaswag_nl: 6%|███████ | 18/290 [02:28<37:03, 8.17s/it][A + hellaswag_nl: 7%|███████▍ | 19/290 [02:36<36:38, 8.11s/it][A + hellaswag_nl: 7%|███████▊ | 20/290 [02:44<36:14, 8.05s/it][A + hellaswag_nl: 7%|████████▏ | 21/290 [02:52<36:14, 8.08s/it][A + hellaswag_nl: 8%|████████▌ | 22/290 [03:00<35:55, 8.04s/it][A + hellaswag_nl: 8%|████████▉ | 23/290 [03:08<35:44, 8.03s/it][A + hellaswag_nl: 8%|█████████▎ | 24/290 [03:16<35:31, 8.01s/it][A + hellaswag_nl: 9%|█████████▋ | 25/290 [03:24<35:20, 8.00s/it][A + hellaswag_nl: 9%|██████████▏ | 26/290 [03:32<35:05, 7.98s/it][A + hellaswag_nl: 9%|██████████▌ | 27/290 [03:40<34:58, 7.98s/it][A + hellaswag_nl: 10%|██████████▉ | 28/290 [03:49<36:17, 8.31s/it][A + hellaswag_nl: 10%|███████████▎ | 29/290 [03:57<35:43, 8.21s/it][A + hellaswag_nl: 10%|███████████▋ | 30/290 [04:05<35:22, 8.16s/it][A + hellaswag_nl: 11%|████████████ | 31/290 [04:14<35:50, 8.30s/it][A + hellaswag_nl: 11%|████████████▍ | 32/290 [04:22<35:41, 8.30s/it][A + hellaswag_nl: 11%|████████████▊ | 33/290 [04:31<35:45, 8.35s/it][A + hellaswag_nl: 12%|█████████████▏ | 34/290 [04:39<35:02, 8.21s/it][A + hellaswag_nl: 12%|█████████████▋ | 35/290 [04:47<34:38, 8.15s/it][A + hellaswag_nl: 12%|██████████████ | 36/290 [04:55<35:09, 8.31s/it][A + hellaswag_nl: 13%|██████████████▍ | 37/290 [05:04<35:24, 8.40s/it][A + hellaswag_nl: 13%|██████████████▊ | 38/290 [05:13<36:27, 8.68s/it][A + hellaswag_nl: 13%|███████████████▏ | 39/290 [05:21<35:38, 8.52s/it][A + hellaswag_nl: 14%|███████████████▌ | 40/290 [05:30<35:25, 8.50s/it][A + hellaswag_nl: 14%|███████████████▉ | 41/290 [05:38<34:32, 8.32s/it][A + hellaswag_nl: 14%|████████████████▎ | 42/290 [05:46<34:38, 8.38s/it][A + hellaswag_nl: 15%|████████████████▊ | 43/290 [05:55<34:29, 8.38s/it][A + hellaswag_nl: 15%|█████████████████▏ | 44/290 [06:03<34:36, 8.44s/it][A + hellaswag_nl: 16%|█████████████████▌ | 45/290 [06:12<34:43, 8.50s/it][A + hellaswag_nl: 16%|█████████████████▉ | 46/290 [06:20<33:47, 8.31s/it][A + hellaswag_nl: 16%|██████████████████▎ | 47/290 [06:28<33:37, 8.30s/it][A + hellaswag_nl: 17%|██████████████████▋ | 48/290 [06:36<32:58, 8.18s/it][A + hellaswag_nl: 17%|███████████████████ | 49/290 [06:44<33:25, 8.32s/it][A + hellaswag_nl: 17%|███████████████████▍ | 50/290 [06:52<32:49, 8.21s/it][A + hellaswag_nl: 18%|███████████████████▊ | 51/290 [07:01<33:15, 8.35s/it][A + hellaswag_nl: 18%|████████████████████▎ | 52/290 [07:09<32:52, 8.29s/it][A + hellaswag_nl: 18%|████████████████████▋ | 53/290 [07:17<32:29, 8.23s/it][A + hellaswag_nl: 19%|█████████████████████ | 54/290 [07:26<32:44, 8.33s/it][A + hellaswag_nl: 19%|█████████████████████▍ | 55/290 [07:34<32:16, 8.24s/it][A + hellaswag_nl: 19%|█████████████████████▊ | 56/290 [07:42<31:49, 8.16s/it][A + hellaswag_nl: 20%|██████████████████████▏ | 57/290 [07:50<31:25, 8.09s/it][A + hellaswag_nl: 20%|██████████████████████▌ | 58/290 [07:58<31:07, 8.05s/it][A + hellaswag_nl: 20%|██████████████████████▉ | 59/290 [08:06<31:15, 8.12s/it][A + hellaswag_nl: 21%|███████████████████████▍ | 60/290 [08:15<31:47, 8.29s/it][A + hellaswag_nl: 21%|███████████████████████▊ | 61/290 [08:24<32:47, 8.59s/it][A + hellaswag_nl: 21%|████████████████████████▏ | 62/290 [08:32<32:14, 8.48s/it][A + hellaswag_nl: 22%|████████████████████████▌ | 63/290 [08:40<31:30, 8.33s/it][A + hellaswag_nl: 22%|████████████████████████▉ | 64/290 [08:48<30:53, 8.20s/it][A + hellaswag_nl: 22%|█████████████████████████▎ | 65/290 [08:56<30:25, 8.11s/it][A + hellaswag_nl: 23%|█████████████████████████▋ | 66/290 [09:05<31:18, 8.39s/it][A + hellaswag_nl: 23%|██████████████████████████ | 67/290 [09:14<31:30, 8.48s/it][A + hellaswag_nl: 23%|██████████████████████████▍ | 68/290 [09:22<30:56, 8.36s/it][A + hellaswag_nl: 24%|██████████████████████████▉ | 69/290 [09:30<30:21, 8.24s/it][A + hellaswag_nl: 24%|███████████████████████████▎ | 70/290 [09:38<30:32, 8.33s/it][A + hellaswag_nl: 24%|███████████████████████████▋ | 71/290 [09:47<30:38, 8.39s/it][A + hellaswag_nl: 25%|████████████████████████████ | 72/290 [09:56<30:48, 8.48s/it][A + hellaswag_nl: 25%|████████████████████████████▍ | 73/290 [10:04<30:53, 8.54s/it][A + hellaswag_nl: 26%|████████████████████████████▊ | 74/290 [10:13<30:55, 8.59s/it][A + hellaswag_nl: 26%|█████████████████████████████▏ | 75/290 [10:22<30:54, 8.63s/it][A + hellaswag_nl: 26%|█████████████████████████████▌ | 76/290 [10:30<30:25, 8.53s/it][A + hellaswag_nl: 27%|██████████████████████████████ | 77/290 [10:38<29:36, 8.34s/it][A + hellaswag_nl: 27%|██████████████████████████████▍ | 78/290 [10:46<29:33, 8.37s/it][A + hellaswag_nl: 27%|██████████████████████████████▊ | 79/290 [10:54<29:00, 8.25s/it][A + hellaswag_nl: 28%|███████████████████████████████▏ | 80/290 [11:03<28:58, 8.28s/it][A + hellaswag_nl: 28%|███████████████████████████████▌ | 81/290 [11:11<29:21, 8.43s/it][A + hellaswag_nl: 28%|███████████████████████████████▉ | 82/290 [11:19<28:47, 8.31s/it][A + hellaswag_nl: 29%|████████████████████████████████▎ | 83/290 [11:28<28:27, 8.25s/it][A + hellaswag_nl: 29%|████████████████████████████████▋ | 84/290 [11:35<27:56, 8.14s/it][A + hellaswag_nl: 29%|█████████████████████████████████ | 85/290 [11:44<28:22, 8.30s/it][A + hellaswag_nl: 30%|█████████████████████████████████▌ | 86/290 [11:52<27:46, 8.17s/it][A + hellaswag_nl: 30%|█████████████████████████████████▉ | 87/290 [12:00<27:25, 8.11s/it][A + hellaswag_nl: 30%|██████████████████████████████████▎ | 88/290 [12:08<27:15, 8.09s/it][A + hellaswag_nl: 31%|██████████████████████████████████▋ | 89/290 [12:16<27:24, 8.18s/it][A + hellaswag_nl: 31%|███████████████████████████████████ | 90/290 [12:25<28:10, 8.45s/it][A + hellaswag_nl: 31%|███████████████████████████████████▍ | 91/290 [12:33<27:31, 8.30s/it][A + hellaswag_nl: 32%|███████████████████████████████████▊ | 92/290 [12:41<27:09, 8.23s/it][A + hellaswag_nl: 32%|████████████████████████████████████▏ | 93/290 [12:50<27:30, 8.38s/it][A + hellaswag_nl: 32%|████████████████████████████████████▋ | 94/290 [12:58<26:57, 8.25s/it][A + hellaswag_nl: 33%|█████████████████████████████████████ | 95/290 [13:06<26:51, 8.26s/it][A + hellaswag_nl: 33%|█████████████████████████████████████▍ | 96/290 [13:14<26:22, 8.16s/it][A + hellaswag_nl: 33%|█████████████████████████████████████▊ | 97/290 [13:22<25:58, 8.08s/it][A + hellaswag_nl: 34%|██████████████████████████████████████▏ | 98/290 [13:31<26:16, 8.21s/it][A + hellaswag_nl: 34%|██████████████████████████████████████▌ | 99/290 [13:39<25:58, 8.16s/it][A + hellaswag_nl: 34%|██████████████████████████████████████▌ | 100/290 [13:47<25:49, 8.16s/it][A + hellaswag_nl: 35%|███████████████████████████████████████ | 101/290 [13:55<25:27, 8.08s/it][A + hellaswag_nl: 35%|███████████████████████████████████████▍ | 102/290 [14:03<25:06, 8.01s/it][A + hellaswag_nl: 36%|███████████████████████████████████████▊ | 103/290 [14:11<24:45, 7.95s/it][A + hellaswag_nl: 36%|████████████████████████████████████████▏ | 104/290 [14:19<24:41, 7.96s/it][A + hellaswag_nl: 36%|████████████████████████████████████████▌ | 105/290 [14:26<24:34, 7.97s/it][A + hellaswag_nl: 37%|████████████████████████████████████████▉ | 106/290 [14:35<24:49, 8.10s/it][A + hellaswag_nl: 37%|█████████████████████████████████████████▎ | 107/290 [14:43<24:31, 8.04s/it][A + hellaswag_nl: 37%|█████████████████████████████████████████▋ | 108/290 [14:51<24:30, 8.08s/it][A + hellaswag_nl: 38%|██████████████████████████████████████████ | 109/290 [14:59<24:24, 8.09s/it][A + hellaswag_nl: 38%|██████████████████████████████████████████▍ | 110/290 [15:07<24:07, 8.04s/it][A + hellaswag_nl: 38%|██████████████████████████████████████████▊ | 111/290 [15:15<23:58, 8.03s/it][A + hellaswag_nl: 39%|███████████████████████████████████████████▎ | 112/290 [15:24<24:37, 8.30s/it][A + hellaswag_nl: 39%|███████████████████████████████████████████▋ | 113/290 [15:32<24:09, 8.19s/it][A + hellaswag_nl: 39%|████████████████████████████████████████████ | 114/290 [15:40<23:44, 8.09s/it][A + hellaswag_nl: 40%|████████████████████████████████████████████▍ | 115/290 [15:48<23:22, 8.02s/it][A + hellaswag_nl: 40%|████████████████████████████████████████████▊ | 116/290 [15:56<23:26, 8.08s/it][A + hellaswag_nl: 40%|█████████████████████████████████████████████▏ | 117/290 [16:04<23:10, 8.04s/it][A + hellaswag_nl: 41%|█████████████████████████████████████████████▌ | 118/290 [16:12<22:49, 7.96s/it][A + hellaswag_nl: 41%|█████████████████████████████████████████████▉ | 119/290 [16:20<22:45, 7.99s/it][A + hellaswag_nl: 41%|██████████████████████████████████████████████▎ | 120/290 [16:29<23:41, 8.36s/it][A + hellaswag_nl: 42%|██████████████████████████████████████████████▋ | 121/290 [16:37<23:09, 8.22s/it][A + hellaswag_nl: 42%|███████████████████████████████████████████████ | 122/290 [16:45<22:46, 8.13s/it][A + hellaswag_nl: 42%|███████████████████████████████████████████████▌ | 123/290 [16:52<22:23, 8.04s/it][A + hellaswag_nl: 43%|███████████████████████████████████████████████▉ | 124/290 [17:01<22:18, 8.06s/it][A + hellaswag_nl: 43%|████████████████████████████████████████████████▎ | 125/290 [17:09<22:09, 8.06s/it][A + hellaswag_nl: 43%|████████████████████████████████████████████████▋ | 126/290 [17:17<21:54, 8.02s/it][A + hellaswag_nl: 44%|█████████████████████████████████████████████████ | 127/290 [17:25<22:05, 8.13s/it][A + hellaswag_nl: 44%|█████████████████████████████████████████████████▍ | 128/290 [17:34<22:19, 8.27s/it][A + hellaswag_nl: 44%|█████████████████████████████████████████████████▊ | 129/290 [17:42<22:16, 8.30s/it][A + hellaswag_nl: 45%|██████████████████████████████████████████████████▏ | 130/290 [17:50<21:47, 8.17s/it][A + hellaswag_nl: 45%|██████████████████████████████████████████████████▌ | 131/290 [17:58<21:28, 8.10s/it][A + hellaswag_nl: 46%|██████████████████████████████████████████████████▉ | 132/290 [18:06<21:20, 8.10s/it][A + hellaswag_nl: 46%|███████████████████████████████████████████████████▎ | 133/290 [18:14<21:01, 8.03s/it][A + hellaswag_nl: 46%|███████████████████████████████████████████████████▊ | 134/290 [18:22<21:09, 8.14s/it][A + hellaswag_nl: 47%|████████████████████████████████████████████████████▏ | 135/290 [18:30<20:47, 8.05s/it][A + hellaswag_nl: 47%|████████████████████████████████████████████████████▌ | 136/290 [18:38<20:34, 8.02s/it][A + hellaswag_nl: 47%|████████████████████████████████████████████████████▉ | 137/290 [18:46<20:22, 7.99s/it][A + hellaswag_nl: 48%|█████████████████████████████████████████████████████▎ | 138/290 [18:54<20:12, 7.98s/it][A + hellaswag_nl: 48%|█████████████████████████████████████████████████████▋ | 139/290 [19:02<19:58, 7.94s/it][A + hellaswag_nl: 48%|██████████████████████████████████████████████████████ | 140/290 [19:10<19:54, 7.96s/it][A + hellaswag_nl: 49%|██████████████████████████████████████████████████████▍ | 141/290 [19:18<20:15, 8.15s/it][A + hellaswag_nl: 49%|██████████████████████████████████████████████████████▊ | 142/290 [19:27<20:23, 8.27s/it][A + hellaswag_nl: 49%|███████████████████████████████████████████████████████▏ | 143/290 [19:35<19:59, 8.16s/it][A + hellaswag_nl: 50%|███████████████████████████████████████████████████████▌ | 144/290 [19:43<19:41, 8.09s/it][A + hellaswag_nl: 50%|████████████████████████████████████████████████████████ | 145/290 [19:51<20:02, 8.29s/it][A + hellaswag_nl: 50%|████████████████████████████████████████████████████████▍ | 146/290 [19:59<19:39, 8.19s/it][A + hellaswag_nl: 51%|████████████████████████████████████████████████████████▊ | 147/290 [20:07<19:25, 8.15s/it][A + hellaswag_nl: 51%|█████████████████████████████████████████████████████████▏ | 148/290 [20:15<19:09, 8.09s/it][A + hellaswag_nl: 51%|█████████████████████████████████████████████████████████▌ | 149/290 [20:23<19:01, 8.09s/it][A + hellaswag_nl: 52%|█████████████████████████████████████████████████████████▉ | 150/290 [20:31<18:43, 8.02s/it][A + hellaswag_nl: 52%|██████████████████████████████████████████████████████████▎ | 151/290 [20:40<18:47, 8.11s/it][A + hellaswag_nl: 52%|██████████████████████████████████████████████████████████▋ | 152/290 [20:48<19:00, 8.27s/it][A + hellaswag_nl: 53%|███████████████████████████████████████████████████████████ | 153/290 [20:56<18:34, 8.14s/it][A + hellaswag_nl: 53%|███████████████████████████████████████████████████████████▍ | 154/290 [21:05<18:55, 8.35s/it][A + hellaswag_nl: 53%|███████████████████████████████████████████████████████████▊ | 155/290 [21:14<19:11, 8.53s/it][A + hellaswag_nl: 54%|████████████████████████████████████████████████████████████▏ | 156/290 [21:22<18:39, 8.35s/it][A + hellaswag_nl: 54%|████████████████████████████████████████████████████████████▋ | 157/290 [21:30<18:14, 8.23s/it][A + hellaswag_nl: 54%|█████████████████████████████████████████████████████████████ | 158/290 [21:39<18:28, 8.39s/it][A + hellaswag_nl: 55%|█████████████████████████████████████████████████████████████▍ | 159/290 [21:47<18:16, 8.37s/it][A + hellaswag_nl: 55%|█████████████████████████████████████████████████████████████▊ | 160/290 [21:55<18:00, 8.31s/it][A + hellaswag_nl: 56%|██████████████████████████████████████████████████████████████▏ | 161/290 [22:03<17:33, 8.17s/it][A + hellaswag_nl: 56%|██████████████████████████████████████████████████████████████▌ | 162/290 [22:11<17:37, 8.26s/it][A + hellaswag_nl: 56%|██████████████████████████████████████████████████████████████▉ | 163/290 [22:20<17:26, 8.24s/it][A + hellaswag_nl: 57%|███████████████████████████████████████████████████████████████▎ | 164/290 [22:27<17:08, 8.16s/it][A + hellaswag_nl: 57%|███████████████████████████████████████████████████████████████▋ | 165/290 [22:36<17:21, 8.33s/it][A + hellaswag_nl: 57%|████████████████████████████████████████████████████████████████ | 166/290 [22:44<17:05, 8.27s/it][A + hellaswag_nl: 58%|████████████████████████████████████████████████████████████████▍ | 167/290 [22:53<17:22, 8.48s/it][A + hellaswag_nl: 58%|████████████████████████████████████████████████████████████████▉ | 168/290 [23:01<16:53, 8.30s/it][A + hellaswag_nl: 58%|█████████████████████████████████████████████████████████████████▎ | 169/290 [23:09<16:33, 8.21s/it][A + hellaswag_nl: 59%|█████████████████████████████████████████████████████████████████▋ | 170/290 [23:17<16:15, 8.13s/it][A + hellaswag_nl: 59%|██████████████████████████████████████████████████████████████████ | 171/290 [23:25<16:02, 8.09s/it][A + hellaswag_nl: 59%|██████████████████████████████████████████████████████████████████▍ | 172/290 [23:33<15:54, 8.09s/it][A + hellaswag_nl: 60%|██████████████████████████████████████████████████████████████████▊ | 173/290 [23:41<15:41, 8.04s/it][A + hellaswag_nl: 60%|███████████████████████████████████████████████████████████████████▏ | 174/290 [23:49<15:30, 8.03s/it][A + hellaswag_nl: 60%|███████████████████████████████████████████████████████████████████▌ | 175/290 [23:57<15:20, 8.00s/it][A + hellaswag_nl: 61%|███████████████████████████████████████████████████████████████████▉ | 176/290 [24:05<15:16, 8.04s/it][A + hellaswag_nl: 61%|████████████████████████████████████████████████████████████████████▎ | 177/290 [24:13<15:06, 8.02s/it][A + hellaswag_nl: 61%|████████████████████████████████████████████████████████████████████▋ | 178/290 [24:21<14:57, 8.01s/it][A + hellaswag_nl: 62%|█████████████████████████████████████████████████████████████████████▏ | 179/290 [24:30<15:05, 8.15s/it][A + hellaswag_nl: 62%|█████████████████████████████████████████████████████████████████████▌ | 180/290 [24:37<14:45, 8.05s/it][A + hellaswag_nl: 62%|█████████████████████████████████████████████████████████████████████▉ | 181/290 [24:45<14:30, 7.99s/it][A + hellaswag_nl: 63%|██████████████████████████████████████████████████████████████████████▎ | 182/290 [24:53<14:19, 7.95s/it][A + hellaswag_nl: 63%|██████████████████████████████████████████████████████████████████████▋ | 183/290 [25:01<14:10, 7.95s/it][A + hellaswag_nl: 63%|███████████████████████████████████████████████████████████████████████ | 184/290 [25:10<14:19, 8.11s/it][A + hellaswag_nl: 64%|███████████████████████████████████████████████████████████████████████▍ | 185/290 [25:18<14:07, 8.08s/it][A + hellaswag_nl: 64%|███████████████████████████████████████████████████████████████████████▊ | 186/290 [25:26<13:53, 8.01s/it][A + hellaswag_nl: 64%|████████████████████████████████████████████████████████████████████████▏ | 187/290 [25:34<14:05, 8.21s/it][A + hellaswag_nl: 65%|████████████████████████████████████████████████████████████████████████▌ | 188/290 [25:43<14:13, 8.36s/it][A + hellaswag_nl: 65%|████████████████████████████████████████████████████████████████████████▉ | 189/290 [25:51<14:10, 8.42s/it][A + hellaswag_nl: 66%|█████████████████████████████████████████████████████████████████████████▍ | 190/290 [25:59<13:49, 8.29s/it][A + hellaswag_nl: 66%|█████████████████████████████████████████████████████████████████████████▊ | 191/290 [26:08<13:36, 8.25s/it][A + hellaswag_nl: 66%|██████████████████████████████████████████████████████████████████████████▏ | 192/290 [26:16<13:44, 8.42s/it][A + hellaswag_nl: 67%|██████████████████████████████████████████████████████████████████████████▌ | 193/290 [26:25<13:40, 8.45s/it][A + hellaswag_nl: 67%|██████████████████████████████████████████████████████████████████████████▉ | 194/290 [26:33<13:31, 8.45s/it][A + hellaswag_nl: 67%|███████████████████████████████████████████████████████████████████████████▎ | 195/290 [26:41<13:05, 8.27s/it][A + hellaswag_nl: 68%|███████████████████████████████████████████████████████████████████████████▋ | 196/290 [26:50<13:04, 8.35s/it][A + hellaswag_nl: 68%|████████████████████████████████████████████████████████████████████████████ | 197/290 [26:58<12:48, 8.26s/it][A + hellaswag_nl: 68%|████████████████████████████████████████████████████████████████████████████▍ | 198/290 [27:06<12:37, 8.23s/it][A + hellaswag_nl: 69%|████████████████████████████████████████████████████████████████████████████▊ | 199/290 [27:14<12:23, 8.17s/it][A + hellaswag_nl: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 200/290 [27:22<12:23, 8.26s/it][A + hellaswag_nl: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 201/290 [27:30<12:06, 8.17s/it][A + hellaswag_nl: 70%|██████████████████████████████████████████████████████████████████████████████ | 202/290 [27:38<11:55, 8.13s/it][A + hellaswag_nl: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 203/290 [27:47<11:56, 8.23s/it][A + hellaswag_nl: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 204/290 [27:56<11:59, 8.37s/it][A + hellaswag_nl: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 205/290 [28:04<12:01, 8.49s/it][A + hellaswag_nl: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 206/290 [28:12<11:38, 8.32s/it][A + hellaswag_nl: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 207/290 [28:21<11:37, 8.41s/it][A + hellaswag_nl: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 208/290 [28:30<11:38, 8.52s/it][A + hellaswag_nl: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 209/290 [28:38<11:13, 8.31s/it][A + hellaswag_nl: 72%|█████████████████████████████████████████████████████████████████████████████████ | 210/290 [28:46<10:57, 8.22s/it][A + hellaswag_nl: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 211/290 [28:54<10:44, 8.16s/it][A + hellaswag_nl: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 212/290 [29:02<10:36, 8.15s/it][A + hellaswag_nl: 73%|██████████████████████████████████████████████████████████████████████████████████▎ | 213/290 [29:10<10:37, 8.28s/it][A + hellaswag_nl: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 214/290 [29:19<10:37, 8.39s/it][A + hellaswag_nl: 74%|███████████████████████████████████████████████████████████████████████████████████ | 215/290 [29:27<10:30, 8.41s/it][A + hellaswag_nl: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 216/290 [29:36<10:29, 8.51s/it][A + hellaswag_nl: 75%|███████████████████████████████████████████████████████████████████████████████████▊ | 217/290 [29:44<10:07, 8.33s/it][A + hellaswag_nl: 75%|████████████████████████████████████████████████████████████████████████████████████▏ | 218/290 [29:52<09:51, 8.21s/it][A + hellaswag_nl: 76%|████████████████████████████████████████████████████████████████████████████████████▌ | 219/290 [30:01<10:03, 8.50s/it][A + hellaswag_nl: 76%|████████████████████████████████████████████████████████████████████████████████████▉ | 220/290 [30:09<09:46, 8.38s/it][A + hellaswag_nl: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 221/290 [30:18<09:41, 8.42s/it][A + hellaswag_nl: 77%|█████████████████████████████████████████████████████████████████████████████████████▋ | 222/290 [30:27<09:45, 8.60s/it][A + hellaswag_nl: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 223/290 [30:35<09:20, 8.36s/it][A + hellaswag_nl: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 224/290 [30:43<09:19, 8.48s/it][A + hellaswag_nl: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 225/290 [30:52<09:13, 8.52s/it][A + hellaswag_nl: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 226/290 [31:00<08:56, 8.38s/it][A + hellaswag_nl: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 227/290 [31:08<08:49, 8.40s/it][A + hellaswag_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 228/290 [31:17<08:36, 8.33s/it][A + hellaswag_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 229/290 [31:25<08:35, 8.45s/it][A + hellaswag_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 230/290 [31:33<08:17, 8.29s/it][A + hellaswag_nl: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 231/290 [31:42<08:16, 8.41s/it][A + hellaswag_nl: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 232/290 [31:51<08:13, 8.51s/it][A + hellaswag_nl: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 233/290 [31:59<07:56, 8.36s/it][A + hellaswag_nl: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 234/290 [32:07<07:39, 8.21s/it][A + hellaswag_nl: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 235/290 [32:15<07:27, 8.15s/it][A + hellaswag_nl: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 236/290 [32:23<07:20, 8.16s/it][A + hellaswag_nl: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 237/290 [32:31<07:10, 8.12s/it][A + hellaswag_nl: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 238/290 [32:39<06:59, 8.07s/it][A + hellaswag_nl: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/290 [32:47<06:52, 8.08s/it][A + hellaswag_nl: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/290 [32:55<06:40, 8.01s/it][A + hellaswag_nl: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 241/290 [33:03<06:34, 8.04s/it][A + hellaswag_nl: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 242/290 [33:11<06:29, 8.12s/it][A + hellaswag_nl: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 243/290 [33:20<06:25, 8.21s/it][A + hellaswag_nl: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 244/290 [33:27<06:11, 8.08s/it][A + hellaswag_nl: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 245/290 [33:35<06:02, 8.06s/it][A + hellaswag_nl: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 246/290 [33:43<05:52, 8.00s/it][A + hellaswag_nl: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/290 [33:51<05:43, 7.99s/it][A + hellaswag_nl: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/290 [33:59<05:34, 7.97s/it][A + hellaswag_nl: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/290 [34:07<05:28, 8.02s/it][A + hellaswag_nl: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/290 [34:16<05:30, 8.25s/it][A + hellaswag_nl: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/290 [34:24<05:19, 8.20s/it][A + hellaswag_nl: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/290 [34:33<05:16, 8.32s/it][A + hellaswag_nl: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/290 [34:41<05:06, 8.27s/it][A + hellaswag_nl: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 254/290 [34:49<05:01, 8.38s/it][A + hellaswag_nl: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/290 [34:58<04:50, 8.30s/it][A + hellaswag_nl: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/290 [35:06<04:45, 8.41s/it][A + hellaswag_nl: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 257/290 [35:15<04:40, 8.50s/it][A + hellaswag_nl: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 258/290 [35:23<04:26, 8.32s/it][A + hellaswag_nl: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 259/290 [35:31<04:14, 8.22s/it][A + hellaswag_nl: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/290 [35:39<04:06, 8.20s/it][A + hellaswag_nl: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/290 [35:47<03:59, 8.26s/it][A + hellaswag_nl: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/290 [35:55<03:48, 8.16s/it][A + hellaswag_nl: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/290 [36:04<03:47, 8.43s/it][A + hellaswag_nl: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/290 [36:12<03:34, 8.26s/it][A + hellaswag_nl: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/290 [36:20<03:23, 8.13s/it][A + hellaswag_nl: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/290 [36:28<03:16, 8.20s/it][A + hellaswag_nl: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/290 [36:36<03:06, 8.12s/it][A + hellaswag_nl: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 268/290 [36:45<03:04, 8.37s/it][A + hellaswag_nl: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 269/290 [36:53<02:53, 8.25s/it][A + hellaswag_nl: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 270/290 [37:01<02:43, 8.19s/it][A + hellaswag_nl: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 271/290 [37:09<02:32, 8.04s/it][A + hellaswag_nl: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 272/290 [37:18<02:29, 8.32s/it][A + hellaswag_nl: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 273/290 [37:27<02:22, 8.41s/it][A + hellaswag_nl: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 274/290 [37:36<02:17, 8.58s/it][A + hellaswag_nl: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 275/290 [37:44<02:06, 8.40s/it][A + hellaswag_nl: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 276/290 [37:52<01:57, 8.38s/it][A + hellaswag_nl: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 277/290 [38:00<01:46, 8.20s/it][A + hellaswag_nl: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 278/290 [38:08<01:38, 8.23s/it][A + hellaswag_nl: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 279/290 [38:16<01:29, 8.13s/it][A + hellaswag_nl: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 280/290 [38:25<01:22, 8.28s/it][A + hellaswag_nl: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 281/290 [38:33<01:13, 8.20s/it][A + hellaswag_nl: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 282/290 [38:41<01:06, 8.32s/it][A + hellaswag_nl: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 283/290 [38:49<00:57, 8.16s/it][A + hellaswag_nl: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 284/290 [38:57<00:48, 8.05s/it][A + hellaswag_nl: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 285/290 [39:05<00:40, 8.06s/it][A + hellaswag_nl: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [39:13<00:32, 8.12s/it][A + hellaswag_nl: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [39:21<00:24, 8.06s/it][A + hellaswag_nl: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [39:29<00:16, 8.10s/it][A + hellaswag_nl: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [39:37<00:08, 8.03s/it][A + hellaswag_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [39:44<00:00, 7.71s/it][A hellaswag_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [39:44<00:00, 8.22s/it] +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_nl_acc 0.5163518618456557 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_nl_acc_norm 0.6909875876956287 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 04:42:01,316 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 04:42:01,316 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:01,442 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 04:42:01,442 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:01,568 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 04:42:01,568 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:01,693 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 04:42:01,694 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 04:42:01,694 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 04:42:01,821 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 04:42:01,821 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_nl_acc'} +2024-05-30 04:42:01,885 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 04:42:01,885 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1179, 'value': 0.5163518618456557} +2024-05-30 04:42:01,949 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 04:42:02,568 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 04:42:02,568 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:02,689 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 04:42:02,689 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:02,811 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 04:42:02,811 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:02,932 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 04:42:02,933 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 04:42:02,933 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 04:42:03,056 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 04:42:03,056 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_nl_acc_norm'} +2024-05-30 04:42:03,117 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 04:42:03,117 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1180, 'value': 0.6909875876956287} +2024-05-30 04:42:03,179 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 41%|████████████████████████████████████████████▍ | 51/124 [21:54:32<75:41:55, 3733.09s/it]['hellaswag_pt'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 04:42:03,821 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 04:42:03,821 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:03,948 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 04:42:03,948 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:04,075 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 04:42:04,075 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 04:42:04,202 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 04:42:04,203 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 04:42:04,203 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_pt'} +2024-05-30 04:42:04,331 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_pt task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.68s/ examples][A + Generating validation split: 1976 examples [00:02, 993.54 examples/s][A + Generating validation split: 3608 examples [00:02, 2020.70 examples/s][A + Generating validation split: 5252 examples [00:02, 3280.54 examples/s][A + Generating validation split: 7000 examples [00:03, 4827.21 examples/s][A + Generating validation split: 9000 examples [00:03, 6726.90 examples/s][A Generating validation split: 9229 examples [00:03, 2848.87 examples/s] +Loaded 9229 examples +Running loglikelihood requests + + hellaswag_pt: 0%| | 0/289 [00:00<?, ?it/s][A + hellaswag_pt: 0%|▍ | 1/289 [00:08<40:40, 8.47s/it][A + hellaswag_pt: 1%|▊ | 2/289 [00:16<39:15, 8.21s/it][A + hellaswag_pt: 1%|█▏ | 3/289 [00:24<38:31, 8.08s/it][A + hellaswag_pt: 1%|█▌ | 4/289 [00:32<38:11, 8.04s/it][A + hellaswag_pt: 2%|█▉ | 5/289 [00:40<38:18, 8.09s/it][A + hellaswag_pt: 2%|██▎ | 6/289 [00:49<38:48, 8.23s/it][A + hellaswag_pt: 2%|██▊ | 7/289 [00:57<38:15, 8.14s/it][A + hellaswag_pt: 3%|███▏ | 8/289 [01:05<39:19, 8.40s/it][A + hellaswag_pt: 3%|███▌ | 9/289 [01:14<39:32, 8.47s/it][A + hellaswag_pt: 3%|███▉ | 10/289 [01:22<38:36, 8.30s/it][A + hellaswag_pt: 4%|████▎ | 11/289 [01:30<38:17, 8.26s/it][A + hellaswag_pt: 4%|████▋ | 12/289 [01:38<37:49, 8.19s/it][A + hellaswag_pt: 4%|█████ | 13/289 [01:47<38:00, 8.26s/it][A + hellaswag_pt: 5%|█████▍ | 14/289 [01:55<37:23, 8.16s/it][A + hellaswag_pt: 5%|█████▊ | 15/289 [02:03<37:52, 8.29s/it][A + hellaswag_pt: 6%|██████▎ | 16/289 [02:12<38:04, 8.37s/it][A + hellaswag_pt: 6%|██████▋ | 17/289 [02:20<37:12, 8.21s/it][A + hellaswag_pt: 6%|███████ | 18/289 [02:27<36:35, 8.10s/it][A + hellaswag_pt: 7%|███████▍ | 19/289 [02:35<36:12, 8.05s/it][A + hellaswag_pt: 7%|███████▊ | 20/289 [02:44<36:30, 8.14s/it][A + hellaswag_pt: 7%|████████▏ | 21/289 [02:52<37:05, 8.31s/it][A + hellaswag_pt: 8%|████████▌ | 22/289 [03:00<36:23, 8.18s/it][A + hellaswag_pt: 8%|████████▉ | 23/289 [03:08<35:46, 8.07s/it][A + hellaswag_pt: 8%|█████████▍ | 24/289 [03:16<35:26, 8.03s/it][A + hellaswag_pt: 9%|█████████▊ | 25/289 [03:24<35:24, 8.05s/it][A + hellaswag_pt: 9%|██████████▏ | 26/289 [03:32<35:32, 8.11s/it][A + hellaswag_pt: 9%|██████████▌ | 27/289 [03:41<35:33, 8.14s/it][A + hellaswag_pt: 10%|██████████▉ | 28/289 [03:49<35:17, 8.11s/it][A + hellaswag_pt: 10%|███████████▎ | 29/289 [03:56<34:47, 8.03s/it][A + hellaswag_pt: 10%|███████████▋ | 30/289 [04:04<34:28, 7.99s/it][A + hellaswag_pt: 11%|████████████ | 31/289 [04:13<34:48, 8.09s/it][A + hellaswag_pt: 11%|████████████▌ | 32/289 [04:21<34:35, 8.08s/it][A + hellaswag_pt: 11%|████████████▉ | 33/289 [04:29<34:27, 8.08s/it][A + hellaswag_pt: 12%|█████████████▎ | 34/289 [04:37<34:51, 8.20s/it][A + hellaswag_pt: 12%|█████████████▋ | 35/289 [04:45<34:21, 8.12s/it][A + hellaswag_pt: 12%|██████████████ | 36/289 [04:53<34:09, 8.10s/it][A + hellaswag_pt: 13%|██████████████▍ | 37/289 [05:02<34:37, 8.25s/it][A + hellaswag_pt: 13%|██████████████▊ | 38/289 [05:10<34:07, 8.16s/it][A + hellaswag_pt: 13%|███████████████▏ | 39/289 [05:18<33:43, 8.10s/it][A + hellaswag_pt: 14%|███████████████▋ | 40/289 [05:26<34:05, 8.21s/it][A + hellaswag_pt: 14%|████████████████ | 41/289 [05:34<33:39, 8.14s/it][A + hellaswag_pt: 15%|████████████████▍ | 42/289 [05:42<33:12, 8.07s/it][A + hellaswag_pt: 15%|████████████████▊ | 43/289 [05:50<32:59, 8.05s/it][A + hellaswag_pt: 15%|█████████████████▏ | 44/289 [05:58<32:40, 8.00s/it][A + hellaswag_pt: 16%|█████████████████▌ | 45/289 [06:06<32:22, 7.96s/it][A + hellaswag_pt: 16%|█████████████████▉ | 46/289 [06:14<32:22, 7.99s/it][A + hellaswag_pt: 16%|██████████████████▍ | 47/289 [06:22<32:11, 7.98s/it][A + hellaswag_pt: 17%|██████████████████▊ | 48/289 [06:30<32:02, 7.98s/it][A + hellaswag_pt: 17%|███████████████████▏ | 49/289 [06:38<31:54, 7.98s/it][A + hellaswag_pt: 17%|███████████████████▌ | 50/289 [06:46<32:26, 8.14s/it][A + hellaswag_pt: 18%|███████████████████▉ | 51/289 [06:55<33:20, 8.40s/it][A + hellaswag_pt: 18%|████████████████████▎ | 52/289 [07:04<32:50, 8.31s/it][A + hellaswag_pt: 18%|████████████████████▋ | 53/289 [07:11<32:08, 8.17s/it][A + hellaswag_pt: 19%|█████████████████████ | 54/289 [07:19<31:49, 8.12s/it][A + hellaswag_pt: 19%|█████████████████████▌ | 55/289 [07:27<31:24, 8.05s/it][A + hellaswag_pt: 19%|█████████████████████▉ | 56/289 [07:35<31:10, 8.03s/it][A + hellaswag_pt: 20%|██████████████████████▎ | 57/289 [07:43<30:47, 7.96s/it][A + hellaswag_pt: 20%|██████████████████████▋ | 58/289 [07:51<30:28, 7.91s/it][A + hellaswag_pt: 20%|███████████████████████ | 59/289 [07:59<30:16, 7.90s/it][A + hellaswag_pt: 21%|███████████████████████▍ | 60/289 [08:06<30:02, 7.87s/it][A + hellaswag_pt: 21%|███████████████████████▊ | 61/289 [08:15<30:07, 7.93s/it][A + hellaswag_pt: 21%|████████████████████████▏ | 62/289 [08:23<30:14, 7.99s/it][A + hellaswag_pt: 22%|████████████████████████▋ | 63/289 [08:31<30:00, 7.97s/it][A + hellaswag_pt: 22%|█████████████████████████ | 64/289 [08:38<29:46, 7.94s/it][A + hellaswag_pt: 22%|█████████████████████████▍ | 65/289 [08:47<29:50, 7.99s/it][A + hellaswag_pt: 23%|█████████████████████████▊ | 66/289 [08:54<29:32, 7.95s/it][A + hellaswag_pt: 23%|██████████████████████████▏ | 67/289 [09:02<29:26, 7.96s/it][A + hellaswag_pt: 24%|██████████████████████████▌ | 68/289 [09:11<30:06, 8.17s/it][A + hellaswag_pt: 24%|██████████████████████████▉ | 69/289 [09:19<29:59, 8.18s/it][A + hellaswag_pt: 24%|███████████████████████████▎ | 70/289 [09:27<29:33, 8.10s/it][A + hellaswag_pt: 25%|███████████████████████████▊ | 71/289 [09:36<29:57, 8.25s/it][A + hellaswag_pt: 25%|████████████████████████████▏ | 72/289 [09:44<30:04, 8.32s/it][A + hellaswag_pt: 25%|████████████████████████████▌ | 73/289 [09:53<30:00, 8.34s/it][A + hellaswag_pt: 26%|████████████████████████████▉ | 74/289 [10:01<30:13, 8.43s/it][A + hellaswag_pt: 26%|█████████████████████████████▎ | 75/289 [10:09<29:27, 8.26s/it][A + hellaswag_pt: 26%|█████████████████████████████▋ | 76/289 [10:17<28:56, 8.15s/it][A + hellaswag_pt: 27%|██████████████████████████████ | 77/289 [10:25<28:35, 8.09s/it][A + hellaswag_pt: 27%|██████████████████████████████▍ | 78/289 [10:33<28:07, 8.00s/it][A + hellaswag_pt: 27%|██████████████████████████████▉ | 79/289 [10:41<27:47, 7.94s/it][A + hellaswag_pt: 28%|███████████████████████████████▎ | 80/289 [10:49<28:03, 8.06s/it][A + hellaswag_pt: 28%|███████████████████████████████▋ | 81/289 [10:57<28:24, 8.20s/it][A + hellaswag_pt: 28%|████████████████████████████████ | 82/289 [11:05<27:59, 8.12s/it][A + hellaswag_pt: 29%|████████████████████████████████▍ | 83/289 [11:14<28:29, 8.30s/it][A + hellaswag_pt: 29%|████████████████████████████████▊ | 84/289 [11:22<28:12, 8.25s/it][A + hellaswag_pt: 29%|█████████████████████████████████▏ | 85/289 [11:31<28:49, 8.48s/it][A + hellaswag_pt: 30%|█████████████████████████████████▋ | 86/289 [11:39<28:07, 8.31s/it][A + hellaswag_pt: 30%|██████████████████████████████████ | 87/289 [11:47<27:35, 8.20s/it][A + hellaswag_pt: 30%|██████████████████████████████████▍ | 88/289 [11:55<27:25, 8.19s/it][A + hellaswag_pt: 31%|██████████████████████████████████▊ | 89/289 [12:04<27:35, 8.28s/it][A + hellaswag_pt: 31%|███████████████████████████████████▏ | 90/289 [12:12<27:26, 8.28s/it][A + hellaswag_pt: 31%|███████████████████████████████████▌ | 91/289 [12:21<27:43, 8.40s/it][A + hellaswag_pt: 32%|███████████████████████████████████▉ | 92/289 [12:30<28:15, 8.61s/it][A + hellaswag_pt: 32%|████████████████████████████████████▎ | 93/289 [12:39<28:12, 8.63s/it][A + hellaswag_pt: 33%|████████████████████████████████████▊ | 94/289 [12:47<28:04, 8.64s/it][A + hellaswag_pt: 33%|█████████████████████████████████████▏ | 95/289 [12:56<27:44, 8.58s/it][A + hellaswag_pt: 33%|█████████████████████████████████████▌ | 96/289 [13:04<27:07, 8.43s/it][A + hellaswag_pt: 34%|█████████████████████████████████████▉ | 97/289 [13:12<26:34, 8.31s/it][A + hellaswag_pt: 34%|██████████████████████████████████████▎ | 98/289 [13:20<26:32, 8.34s/it][A + hellaswag_pt: 34%|██████████████████████████████████████▋ | 99/289 [13:29<26:50, 8.48s/it][A + hellaswag_pt: 35%|██████████████████████████████████████▊ | 100/289 [13:37<26:37, 8.45s/it][A + hellaswag_pt: 35%|███████████████████████████████████████▏ | 101/289 [13:45<26:04, 8.32s/it][A + hellaswag_pt: 35%|███████████████████████████████████████▌ | 102/289 [13:53<25:34, 8.21s/it][A + hellaswag_pt: 36%|███████████████████████████████████████▉ | 103/289 [14:01<25:07, 8.10s/it][A + hellaswag_pt: 36%|████████████████████████████████████████▎ | 104/289 [14:10<25:43, 8.34s/it][A + hellaswag_pt: 36%|████████████████████████████████████████▋ | 105/289 [14:18<25:30, 8.32s/it][A + hellaswag_pt: 37%|█████████████████████████████████████████ | 106/289 [14:27<25:24, 8.33s/it][A + hellaswag_pt: 37%|█████████████████████████████████████████▍ | 107/289 [14:35<25:16, 8.33s/it][A + hellaswag_pt: 37%|█████████████████████████████████████████▊ | 108/289 [14:44<25:31, 8.46s/it][A + hellaswag_pt: 38%|██████████████████████████████████████████▏ | 109/289 [14:52<24:51, 8.29s/it][A + hellaswag_pt: 38%|██████████████████████████████████████████▋ | 110/289 [14:59<24:19, 8.15s/it][A + hellaswag_pt: 38%|███████████████████████████████████████████ | 111/289 [15:09<25:09, 8.48s/it][A + hellaswag_pt: 39%|███████████████████████████████████████████▍ | 112/289 [15:17<24:29, 8.31s/it][A + hellaswag_pt: 39%|███████████████████████████████████████████▊ | 113/289 [15:25<24:06, 8.22s/it][A + hellaswag_pt: 39%|████████████████████████████████████████████▏ | 114/289 [15:33<24:00, 8.23s/it][A + hellaswag_pt: 40%|████████████████████████████████████████████▌ | 115/289 [15:42<24:23, 8.41s/it][A + hellaswag_pt: 40%|████████████████████████████████████████████▉ | 116/289 [15:50<24:34, 8.52s/it][A + hellaswag_pt: 40%|█████████████████████████████████████████████▎ | 117/289 [15:58<23:50, 8.32s/it][A + hellaswag_pt: 41%|█████████████████████████████████████████████▋ | 118/289 [16:06<23:25, 8.22s/it][A + hellaswag_pt: 41%|██████████████████████████████████████████████ | 119/289 [16:15<23:52, 8.43s/it][A + hellaswag_pt: 42%|██████████████████████████████████████████████▌ | 120/289 [16:24<24:08, 8.57s/it][A + hellaswag_pt: 42%|██████████████████████████████████████████████▉ | 121/289 [16:32<23:28, 8.38s/it][A + hellaswag_pt: 42%|███████████████████████████████████████████████▎ | 122/289 [16:40<22:56, 8.25s/it][A + hellaswag_pt: 43%|███████████████████████████████████████████████▋ | 123/289 [16:48<22:49, 8.25s/it][A + hellaswag_pt: 43%|████████████████████████████████████████████████ | 124/289 [16:56<22:24, 8.15s/it][A + hellaswag_pt: 43%|████████████████████████████████████████████████▍ | 125/289 [17:05<22:29, 8.23s/it][A + hellaswag_pt: 44%|████████████████████████████████████████████████▊ | 126/289 [17:13<22:11, 8.17s/it][A + hellaswag_pt: 44%|█████████████████████████████████████████████████▏ | 127/289 [17:21<22:07, 8.19s/it][A + hellaswag_pt: 44%|█████████████████████████████████████████████████▌ | 128/289 [17:29<22:12, 8.28s/it][A + hellaswag_pt: 45%|█████████████████████████████████████████████████▉ | 129/289 [17:38<22:07, 8.30s/it][A + hellaswag_pt: 45%|██████████████████████████████████████████████████▍ | 130/289 [17:46<21:44, 8.21s/it][A + hellaswag_pt: 45%|██████████████████████████████████████████████████▊ | 131/289 [17:54<21:57, 8.34s/it][A + hellaswag_pt: 46%|███████████████████████████████████████████████████▏ | 132/289 [18:02<21:31, 8.23s/it][A + hellaswag_pt: 46%|███████████████████████████████████████████████████▌ | 133/289 [18:10<21:16, 8.19s/it][A + hellaswag_pt: 46%|███████████████████████████████████████████████████▉ | 134/289 [18:19<21:17, 8.24s/it][A + hellaswag_pt: 47%|████████████████████████████████████████████████████▎ | 135/289 [18:27<20:58, 8.17s/it][A + hellaswag_pt: 47%|████████████████████████████████████████████████████▋ | 136/289 [18:36<21:22, 8.38s/it][A + hellaswag_pt: 47%|█████████████████████████████████████████████████████ | 137/289 [18:44<21:23, 8.44s/it][A + hellaswag_pt: 48%|█████████████████████████████████████████████████████▍ | 138/289 [18:52<20:50, 8.28s/it][A + hellaswag_pt: 48%|█████████████████████████████████████████████████████▊ | 139/289 [19:01<21:06, 8.44s/it][A + hellaswag_pt: 48%|██████████████████████████████████████████████████████▎ | 140/289 [19:09<20:35, 8.29s/it][A + hellaswag_pt: 49%|██████████████████████████████████████████████████████▋ | 141/289 [19:18<20:41, 8.39s/it][A + hellaswag_pt: 49%|███████████████████████████████████████████████████████ | 142/289 [19:25<20:04, 8.19s/it][A + hellaswag_pt: 49%|███████████████████████████████████████████████████████▍ | 143/289 [19:33<19:51, 8.16s/it][A + hellaswag_pt: 50%|███████████████████████████████████████████████████████▊ | 144/289 [19:41<19:36, 8.11s/it][A + hellaswag_pt: 50%|████████████████████████████████████████████████████████▏ | 145/289 [19:50<19:53, 8.29s/it][A + hellaswag_pt: 51%|████████████████████████████████████████████████████████▌ | 146/289 [19:58<19:29, 8.18s/it][A + hellaswag_pt: 51%|████████████████████████████████████████████████████████▉ | 147/289 [20:07<19:44, 8.34s/it][A + hellaswag_pt: 51%|█████████████████████████████████████████████████████████▎ | 148/289 [20:15<19:54, 8.47s/it][A + hellaswag_pt: 52%|█████████████████████████████████████████████████████████▋ | 149/289 [20:23<19:22, 8.31s/it][A + hellaswag_pt: 52%|██████████████████████████████████████████████████████████▏ | 150/289 [20:32<19:26, 8.39s/it][A + hellaswag_pt: 52%|██████████████████████████████████████████████████████████▌ | 151/289 [20:40<19:04, 8.29s/it][A + hellaswag_pt: 53%|██████████████████████████████████████████████████████████▉ | 152/289 [20:48<18:38, 8.17s/it][A + hellaswag_pt: 53%|███████████████████████████████████████████████████████████▎ | 153/289 [20:56<18:23, 8.11s/it][A + hellaswag_pt: 53%|███████████████████████████████████████████████████████████▋ | 154/289 [21:05<18:43, 8.32s/it][A + hellaswag_pt: 54%|████████████████████████████████████████████████████████████ | 155/289 [21:13<18:24, 8.24s/it][A + hellaswag_pt: 54%|████████████████████████████████████████████████████████████▍ | 156/289 [21:21<18:06, 8.17s/it][A + hellaswag_pt: 54%|████████████████████████████████████████████████████████████▊ | 157/289 [21:29<18:20, 8.33s/it][A + hellaswag_pt: 55%|█████████████████████████████████████████████████████████████▏ | 158/289 [21:37<17:49, 8.17s/it][A + hellaswag_pt: 55%|█████████████████████████████████████████████████████████████▌ | 159/289 [21:46<17:55, 8.28s/it][A + hellaswag_pt: 55%|██████████████████████████████████████████████████████████████ | 160/289 [21:54<17:32, 8.16s/it][A + hellaswag_pt: 56%|██████████████████████████████████████████████████████████████▍ | 161/289 [22:02<17:18, 8.11s/it][A + hellaswag_pt: 56%|██████████████████████████████████████████████████████████████▊ | 162/289 [22:10<17:33, 8.29s/it][A + hellaswag_pt: 56%|███████████████████████████████████████████████████████████████▏ | 163/289 [22:19<17:33, 8.36s/it][A + hellaswag_pt: 57%|███████████████████████████████████████████████████████████████▌ | 164/289 [22:27<17:06, 8.21s/it][A + hellaswag_pt: 57%|███████████████████████████████████████████████████████████████▉ | 165/289 [22:35<17:13, 8.33s/it][A + hellaswag_pt: 57%|████████████████████████████████████████████████████████████████▎ | 166/289 [22:44<17:30, 8.54s/it][A + hellaswag_pt: 58%|████████████████████████████████████████████████████████████████▋ | 167/289 [22:53<17:29, 8.60s/it][A + hellaswag_pt: 58%|█████████████████████████████████████████████████████████████████ | 168/289 [23:01<16:56, 8.40s/it][A + hellaswag_pt: 58%|█████████████████████████████████████████████████████████████████▍ | 169/289 [23:10<17:11, 8.60s/it][A + hellaswag_pt: 59%|█████████████████████████████████████████████████████████████████▉ | 170/289 [23:19<17:01, 8.59s/it][A + hellaswag_pt: 59%|██████████████████████████████████████████████████████████████████▎ | 171/289 [23:27<16:53, 8.59s/it][A + hellaswag_pt: 60%|██████████████████████████████████████████████████████████████████▋ | 172/289 [23:35<16:20, 8.38s/it][A + hellaswag_pt: 60%|███████████████████████████████████████████████████████████████████ | 173/289 [23:43<15:55, 8.24s/it][A + hellaswag_pt: 60%|███████████████████████████████████████████████████████████████████▍ | 174/289 [23:51<15:34, 8.13s/it][A + hellaswag_pt: 61%|███████████████████████████████████████████████████████████████████▊ | 175/289 [23:59<15:24, 8.11s/it][A + hellaswag_pt: 61%|████████████████████████████████████████████████████████████████████▏ | 176/289 [24:08<15:31, 8.24s/it][A + hellaswag_pt: 61%|████████████████████████████████████████████████████████████████████▌ | 177/289 [24:16<15:36, 8.36s/it][A + hellaswag_pt: 62%|████████████████████████████████████████████████████████████████████▉ | 178/289 [24:25<15:39, 8.47s/it][A + hellaswag_pt: 62%|█████████████████████████████████████████████████████████████████████▎ | 179/289 [24:33<15:15, 8.32s/it][A + hellaswag_pt: 62%|█████████████████████████████████████████████████████████████████████▊ | 180/289 [24:41<14:55, 8.21s/it][A + hellaswag_pt: 63%|██████████████████████████████████████████████████████████████████████▏ | 181/289 [24:49<14:55, 8.29s/it][A + hellaswag_pt: 63%|██████████████████████████████████████████████████████████████████████▌ | 182/289 [24:57<14:30, 8.13s/it][A + hellaswag_pt: 63%|██████████████████████████████████████████████████████████████████████▉ | 183/289 [25:06<14:36, 8.27s/it][A + hellaswag_pt: 64%|███████████████████████████████████████████████████████████████████████▎ | 184/289 [25:14<14:37, 8.36s/it][A + hellaswag_pt: 64%|███████████████████████████████████████████████████████████████████████▋ | 185/289 [25:22<14:16, 8.24s/it][A + hellaswag_pt: 64%|████████████████████████████████████████████████████████████████████████ | 186/289 [25:31<14:34, 8.49s/it][A + hellaswag_pt: 65%|████████████████████████████████████████████████████████████████████████▍ | 187/289 [25:39<14:13, 8.36s/it][A + hellaswag_pt: 65%|████████████████████████████████████████████████████████████████████████▊ | 188/289 [25:47<13:50, 8.22s/it][A + hellaswag_pt: 65%|█████████████████████████████████████████████████████████████████████████▏ | 189/289 [25:56<13:45, 8.26s/it][A + hellaswag_pt: 66%|█████████████████████████████████████████████████████████████████████████▋ | 190/289 [26:04<13:47, 8.36s/it][A + hellaswag_pt: 66%|██████████████████████████████████████████████████████████████████████████ | 191/289 [26:13<13:39, 8.36s/it][A + hellaswag_pt: 66%|██████████████████████████████████████████████████████████████████████████▍ | 192/289 [26:21<13:22, 8.27s/it][A + hellaswag_pt: 67%|██████████████████████████████████████████████████████████████████████████▊ | 193/289 [26:29<13:12, 8.26s/it][A + hellaswag_pt: 67%|███████████████████████████████████████████████████████████████████████████▏ | 194/289 [26:38<13:18, 8.41s/it][A + hellaswag_pt: 67%|███████████████████████████████████████████████████████████████████████████▌ | 195/289 [26:46<13:00, 8.30s/it][A + hellaswag_pt: 68%|███████████████████████████████████████████████████████████████████████████▉ | 196/289 [26:54<12:43, 8.21s/it][A + hellaswag_pt: 68%|████████████████████████████████████████████████████████████████████████████▎ | 197/289 [27:02<12:30, 8.16s/it][A + hellaswag_pt: 69%|████████████████████████████████████████████████████████████████████████████▋ | 198/289 [27:10<12:16, 8.09s/it][A + hellaswag_pt: 69%|█████████████████████████████████████████████████████████████████████████████ | 199/289 [27:18<12:13, 8.15s/it][A + hellaswag_pt: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 200/289 [27:27<12:19, 8.31s/it][A + hellaswag_pt: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 201/289 [27:34<11:58, 8.17s/it][A + hellaswag_pt: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 202/289 [27:42<11:46, 8.12s/it][A + hellaswag_pt: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 203/289 [27:51<11:42, 8.16s/it][A + hellaswag_pt: 71%|███████████████████████████████████████████████████████████████████████████████ | 204/289 [27:59<11:30, 8.12s/it][A + hellaswag_pt: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 205/289 [28:07<11:19, 8.09s/it][A + hellaswag_pt: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 206/289 [28:15<11:23, 8.24s/it][A + hellaswag_pt: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 207/289 [28:24<11:15, 8.23s/it][A + hellaswag_pt: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 208/289 [28:32<11:03, 8.20s/it][A + hellaswag_pt: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 209/289 [28:40<10:47, 8.09s/it][A + hellaswag_pt: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 210/289 [28:48<10:53, 8.27s/it][A + hellaswag_pt: 73%|█████████████████████████████████████████████████████████████████████████████████▊ | 211/289 [28:57<10:56, 8.42s/it][A + hellaswag_pt: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 212/289 [29:05<10:36, 8.27s/it][A + hellaswag_pt: 74%|██████████████████████████████████████████████████████████████████████████████████▌ | 213/289 [29:13<10:34, 8.35s/it][A + hellaswag_pt: 74%|██████████████████████████████████████████████████████████████████████████████████▉ | 214/289 [29:21<10:17, 8.24s/it][A + hellaswag_pt: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 215/289 [29:29<10:03, 8.16s/it][A + hellaswag_pt: 75%|███████████████████████████████████████████████████████████████████████████████████▋ | 216/289 [29:37<09:50, 8.10s/it][A + hellaswag_pt: 75%|████████████████████████████████████████████████████████████████████████████████████ | 217/289 [29:46<09:57, 8.29s/it][A + hellaswag_pt: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 218/289 [29:54<09:50, 8.32s/it][A + hellaswag_pt: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 219/289 [30:02<09:35, 8.23s/it][A + hellaswag_pt: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 220/289 [30:11<09:27, 8.23s/it][A + hellaswag_pt: 76%|█████████████████████████████████████████████████████████████████████████████████████▋ | 221/289 [30:19<09:28, 8.35s/it][A + hellaswag_pt: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 222/289 [30:27<09:12, 8.24s/it][A + hellaswag_pt: 77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 223/289 [30:35<08:56, 8.12s/it][A + hellaswag_pt: 78%|██████████████████████████████████████████████████████████████████████████████████████▊ | 224/289 [30:43<08:45, 8.09s/it][A + hellaswag_pt: 78%|███████████████████████████████████████████████████████████████████████████████████████▏ | 225/289 [30:52<08:44, 8.20s/it][A + hellaswag_pt: 78%|███████████████████████████████████████████████████████████████████████████████████████▌ | 226/289 [30:59<08:29, 8.09s/it][A + hellaswag_pt: 79%|███████████████████████████████████████████████████████████████████████████████████████▉ | 227/289 [31:07<08:17, 8.03s/it][A + hellaswag_pt: 79%|████████████████████████████████████████████████████████████████████████████████████████▎ | 228/289 [31:15<08:08, 8.00s/it][A + hellaswag_pt: 79%|████████████████████████████████████████████████████████████████████████████████████████▋ | 229/289 [31:23<07:59, 8.00s/it][A + hellaswag_pt: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 230/289 [31:32<08:05, 8.23s/it][A + hellaswag_pt: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 231/289 [31:41<08:04, 8.36s/it][A + hellaswag_pt: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 232/289 [31:49<07:50, 8.26s/it][A + hellaswag_pt: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 233/289 [31:57<07:36, 8.15s/it][A + hellaswag_pt: 81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 234/289 [32:04<07:23, 8.06s/it][A + hellaswag_pt: 81%|███████████████████████████████████████████████████████████████████████████████████████████ | 235/289 [32:13<07:15, 8.06s/it][A + hellaswag_pt: 82%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 236/289 [32:21<07:12, 8.16s/it][A + hellaswag_pt: 82%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 237/289 [32:29<06:59, 8.07s/it][A + hellaswag_pt: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 238/289 [32:37<06:48, 8.01s/it][A + hellaswag_pt: 83%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 239/289 [32:45<06:50, 8.20s/it][A + hellaswag_pt: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 240/289 [32:53<06:40, 8.17s/it][A + hellaswag_pt: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 241/289 [33:01<06:28, 8.10s/it][A + hellaswag_pt: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 242/289 [33:09<06:16, 8.01s/it][A + hellaswag_pt: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 243/289 [33:17<06:09, 8.03s/it][A + hellaswag_pt: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 244/289 [33:26<06:06, 8.14s/it][A + hellaswag_pt: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 245/289 [33:34<05:59, 8.17s/it][A + hellaswag_pt: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 246/289 [33:42<05:50, 8.14s/it][A + hellaswag_pt: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 247/289 [33:50<05:39, 8.07s/it][A + hellaswag_pt: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 248/289 [33:58<05:28, 8.01s/it][A + hellaswag_pt: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 249/289 [34:06<05:25, 8.13s/it][A + hellaswag_pt: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 250/289 [34:14<05:14, 8.08s/it][A + hellaswag_pt: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 251/289 [34:22<05:03, 7.99s/it][A + hellaswag_pt: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 252/289 [34:30<04:55, 7.98s/it][A + hellaswag_pt: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 253/289 [34:38<04:46, 7.97s/it][A + hellaswag_pt: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 254/289 [34:46<04:38, 7.96s/it][A + hellaswag_pt: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 255/289 [34:54<04:31, 7.97s/it][A + hellaswag_pt: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 256/289 [35:02<04:22, 7.96s/it][A + hellaswag_pt: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 257/289 [35:11<04:23, 8.24s/it][A + hellaswag_pt: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 258/289 [35:19<04:13, 8.17s/it][A + hellaswag_pt: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/289 [35:26<04:03, 8.11s/it][A + hellaswag_pt: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 260/289 [35:35<03:54, 8.08s/it][A + hellaswag_pt: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 261/289 [35:43<03:45, 8.07s/it][A + hellaswag_pt: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 262/289 [35:51<03:37, 8.05s/it][A + hellaswag_pt: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 263/289 [35:59<03:36, 8.32s/it][A + hellaswag_pt: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 264/289 [36:08<03:27, 8.28s/it][A + hellaswag_pt: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 265/289 [36:16<03:17, 8.22s/it][A + hellaswag_pt: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 266/289 [36:24<03:07, 8.16s/it][A + hellaswag_pt: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 267/289 [36:32<02:58, 8.13s/it][A + hellaswag_pt: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 268/289 [36:40<02:49, 8.08s/it][A + hellaswag_pt: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 269/289 [36:48<02:42, 8.11s/it][A + hellaswag_pt: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 270/289 [36:56<02:33, 8.05s/it][A + hellaswag_pt: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 271/289 [37:05<02:30, 8.35s/it][A + hellaswag_pt: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 272/289 [37:13<02:20, 8.25s/it][A + hellaswag_pt: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 273/289 [37:22<02:14, 8.38s/it][A + hellaswag_pt: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 274/289 [37:30<02:03, 8.25s/it][A + hellaswag_pt: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 275/289 [37:38<01:57, 8.37s/it][A + hellaswag_pt: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 276/289 [37:46<01:46, 8.19s/it][A + hellaswag_pt: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 277/289 [37:54<01:38, 8.21s/it][A + hellaswag_pt: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 278/289 [38:03<01:30, 8.23s/it][A + hellaswag_pt: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 279/289 [38:11<01:21, 8.18s/it][A + hellaswag_pt: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 280/289 [38:19<01:13, 8.15s/it][A + hellaswag_pt: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 281/289 [38:27<01:04, 8.09s/it][A + hellaswag_pt: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 282/289 [38:35<00:57, 8.25s/it][A + hellaswag_pt: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 283/289 [38:43<00:48, 8.13s/it][A + hellaswag_pt: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 284/289 [38:51<00:40, 8.10s/it][A + hellaswag_pt: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 285/289 [38:59<00:32, 8.03s/it][A + hellaswag_pt: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 286/289 [39:07<00:24, 8.06s/it][A + hellaswag_pt: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 287/289 [39:15<00:16, 8.02s/it][A + hellaswag_pt: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 288/289 [39:23<00:07, 7.98s/it][A + hellaswag_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [39:28<00:00, 7.24s/it][A hellaswag_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [39:28<00:00, 8.20s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_pt_acc 0.532343699209015 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_pt_acc_norm 0.7208798353017661 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 05:21:38,324 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 05:21:38,324 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:38,452 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 05:21:38,452 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:38,586 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 05:21:38,587 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:38,714 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 05:21:38,715 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 05:21:38,715 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 05:21:38,845 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 05:21:38,845 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_pt_acc'} +2024-05-30 05:21:38,910 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 05:21:38,910 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1181, 'value': 0.532343699209015} +2024-05-30 05:21:38,978 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 05:21:39,604 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 05:21:39,604 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:39,726 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 05:21:39,726 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:39,849 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 05:21:39,849 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:39,971 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 05:21:39,972 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 05:21:39,972 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 05:21:40,118 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 05:21:40,118 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_pt_acc_norm'} +2024-05-30 05:21:40,181 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 05:21:40,181 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1182, 'value': 0.7208798353017661} +2024-05-30 05:21:40,243 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 42%|█████████████████████████████████████████████▎ | 52/124 [22:34:09<66:31:32, 3326.28s/it]['hellaswag_ro'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 05:21:40,862 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 05:21:40,862 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:40,984 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 05:21:40,984 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:41,106 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 05:21:41,106 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 05:21:41,227 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 05:21:41,228 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 05:21:41,228 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'hellaswag_ro'} +2024-05-30 05:21:41,351 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_ro task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:02, 2.98s/ examples][A + Generating validation split: 2000 examples [00:03, 905.22 examples/s][A + Generating validation split: 4000 examples [00:03, 2039.38 examples/s][A + Generating validation split: 5789 examples [00:03, 3290.36 examples/s][A + Generating validation split: 7381 examples [00:03, 4569.73 examples/s][A + Generating validation split: 9000 examples [00:03, 6028.34 examples/s][A Generating validation split: 9245 examples [00:03, 2603.38 examples/s] +Loaded 9245 examples +Running loglikelihood requests + + hellaswag_ro: 0%| | 0/289 [00:00<?, ?it/s][A + hellaswag_ro: 0%|▍ | 1/289 [00:08<42:08, 8.78s/it][A + hellaswag_ro: 1%|▊ | 2/289 [00:17<40:59, 8.57s/it][A + hellaswag_ro: 1%|█▏ | 3/289 [00:25<40:48, 8.56s/it][A + hellaswag_ro: 1%|█▌ | 4/289 [00:34<41:51, 8.81s/it][A + hellaswag_ro: 2%|█▉ | 5/289 [00:43<41:25, 8.75s/it][A + hellaswag_ro: 2%|██▎ | 6/289 [00:52<40:59, 8.69s/it][A + hellaswag_ro: 2%|██▊ | 7/289 [01:00<40:48, 8.68s/it][A + hellaswag_ro: 3%|███▏ | 8/289 [01:09<40:50, 8.72s/it][A + hellaswag_ro: 3%|███▌ | 9/289 [01:18<40:16, 8.63s/it][A + hellaswag_ro: 3%|███▉ | 10/289 [01:27<41:10, 8.86s/it][A + hellaswag_ro: 4%|████▎ | 11/289 [01:36<41:06, 8.87s/it][A + hellaswag_ro: 4%|████▋ | 12/289 [01:44<40:30, 8.77s/it][A + hellaswag_ro: 4%|█████ | 13/289 [01:53<40:12, 8.74s/it][A + hellaswag_ro: 5%|█████▍ | 14/289 [02:02<39:50, 8.69s/it][A + hellaswag_ro: 5%|█████▊ | 15/289 [02:10<39:46, 8.71s/it][A + hellaswag_ro: 6%|██████▎ | 16/289 [02:19<39:32, 8.69s/it][A + hellaswag_ro: 6%|██████▋ | 17/289 [02:28<39:08, 8.64s/it][A + hellaswag_ro: 6%|███████ | 18/289 [02:36<38:53, 8.61s/it][A + hellaswag_ro: 7%|███████▍ | 19/289 [02:45<39:21, 8.75s/it][A + hellaswag_ro: 7%|███████▊ | 20/289 [02:54<39:27, 8.80s/it][A + hellaswag_ro: 7%|████████▏ | 21/289 [03:03<39:22, 8.81s/it][A + hellaswag_ro: 8%|████████▌ | 22/289 [03:12<39:00, 8.77s/it][A + hellaswag_ro: 8%|████████▉ | 23/289 [03:21<39:19, 8.87s/it][A + hellaswag_ro: 8%|█████████▍ | 24/289 [03:30<39:25, 8.93s/it][A + hellaswag_ro: 9%|█████████▊ | 25/289 [03:38<38:39, 8.79s/it][A + hellaswag_ro: 9%|██████████▏ | 26/289 [03:47<38:24, 8.76s/it][A + hellaswag_ro: 9%|██████████▌ | 27/289 [03:56<38:08, 8.74s/it][A + hellaswag_ro: 10%|██████████▉ | 28/289 [04:04<37:30, 8.62s/it][A + hellaswag_ro: 10%|███████████▎ | 29/289 [04:13<37:38, 8.69s/it][A + hellaswag_ro: 10%|███████████▋ | 30/289 [04:22<37:52, 8.78s/it][A + hellaswag_ro: 11%|████████████ | 31/289 [04:30<37:14, 8.66s/it][A + hellaswag_ro: 11%|████████████▌ | 32/289 [04:39<37:25, 8.74s/it][A + hellaswag_ro: 11%|████████████▉ | 33/289 [04:48<37:01, 8.68s/it][A + hellaswag_ro: 12%|█████████████▎ | 34/289 [04:56<36:57, 8.70s/it][A + hellaswag_ro: 12%|█████████████▋ | 35/289 [05:05<37:06, 8.77s/it][A + hellaswag_ro: 12%|██████████████ | 36/289 [05:14<36:38, 8.69s/it][A + hellaswag_ro: 13%|██████████████▍ | 37/289 [05:22<36:22, 8.66s/it][A + hellaswag_ro: 13%|██████████████▊ | 38/289 [05:31<36:36, 8.75s/it][A + hellaswag_ro: 13%|███████████████▏ | 39/289 [05:40<36:56, 8.87s/it][A + hellaswag_ro: 14%|███████████████▋ | 40/289 [05:49<36:22, 8.77s/it][A + hellaswag_ro: 14%|████████████████ | 41/289 [05:57<35:36, 8.61s/it][A + hellaswag_ro: 15%|████████████████▍ | 42/289 [06:06<35:31, 8.63s/it][A + hellaswag_ro: 15%|████████████████▊ | 43/289 [06:15<35:22, 8.63s/it][A + hellaswag_ro: 15%|█████████████████▏ | 44/289 [06:24<35:51, 8.78s/it][A + hellaswag_ro: 16%|█████████████████▌ | 45/289 [06:32<35:23, 8.70s/it][A + hellaswag_ro: 16%|█████████████████▉ | 46/289 [06:41<35:52, 8.86s/it][A + hellaswag_ro: 16%|██████████████████▍ | 47/289 [06:50<35:32, 8.81s/it][A + hellaswag_ro: 17%|██████████████████▊ | 48/289 [06:59<35:07, 8.75s/it][A + hellaswag_ro: 17%|███████████████████▏ | 49/289 [07:07<34:37, 8.66s/it][A + hellaswag_ro: 17%|███████████████████▌ | 50/289 [07:16<34:32, 8.67s/it][A + hellaswag_ro: 18%|███████████████████▉ | 51/289 [07:24<34:04, 8.59s/it][A + hellaswag_ro: 18%|████████████████████▎ | 52/289 [07:33<33:28, 8.48s/it][A + hellaswag_ro: 18%|████████████████████▋ | 53/289 [07:41<33:27, 8.51s/it][A + hellaswag_ro: 19%|█████████████████████ | 54/289 [07:50<33:31, 8.56s/it][A + hellaswag_ro: 19%|█████████████████████▌ | 55/289 [07:58<33:18, 8.54s/it][A + hellaswag_ro: 19%|█████████████████████▉ | 56/289 [08:07<33:21, 8.59s/it][A + hellaswag_ro: 20%|██████████████████████▎ | 57/289 [08:16<33:14, 8.60s/it][A + hellaswag_ro: 20%|██████████████████████▋ | 58/289 [08:24<33:19, 8.66s/it][A + hellaswag_ro: 20%|███████████████████████ | 59/289 [08:33<33:05, 8.63s/it][A + hellaswag_ro: 21%|███████████████████████▍ | 60/289 [08:41<32:12, 8.44s/it][A + hellaswag_ro: 21%|███████████████████████▊ | 61/289 [08:50<32:13, 8.48s/it][A + hellaswag_ro: 21%|████████████████████████▏ | 62/289 [08:58<32:04, 8.48s/it][A + hellaswag_ro: 22%|████████████████████████▋ | 63/289 [09:06<31:58, 8.49s/it][A + hellaswag_ro: 22%|█████████████████████████ | 64/289 [09:16<32:43, 8.73s/it][A + hellaswag_ro: 22%|█████████████████████████▍ | 65/289 [09:25<33:10, 8.89s/it][A + hellaswag_ro: 23%|█████████████████████████▊ | 66/289 [09:33<32:31, 8.75s/it][A + hellaswag_ro: 23%|██████████████████████████▏ | 67/289 [09:41<31:32, 8.53s/it][A + hellaswag_ro: 24%|██████████████████████████▌ | 68/289 [09:51<32:14, 8.75s/it][A + hellaswag_ro: 24%|██████████████████████████▉ | 69/289 [09:59<31:37, 8.63s/it][A + hellaswag_ro: 24%|███████████████████████████▎ | 70/289 [10:07<31:04, 8.51s/it][A + hellaswag_ro: 25%|███████████████████████████▊ | 71/289 [10:16<30:52, 8.50s/it][A + hellaswag_ro: 25%|████████████████████████████▏ | 72/289 [10:25<30:58, 8.57s/it][A + hellaswag_ro: 25%|████████████████████████████▌ | 73/289 [10:34<31:37, 8.78s/it][A + hellaswag_ro: 26%|████████████████████████████▉ | 74/289 [10:42<31:06, 8.68s/it][A + hellaswag_ro: 26%|█████████████████████████████▎ | 75/289 [10:51<30:46, 8.63s/it][A + hellaswag_ro: 26%|█████████████████████████████▋ | 76/289 [10:59<30:28, 8.58s/it][A + hellaswag_ro: 27%|██████████████████████████████ | 77/289 [11:08<30:29, 8.63s/it][A + hellaswag_ro: 27%|██████████████████████████████▍ | 78/289 [11:17<30:57, 8.80s/it][A + hellaswag_ro: 27%|██████████████████████████████▉ | 79/289 [11:26<30:35, 8.74s/it][A + hellaswag_ro: 28%|███████████████████████████████▎ | 80/289 [11:34<30:22, 8.72s/it][A + hellaswag_ro: 28%|███████████████████████████████▋ | 81/289 [11:43<30:31, 8.81s/it][A + hellaswag_ro: 28%|████████████████████████████████ | 82/289 [11:52<30:05, 8.72s/it][A + hellaswag_ro: 29%|████████████████████████████████▍ | 83/289 [12:01<30:16, 8.82s/it][A + hellaswag_ro: 29%|████████████████████████████████▊ | 84/289 [12:10<30:35, 8.95s/it][A + hellaswag_ro: 29%|█████████████████████████████████▏ | 85/289 [12:18<29:36, 8.71s/it][A + hellaswag_ro: 30%|█████████████████████████████████▋ | 86/289 [12:27<29:13, 8.64s/it][A + hellaswag_ro: 30%|██████████████████████████████████ | 87/289 [12:35<28:48, 8.55s/it][A + hellaswag_ro: 30%|██████████████████████████████████▍ | 88/289 [12:44<28:36, 8.54s/it][A + hellaswag_ro: 31%|██████████████████████████████████▊ | 89/289 [12:52<28:29, 8.55s/it][A + hellaswag_ro: 31%|███████████████████████████████████▏ | 90/289 [13:01<28:16, 8.53s/it][A + hellaswag_ro: 31%|███████████████████████████████████▌ | 91/289 [13:10<28:56, 8.77s/it][A + hellaswag_ro: 32%|███████████████████████████████████▉ | 92/289 [13:19<28:40, 8.74s/it][A + hellaswag_ro: 32%|████████████████████████████████████▎ | 93/289 [13:28<28:44, 8.80s/it][A + hellaswag_ro: 33%|████████████████████████████████████▊ | 94/289 [13:36<28:32, 8.78s/it][A + hellaswag_ro: 33%|█████████████████████████████████████▏ | 95/289 [13:45<28:15, 8.74s/it][A + hellaswag_ro: 33%|█████████████████████████████████████▌ | 96/289 [13:54<28:23, 8.83s/it][A + hellaswag_ro: 34%|█████████████████████████████████████▉ | 97/289 [14:02<27:43, 8.66s/it][A + hellaswag_ro: 34%|██████████████████████████████████████▎ | 98/289 [14:11<27:43, 8.71s/it][A + hellaswag_ro: 34%|██████████████████████████████████████▋ | 99/289 [14:20<27:15, 8.61s/it][A + hellaswag_ro: 35%|██████████████████████████████████████▊ | 100/289 [14:28<26:59, 8.57s/it][A + hellaswag_ro: 35%|███████████████████████████████████████▏ | 101/289 [14:37<27:33, 8.79s/it][A + hellaswag_ro: 35%|███████████████████████████████████████▌ | 102/289 [14:46<27:06, 8.70s/it][A + hellaswag_ro: 36%|███████████████████████████████████████▉ | 103/289 [14:55<26:52, 8.67s/it][A + hellaswag_ro: 36%|████████████████████████████████████████▎ | 104/289 [15:03<26:31, 8.61s/it][A + hellaswag_ro: 36%|████████████████████████████████████████▋ | 105/289 [15:12<26:21, 8.60s/it][A + hellaswag_ro: 37%|█████████████████████████████████████████ | 106/289 [15:20<26:13, 8.60s/it][A + hellaswag_ro: 37%|█████████████████████████████████████████▍ | 107/289 [15:29<26:06, 8.61s/it][A + hellaswag_ro: 37%|█████████████████████████████████████████▊ | 108/289 [15:38<26:18, 8.72s/it][A + hellaswag_ro: 38%|██████████████████████████████████████████▏ | 109/289 [15:47<26:25, 8.81s/it][A + hellaswag_ro: 38%|██████████████████████████████████████████▋ | 110/289 [15:56<26:18, 8.82s/it][A + hellaswag_ro: 38%|███████████████████████████████████████████ | 111/289 [16:04<25:21, 8.55s/it][A + hellaswag_ro: 39%|███████████████████████████████████████████▍ | 112/289 [16:12<25:07, 8.52s/it][A + hellaswag_ro: 39%|███████████████████████████████████████████▊ | 113/289 [16:21<25:15, 8.61s/it][A + hellaswag_ro: 39%|████████████████████████████████████████████▏ | 114/289 [16:29<25:06, 8.61s/it][A + hellaswag_ro: 40%|████████████████████████████████████████████▌ | 115/289 [16:39<25:36, 8.83s/it][A + hellaswag_ro: 40%|████████████████████████████████████████████▉ | 116/289 [16:47<25:09, 8.73s/it][A + hellaswag_ro: 40%|█████████████████████████████████████████████▎ | 117/289 [16:56<25:27, 8.88s/it][A + hellaswag_ro: 41%|█████████████████████████████████████████████▋ | 118/289 [17:05<24:58, 8.77s/it][A + hellaswag_ro: 41%|██████████████████████████████████████████████ | 119/289 [17:14<24:49, 8.76s/it][A + hellaswag_ro: 42%|██████████████████████████████████████████████▌ | 120/289 [17:22<24:19, 8.63s/it][A + hellaswag_ro: 42%|██████████████████████████████████████████████▉ | 121/289 [17:31<24:13, 8.65s/it][A + hellaswag_ro: 42%|███████████████████████████████████████████████▎ | 122/289 [17:40<24:32, 8.82s/it][A + hellaswag_ro: 43%|███████████████████████████████████████████████▋ | 123/289 [17:49<24:10, 8.74s/it][A + hellaswag_ro: 43%|████████████████████████████████████████████████ | 124/289 [17:57<24:02, 8.74s/it][A + hellaswag_ro: 43%|████████████████████████████████████████████████▍ | 125/289 [18:07<24:22, 8.92s/it][A + hellaswag_ro: 44%|████████████████████████████████████████████████▊ | 126/289 [18:15<23:46, 8.75s/it][A + hellaswag_ro: 44%|█████████████████████████████████████████████████▏ | 127/289 [18:24<23:31, 8.71s/it][A + hellaswag_ro: 44%|█████████████████████████████████████████████████▌ | 128/289 [18:32<23:18, 8.69s/it][A + hellaswag_ro: 45%|█████████████████████████████████████████████████▉ | 129/289 [18:41<23:29, 8.81s/it][A + hellaswag_ro: 45%|██████████████████████████████████████████████████▍ | 130/289 [18:50<23:11, 8.75s/it][A + hellaswag_ro: 45%|██████████████████████████████████████████████████▊ | 131/289 [18:59<22:54, 8.70s/it][A + hellaswag_ro: 46%|███████████████████████████████████████████████████▏ | 132/289 [19:07<22:46, 8.70s/it][A + hellaswag_ro: 46%|███████████████████████████████████████████████████▌ | 133/289 [19:16<22:25, 8.63s/it][A + hellaswag_ro: 46%|███████████████████████████████████████████████████▉ | 134/289 [19:24<22:13, 8.60s/it][A + hellaswag_ro: 47%|████████████████████████████████████████████████████▎ | 135/289 [19:33<22:13, 8.66s/it][A + hellaswag_ro: 47%|████████████████████████████████████████████████████▋ | 136/289 [19:42<22:04, 8.66s/it][A + hellaswag_ro: 47%|█████████████████████████████████████████████████████ | 137/289 [19:50<21:45, 8.59s/it][A + hellaswag_ro: 48%|█████████████████████████████████████████████████████▍ | 138/289 [19:59<21:54, 8.71s/it][A + hellaswag_ro: 48%|█████████████████████████████████████████████████████▊ | 139/289 [20:08<21:35, 8.64s/it][A + hellaswag_ro: 48%|██████████████████████████████████████████████████████▎ | 140/289 [20:16<21:22, 8.60s/it][A + hellaswag_ro: 49%|██████████████████████████████████████████████████████▋ | 141/289 [20:25<21:18, 8.64s/it][A + hellaswag_ro: 49%|███████████████████████████████████████████████████████ | 142/289 [20:33<21:03, 8.60s/it][A + hellaswag_ro: 49%|███████████████████████████████████████████████████████▍ | 143/289 [20:42<20:45, 8.53s/it][A + hellaswag_ro: 50%|███████████████████████████████████████████████████████▊ | 144/289 [20:50<20:45, 8.59s/it][A + hellaswag_ro: 50%|████████████████████████████████████████████████████████▏ | 145/289 [21:00<21:12, 8.84s/it][A + hellaswag_ro: 51%|████████████████████████████████████████████████████████▌ | 146/289 [21:09<21:00, 8.82s/it][A + hellaswag_ro: 51%|████████████████████████████████████████████████████████▉ | 147/289 [21:17<20:38, 8.72s/it][A + hellaswag_ro: 51%|█████████████████████████████████████████████████████████▎ | 148/289 [21:26<20:52, 8.88s/it][A + hellaswag_ro: 52%|█████████████████████████████████████████████████████████▋ | 149/289 [21:35<20:32, 8.81s/it][A + hellaswag_ro: 52%|██████████████████████████████████████████████████████████▏ | 150/289 [21:44<20:19, 8.77s/it][A + hellaswag_ro: 52%|██████████████████████████████████████████████████████████▌ | 151/289 [21:52<20:03, 8.72s/it][A + hellaswag_ro: 53%|██████████████████████████████████████████████████████████▉ | 152/289 [22:01<19:47, 8.67s/it][A + hellaswag_ro: 53%|███████████████████████████████████████████████████████████▎ | 153/289 [22:10<19:41, 8.68s/it][A + hellaswag_ro: 53%|███████████████████████████████████████████████████████████▋ | 154/289 [22:18<19:25, 8.64s/it][A + hellaswag_ro: 54%|████████████████████████████████████████████████████████████ | 155/289 [22:27<19:17, 8.64s/it][A + hellaswag_ro: 54%|████████████████████████████████████████████████████████████▍ | 156/289 [22:35<19:11, 8.66s/it][A + hellaswag_ro: 54%|████████████████████████████████████████████████████████████▊ | 157/289 [22:44<19:09, 8.71s/it][A + hellaswag_ro: 55%|█████████████████████████████████████████████████████████████▏ | 158/289 [22:53<18:55, 8.67s/it][A + hellaswag_ro: 55%|█████████████████████████████████████████████████████████████▌ | 159/289 [23:02<18:50, 8.70s/it][A + hellaswag_ro: 55%|██████████████████████████████████████████████████████████████ | 160/289 [23:10<18:41, 8.69s/it][A + hellaswag_ro: 56%|██████████████████████████████████████████████████████████████▍ | 161/289 [23:19<18:48, 8.81s/it][A + hellaswag_ro: 56%|██████████████████████████████████████████████████████████████▊ | 162/289 [23:28<18:32, 8.76s/it][A + hellaswag_ro: 56%|███████████████████████████████████████████████████████████████▏ | 163/289 [23:36<18:12, 8.67s/it][A + hellaswag_ro: 57%|███████████████████████████████████████████████████████████████▌ | 164/289 [23:46<18:28, 8.86s/it][A + hellaswag_ro: 57%|███████████████████████████████████████████████████████████████▉ | 165/289 [23:55<18:31, 8.96s/it][A + hellaswag_ro: 57%|████████████████████████████████████████████████████████████████▎ | 166/289 [24:03<18:06, 8.83s/it][A + hellaswag_ro: 58%|████████████████████████████████████████████████████████████████▋ | 167/289 [24:12<17:55, 8.81s/it][A + hellaswag_ro: 58%|█████████████████████████████████████████████████████████████████ | 168/289 [24:21<17:37, 8.74s/it][A + hellaswag_ro: 58%|█████████████████████████████████████████████████████████████████▍ | 169/289 [24:29<17:22, 8.68s/it][A + hellaswag_ro: 59%|█████████████████████████████████████████████████████████████████▉ | 170/289 [24:38<17:19, 8.73s/it][A + hellaswag_ro: 59%|██████████████████████████████████████████████████████████████████▎ | 171/289 [24:47<17:06, 8.70s/it][A + hellaswag_ro: 60%|██████████████████████████████████████████████████████████████████▋ | 172/289 [24:56<17:11, 8.81s/it][A + hellaswag_ro: 60%|███████████████████████████████████████████████████████████████████ | 173/289 [25:05<16:58, 8.78s/it][A + hellaswag_ro: 60%|███████████████████████████████████████████████████████████████████▍ | 174/289 [25:14<17:11, 8.97s/it][A + hellaswag_ro: 61%|███████████████████████████████████████████████████████████████████▊ | 175/289 [25:23<16:47, 8.84s/it][A + hellaswag_ro: 61%|████████████████████████████████████████████████████████████████████▏ | 176/289 [25:31<16:33, 8.79s/it][A + hellaswag_ro: 61%|████████████████████████████████████████████████████████████████████▌ | 177/289 [25:40<16:19, 8.74s/it][A + hellaswag_ro: 62%|████████████████████████████████████████████████████████████████████▉ | 178/289 [25:48<16:04, 8.69s/it][A + hellaswag_ro: 62%|█████████████████████████████████████████████████████████████████████▎ | 179/289 [25:57<16:04, 8.77s/it][A + hellaswag_ro: 62%|█████████████████████████████████████████████████████████████████████▊ | 180/289 [26:06<15:40, 8.63s/it][A + hellaswag_ro: 63%|██████████████████████████████████████████████████████████████████████▏ | 181/289 [26:14<15:34, 8.65s/it][A + hellaswag_ro: 63%|██████████████████████████████████████████████████████████████████████▌ | 182/289 [26:23<15:31, 8.70s/it][A + hellaswag_ro: 63%|██████████████████████████████████████████████████████████████████████▉ | 183/289 [26:33<15:45, 8.92s/it][A + hellaswag_ro: 64%|███████████████████████████████████████████████████████████████████████▎ | 184/289 [26:41<15:32, 8.88s/it][A + hellaswag_ro: 64%|███████████████████████████████████████████████████████████████████████▋ | 185/289 [26:50<15:07, 8.72s/it][A + hellaswag_ro: 64%|████████████████████████████████████████████████████████████████████████ | 186/289 [26:58<14:53, 8.68s/it][A + hellaswag_ro: 65%|████████████████████████████████████████████████████████████████████████▍ | 187/289 [27:07<14:45, 8.68s/it][A + hellaswag_ro: 65%|████████████████████████████████████████████████████████████████████████▊ | 188/289 [27:16<14:51, 8.82s/it][A + hellaswag_ro: 65%|█████████████████████████████████████████████████████████████████████████▏ | 189/289 [27:25<14:52, 8.93s/it][A + hellaswag_ro: 66%|█████████████████████████████████████████████████████████████████████████▋ | 190/289 [27:35<14:55, 9.04s/it][A + hellaswag_ro: 66%|██████████████████████████████████████████████████████████████████████████ | 191/289 [27:43<14:13, 8.71s/it][A + hellaswag_ro: 66%|██████████████████████████████████████████████████████████████████████████▍ | 192/289 [27:52<14:18, 8.85s/it][A + hellaswag_ro: 67%|██████████████████████████████████████████████████████████████████████████▊ | 193/289 [28:01<14:07, 8.83s/it][A + hellaswag_ro: 67%|███████████████████████████████████████████████████████████████████████████▏ | 194/289 [28:10<14:06, 8.91s/it][A + hellaswag_ro: 67%|███████████████████████████████████████████████████████████████████████████▌ | 195/289 [28:18<13:50, 8.83s/it][A + hellaswag_ro: 68%|███████████████████████████████████████████████████████████████████████████▉ | 196/289 [28:28<13:56, 9.00s/it][A + hellaswag_ro: 68%|████████████████████████████████████████████████████████████████████████████▎ | 197/289 [28:37<13:56, 9.09s/it][A + hellaswag_ro: 69%|████████████████████████████████████████████████████████████████████████████▋ | 198/289 [28:46<13:31, 8.91s/it][A + hellaswag_ro: 69%|█████████████████████████████████████████████████████████████████████████████ | 199/289 [28:54<13:23, 8.93s/it][A + hellaswag_ro: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 200/289 [29:03<13:07, 8.85s/it][A + hellaswag_ro: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 201/289 [29:12<12:58, 8.85s/it][A + hellaswag_ro: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 202/289 [29:21<12:45, 8.80s/it][A + hellaswag_ro: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 203/289 [29:30<12:48, 8.93s/it][A + hellaswag_ro: 71%|███████████████████████████████████████████████████████████████████████████████ | 204/289 [29:38<12:24, 8.76s/it][A + hellaswag_ro: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 205/289 [29:47<12:26, 8.89s/it][A + hellaswag_ro: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 206/289 [29:56<12:10, 8.80s/it][A + hellaswag_ro: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 207/289 [30:05<11:56, 8.74s/it][A + hellaswag_ro: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 208/289 [30:13<11:48, 8.75s/it][A + hellaswag_ro: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 209/289 [30:22<11:34, 8.69s/it][A + hellaswag_ro: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 210/289 [30:31<11:23, 8.65s/it][A + hellaswag_ro: 73%|█████████████████████████████████████████████████████████████████████████████████▊ | 211/289 [30:39<11:11, 8.60s/it][A + hellaswag_ro: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 212/289 [30:47<10:56, 8.53s/it][A + hellaswag_ro: 74%|██████████████████████████████████████████████████████████████████████████████████▌ | 213/289 [30:56<10:48, 8.54s/it][A + hellaswag_ro: 74%|██████████████████████████████████████████████████████████████████████████████████▉ | 214/289 [31:05<10:51, 8.69s/it][A + hellaswag_ro: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 215/289 [31:14<10:49, 8.78s/it][A + hellaswag_ro: 75%|███████████████████████████████████████████████████████████████████████████████████▋ | 216/289 [31:23<10:36, 8.72s/it][A + hellaswag_ro: 75%|████████████████████████████████████████████████████████████████████████████████████ | 217/289 [31:31<10:15, 8.55s/it][A + hellaswag_ro: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 218/289 [31:40<10:23, 8.78s/it][A + hellaswag_ro: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 219/289 [31:49<10:26, 8.94s/it][A + hellaswag_ro: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 220/289 [31:58<10:06, 8.80s/it][A + hellaswag_ro: 76%|█████████████████████████████████████████████████████████████████████████████████████▋ | 221/289 [32:07<10:05, 8.91s/it][A + hellaswag_ro: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 222/289 [32:15<09:46, 8.76s/it][A + hellaswag_ro: 77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 223/289 [32:24<09:37, 8.75s/it][A + hellaswag_ro: 78%|██████████████████████████████████████████████████████████████████████████████████████▊ | 224/289 [32:33<09:28, 8.74s/it][A + hellaswag_ro: 78%|███████████████████████████████████████████████████████████████████████████████████████▏ | 225/289 [32:41<09:09, 8.59s/it][A + hellaswag_ro: 78%|███████████████████████████████████████████████████████████████████████████████████████▌ | 226/289 [32:50<09:07, 8.69s/it][A + hellaswag_ro: 79%|███████████████████████████████████████████████████████████████████████████████████████▉ | 227/289 [32:59<08:56, 8.66s/it][A + hellaswag_ro: 79%|████████████████████████████████████████████████████████████████████████████████████████▎ | 228/289 [33:08<08:58, 8.83s/it][A + hellaswag_ro: 79%|████████████████████████████████████████████████████████████████████████████████████████▋ | 229/289 [33:17<08:54, 8.90s/it][A + hellaswag_ro: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 230/289 [33:26<08:43, 8.87s/it][A + hellaswag_ro: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 231/289 [33:34<08:31, 8.81s/it][A + hellaswag_ro: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 232/289 [33:44<08:32, 8.99s/it][A + hellaswag_ro: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 233/289 [33:53<08:26, 9.05s/it][A + hellaswag_ro: 81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 234/289 [34:02<08:09, 8.90s/it][A + hellaswag_ro: 81%|███████████████████████████████████████████████████████████████████████████████████████████ | 235/289 [34:10<08:01, 8.91s/it][A + hellaswag_ro: 82%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 236/289 [34:19<07:45, 8.79s/it][A + hellaswag_ro: 82%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 237/289 [34:28<07:43, 8.91s/it][A + hellaswag_ro: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 238/289 [34:37<07:32, 8.88s/it][A + hellaswag_ro: 83%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 239/289 [34:45<07:17, 8.76s/it][A + hellaswag_ro: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 240/289 [34:54<07:06, 8.71s/it][A + hellaswag_ro: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 241/289 [35:03<06:56, 8.68s/it][A + hellaswag_ro: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 242/289 [35:12<06:55, 8.83s/it][A + hellaswag_ro: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 243/289 [35:21<06:49, 8.90s/it][A + hellaswag_ro: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 244/289 [35:30<06:41, 8.93s/it][A + hellaswag_ro: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 245/289 [35:39<06:41, 9.13s/it][A + hellaswag_ro: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 246/289 [35:48<06:24, 8.95s/it][A + hellaswag_ro: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 247/289 [35:56<06:09, 8.79s/it][A + hellaswag_ro: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 248/289 [36:05<05:55, 8.66s/it][A + hellaswag_ro: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 249/289 [36:14<05:49, 8.74s/it][A + hellaswag_ro: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 250/289 [36:23<05:44, 8.84s/it][A + hellaswag_ro: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 251/289 [36:31<05:34, 8.79s/it][A + hellaswag_ro: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 252/289 [36:40<05:24, 8.77s/it][A + hellaswag_ro: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 253/289 [36:49<05:17, 8.82s/it][A + hellaswag_ro: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 254/289 [36:58<05:09, 8.86s/it][A + hellaswag_ro: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 255/289 [37:07<04:57, 8.75s/it][A + hellaswag_ro: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 256/289 [37:15<04:46, 8.67s/it][A + hellaswag_ro: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 257/289 [37:24<04:38, 8.69s/it][A + hellaswag_ro: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 258/289 [37:32<04:27, 8.64s/it][A + hellaswag_ro: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/289 [37:41<04:18, 8.61s/it][A + hellaswag_ro: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 260/289 [37:49<04:09, 8.60s/it][A + hellaswag_ro: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 261/289 [37:59<04:07, 8.85s/it][A + hellaswag_ro: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 262/289 [38:07<03:55, 8.73s/it][A + hellaswag_ro: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 263/289 [38:16<03:46, 8.72s/it][A + hellaswag_ro: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 264/289 [38:24<03:35, 8.64s/it][A + hellaswag_ro: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 265/289 [38:33<03:29, 8.72s/it][A + hellaswag_ro: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 266/289 [38:42<03:19, 8.66s/it][A + hellaswag_ro: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 267/289 [38:50<03:10, 8.64s/it][A + hellaswag_ro: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 268/289 [38:58<02:57, 8.46s/it][A + hellaswag_ro: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 269/289 [39:07<02:51, 8.56s/it][A + hellaswag_ro: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 270/289 [39:16<02:41, 8.51s/it][A + hellaswag_ro: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 271/289 [39:25<02:36, 8.68s/it][A + hellaswag_ro: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 272/289 [39:33<02:27, 8.65s/it][A + hellaswag_ro: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 273/289 [39:42<02:19, 8.69s/it][A + hellaswag_ro: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 274/289 [39:51<02:09, 8.63s/it][A + hellaswag_ro: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 275/289 [39:59<02:00, 8.62s/it][A + hellaswag_ro: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 276/289 [40:08<01:51, 8.55s/it][A + hellaswag_ro: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 277/289 [40:17<01:44, 8.73s/it][A + hellaswag_ro: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 278/289 [40:26<01:37, 8.87s/it][A + hellaswag_ro: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 279/289 [40:35<01:28, 8.82s/it][A + hellaswag_ro: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 280/289 [40:43<01:19, 8.80s/it][A + hellaswag_ro: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 281/289 [40:53<01:11, 8.89s/it][A + hellaswag_ro: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 282/289 [41:02<01:03, 9.04s/it][A + hellaswag_ro: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 283/289 [41:11<00:54, 9.10s/it][A + hellaswag_ro: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 284/289 [41:20<00:44, 8.95s/it][A + hellaswag_ro: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 285/289 [41:28<00:35, 8.76s/it][A + hellaswag_ro: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 286/289 [41:37<00:26, 8.71s/it][A + hellaswag_ro: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 287/289 [41:45<00:17, 8.68s/it][A + hellaswag_ro: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 288/289 [41:54<00:08, 8.82s/it][A + hellaswag_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [42:02<00:00, 8.51s/it][A hellaswag_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [42:02<00:00, 8.73s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ro_acc 0.4989724175229854 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ro_acc_norm 0.6629529475392104 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 06:03:49,989 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 06:03:49,989 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:50,116 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 06:03:50,116 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:50,242 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 06:03:50,242 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:50,368 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 06:03:50,369 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 06:03:50,369 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 06:03:50,497 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 06:03:50,497 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_ro_acc'} +2024-05-30 06:03:50,561 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 06:03:50,561 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1183, 'value': 0.4989724175229854} +2024-05-30 06:03:50,626 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 06:03:51,283 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 06:03:51,283 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:51,413 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 06:03:51,413 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:51,543 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 06:03:51,543 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:51,672 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 06:03:51,673 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 06:03:51,673 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 06:03:51,804 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 06:03:51,804 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'hellaswag_ro_acc_norm'} +2024-05-30 06:03:51,870 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 06:03:51,870 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1184, 'value': 0.6629529475392104} +2024-05-30 06:03:51,935 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 43%|██████████████████████████████████████████████▏ | 53/124 [23:16:21<60:54:01, 3087.90s/it]['hellaswag_ru'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 06:03:52,554 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 06:03:52,555 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:52,675 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 06:03:52,675 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:52,796 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 06:03:52,796 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 06:03:52,917 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 06:03:52,918 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 06:03:52,918 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ru'} +2024-05-30 06:03:53,040 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_ru task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:04, 4.23s/ examples][A + Generating validation split: 1633 examples [00:04, 533.60 examples/s][A + Generating validation split: 3125 examples [00:04, 1175.28 examples/s][A + Generating validation split: 5000 examples [00:04, 2201.64 examples/s][A + Generating validation split: 7000 examples [00:04, 3521.54 examples/s][A + Generating validation split: 9000 examples [00:04, 5017.87 examples/s][A Generating validation split: 9272 examples [00:04, 1920.07 examples/s] +Loaded 9272 examples +Running loglikelihood requests + + hellaswag_ru: 0%| | 0/290 [00:00<?, ?it/s][A + hellaswag_ru: 0%|▍ | 1/290 [00:13<1:04:29, 13.39s/it][A + hellaswag_ru: 1%|▊ | 2/290 [00:25<1:01:26, 12.80s/it][A + hellaswag_ru: 1%|█▏ | 3/290 [00:38<1:00:16, 12.60s/it][A + hellaswag_ru: 1%|█▌ | 4/290 [00:49<57:48, 12.13s/it][A + hellaswag_ru: 2%|█▉ | 5/290 [01:01<56:50, 11.97s/it][A + hellaswag_ru: 2%|██▎ | 6/290 [01:13<56:49, 12.00s/it][A + hellaswag_ru: 2%|██▊ | 7/290 [01:25<57:35, 12.21s/it][A + hellaswag_ru: 3%|███▏ | 8/290 [01:37<56:15, 11.97s/it][A + hellaswag_ru: 3%|███▌ | 9/290 [01:49<56:22, 12.04s/it][A + hellaswag_ru: 3%|███▉ | 10/290 [02:02<56:46, 12.17s/it][A + hellaswag_ru: 4%|████▎ | 11/290 [02:13<55:59, 12.04s/it][A + hellaswag_ru: 4%|████▋ | 12/290 [02:24<54:21, 11.73s/it][A + hellaswag_ru: 4%|█████ | 13/290 [02:35<53:14, 11.53s/it][A + hellaswag_ru: 5%|█████▍ | 14/290 [02:47<53:29, 11.63s/it][A + hellaswag_ru: 5%|█████▊ | 15/290 [02:59<53:50, 11.75s/it][A + hellaswag_ru: 6%|██████▏ | 16/290 [03:11<53:51, 11.79s/it][A + hellaswag_ru: 6%|██████▌ | 17/290 [03:23<53:13, 11.70s/it][A + hellaswag_ru: 6%|███████ | 18/290 [03:34<53:08, 11.72s/it][A + hellaswag_ru: 7%|███████▍ | 19/290 [03:47<53:51, 11.92s/it][A + hellaswag_ru: 7%|███████▊ | 20/290 [03:59<53:34, 11.91s/it][A + hellaswag_ru: 7%|████████▏ | 21/290 [04:11<53:47, 12.00s/it][A + hellaswag_ru: 8%|████████▌ | 22/290 [04:22<52:01, 11.65s/it][A + hellaswag_ru: 8%|████████▉ | 23/290 [04:34<52:20, 11.76s/it][A + hellaswag_ru: 8%|█████████▎ | 24/290 [04:45<51:41, 11.66s/it][A + hellaswag_ru: 9%|█████████▋ | 25/290 [04:57<52:19, 11.85s/it][A + hellaswag_ru: 9%|██████████▏ | 26/290 [05:09<51:51, 11.78s/it][A + hellaswag_ru: 9%|██████████▌ | 27/290 [05:21<51:32, 11.76s/it][A + hellaswag_ru: 10%|██████████▉ | 28/290 [05:33<52:15, 11.97s/it][A + hellaswag_ru: 10%|███████████▎ | 29/290 [05:45<52:11, 12.00s/it][A + hellaswag_ru: 10%|███████████▋ | 30/290 [05:57<51:05, 11.79s/it][A + hellaswag_ru: 11%|████████████ | 31/290 [06:08<50:55, 11.80s/it][A + hellaswag_ru: 11%|████████████▍ | 32/290 [06:20<50:38, 11.78s/it][A + hellaswag_ru: 11%|████████████▊ | 33/290 [06:32<50:00, 11.67s/it][A + hellaswag_ru: 12%|█████████████▏ | 34/290 [06:43<49:53, 11.70s/it][A + hellaswag_ru: 12%|█████████████▋ | 35/290 [06:55<49:45, 11.71s/it][A + hellaswag_ru: 12%|██████████████ | 36/290 [07:07<50:27, 11.92s/it][A + hellaswag_ru: 13%|██████████████▍ | 37/290 [07:21<51:52, 12.30s/it][A + hellaswag_ru: 13%|██████████████▊ | 38/290 [07:33<51:34, 12.28s/it][A + hellaswag_ru: 13%|███████████████▏ | 39/290 [07:44<50:15, 12.01s/it][A + hellaswag_ru: 14%|███████████████▌ | 40/290 [07:56<49:32, 11.89s/it][A + hellaswag_ru: 14%|███████████████▉ | 41/290 [08:08<49:07, 11.84s/it][A + hellaswag_ru: 14%|████████████████▎ | 42/290 [08:19<48:15, 11.67s/it][A + hellaswag_ru: 15%|████████████████▊ | 43/290 [08:30<47:53, 11.63s/it][A + hellaswag_ru: 15%|█████████████████▏ | 44/290 [08:42<47:00, 11.47s/it][A + hellaswag_ru: 16%|█████████████████▌ | 45/290 [08:53<46:37, 11.42s/it][A + hellaswag_ru: 16%|█████████████████▉ | 46/290 [09:05<47:50, 11.77s/it][A + hellaswag_ru: 16%|██████████████████▎ | 47/290 [09:17<47:28, 11.72s/it][A + hellaswag_ru: 17%|██████████████████▋ | 48/290 [09:29<47:22, 11.74s/it][A + hellaswag_ru: 17%|███████████████████ | 49/290 [09:40<46:45, 11.64s/it][A + hellaswag_ru: 17%|███████████████████▍ | 50/290 [09:52<47:09, 11.79s/it][A + hellaswag_ru: 18%|███████████████████▊ | 51/290 [10:04<47:10, 11.84s/it][A + hellaswag_ru: 18%|████████████████████▎ | 52/290 [10:16<46:43, 11.78s/it][A + hellaswag_ru: 18%|████████████████████▋ | 53/290 [10:28<46:21, 11.74s/it][A + hellaswag_ru: 19%|█████████████████████ | 54/290 [10:40<46:29, 11.82s/it][A + hellaswag_ru: 19%|█████████████████████▍ | 55/290 [10:52<46:22, 11.84s/it][A + hellaswag_ru: 19%|█████████████████████▊ | 56/290 [11:04<46:24, 11.90s/it][A + hellaswag_ru: 20%|██████████████████████▏ | 57/290 [11:15<45:54, 11.82s/it][A + hellaswag_ru: 20%|██████████████████████▌ | 58/290 [11:27<46:01, 11.90s/it][A + hellaswag_ru: 20%|██████████████████████▉ | 59/290 [11:39<45:41, 11.87s/it][A + hellaswag_ru: 21%|███████████████████████▍ | 60/290 [11:51<45:25, 11.85s/it][A + hellaswag_ru: 21%|███████████████████████▊ | 61/290 [12:03<45:45, 11.99s/it][A + hellaswag_ru: 21%|████████████████████████▏ | 62/290 [12:15<45:20, 11.93s/it][A + hellaswag_ru: 22%|████████████████████████▌ | 63/290 [12:27<45:30, 12.03s/it][A + hellaswag_ru: 22%|████████████████████████▉ | 64/290 [12:39<45:02, 11.96s/it][A + hellaswag_ru: 22%|█████████████████████████▎ | 65/290 [12:50<44:15, 11.80s/it][A + hellaswag_ru: 23%|█████████████████████████▋ | 66/290 [13:02<43:49, 11.74s/it][A + hellaswag_ru: 23%|██████████████████████████ | 67/290 [13:15<44:46, 12.05s/it][A + hellaswag_ru: 23%|██████████████████████████▍ | 68/290 [13:26<44:02, 11.90s/it][A + hellaswag_ru: 24%|██████████████████████████▉ | 69/290 [13:38<43:46, 11.88s/it][A + hellaswag_ru: 24%|███████████████████████████▎ | 70/290 [13:50<43:09, 11.77s/it][A + hellaswag_ru: 24%|███████████████████████████▋ | 71/290 [14:02<43:36, 11.95s/it][A + hellaswag_ru: 25%|████████████████████████████ | 72/290 [14:15<44:05, 12.14s/it][A + hellaswag_ru: 25%|████████████████████████████▍ | 73/290 [14:26<42:47, 11.83s/it][A + hellaswag_ru: 26%|████████████████████████████▊ | 74/290 [14:37<41:55, 11.65s/it][A + hellaswag_ru: 26%|█████████████████████████████▏ | 75/290 [14:49<42:34, 11.88s/it][A + hellaswag_ru: 26%|█████████████████████████████▌ | 76/290 [15:02<43:17, 12.14s/it][A + hellaswag_ru: 27%|██████████████████████████████ | 77/290 [15:14<42:36, 12.00s/it][A + hellaswag_ru: 27%|██████████████████████████████▍ | 78/290 [15:26<42:11, 11.94s/it][A + hellaswag_ru: 27%|██████████████████████████████▊ | 79/290 [15:38<42:18, 12.03s/it][A + hellaswag_ru: 28%|███████████████████████████████▏ | 80/290 [15:49<41:35, 11.88s/it][A + hellaswag_ru: 28%|███████████████████████████████▌ | 81/290 [16:01<41:13, 11.83s/it][A + hellaswag_ru: 28%|███████████████████████████████▉ | 82/290 [16:13<41:04, 11.85s/it][A + hellaswag_ru: 29%|████████████████████████████████▎ | 83/290 [16:25<41:27, 12.02s/it][A + hellaswag_ru: 29%|████████████████████████████████▋ | 84/290 [16:37<40:30, 11.80s/it][A + hellaswag_ru: 29%|█████████████████████████████████ | 85/290 [16:48<40:16, 11.79s/it][A + hellaswag_ru: 30%|█████████████████████████████████▌ | 86/290 [17:00<39:56, 11.75s/it][A + hellaswag_ru: 30%|█████████████████████████████████▉ | 87/290 [17:12<40:03, 11.84s/it][A + hellaswag_ru: 30%|██████████████████████████████████▎ | 88/290 [17:23<39:08, 11.62s/it][A + hellaswag_ru: 31%|██████████████████████████████████▋ | 89/290 [17:35<38:46, 11.58s/it][A + hellaswag_ru: 31%|███████████████████████████████████ | 90/290 [17:46<38:41, 11.61s/it][A + hellaswag_ru: 31%|███████████████████████████████████▍ | 91/290 [17:59<39:05, 11.79s/it][A + hellaswag_ru: 32%|███████████████████████████████████▊ | 92/290 [18:11<38:59, 11.81s/it][A + hellaswag_ru: 32%|████████████████████████████████████▏ | 93/290 [18:22<38:20, 11.68s/it][A + hellaswag_ru: 32%|████████████████████████████████████▋ | 94/290 [18:34<38:32, 11.80s/it][A + hellaswag_ru: 33%|█████████████████████████████████████ | 95/290 [18:46<38:52, 11.96s/it][A + hellaswag_ru: 33%|█████████████████████████████████████▍ | 96/290 [18:59<39:02, 12.07s/it][A + hellaswag_ru: 33%|█████████████████████████████████████▊ | 97/290 [19:10<37:50, 11.77s/it][A + hellaswag_ru: 34%|██████████████████████████████████████▏ | 98/290 [19:22<38:07, 11.92s/it][A + hellaswag_ru: 34%|██████████████████████████████████████▌ | 99/290 [19:34<38:29, 12.09s/it][A + hellaswag_ru: 34%|██████████████████████████████████████▌ | 100/290 [19:46<38:06, 12.03s/it][A + hellaswag_ru: 35%|███████████████████████████████████████ | 101/290 [19:58<37:38, 11.95s/it][A + hellaswag_ru: 35%|███████████████████████████████████████▍ | 102/290 [20:10<37:20, 11.92s/it][A + hellaswag_ru: 36%|███████████████████████████████████████▊ | 103/290 [20:22<37:34, 12.06s/it][A + hellaswag_ru: 36%|████████████████████████████████████████▏ | 104/290 [20:34<37:02, 11.95s/it][A + hellaswag_ru: 36%|████████████████████████████████████████▌ | 105/290 [20:46<36:36, 11.87s/it][A + hellaswag_ru: 37%|████████████████████████████████████████▉ | 106/290 [20:58<36:58, 12.06s/it][A + hellaswag_ru: 37%|█████████████████████████████████████████▎ | 107/290 [21:10<36:25, 11.94s/it][A + hellaswag_ru: 37%|█████████████████████████████████████████▋ | 108/290 [21:21<35:53, 11.83s/it][A + hellaswag_ru: 38%|██████████████████████████████████████████ | 109/290 [21:34<36:09, 11.99s/it][A + hellaswag_ru: 38%|██████████████████████████████████████████▍ | 110/290 [21:45<34:55, 11.64s/it][A + hellaswag_ru: 38%|██████████████████████████████████████████▊ | 111/290 [21:56<34:39, 11.62s/it][A + hellaswag_ru: 39%|███████████████████████████████████████████▎ | 112/290 [22:08<34:38, 11.68s/it][A + hellaswag_ru: 39%|███████████████████████████████████████████▋ | 113/290 [22:19<33:58, 11.52s/it][A + hellaswag_ru: 39%|████████████████████████████████████████████ | 114/290 [22:31<33:55, 11.56s/it][A + hellaswag_ru: 40%|████████████████████████████████████████████▍ | 115/290 [22:42<33:06, 11.35s/it][A + hellaswag_ru: 40%|████████████████████████████████████████████▊ | 116/290 [22:53<32:57, 11.36s/it][A + hellaswag_ru: 40%|█████████████████████████████████████████████▏ | 117/290 [23:06<33:53, 11.75s/it][A + hellaswag_ru: 41%|█████████████████████████████████████████████▌ | 118/290 [23:18<33:58, 11.85s/it][A + hellaswag_ru: 41%|█████████████████████████████████████████████▉ | 119/290 [23:30<33:37, 11.80s/it][A + hellaswag_ru: 41%|██████████████████████████████████████████████▎ | 120/290 [23:41<32:52, 11.60s/it][A + hellaswag_ru: 42%|██████████████████████████████████████████████▋ | 121/290 [23:53<33:24, 11.86s/it][A + hellaswag_ru: 42%|███████████████████████████████████████████████ | 122/290 [24:04<32:43, 11.69s/it][A + hellaswag_ru: 42%|███████████████████████████████████████████████▌ | 123/290 [24:17<33:39, 12.09s/it][A + hellaswag_ru: 43%|███████████████████████████████████████████████▉ | 124/290 [24:29<33:11, 11.99s/it][A + hellaswag_ru: 43%|████████████████████████████████████████████████▎ | 125/290 [24:41<32:30, 11.82s/it][A + hellaswag_ru: 43%|████████████████████████████████████████████████▋ | 126/290 [24:53<32:51, 12.02s/it][A + hellaswag_ru: 44%|█████████████████████████████████████████████████ | 127/290 [25:06<33:01, 12.16s/it][A + hellaswag_ru: 44%|█████████████████████████████████████████████████▍ | 128/290 [25:17<32:31, 12.04s/it][A + hellaswag_ru: 44%|█████████████████████████████████████████████████▊ | 129/290 [25:29<32:04, 11.96s/it][A + hellaswag_ru: 45%|██████████████████████████████████████████████████▏ | 130/290 [25:40<31:09, 11.68s/it][A + hellaswag_ru: 45%|██████████████████████████████████████████████████▌ | 131/290 [25:52<30:50, 11.64s/it][A + hellaswag_ru: 46%|██████████████████████████████████████████████████▉ | 132/290 [26:04<30:47, 11.70s/it][A + hellaswag_ru: 46%|███████████████████████████████████████████████████▎ | 133/290 [26:15<30:40, 11.72s/it][A + hellaswag_ru: 46%|███████████████████████████████████████████████████▊ | 134/290 [26:27<30:32, 11.75s/it][A + hellaswag_ru: 47%|████████████████████████████████████████████████████▏ | 135/290 [26:40<31:28, 12.19s/it][A + hellaswag_ru: 47%|████████████████████████████████████████████████████▌ | 136/290 [26:51<30:28, 11.87s/it][A + hellaswag_ru: 47%|████████████████████████████████████████████████████▉ | 137/290 [27:04<30:36, 12.01s/it][A + hellaswag_ru: 48%|█████████████████████████████████████████████████████▎ | 138/290 [27:16<30:49, 12.17s/it][A + hellaswag_ru: 48%|█████████████████████████████████████████████████████▋ | 139/290 [27:28<30:11, 12.00s/it][A + hellaswag_ru: 48%|██████████████████████████████████████████████████████ | 140/290 [27:40<30:03, 12.02s/it][A + hellaswag_ru: 49%|██████████████████████████████████████████████████████▍ | 141/290 [27:52<29:44, 11.98s/it][A + hellaswag_ru: 49%|██████████████████████████████████████████████████████▊ | 142/290 [28:03<29:14, 11.86s/it][A + hellaswag_ru: 49%|███████████████████████████████████████████████████████▏ | 143/290 [28:15<29:02, 11.85s/it][A + hellaswag_ru: 50%|███████████████████████████████████████████████████████▌ | 144/290 [28:27<29:01, 11.93s/it][A + hellaswag_ru: 50%|████████████████████████████████████████████████████████ | 145/290 [28:39<28:34, 11.83s/it][A + hellaswag_ru: 50%|████████████████████████████████████████████████████████▍ | 146/290 [28:51<28:48, 12.00s/it][A + hellaswag_ru: 51%|████████████████████████████████████████████████████████▊ | 147/290 [29:03<28:26, 11.93s/it][A + hellaswag_ru: 51%|█████████████████████████████████████████████████████████▏ | 148/290 [29:15<28:07, 11.88s/it][A + hellaswag_ru: 51%|█████████████████████████████████████████████████████████▌ | 149/290 [29:27<27:54, 11.88s/it][A + hellaswag_ru: 52%|█████████████████████████████████████████████████████████▉ | 150/290 [29:37<26:50, 11.51s/it][A + hellaswag_ru: 52%|██████████████████████████████████████████████████████████▎ | 151/290 [29:50<27:30, 11.87s/it][A + hellaswag_ru: 52%|██████████████████████████████████████████████████████████▋ | 152/290 [30:01<26:48, 11.66s/it][A + hellaswag_ru: 53%|███████████████████████████████████████████████████████████ | 153/290 [30:13<26:25, 11.58s/it][A + hellaswag_ru: 53%|███████████████████████████████████████████████████████████▍ | 154/290 [30:24<25:54, 11.43s/it][A + hellaswag_ru: 53%|███████████████████████████████████████████████████████████▊ | 155/290 [30:36<26:13, 11.66s/it][A + hellaswag_ru: 54%|████████████████████████████████████████████████████████████▏ | 156/290 [30:48<26:25, 11.83s/it][A + hellaswag_ru: 54%|████████████████████████████████████████████████████████████▋ | 157/290 [31:00<26:13, 11.83s/it][A + hellaswag_ru: 54%|█████████████████████████████████████████████████████████████ | 158/290 [31:13<26:35, 12.09s/it][A + hellaswag_ru: 55%|█████████████████████████████████████████████████████████████▍ | 159/290 [31:25<26:20, 12.07s/it][A + hellaswag_ru: 55%|█████████████████████████████████████████████████████████████▊ | 160/290 [31:38<26:34, 12.27s/it][A + hellaswag_ru: 56%|██████████████████████████████████████████████████████████████▏ | 161/290 [31:49<26:05, 12.14s/it][A + hellaswag_ru: 56%|██████████████████████████████████████████████████████████████▌ | 162/290 [32:00<24:54, 11.67s/it][A + hellaswag_ru: 56%|██████████████████████████████████████████████████████████████▉ | 163/290 [32:12<24:55, 11.77s/it][A + hellaswag_ru: 57%|███████████████████████████████████████████████████████████████▎ | 164/290 [32:24<24:41, 11.76s/it][A + hellaswag_ru: 57%|███████████████████████████████████████████████████████████████▋ | 165/290 [32:35<24:25, 11.73s/it][A + hellaswag_ru: 57%|████████████████████████████████████████████████████████████████ | 166/290 [32:47<24:17, 11.75s/it][A + hellaswag_ru: 58%|████████████████████████████████████████████████████████████████▍ | 167/290 [32:59<24:07, 11.77s/it][A + hellaswag_ru: 58%|████████████████████████████████████████████████████████████████▉ | 168/290 [33:11<24:06, 11.85s/it][A + hellaswag_ru: 58%|█████████████████████████████████████████████████████████████████▎ | 169/290 [33:22<23:23, 11.60s/it][A + hellaswag_ru: 59%|█████████████████████████████████████████████████████████████████▋ | 170/290 [33:34<23:15, 11.63s/it][A + hellaswag_ru: 59%|██████████████████████████████████████████████████████████████████ | 171/290 [33:46<23:42, 11.95s/it][A + hellaswag_ru: 59%|██████████████████████████████████████████████████████████████████▍ | 172/290 [33:58<23:32, 11.97s/it][A + hellaswag_ru: 60%|██████████████████████████████████████████████████████████████████▊ | 173/290 [34:09<22:39, 11.62s/it][A + hellaswag_ru: 60%|███████████████████████████████████████████████████████████████████▏ | 174/290 [34:21<22:30, 11.64s/it][A + hellaswag_ru: 60%|███████████████████████████████████████████████████████████████████▌ | 175/290 [34:33<22:22, 11.67s/it][A + hellaswag_ru: 61%|███████████████████████████████████████████████████████████████████▉ | 176/290 [34:44<21:58, 11.57s/it][A + hellaswag_ru: 61%|████████████████████████████████████████████████████████████████████▎ | 177/290 [34:56<21:54, 11.63s/it][A + hellaswag_ru: 61%|████████████████████████████████████████████████████████████████████▋ | 178/290 [35:08<22:05, 11.83s/it][A + hellaswag_ru: 62%|█████████████████████████████████████████████████████████████████████▏ | 179/290 [35:20<21:49, 11.80s/it][A + hellaswag_ru: 62%|█████████████████████████████████████████████████████████████████████▌ | 180/290 [35:31<21:27, 11.70s/it][A + hellaswag_ru: 62%|█████████████████████████████████████████████████████████████████████▉ | 181/290 [35:44<21:36, 11.90s/it][A + hellaswag_ru: 63%|██████████████████████████████████████████████████████████████████████▎ | 182/290 [35:56<21:30, 11.95s/it][A + hellaswag_ru: 63%|██████████████████████████████████████████████████████████████████████▋ | 183/290 [36:09<21:48, 12.23s/it][A + hellaswag_ru: 63%|███████████████████████████████████████████████████████████████████████ | 184/290 [36:20<21:25, 12.13s/it][A + hellaswag_ru: 64%|███████████████████████████████████████████████████████████████████████▍ | 185/290 [36:32<21:06, 12.06s/it][A + hellaswag_ru: 64%|███████████████████████████████████████████████████████████████████████▊ | 186/290 [36:44<20:34, 11.87s/it][A + hellaswag_ru: 64%|████████████████████████████████████████████████████████████████████████▏ | 187/290 [36:55<20:14, 11.79s/it][A + hellaswag_ru: 65%|████████████████████████████████████████████████████████████████████████▌ | 188/290 [37:07<19:56, 11.73s/it][A + hellaswag_ru: 65%|████████████████████████████████████████████████████████████████████████▉ | 189/290 [37:19<19:40, 11.69s/it][A + hellaswag_ru: 66%|█████████████████████████████████████████████████████████████████████████▍ | 190/290 [37:30<19:31, 11.72s/it][A + hellaswag_ru: 66%|█████████████████████████████████████████████████████████████████████████▊ | 191/290 [37:43<19:40, 11.93s/it][A + hellaswag_ru: 66%|██████████████████████████████████████████████████████████████████████████▏ | 192/290 [37:54<19:15, 11.79s/it][A + hellaswag_ru: 67%|██████████████████████████████████████████████████████████████████████████▌ | 193/290 [38:06<18:59, 11.75s/it][A + hellaswag_ru: 67%|██████████████████████████████████████████████████████████████████████████▉ | 194/290 [38:18<18:42, 11.70s/it][A + hellaswag_ru: 67%|███████████████████████████████████████████████████████████████████████████▎ | 195/290 [38:30<18:46, 11.86s/it][A + hellaswag_ru: 68%|███████████████████████████████████████████████████████████████████████████▋ | 196/290 [38:43<19:02, 12.16s/it][A + hellaswag_ru: 68%|████████████████████████████████████████████████████████████████████████████ | 197/290 [38:56<19:13, 12.40s/it][A + hellaswag_ru: 68%|████████████████████████████████████████████████████████████████████████████▍ | 198/290 [39:07<18:30, 12.07s/it][A + hellaswag_ru: 69%|████████████████████████████████████████████████████████████████████████████▊ | 199/290 [39:18<18:04, 11.92s/it][A + hellaswag_ru: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 200/290 [39:30<17:41, 11.79s/it][A + hellaswag_ru: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 201/290 [39:41<17:20, 11.70s/it][A + hellaswag_ru: 70%|██████████████████████████████████████████████████████████████████████████████ | 202/290 [39:53<17:07, 11.67s/it][A + hellaswag_ru: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 203/290 [40:05<16:50, 11.62s/it][A + hellaswag_ru: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 204/290 [40:15<16:21, 11.41s/it][A + hellaswag_ru: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 205/290 [40:27<16:23, 11.57s/it][A + hellaswag_ru: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 206/290 [40:40<16:28, 11.77s/it][A + hellaswag_ru: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 207/290 [40:51<16:13, 11.73s/it][A + hellaswag_ru: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 208/290 [41:04<16:18, 11.93s/it][A + hellaswag_ru: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 209/290 [41:16<16:12, 12.00s/it][A + hellaswag_ru: 72%|█████████████████████████████████████████████████████████████████████████████████ | 210/290 [41:28<16:03, 12.05s/it][A + hellaswag_ru: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 211/290 [41:39<15:26, 11.73s/it][A + hellaswag_ru: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 212/290 [41:51<15:28, 11.91s/it][A + hellaswag_ru: 73%|██████████████████████████████████████████████████████████████████████████████████▎ | 213/290 [42:03<15:00, 11.70s/it][A + hellaswag_ru: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 214/290 [42:14<14:49, 11.70s/it][A + hellaswag_ru: 74%|███████████████████████████████████████████████████████████████████████████████████ | 215/290 [42:26<14:32, 11.63s/it][A + hellaswag_ru: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 216/290 [42:37<14:24, 11.68s/it][A + hellaswag_ru: 75%|███████████████████████████████████████████████████████████████████████████████████▊ | 217/290 [42:49<14:13, 11.70s/it][A + hellaswag_ru: 75%|████████████████████████████████████████████████████████████████████████████████████▏ | 218/290 [43:01<13:56, 11.62s/it][A + hellaswag_ru: 76%|████████████████████████████████████████████████████████████████████████████████████▌ | 219/290 [43:12<13:44, 11.61s/it][A + hellaswag_ru: 76%|████████████████████████████████████████████████████████████████████████████████████▉ | 220/290 [43:24<13:39, 11.71s/it][A + hellaswag_ru: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 221/290 [43:35<13:17, 11.56s/it][A + hellaswag_ru: 77%|█████████████████████████████████████████████████████████████████████████████████████▋ | 222/290 [43:48<13:21, 11.79s/it][A + hellaswag_ru: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 223/290 [43:59<13:08, 11.77s/it][A + hellaswag_ru: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 224/290 [44:11<12:51, 11.69s/it][A + hellaswag_ru: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 225/290 [44:23<12:45, 11.77s/it][A + hellaswag_ru: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 226/290 [44:35<12:45, 11.96s/it][A + hellaswag_ru: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 227/290 [44:47<12:25, 11.84s/it][A + hellaswag_ru: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 228/290 [44:58<12:05, 11.71s/it][A + hellaswag_ru: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 229/290 [45:10<11:50, 11.65s/it][A + hellaswag_ru: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 230/290 [45:22<11:44, 11.75s/it][A + hellaswag_ru: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 231/290 [45:34<11:34, 11.77s/it][A + hellaswag_ru: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 232/290 [45:45<11:24, 11.81s/it][A + hellaswag_ru: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 233/290 [45:58<11:33, 12.17s/it][A + hellaswag_ru: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 234/290 [46:11<11:19, 12.13s/it][A + hellaswag_ru: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 235/290 [46:22<10:59, 11.99s/it][A + hellaswag_ru: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 236/290 [46:33<10:36, 11.79s/it][A + hellaswag_ru: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 237/290 [46:46<10:32, 11.94s/it][A + hellaswag_ru: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 238/290 [46:58<10:18, 11.89s/it][A + hellaswag_ru: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/290 [47:10<10:10, 11.97s/it][A + hellaswag_ru: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/290 [47:22<10:07, 12.15s/it][A + hellaswag_ru: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 241/290 [47:34<09:54, 12.14s/it][A + hellaswag_ru: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 242/290 [47:47<09:44, 12.19s/it][A + hellaswag_ru: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 243/290 [47:59<09:27, 12.07s/it][A + hellaswag_ru: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 244/290 [48:10<09:11, 11.98s/it][A + hellaswag_ru: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 245/290 [48:22<08:53, 11.86s/it][A + hellaswag_ru: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 246/290 [48:34<08:43, 11.91s/it][A + hellaswag_ru: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/290 [48:46<08:29, 11.85s/it][A + hellaswag_ru: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/290 [48:58<08:19, 11.88s/it][A + hellaswag_ru: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/290 [49:09<08:05, 11.85s/it][A + hellaswag_ru: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/290 [49:21<07:51, 11.78s/it][A + hellaswag_ru: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/290 [49:33<07:45, 11.92s/it][A + hellaswag_ru: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/290 [49:45<07:29, 11.84s/it][A + hellaswag_ru: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/290 [49:56<07:07, 11.54s/it][A + hellaswag_ru: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 254/290 [50:07<06:57, 11.58s/it][A + hellaswag_ru: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/290 [50:19<06:44, 11.55s/it][A + hellaswag_ru: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/290 [50:32<06:46, 11.96s/it][A + hellaswag_ru: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 257/290 [50:45<06:44, 12.27s/it][A + hellaswag_ru: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 258/290 [50:57<06:32, 12.28s/it][A + hellaswag_ru: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 259/290 [51:10<06:24, 12.41s/it][A + hellaswag_ru: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/290 [51:22<06:12, 12.40s/it][A + hellaswag_ru: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/290 [51:34<05:52, 12.15s/it][A + hellaswag_ru: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/290 [51:46<05:37, 12.05s/it][A + hellaswag_ru: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/290 [51:58<05:28, 12.16s/it][A + hellaswag_ru: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/290 [52:09<05:10, 11.94s/it][A + hellaswag_ru: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/290 [52:20<04:48, 11.55s/it][A + hellaswag_ru: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/290 [52:33<04:46, 11.94s/it][A + hellaswag_ru: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/290 [52:45<04:35, 12.00s/it][A + hellaswag_ru: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 268/290 [52:57<04:24, 12.01s/it][A + hellaswag_ru: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 269/290 [53:09<04:09, 11.89s/it][A + hellaswag_ru: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 270/290 [53:22<04:03, 12.19s/it][A + hellaswag_ru: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 271/290 [53:34<03:53, 12.28s/it][A + hellaswag_ru: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 272/290 [53:46<03:38, 12.17s/it][A + hellaswag_ru: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 273/290 [53:58<03:24, 12.01s/it][A + hellaswag_ru: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 274/290 [54:09<03:11, 11.98s/it][A + hellaswag_ru: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 275/290 [54:21<02:57, 11.83s/it][A + hellaswag_ru: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 276/290 [54:33<02:44, 11.76s/it][A + hellaswag_ru: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 277/290 [54:44<02:31, 11.66s/it][A + hellaswag_ru: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 278/290 [54:56<02:19, 11.63s/it][A + hellaswag_ru: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 279/290 [55:07<02:07, 11.62s/it][A + hellaswag_ru: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 280/290 [55:18<01:53, 11.34s/it][A + hellaswag_ru: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 281/290 [55:29<01:41, 11.30s/it][A + hellaswag_ru: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 282/290 [55:41<01:32, 11.54s/it][A + hellaswag_ru: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 283/290 [55:53<01:20, 11.53s/it][A + hellaswag_ru: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 284/290 [56:04<01:09, 11.57s/it][A + hellaswag_ru: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 285/290 [56:16<00:57, 11.51s/it][A + hellaswag_ru: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [56:27<00:46, 11.55s/it][A + hellaswag_ru: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [56:39<00:34, 11.66s/it][A + hellaswag_ru: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [56:51<00:23, 11.62s/it][A + hellaswag_ru: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [57:03<00:11, 11.79s/it][A + hellaswag_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [57:13<00:00, 11.41s/it][A hellaswag_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [57:13<00:00, 11.84s/it] +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ru_acc 0.3953839516824849 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ru_acc_norm 0.5135893011216566 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 07:01:13,671 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 07:01:13,671 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:13,800 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 07:01:13,800 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:13,928 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 07:01:13,928 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:14,057 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 07:01:14,058 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 07:01:14,058 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 07:01:14,188 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 07:01:14,188 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_ru_acc'} +2024-05-30 07:01:14,253 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 07:01:14,253 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1185, 'value': 0.3953839516824849} +2024-05-30 07:01:14,318 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 07:01:14,978 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 07:01:14,978 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:15,108 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 07:01:15,108 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:15,238 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 07:01:15,238 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:15,368 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 07:01:15,368 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 07:01:15,368 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 07:01:15,499 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 07:01:15,499 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ru_acc_norm'} +2024-05-30 07:01:15,565 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 07:01:15,565 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1186, 'value': 0.5135893011216566} +2024-05-30 07:01:15,631 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 44%|███████████████████████████████████████████████ | 54/124 [24:13:44<62:07:04, 3194.64s/it]['hellaswag_sk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 07:01:16,282 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 07:01:16,282 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:16,411 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 07:01:16,411 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:16,539 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 07:01:16,539 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:01:16,667 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 07:01:16,668 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 07:01:16,668 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_sk'} +2024-05-30 07:01:16,797 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_sk task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 7.56 examples/s][A + Generating validation split: 2000 examples [00:00, 9276.83 examples/s][A + Generating validation split: 4000 examples [00:00, 12495.60 examples/s][A + Generating validation split: 6000 examples [00:00, 14100.65 examples/s][A + Generating validation split: 8000 examples [00:00, 14993.79 examples/s][A Generating validation split: 9485 examples [00:00, 13211.95 examples/s] +Loaded 9485 examples +Running loglikelihood requests + + hellaswag_sk: 0%| | 0/297 [00:00<?, ?it/s][A + hellaswag_sk: 0%|▍ | 1/297 [00:08<42:57, 8.71s/it][A + hellaswag_sk: 1%|▊ | 2/297 [00:18<45:25, 9.24s/it][A + hellaswag_sk: 1%|█▏ | 3/297 [00:27<44:20, 9.05s/it][A + hellaswag_sk: 1%|█▌ | 4/297 [00:36<45:19, 9.28s/it][A + hellaswag_sk: 2%|█▉ | 5/297 [00:45<44:21, 9.12s/it][A + hellaswag_sk: 2%|██▎ | 6/297 [00:54<43:34, 8.98s/it][A + hellaswag_sk: 2%|██▋ | 7/297 [01:04<45:18, 9.38s/it][A + hellaswag_sk: 3%|███ | 8/297 [01:13<44:07, 9.16s/it][A + hellaswag_sk: 3%|███▍ | 9/297 [01:21<42:42, 8.90s/it][A + hellaswag_sk: 3%|███▊ | 10/297 [01:30<42:19, 8.85s/it][A + hellaswag_sk: 4%|████▏ | 11/297 [01:39<42:04, 8.83s/it][A + hellaswag_sk: 4%|████▌ | 12/297 [01:48<42:16, 8.90s/it][A + hellaswag_sk: 4%|████▉ | 13/297 [01:56<42:01, 8.88s/it][A + hellaswag_sk: 5%|█████▎ | 14/297 [02:05<41:33, 8.81s/it][A + hellaswag_sk: 5%|█████▋ | 15/297 [02:14<41:06, 8.75s/it][A + hellaswag_sk: 5%|██████ | 16/297 [02:22<41:01, 8.76s/it][A + hellaswag_sk: 6%|██████▍ | 17/297 [02:31<40:58, 8.78s/it][A + hellaswag_sk: 6%|██████▊ | 18/297 [02:40<40:32, 8.72s/it][A + hellaswag_sk: 6%|███████▏ | 19/297 [02:49<40:23, 8.72s/it][A + hellaswag_sk: 7%|███████▌ | 20/297 [02:57<40:24, 8.75s/it][A + hellaswag_sk: 7%|███████▉ | 21/297 [03:06<40:28, 8.80s/it][A + hellaswag_sk: 7%|████████▎ | 22/297 [03:15<40:28, 8.83s/it][A + hellaswag_sk: 8%|████████▊ | 23/297 [03:24<40:21, 8.84s/it][A + hellaswag_sk: 8%|█████████▏ | 24/297 [03:33<40:45, 8.96s/it][A + hellaswag_sk: 8%|█████████▌ | 25/297 [03:43<41:13, 9.10s/it][A + hellaswag_sk: 9%|█████████▉ | 26/297 [03:52<40:42, 9.01s/it][A + hellaswag_sk: 9%|██████████▎ | 27/297 [04:01<40:49, 9.07s/it][A + hellaswag_sk: 9%|██████████▋ | 28/297 [04:10<40:15, 8.98s/it][A + hellaswag_sk: 10%|███████████ | 29/297 [04:18<39:37, 8.87s/it][A + hellaswag_sk: 10%|███████████▍ | 30/297 [04:27<39:25, 8.86s/it][A + hellaswag_sk: 10%|███████████▊ | 31/297 [04:36<39:41, 8.95s/it][A + hellaswag_sk: 11%|████████████▏ | 32/297 [04:45<39:13, 8.88s/it][A + hellaswag_sk: 11%|████████████▌ | 33/297 [04:54<38:47, 8.82s/it][A + hellaswag_sk: 11%|████████████▉ | 34/297 [05:02<38:34, 8.80s/it][A + hellaswag_sk: 12%|█████████████▎ | 35/297 [05:11<38:17, 8.77s/it][A + hellaswag_sk: 12%|█████████████▋ | 36/297 [05:20<38:14, 8.79s/it][A + hellaswag_sk: 12%|██████████████ | 37/297 [05:29<38:54, 8.98s/it][A + hellaswag_sk: 13%|██████████████▍ | 38/297 [05:38<37:49, 8.76s/it][A + hellaswag_sk: 13%|██████████████▊ | 39/297 [05:46<37:48, 8.79s/it][A + hellaswag_sk: 13%|███████████████▏ | 40/297 [05:55<37:44, 8.81s/it][A + hellaswag_sk: 14%|███████████████▌ | 41/297 [06:04<37:43, 8.84s/it][A + hellaswag_sk: 14%|███████████████▉ | 42/297 [06:13<37:31, 8.83s/it][A + hellaswag_sk: 14%|████████████████▎ | 43/297 [06:22<37:33, 8.87s/it][A + hellaswag_sk: 15%|████████████████▋ | 44/297 [06:31<37:20, 8.86s/it][A + hellaswag_sk: 15%|█████████████████ | 45/297 [06:40<37:21, 8.90s/it][A + hellaswag_sk: 15%|█████████████████▌ | 46/297 [06:48<36:51, 8.81s/it][A + hellaswag_sk: 16%|█████████████████▉ | 47/297 [06:57<36:51, 8.85s/it][A + hellaswag_sk: 16%|██████████████████▎ | 48/297 [07:06<36:12, 8.72s/it][A + hellaswag_sk: 16%|██████████████████▋ | 49/297 [07:14<36:04, 8.73s/it][A + hellaswag_sk: 17%|███████████████████ | 50/297 [07:23<35:58, 8.74s/it][A + hellaswag_sk: 17%|███████████████████▍ | 51/297 [07:32<36:14, 8.84s/it][A + hellaswag_sk: 18%|███████████████████▊ | 52/297 [07:41<35:57, 8.81s/it][A + hellaswag_sk: 18%|████████████████████▏ | 53/297 [07:50<35:41, 8.78s/it][A + hellaswag_sk: 18%|████████████████████▌ | 54/297 [07:59<35:49, 8.84s/it][A + hellaswag_sk: 19%|████████████████████▉ | 55/297 [08:08<35:41, 8.85s/it][A + hellaswag_sk: 19%|█████████████████████▎ | 56/297 [08:17<35:45, 8.90s/it][A + hellaswag_sk: 19%|█████████████████████▋ | 57/297 [08:26<36:13, 9.06s/it][A + hellaswag_sk: 20%|██████████████████████ | 58/297 [08:36<36:40, 9.21s/it][A + hellaswag_sk: 20%|██████████████████████▍ | 59/297 [08:44<35:50, 9.03s/it][A + hellaswag_sk: 20%|██████████████████████▊ | 60/297 [08:53<35:33, 9.00s/it][A + hellaswag_sk: 21%|███████████████████████▏ | 61/297 [09:03<35:58, 9.15s/it][A + hellaswag_sk: 21%|███████████████████████▌ | 62/297 [09:11<35:25, 9.05s/it][A + hellaswag_sk: 21%|███████████████████████▉ | 63/297 [09:20<34:25, 8.83s/it][A + hellaswag_sk: 22%|████████████████████████▎ | 64/297 [09:29<34:16, 8.83s/it][A + hellaswag_sk: 22%|████████████████████████▋ | 65/297 [09:37<33:59, 8.79s/it][A + hellaswag_sk: 22%|█████████████████████████ | 66/297 [09:47<34:30, 8.96s/it][A + hellaswag_sk: 23%|█████████████████████████▍ | 67/297 [09:55<34:08, 8.91s/it][A + hellaswag_sk: 23%|█████████████████████████▊ | 68/297 [10:04<33:56, 8.89s/it][A + hellaswag_sk: 23%|██████████████████████████▎ | 69/297 [10:14<34:25, 9.06s/it][A + hellaswag_sk: 24%|██████████████████████████▋ | 70/297 [10:22<33:49, 8.94s/it][A + hellaswag_sk: 24%|███████████████████████████ | 71/297 [10:32<33:58, 9.02s/it][A + hellaswag_sk: 24%|███████████████████████████▍ | 72/297 [10:40<33:31, 8.94s/it][A + hellaswag_sk: 25%|███████████████████████████▊ | 73/297 [10:50<33:50, 9.06s/it][A + hellaswag_sk: 25%|████████████████████████████▏ | 74/297 [10:59<34:18, 9.23s/it][A + hellaswag_sk: 25%|████████████████████████████▌ | 75/297 [11:09<34:16, 9.26s/it][A + hellaswag_sk: 26%|████████████████████████████▉ | 76/297 [11:18<34:23, 9.34s/it][A + hellaswag_sk: 26%|█████████████████████████████▎ | 77/297 [11:27<33:31, 9.14s/it][A + hellaswag_sk: 26%|█████████████████████████████▋ | 78/297 [11:36<33:07, 9.07s/it][A + hellaswag_sk: 27%|██████████████████████████████ | 79/297 [11:44<32:27, 8.93s/it][A + hellaswag_sk: 27%|██████████████████████████████▍ | 80/297 [11:53<32:15, 8.92s/it][A + hellaswag_sk: 27%|██████████████████████████████▊ | 81/297 [12:02<31:54, 8.86s/it][A + hellaswag_sk: 28%|███████████████████████████████▏ | 82/297 [12:11<32:11, 8.99s/it][A + hellaswag_sk: 28%|███████████████████████████████▌ | 83/297 [12:20<31:15, 8.77s/it][A + hellaswag_sk: 28%|███████████████████████████████▉ | 84/297 [12:29<31:39, 8.92s/it][A + hellaswag_sk: 29%|████████████████████████████████▎ | 85/297 [12:38<31:55, 9.04s/it][A + hellaswag_sk: 29%|████████████████████████████████▋ | 86/297 [12:48<32:24, 9.22s/it][A + hellaswag_sk: 29%|█████████████████████████████████ | 87/297 [12:57<31:53, 9.11s/it][A + hellaswag_sk: 30%|█████████████████████████████████▍ | 88/297 [13:06<32:16, 9.26s/it][A + hellaswag_sk: 30%|█████████████████████████████████▊ | 89/297 [13:15<31:23, 9.05s/it][A + hellaswag_sk: 30%|██████████████████████████████████▏ | 90/297 [13:24<31:31, 9.14s/it][A + hellaswag_sk: 31%|██████████████████████████████████▌ | 91/297 [13:34<31:54, 9.30s/it][A + hellaswag_sk: 31%|███████████████████████████████████ | 92/297 [13:43<31:16, 9.16s/it][A + hellaswag_sk: 31%|███████████████████████████████████▍ | 93/297 [13:52<30:56, 9.10s/it][A + hellaswag_sk: 32%|███████████████████████████████████▊ | 94/297 [14:00<30:19, 8.96s/it][A + hellaswag_sk: 32%|████████████████████████████████████▏ | 95/297 [14:09<30:09, 8.96s/it][A + hellaswag_sk: 32%|████████████████████████████████████▌ | 96/297 [14:18<30:00, 8.96s/it][A + hellaswag_sk: 33%|████████████████████████████████████▉ | 97/297 [14:27<29:36, 8.88s/it][A + hellaswag_sk: 33%|█████████████████████████████████████▎ | 98/297 [14:36<29:48, 8.99s/it][A + hellaswag_sk: 33%|█████████████████████████████████████▋ | 99/297 [14:45<30:02, 9.11s/it][A + hellaswag_sk: 34%|█████████████████████████████████████▋ | 100/297 [14:54<29:37, 9.02s/it][A + hellaswag_sk: 34%|██████████████████████████████████████ | 101/297 [15:03<29:11, 8.93s/it][A + hellaswag_sk: 34%|██████████████████████████████████████▍ | 102/297 [15:12<28:50, 8.87s/it][A + hellaswag_sk: 35%|██████████████████████████████████████▊ | 103/297 [15:20<28:26, 8.80s/it][A + hellaswag_sk: 35%|███████████████████████████████████████▏ | 104/297 [15:29<28:29, 8.86s/it][A + hellaswag_sk: 35%|███████████████████████████████████████▌ | 105/297 [15:38<28:29, 8.90s/it][A + hellaswag_sk: 36%|███████████████████████████████████████▉ | 106/297 [15:48<28:56, 9.09s/it][A + hellaswag_sk: 36%|████████████████████████████████████████▎ | 107/297 [15:57<28:35, 9.03s/it][A + hellaswag_sk: 36%|████████████████████████████████████████▋ | 108/297 [16:06<29:02, 9.22s/it][A + hellaswag_sk: 37%|█████████████████████████████████████████ | 109/297 [16:16<28:51, 9.21s/it][A + hellaswag_sk: 37%|█████████████████████████████████████████▍ | 110/297 [16:25<28:26, 9.13s/it][A + hellaswag_sk: 37%|█████████████████████████████████████████▊ | 111/297 [16:33<28:01, 9.04s/it][A + hellaswag_sk: 38%|██████████████████████████████████████████▏ | 112/297 [16:42<27:44, 9.00s/it][A + hellaswag_sk: 38%|██████████████████████████████████████████▌ | 113/297 [16:51<27:32, 8.98s/it][A + hellaswag_sk: 38%|██████████████████████████████████████████▉ | 114/297 [17:00<27:17, 8.95s/it][A + hellaswag_sk: 39%|███████████████████████████████████████████▎ | 115/297 [17:09<27:22, 9.03s/it][A + hellaswag_sk: 39%|███████████████████████████████████████████▋ | 116/297 [17:19<27:40, 9.18s/it][A + hellaswag_sk: 39%|████████████████████████████████████████████ | 117/297 [17:28<27:04, 9.03s/it][A + hellaswag_sk: 40%|████████████████████████████████████████████▍ | 118/297 [17:36<26:42, 8.95s/it][A + hellaswag_sk: 40%|████████████████████████████████████████████▉ | 119/297 [17:45<26:28, 8.93s/it][A + hellaswag_sk: 40%|█████████████████████████████████████████████▎ | 120/297 [17:54<26:11, 8.88s/it][A + hellaswag_sk: 41%|█████████████████████████████████████████████▋ | 121/297 [18:03<26:19, 8.97s/it][A + hellaswag_sk: 41%|██████████████████████████████████████████████ | 122/297 [18:12<25:57, 8.90s/it][A + hellaswag_sk: 41%|██████████████████████████████████████████████▍ | 123/297 [18:21<26:01, 8.97s/it][A + hellaswag_sk: 42%|██████████████████████████████████████████████▊ | 124/297 [18:31<26:24, 9.16s/it][A + hellaswag_sk: 42%|███████████████████████████████████████████████▏ | 125/297 [18:39<25:53, 9.03s/it][A + hellaswag_sk: 42%|███████████████████████████████████████████████▌ | 126/297 [18:48<25:32, 8.96s/it][A + hellaswag_sk: 43%|███████████████████████████████████████████████▉ | 127/297 [18:58<25:43, 9.08s/it][A + hellaswag_sk: 43%|████████████████████████████████████████████████▎ | 128/297 [19:06<25:16, 8.97s/it][A + hellaswag_sk: 43%|████████████████████████████████████████████████▋ | 129/297 [19:15<24:57, 8.92s/it][A + hellaswag_sk: 44%|█████████████████████████████████████████████████ | 130/297 [19:24<24:53, 8.94s/it][A + hellaswag_sk: 44%|█████████████████████████████████████████████████▍ | 131/297 [19:33<24:41, 8.93s/it][A + hellaswag_sk: 44%|█████████████████████████████████████████████████▊ | 132/297 [19:43<25:06, 9.13s/it][A + hellaswag_sk: 45%|██████████████████████████████████████████████████▏ | 133/297 [19:52<24:50, 9.09s/it][A + hellaswag_sk: 45%|██████████████████████████████████████████████████▌ | 134/297 [20:01<24:38, 9.07s/it][A + hellaswag_sk: 45%|██████████████████████████████████████████████████▉ | 135/297 [20:10<24:41, 9.15s/it][A + hellaswag_sk: 46%|███████████████████████████████████████████████████▎ | 136/297 [20:19<24:39, 9.19s/it][A + hellaswag_sk: 46%|███████████████████████████████████████████████████▋ | 137/297 [20:28<24:13, 9.09s/it][A + hellaswag_sk: 46%|████████████████████████████████████████████████████ | 138/297 [20:37<23:54, 9.02s/it][A + hellaswag_sk: 47%|████████████████████████████████████████████████████▍ | 139/297 [20:46<23:38, 8.98s/it][A + hellaswag_sk: 47%|████████████████████████████████████████████████████▊ | 140/297 [20:54<23:18, 8.91s/it][A + hellaswag_sk: 47%|█████████████████████████████████████████████████████▏ | 141/297 [21:03<22:54, 8.81s/it][A + hellaswag_sk: 48%|█████████████████████████████████████████████████████▌ | 142/297 [21:12<22:45, 8.81s/it][A + hellaswag_sk: 48%|█████████████████████████████████████████████████████▉ | 143/297 [21:21<22:36, 8.81s/it][A + hellaswag_sk: 48%|██████████████████████████████████████████████████████▎ | 144/297 [21:30<22:40, 8.89s/it][A + hellaswag_sk: 49%|██████████████████████████████████████████████████████▋ | 145/297 [21:40<23:38, 9.34s/it][A + hellaswag_sk: 49%|███████████████████████████████████████████████████████ | 146/297 [21:50<23:42, 9.42s/it][A + hellaswag_sk: 49%|███████████████████████████████████████████████████████▍ | 147/297 [21:59<23:02, 9.22s/it][A + hellaswag_sk: 50%|███████████████████████████████████████████████████████▊ | 148/297 [22:07<22:29, 9.05s/it][A + hellaswag_sk: 50%|████████████████████████████████████████████████████████▏ | 149/297 [22:16<22:00, 8.92s/it][A + hellaswag_sk: 51%|████████████████████████████████████████████████████████▌ | 150/297 [22:25<22:07, 9.03s/it][A + hellaswag_sk: 51%|████████████████████████████████████████████████████████▉ | 151/297 [22:34<21:39, 8.90s/it][A + hellaswag_sk: 51%|█████████████████████████████████████████████████████████▎ | 152/297 [22:42<21:23, 8.85s/it][A + hellaswag_sk: 52%|█████████████████████████████████████████████████████████▋ | 153/297 [22:51<21:01, 8.76s/it][A + hellaswag_sk: 52%|██████████████████████████████████████████████████████████ | 154/297 [23:01<21:28, 9.01s/it][A + hellaswag_sk: 52%|██████████████████████████████████████████████████████████▍ | 155/297 [23:10<21:41, 9.17s/it][A + hellaswag_sk: 53%|██████████████████████████████████████████████████████████▊ | 156/297 [23:20<21:44, 9.25s/it][A + hellaswag_sk: 53%|███████████████████████████████████████████████████████████▏ | 157/297 [23:29<21:47, 9.34s/it][A + hellaswag_sk: 53%|███████████████████████████████████████████████████████████▌ | 158/297 [23:38<21:19, 9.21s/it][A + hellaswag_sk: 54%|███████████████████████████████████████████████████████████▉ | 159/297 [23:48<21:25, 9.31s/it][A + hellaswag_sk: 54%|████████████████████████████████████████████████████████████▎ | 160/297 [23:57<21:01, 9.21s/it][A + hellaswag_sk: 54%|████████████████████████████████████████████████████████████▋ | 161/297 [24:06<21:12, 9.36s/it][A + hellaswag_sk: 55%|█████████████████████████████████████████████████████████████ | 162/297 [24:16<21:18, 9.47s/it][A + hellaswag_sk: 55%|█████████████████████████████████████████████████████████████▍ | 163/297 [24:25<21:10, 9.48s/it][A + hellaswag_sk: 55%|█████████████████████████████████████████████████████████████▊ | 164/297 [24:34<20:31, 9.26s/it][A + hellaswag_sk: 56%|██████████████████████████████████████████████████████████████▏ | 165/297 [24:43<19:59, 9.09s/it][A + hellaswag_sk: 56%|██████████████████████████████████████████████████████████████▌ | 166/297 [24:52<19:39, 9.01s/it][A + hellaswag_sk: 56%|██████████████████████████████████████████████████████████████▉ | 167/297 [25:00<19:11, 8.86s/it][A + hellaswag_sk: 57%|███████████████████████████████████████████████████████████████▎ | 168/297 [25:09<18:59, 8.83s/it][A + hellaswag_sk: 57%|███████████████████████████████████████████████████████████████▋ | 169/297 [25:18<18:54, 8.86s/it][A + hellaswag_sk: 57%|████████████████████████████████████████████████████████████████ | 170/297 [25:27<18:38, 8.81s/it][A + hellaswag_sk: 58%|████████████████████████████████████████████████████████████████▍ | 171/297 [25:35<18:08, 8.64s/it][A + hellaswag_sk: 58%|████████████████████████████████████████████████████████████████▊ | 172/297 [25:44<18:25, 8.84s/it][A + hellaswag_sk: 58%|█████████████████████████████████████████████████████████████████▏ | 173/297 [25:53<18:13, 8.82s/it][A + hellaswag_sk: 59%|█████████████████████████████████████████████████████████████████▌ | 174/297 [26:02<18:08, 8.85s/it][A + hellaswag_sk: 59%|█████████████████████████████████████████████████████████████████▉ | 175/297 [26:11<18:00, 8.86s/it][A + hellaswag_sk: 59%|██████████████████████████████████████████████████████████████████▎ | 176/297 [26:19<17:46, 8.81s/it][A + hellaswag_sk: 60%|██████████████████████████████████████████████████████████████████▋ | 177/297 [26:28<17:38, 8.82s/it][A + hellaswag_sk: 60%|███████████████████████████████████████████████████████████████████ | 178/297 [26:37<17:15, 8.70s/it][A + hellaswag_sk: 60%|███████████████████████████████████████████████████████████████████▌ | 179/297 [26:45<17:09, 8.73s/it][A + hellaswag_sk: 61%|███████████████████████████████████████████████████████████████████▉ | 180/297 [26:54<17:01, 8.73s/it][A + hellaswag_sk: 61%|████████████████████████████████████████████████████████████████████▎ | 181/297 [27:03<16:49, 8.70s/it][A + hellaswag_sk: 61%|████████████████████████████████████████████████████████████████████▋ | 182/297 [27:11<16:32, 8.63s/it][A + hellaswag_sk: 62%|█████████████████████████████████████████████████████████████████████ | 183/297 [27:20<16:27, 8.66s/it][A + hellaswag_sk: 62%|█████████████████████████████████████████████████████████████████████▍ | 184/297 [27:29<16:29, 8.76s/it][A + hellaswag_sk: 62%|█████████████████████████████████████████████████████████████████████▊ | 185/297 [27:38<16:25, 8.80s/it][A + hellaswag_sk: 63%|██████████████████████████████████████████████████████████████████████▏ | 186/297 [27:47<16:14, 8.78s/it][A + hellaswag_sk: 63%|██████████████████████████████████████████████████████████████████████▌ | 187/297 [27:55<16:03, 8.76s/it][A + hellaswag_sk: 63%|██████████████████████████████████████████████████████████████████████▉ | 188/297 [28:04<16:02, 8.83s/it][A + hellaswag_sk: 64%|███████████████████████████████████████████████████████████████████████▎ | 189/297 [28:14<16:18, 9.06s/it][A + hellaswag_sk: 64%|███████████████████████████████████████████████████████████████████████▋ | 190/297 [28:22<15:46, 8.85s/it][A + hellaswag_sk: 64%|████████████████████████████████████████████████████████████████████████ | 191/297 [28:31<15:35, 8.82s/it][A + hellaswag_sk: 65%|████████████████████████████████████████████████████████████████████████▍ | 192/297 [28:40<15:36, 8.92s/it][A + hellaswag_sk: 65%|████████████████████████████████████████████████████████████████████████▊ | 193/297 [28:49<15:29, 8.93s/it][A + hellaswag_sk: 65%|█████████████████████████████████████████████████████████████████████████▏ | 194/297 [28:58<15:17, 8.91s/it][A + hellaswag_sk: 66%|█████████████████████████████████████████████████████████████████████████▌ | 195/297 [29:07<15:03, 8.86s/it][A + hellaswag_sk: 66%|█████████████████████████████████████████████████████████████████████████▉ | 196/297 [29:16<15:04, 8.96s/it][A + hellaswag_sk: 66%|██████████████████████████████████████████████████████████████████████████▎ | 197/297 [29:25<14:52, 8.93s/it][A + hellaswag_sk: 67%|██████████████████████████████████████████████████████████████████████████▋ | 198/297 [29:34<14:40, 8.89s/it][A + hellaswag_sk: 67%|███████████████████████████████████████████████████████████████████████████ | 199/297 [29:43<14:43, 9.01s/it][A + hellaswag_sk: 67%|███████████████████████████████████████████████████████████████████████████▍ | 200/297 [29:52<14:32, 9.00s/it][A + hellaswag_sk: 68%|███████████████████████████████████████████████████████████████████████████▊ | 201/297 [30:01<14:15, 8.91s/it][A + hellaswag_sk: 68%|████████████████████████████████████████████████████████████████████████████▏ | 202/297 [30:09<14:01, 8.86s/it][A + hellaswag_sk: 68%|████████████████████████████████████████████████████████████████████████████▌ | 203/297 [30:18<13:51, 8.85s/it][A + hellaswag_sk: 69%|████████████████████████████████████████████████████████████████████████████▉ | 204/297 [30:27<13:36, 8.78s/it][A + hellaswag_sk: 69%|█████████████████████████████████████████████████████████████████████████████▎ | 205/297 [30:36<13:31, 8.82s/it][A + hellaswag_sk: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 206/297 [30:44<13:15, 8.75s/it][A + hellaswag_sk: 70%|██████████████████████████████████████████████████████████████████████████████ | 207/297 [30:53<13:08, 8.76s/it][A + hellaswag_sk: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 208/297 [31:02<13:01, 8.78s/it][A + hellaswag_sk: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 209/297 [31:11<13:05, 8.93s/it][A + hellaswag_sk: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 210/297 [31:20<12:51, 8.87s/it][A + hellaswag_sk: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 211/297 [31:29<12:51, 8.97s/it][A + hellaswag_sk: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 212/297 [31:39<13:00, 9.18s/it][A + hellaswag_sk: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 213/297 [31:48<12:42, 9.08s/it][A + hellaswag_sk: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 214/297 [31:56<12:21, 8.93s/it][A + hellaswag_sk: 72%|█████████████████████████████████████████████████████████████████████████████████ | 215/297 [32:05<11:58, 8.76s/it][A + hellaswag_sk: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 216/297 [32:13<11:47, 8.74s/it][A + hellaswag_sk: 73%|█████████████████████████████████████████████████████████████████████████████████▊ | 217/297 [32:22<11:49, 8.86s/it][A + hellaswag_sk: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 218/297 [32:32<11:47, 8.95s/it][A + hellaswag_sk: 74%|██████████████████████████████████████████████████████████████████████████████████▌ | 219/297 [32:41<11:48, 9.08s/it][A + hellaswag_sk: 74%|██████████████████████████████████████████████████████████████████████████████████▉ | 220/297 [32:50<11:32, 9.00s/it][A + hellaswag_sk: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 221/297 [32:59<11:26, 9.03s/it][A + hellaswag_sk: 75%|███████████████████████████████████████████████████████████████████████████████████▋ | 222/297 [33:08<11:13, 8.98s/it][A + hellaswag_sk: 75%|████████████████████████████████████████████████████████████████████████████████████ | 223/297 [33:17<11:11, 9.08s/it][A + hellaswag_sk: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 224/297 [33:26<11:09, 9.18s/it][A + hellaswag_sk: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 225/297 [33:35<10:52, 9.07s/it][A + hellaswag_sk: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 226/297 [33:45<10:51, 9.18s/it][A + hellaswag_sk: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 227/297 [33:54<10:44, 9.21s/it][A + hellaswag_sk: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 228/297 [34:03<10:24, 9.05s/it][A + hellaswag_sk: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 229/297 [34:11<10:06, 8.92s/it][A + hellaswag_sk: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 230/297 [34:20<09:54, 8.87s/it][A + hellaswag_sk: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 231/297 [34:29<09:45, 8.87s/it][A + hellaswag_sk: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 232/297 [34:38<09:44, 9.00s/it][A + hellaswag_sk: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 233/297 [34:47<09:31, 8.93s/it][A + hellaswag_sk: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 234/297 [34:56<09:32, 9.09s/it][A + hellaswag_sk: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 235/297 [35:06<09:30, 9.20s/it][A + hellaswag_sk: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 236/297 [35:15<09:13, 9.08s/it][A + hellaswag_sk: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 237/297 [35:24<09:12, 9.21s/it][A + hellaswag_sk: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 238/297 [35:33<08:57, 9.11s/it][A + hellaswag_sk: 80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 239/297 [35:42<08:43, 9.03s/it][A + hellaswag_sk: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 240/297 [35:51<08:30, 8.95s/it][A + hellaswag_sk: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 241/297 [36:00<08:22, 8.97s/it][A + hellaswag_sk: 81%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 242/297 [36:08<08:08, 8.88s/it][A + hellaswag_sk: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 243/297 [36:17<07:50, 8.72s/it][A + hellaswag_sk: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 244/297 [36:26<07:45, 8.79s/it][A + hellaswag_sk: 82%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 245/297 [36:35<07:41, 8.87s/it][A + hellaswag_sk: 83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 246/297 [36:43<07:30, 8.84s/it][A + hellaswag_sk: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 247/297 [36:52<07:20, 8.82s/it][A + hellaswag_sk: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 248/297 [37:01<07:10, 8.79s/it][A + hellaswag_sk: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 249/297 [37:11<07:15, 9.06s/it][A + hellaswag_sk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 250/297 [37:20<07:04, 9.04s/it][A + hellaswag_sk: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 251/297 [37:29<07:02, 9.19s/it][A + hellaswag_sk: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 252/297 [37:39<06:56, 9.26s/it][A + hellaswag_sk: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 253/297 [37:48<06:49, 9.31s/it][A + hellaswag_sk: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 254/297 [37:57<06:30, 9.09s/it][A + hellaswag_sk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 255/297 [38:05<06:17, 8.98s/it][A + hellaswag_sk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 256/297 [38:15<06:12, 9.10s/it][A + hellaswag_sk: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 257/297 [38:24<06:04, 9.11s/it][A + hellaswag_sk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 258/297 [38:33<05:51, 9.01s/it][A + hellaswag_sk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 259/297 [38:41<05:34, 8.81s/it][A + hellaswag_sk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 260/297 [38:50<05:30, 8.94s/it][A + hellaswag_sk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 261/297 [38:59<05:20, 8.91s/it][A + hellaswag_sk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 262/297 [39:08<05:11, 8.89s/it][A + hellaswag_sk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 263/297 [39:17<05:00, 8.84s/it][A + hellaswag_sk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 264/297 [39:26<04:52, 8.86s/it][A + hellaswag_sk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 265/297 [39:35<04:47, 8.98s/it][A + hellaswag_sk: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 266/297 [39:43<04:35, 8.90s/it][A + hellaswag_sk: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 267/297 [39:52<04:20, 8.67s/it][A + hellaswag_sk: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 268/297 [40:01<04:18, 8.91s/it][A + hellaswag_sk: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 269/297 [40:10<04:09, 8.90s/it][A + hellaswag_sk: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 270/297 [40:19<03:59, 8.86s/it][A + hellaswag_sk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 271/297 [40:27<03:49, 8.83s/it][A + hellaswag_sk: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 272/297 [40:36<03:39, 8.79s/it][A + hellaswag_sk: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 273/297 [40:45<03:30, 8.79s/it][A + hellaswag_sk: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 274/297 [40:54<03:25, 8.92s/it][A + hellaswag_sk: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 275/297 [41:03<03:13, 8.78s/it][A + hellaswag_sk: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 276/297 [41:12<03:05, 8.84s/it][A + hellaswag_sk: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 277/297 [41:21<03:00, 9.04s/it][A + hellaswag_sk: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 278/297 [41:30<02:50, 8.96s/it][A + hellaswag_sk: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 279/297 [41:39<02:40, 8.90s/it][A + hellaswag_sk: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 280/297 [41:47<02:30, 8.86s/it][A + hellaswag_sk: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 281/297 [41:57<02:23, 8.98s/it][A + hellaswag_sk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 282/297 [42:06<02:17, 9.16s/it][A + hellaswag_sk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 283/297 [42:15<02:07, 9.10s/it][A + hellaswag_sk: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 284/297 [42:24<01:56, 8.96s/it][A + hellaswag_sk: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 285/297 [42:33<01:47, 8.94s/it][A + hellaswag_sk: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 286/297 [42:42<01:37, 8.89s/it][A + hellaswag_sk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 287/297 [42:50<01:28, 8.87s/it][A + hellaswag_sk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 288/297 [42:59<01:20, 8.94s/it][A + hellaswag_sk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 289/297 [43:08<01:11, 8.89s/it][A + hellaswag_sk: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 290/297 [43:18<01:03, 9.01s/it][A + hellaswag_sk: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 291/297 [43:26<00:53, 8.96s/it][A + hellaswag_sk: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 292/297 [43:35<00:44, 8.98s/it][A + hellaswag_sk: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 293/297 [43:44<00:36, 9.00s/it][A + hellaswag_sk: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 294/297 [43:54<00:27, 9.10s/it][A + hellaswag_sk: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 295/297 [44:03<00:18, 9.01s/it][A + hellaswag_sk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 296/297 [44:12<00:09, 9.17s/it][A + hellaswag_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 297/297 [44:19<00:00, 8.50s/it][A hellaswag_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 297/297 [44:19<00:00, 8.95s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sk_acc 0.4106483921982077 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sk_acc_norm 0.550131787032156 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 07:45:38,927 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 07:45:38,928 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:39,057 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 07:45:39,057 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:39,186 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 07:45:39,186 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:39,314 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 07:45:39,315 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 07:45:39,315 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 07:45:39,445 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 07:45:39,446 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sk_acc'} +2024-05-30 07:45:39,511 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 07:45:39,511 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1187, 'value': 0.4106483921982077} +2024-05-30 07:45:39,576 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 07:45:40,180 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 07:45:40,180 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:40,296 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 07:45:40,296 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:40,411 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 07:45:40,411 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:40,527 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 07:45:40,528 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 07:45:40,528 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 07:45:40,645 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 07:45:40,645 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sk_acc_norm'} +2024-05-30 07:45:40,703 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 07:45:40,703 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1188, 'value': 0.550131787032156} +2024-05-30 07:45:40,762 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 44%|███████████████████████████████████████████████▉ | 55/124 [24:58:10<58:11:09, 3035.79s/it]['hellaswag_sr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 07:45:41,409 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 07:45:41,409 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:41,538 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 07:45:41,538 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:41,667 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 07:45:41,667 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 07:45:41,795 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 07:45:41,796 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 07:45:41,796 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_sr'} +2024-05-30 07:45:41,925 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_sr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 7.07 examples/s][A + Generating validation split: 2000 examples [00:00, 9062.33 examples/s][A + Generating validation split: 3994 examples [00:00, 12854.19 examples/s][A + Generating validation split: 5615 examples [00:00, 14029.50 examples/s][A + Generating validation split: 7225 examples [00:00, 14717.53 examples/s][A + Generating validation split: 9000 examples [00:00, 15290.23 examples/s][A Generating validation split: 9449 examples [00:00, 13155.77 examples/s] +Loaded 9449 examples +Running loglikelihood requests + + hellaswag_sr: 0%| | 0/296 [00:00<?, ?it/s][A + hellaswag_sr: 0%|▍ | 1/296 [00:08<44:04, 8.96s/it][A + hellaswag_sr: 1%|▊ | 2/296 [00:17<43:27, 8.87s/it][A + hellaswag_sr: 1%|█▏ | 3/296 [00:26<42:30, 8.70s/it][A + hellaswag_sr: 1%|█▌ | 4/296 [00:35<42:25, 8.72s/it][A + hellaswag_sr: 2%|█▉ | 5/296 [00:44<43:28, 8.97s/it][A + hellaswag_sr: 2%|██▎ | 6/296 [00:53<43:04, 8.91s/it][A + hellaswag_sr: 2%|██▋ | 7/296 [01:01<42:26, 8.81s/it][A + hellaswag_sr: 3%|███ | 8/296 [01:10<42:04, 8.76s/it][A + hellaswag_sr: 3%|███▍ | 9/296 [01:19<42:39, 8.92s/it][A + hellaswag_sr: 3%|███▊ | 10/296 [01:28<42:11, 8.85s/it][A + hellaswag_sr: 4%|████▏ | 11/296 [01:37<42:08, 8.87s/it][A + hellaswag_sr: 4%|████▌ | 12/296 [01:46<42:53, 9.06s/it][A + hellaswag_sr: 4%|████▉ | 13/296 [01:56<43:08, 9.15s/it][A + hellaswag_sr: 5%|█████▎ | 14/296 [02:05<43:00, 9.15s/it][A + hellaswag_sr: 5%|█████▋ | 15/296 [02:14<42:17, 9.03s/it][A + hellaswag_sr: 5%|██████ | 16/296 [02:22<41:36, 8.92s/it][A + hellaswag_sr: 6%|██████▍ | 17/296 [02:31<41:08, 8.85s/it][A + hellaswag_sr: 6%|██████▊ | 18/296 [02:41<42:11, 9.11s/it][A + hellaswag_sr: 6%|███████▎ | 19/296 [02:50<41:43, 9.04s/it][A + hellaswag_sr: 7%|███████▋ | 20/296 [02:58<41:20, 8.99s/it][A + hellaswag_sr: 7%|████████ | 21/296 [03:07<40:34, 8.85s/it][A + hellaswag_sr: 7%|████████▍ | 22/296 [03:16<41:00, 8.98s/it][A + hellaswag_sr: 8%|████████▊ | 23/296 [03:26<41:16, 9.07s/it][A + hellaswag_sr: 8%|█████████▏ | 24/296 [03:34<39:42, 8.76s/it][A + hellaswag_sr: 8%|█████████▌ | 25/296 [03:43<40:04, 8.87s/it][A + hellaswag_sr: 9%|█████████▉ | 26/296 [03:51<39:32, 8.79s/it][A + hellaswag_sr: 9%|██████████▎ | 27/296 [04:00<39:14, 8.75s/it][A + hellaswag_sr: 9%|██████████▋ | 28/296 [04:09<39:16, 8.79s/it][A + hellaswag_sr: 10%|███████████ | 29/296 [04:18<39:46, 8.94s/it][A + hellaswag_sr: 10%|███████████▍ | 30/296 [04:27<39:14, 8.85s/it][A + hellaswag_sr: 10%|███████████▊ | 31/296 [04:36<39:01, 8.84s/it][A + hellaswag_sr: 11%|████████████▏ | 32/296 [04:44<38:31, 8.75s/it][A + hellaswag_sr: 11%|████████████▌ | 33/296 [04:53<38:09, 8.71s/it][A + hellaswag_sr: 11%|████████████▉ | 34/296 [05:02<38:13, 8.76s/it][A + hellaswag_sr: 12%|█████████████▎ | 35/296 [05:11<38:20, 8.82s/it][A + hellaswag_sr: 12%|█████████████▋ | 36/296 [05:19<37:58, 8.76s/it][A + hellaswag_sr: 12%|██████████████▏ | 37/296 [05:28<38:29, 8.92s/it][A + hellaswag_sr: 13%|██████████████▌ | 38/296 [05:38<38:49, 9.03s/it][A + hellaswag_sr: 13%|██████████████▉ | 39/296 [05:47<38:35, 9.01s/it][A + hellaswag_sr: 14%|███████████████▎ | 40/296 [05:55<37:49, 8.87s/it][A + hellaswag_sr: 14%|███████████████▋ | 41/296 [06:04<37:57, 8.93s/it][A + hellaswag_sr: 14%|████████████████ | 42/296 [06:13<37:20, 8.82s/it][A + hellaswag_sr: 15%|████████████████▍ | 43/296 [06:22<37:28, 8.89s/it][A + hellaswag_sr: 15%|████████████████▊ | 44/296 [06:31<37:35, 8.95s/it][A + hellaswag_sr: 15%|█████████████████▏ | 45/296 [06:40<37:13, 8.90s/it][A + hellaswag_sr: 16%|█████████████████▌ | 46/296 [06:49<37:16, 8.95s/it][A + hellaswag_sr: 16%|█████████████████▉ | 47/296 [06:58<37:09, 8.96s/it][A + hellaswag_sr: 16%|██████████████████▎ | 48/296 [07:07<36:51, 8.92s/it][A + hellaswag_sr: 17%|██████████████████▋ | 49/296 [07:15<36:26, 8.85s/it][A + hellaswag_sr: 17%|███████████████████ | 50/296 [07:24<35:52, 8.75s/it][A + hellaswag_sr: 17%|███████████████████▍ | 51/296 [07:33<35:40, 8.74s/it][A + hellaswag_sr: 18%|███████████████████▊ | 52/296 [07:41<35:37, 8.76s/it][A + hellaswag_sr: 18%|████████████████████▏ | 53/296 [07:50<35:07, 8.67s/it][A + hellaswag_sr: 18%|████████████████████▌ | 54/296 [07:59<35:11, 8.72s/it][A + hellaswag_sr: 19%|████████████████████▉ | 55/296 [08:07<35:00, 8.72s/it][A + hellaswag_sr: 19%|█████████████████████▍ | 56/296 [08:16<34:43, 8.68s/it][A + hellaswag_sr: 19%|█████████████████████▊ | 57/296 [08:25<34:45, 8.73s/it][A + hellaswag_sr: 20%|██████████████████████▏ | 58/296 [08:34<35:24, 8.93s/it][A + hellaswag_sr: 20%|██████████████████████▌ | 59/296 [08:43<35:01, 8.87s/it][A + hellaswag_sr: 20%|██████████████████████▉ | 60/296 [08:52<35:33, 9.04s/it][A + hellaswag_sr: 21%|███████████████████████▎ | 61/296 [09:02<35:31, 9.07s/it][A + hellaswag_sr: 21%|███████████████████████▋ | 62/296 [09:10<34:51, 8.94s/it][A + hellaswag_sr: 21%|████████████████████████ | 63/296 [09:20<35:16, 9.08s/it][A + hellaswag_sr: 22%|████████████████████████▍ | 64/296 [09:28<34:52, 9.02s/it][A + hellaswag_sr: 22%|████████████████████████▊ | 65/296 [09:37<34:32, 8.97s/it][A + hellaswag_sr: 22%|█████████████████████████▏ | 66/296 [09:46<34:15, 8.94s/it][A + hellaswag_sr: 23%|█████████████████████████▌ | 67/296 [09:56<34:38, 9.08s/it][A + hellaswag_sr: 23%|█████████████████████████▉ | 68/296 [10:04<33:25, 8.79s/it][A + hellaswag_sr: 23%|██████████████████████████▎ | 69/296 [10:12<33:08, 8.76s/it][A + hellaswag_sr: 24%|██████████████████████████▋ | 70/296 [10:21<32:44, 8.69s/it][A + hellaswag_sr: 24%|███████████████████████████ | 71/296 [10:30<33:03, 8.81s/it][A + hellaswag_sr: 24%|███████████████████████████▍ | 72/296 [10:38<32:30, 8.71s/it][A + hellaswag_sr: 25%|███████████████████████████▊ | 73/296 [10:47<32:34, 8.76s/it][A + hellaswag_sr: 25%|████████████████████████████▎ | 74/296 [10:57<32:55, 8.90s/it][A + hellaswag_sr: 25%|████████████████████████████▋ | 75/296 [11:05<32:41, 8.88s/it][A + hellaswag_sr: 26%|█████████████████████████████ | 76/296 [11:14<32:20, 8.82s/it][A + hellaswag_sr: 26%|█████████████████████████████▍ | 77/296 [11:23<31:59, 8.76s/it][A + hellaswag_sr: 26%|█████████████████████████████▊ | 78/296 [11:32<31:53, 8.78s/it][A + hellaswag_sr: 27%|██████████████████████████████▏ | 79/296 [11:40<31:33, 8.73s/it][A + hellaswag_sr: 27%|██████████████████████████████▌ | 80/296 [11:49<31:41, 8.80s/it][A + hellaswag_sr: 27%|██████████████████████████████▉ | 81/296 [11:58<31:11, 8.71s/it][A + hellaswag_sr: 28%|███████████████████████████████▎ | 82/296 [12:07<31:42, 8.89s/it][A + hellaswag_sr: 28%|███████████████████████████████▋ | 83/296 [12:15<31:03, 8.75s/it][A + hellaswag_sr: 28%|████████████████████████████████ | 84/296 [12:24<30:56, 8.76s/it][A + hellaswag_sr: 29%|████████████████████████████████▍ | 85/296 [12:33<31:15, 8.89s/it][A + hellaswag_sr: 29%|████████████████████████████████▊ | 86/296 [12:42<30:49, 8.81s/it][A + hellaswag_sr: 29%|█████████████████████████████████▏ | 87/296 [12:51<30:38, 8.80s/it][A + hellaswag_sr: 30%|█████████████████████████████████▌ | 88/296 [12:59<30:22, 8.76s/it][A + hellaswag_sr: 30%|█████████████████████████████████▉ | 89/296 [13:09<30:49, 8.94s/it][A + hellaswag_sr: 30%|██████████████████████████████████▎ | 90/296 [13:18<31:04, 9.05s/it][A + hellaswag_sr: 31%|██████████████████████████████████▋ | 91/296 [13:27<30:26, 8.91s/it][A + hellaswag_sr: 31%|███████████████████████████████████ | 92/296 [13:36<30:28, 8.96s/it][A + hellaswag_sr: 31%|███████████████████████████████████▌ | 93/296 [13:44<29:26, 8.70s/it][A + hellaswag_sr: 32%|███████████████████████████████████▉ | 94/296 [13:53<29:23, 8.73s/it][A + hellaswag_sr: 32%|████████████████████████████████████▎ | 95/296 [14:01<28:47, 8.59s/it][A + hellaswag_sr: 32%|████████████████████████████████████▋ | 96/296 [14:10<28:53, 8.67s/it][A + hellaswag_sr: 33%|█████████████████████████████████████ | 97/296 [14:19<28:51, 8.70s/it][A + hellaswag_sr: 33%|█████████████████████████████████████▍ | 98/296 [14:28<29:17, 8.88s/it][A + hellaswag_sr: 33%|█████████████████████████████████████▊ | 99/296 [14:37<29:44, 9.06s/it][A + hellaswag_sr: 34%|█████████████████████████████████████▊ | 100/296 [14:46<29:18, 8.97s/it][A + hellaswag_sr: 34%|██████████████████████████████████████▏ | 101/296 [14:55<29:08, 8.97s/it][A + hellaswag_sr: 34%|██████████████████████████████████████▌ | 102/296 [15:04<29:15, 9.05s/it][A + hellaswag_sr: 35%|██████████████████████████████████████▉ | 103/296 [15:13<28:50, 8.97s/it][A + hellaswag_sr: 35%|███████████████████████████████████████▎ | 104/296 [15:22<28:15, 8.83s/it][A + hellaswag_sr: 35%|███████████████████████████████████████▋ | 105/296 [15:30<27:56, 8.78s/it][A + hellaswag_sr: 36%|████████████████████████████████████████ | 106/296 [15:39<28:01, 8.85s/it][A + hellaswag_sr: 36%|████████████████████████████████████████▍ | 107/296 [15:49<28:37, 9.09s/it][A + hellaswag_sr: 36%|████████████████████████████████████████▊ | 108/296 [15:57<27:59, 8.93s/it][A + hellaswag_sr: 37%|█████████████████████████████████████████▏ | 109/296 [16:06<27:42, 8.89s/it][A + hellaswag_sr: 37%|█████████████████████████████████████████▌ | 110/296 [16:15<27:31, 8.88s/it][A + hellaswag_sr: 38%|██████████████████████████████████████████ | 111/296 [16:23<26:47, 8.69s/it][A + hellaswag_sr: 38%|██████████████████████████████████████████▍ | 112/296 [16:33<27:21, 8.92s/it][A + hellaswag_sr: 38%|██████████████████████████████████████████▊ | 113/296 [16:42<27:14, 8.93s/it][A + hellaswag_sr: 39%|███████████████████████████████████████████▏ | 114/296 [16:50<26:37, 8.78s/it][A + hellaswag_sr: 39%|███████████████████████████████████████████▌ | 115/296 [16:59<26:20, 8.73s/it][A + hellaswag_sr: 39%|███████████████████████████████████████████▉ | 116/296 [17:07<26:10, 8.72s/it][A + hellaswag_sr: 40%|████████████████████████████████████████████▎ | 117/296 [17:16<26:04, 8.74s/it][A + hellaswag_sr: 40%|████████████████████████████████████████████▋ | 118/296 [17:25<25:57, 8.75s/it][A + hellaswag_sr: 40%|█████████████████████████████████████████████ | 119/296 [17:34<26:04, 8.84s/it][A + hellaswag_sr: 41%|█████████████████████████████████████████████▍ | 120/296 [17:43<25:52, 8.82s/it][A + hellaswag_sr: 41%|█████████████████████████████████████████████▊ | 121/296 [17:52<25:44, 8.82s/it][A + hellaswag_sr: 41%|██████████████████████████████████████████████▏ | 122/296 [18:01<25:48, 8.90s/it][A + hellaswag_sr: 42%|██████████████████████████████████████████████▌ | 123/296 [18:09<25:25, 8.82s/it][A + hellaswag_sr: 42%|██████████████████████████████████████████████▉ | 124/296 [18:19<25:40, 8.96s/it][A + hellaswag_sr: 42%|███████████████████████████████████████████████▎ | 125/296 [18:28<25:33, 8.97s/it][A + hellaswag_sr: 43%|███████████████████████████████████████████████▋ | 126/296 [18:37<25:39, 9.05s/it][A + hellaswag_sr: 43%|████████████████████████████████████████████████ | 127/296 [18:46<25:16, 8.98s/it][A + hellaswag_sr: 43%|████████████████████████████████████████████████▍ | 128/296 [18:55<25:05, 8.96s/it][A + hellaswag_sr: 44%|████████████████████████████████████████████████▊ | 129/296 [19:03<24:41, 8.87s/it][A + hellaswag_sr: 44%|█████████████████████████████████████████████████▏ | 130/296 [19:13<24:51, 8.98s/it][A + hellaswag_sr: 44%|█████████████████████████████████████████████████▌ | 131/296 [19:21<24:27, 8.90s/it][A + hellaswag_sr: 45%|█████████████████████████████████████████████████▉ | 132/296 [19:30<24:13, 8.86s/it][A + hellaswag_sr: 45%|██████████████████████████████████████████████████▎ | 133/296 [19:39<24:07, 8.88s/it][A + hellaswag_sr: 45%|██████████████████████████████████████████████████▋ | 134/296 [19:47<23:41, 8.78s/it][A + hellaswag_sr: 46%|███████████████████████████████████████████████████ | 135/296 [19:56<23:24, 8.72s/it][A + hellaswag_sr: 46%|███████████████████████████████████████████████████▍ | 136/296 [20:05<23:10, 8.69s/it][A + hellaswag_sr: 46%|███████████████████████████████████████████████████▊ | 137/296 [20:14<23:35, 8.90s/it][A + hellaswag_sr: 47%|████████████████████████████████████████████████████▏ | 138/296 [20:23<23:42, 9.00s/it][A + hellaswag_sr: 47%|████████████████████████████████████████████████████▌ | 139/296 [20:33<23:45, 9.08s/it][A + hellaswag_sr: 47%|████████████████████████████████████████████████████▉ | 140/296 [20:41<23:10, 8.92s/it][A + hellaswag_sr: 48%|█████████████████████████████████████████████████████▎ | 141/296 [20:50<22:59, 8.90s/it][A + hellaswag_sr: 48%|█████████████████████████████████████████████████████▋ | 142/296 [20:59<23:16, 9.07s/it][A + hellaswag_sr: 48%|██████████████████████████████████████████████████████ | 143/296 [21:08<22:56, 9.00s/it][A + hellaswag_sr: 49%|██████████████████████████████████████████████████████▍ | 144/296 [21:17<22:47, 9.00s/it][A + hellaswag_sr: 49%|██████████████████████████████████████████████████████▊ | 145/296 [21:26<22:18, 8.87s/it][A + hellaswag_sr: 49%|███████████████████████████████████████████████████████▏ | 146/296 [21:34<22:00, 8.80s/it][A + hellaswag_sr: 50%|███████████████████████████████████████████████████████▌ | 147/296 [21:44<22:17, 8.98s/it][A + hellaswag_sr: 50%|████████████████████████████████████████████████████████ | 148/296 [21:53<21:58, 8.91s/it][A + hellaswag_sr: 50%|████████████████████████████████████████████████████████▍ | 149/296 [22:01<21:46, 8.89s/it][A + hellaswag_sr: 51%|████████████████████████████████████████████████████████▊ | 150/296 [22:10<21:41, 8.92s/it][A + hellaswag_sr: 51%|█████████████████████████████████████████████████████████▏ | 151/296 [22:19<21:14, 8.79s/it][A + hellaswag_sr: 51%|█████████████████████████████████████████████████████████▌ | 152/296 [22:29<21:41, 9.04s/it][A + hellaswag_sr: 52%|█████████████████████████████████████████████████████████▉ | 153/296 [22:37<21:25, 8.99s/it][A + hellaswag_sr: 52%|██████████████████████████████████████████████████████████▎ | 154/296 [22:46<21:02, 8.89s/it][A + hellaswag_sr: 52%|██████████████████████████████████████████████████████████▋ | 155/296 [22:55<20:47, 8.84s/it][A + hellaswag_sr: 53%|███████████████████████████████████████████████████████████ | 156/296 [23:04<20:36, 8.83s/it][A + hellaswag_sr: 53%|███████████████████████████████████████████████████████████▍ | 157/296 [23:12<20:23, 8.81s/it][A + hellaswag_sr: 53%|███████████████████████████████████████████████████████████▊ | 158/296 [23:21<20:08, 8.76s/it][A + hellaswag_sr: 54%|████████████████████████████████████████████████████████████▏ | 159/296 [23:30<19:59, 8.76s/it][A + hellaswag_sr: 54%|████████████████████████████████████████████████████████████▌ | 160/296 [23:39<19:49, 8.75s/it][A + hellaswag_sr: 54%|████████████████████████████████████████████████████████████▉ | 161/296 [23:47<19:45, 8.78s/it][A + hellaswag_sr: 55%|█████████████████████████████████████████████████████████████▎ | 162/296 [23:55<19:07, 8.56s/it][A + hellaswag_sr: 55%|█████████████████████████████████████████████████████████████▋ | 163/296 [24:04<19:08, 8.64s/it][A + hellaswag_sr: 55%|██████████████████████████████████████████████████████████████ | 164/296 [24:13<18:49, 8.56s/it][A + hellaswag_sr: 56%|██████████████████████████████████████████████████████████████▍ | 165/296 [24:21<18:46, 8.60s/it][A + hellaswag_sr: 56%|██████████████████████████████████████████████████████████████▊ | 166/296 [24:30<18:40, 8.62s/it][A + hellaswag_sr: 56%|███████████████████████████████████████████████████████████████▏ | 167/296 [24:39<18:36, 8.65s/it][A + hellaswag_sr: 57%|███████████████████████████████████████████████████████████████▌ | 168/296 [24:48<18:34, 8.70s/it][A + hellaswag_sr: 57%|███████████████████████████████████████████████████████████████▉ | 169/296 [24:56<17:58, 8.50s/it][A + hellaswag_sr: 57%|████████████████████████████████████████████████████████████████▎ | 170/296 [25:05<18:26, 8.78s/it][A + hellaswag_sr: 58%|████████████████████████████████████████████████████████████████▋ | 171/296 [25:14<18:18, 8.79s/it][A + hellaswag_sr: 58%|█████████████████████████████████████████████████████████████████ | 172/296 [25:23<18:25, 8.91s/it][A + hellaswag_sr: 58%|█████████████████████████████████████████████████████████████████▍ | 173/296 [25:32<18:17, 8.93s/it][A + hellaswag_sr: 59%|█████████████████████████████████████████████████████████████████▊ | 174/296 [25:41<18:06, 8.91s/it][A + hellaswag_sr: 59%|██████████████████████████████████████████████████████████████████▏ | 175/296 [25:49<17:43, 8.79s/it][A + hellaswag_sr: 59%|██████████████████████████████████████████████████████████████████▌ | 176/296 [25:58<17:37, 8.81s/it][A + hellaswag_sr: 60%|██████████████████████████████████████████████████████████████████▉ | 177/296 [26:06<17:00, 8.57s/it][A + hellaswag_sr: 60%|███████████████████████████████████████████████████████████████████▎ | 178/296 [26:15<17:03, 8.67s/it][A + hellaswag_sr: 60%|███████████████████████████████████████████████████████████████████▋ | 179/296 [26:25<17:20, 8.89s/it][A + hellaswag_sr: 61%|████████████████████████████████████████████████████████████████████ | 180/296 [26:33<17:05, 8.84s/it][A + hellaswag_sr: 61%|████████████████████████████████████████████████████████████████████▍ | 181/296 [26:42<16:57, 8.85s/it][A + hellaswag_sr: 61%|████████████████████████████████████████████████████████████████████▊ | 182/296 [26:51<17:06, 9.01s/it][A + hellaswag_sr: 62%|█████████████████████████████████████████████████████████████████████▏ | 183/296 [27:01<17:02, 9.04s/it][A + hellaswag_sr: 62%|█████████████████████████████████████████████████████████████████████▌ | 184/296 [27:09<16:44, 8.97s/it][A + hellaswag_sr: 62%|██████████████████████████████████████████████████████████████████████ | 185/296 [27:18<16:24, 8.87s/it][A + hellaswag_sr: 63%|██████████████████████████████████████████████████████████████████████▍ | 186/296 [27:28<16:35, 9.05s/it][A + hellaswag_sr: 63%|██████████████████████████████████████████████████████████████████████▊ | 187/296 [27:36<16:18, 8.98s/it][A + hellaswag_sr: 64%|███████████████████████████████████████████████████████████████████████▏ | 188/296 [27:46<16:26, 9.13s/it][A + hellaswag_sr: 64%|███████████████████████████████████████████████████████████████████████▌ | 189/296 [27:55<16:03, 9.01s/it][A + hellaswag_sr: 64%|███████████████████████████████████████████████████████████████████████▉ | 190/296 [28:03<15:45, 8.92s/it][A + hellaswag_sr: 65%|████████████████████████████████████████████████████████████████████████▎ | 191/296 [28:13<15:53, 9.08s/it][A + hellaswag_sr: 65%|████████████████████████████████████████████████████████████████████████▋ | 192/296 [28:22<15:56, 9.20s/it][A + hellaswag_sr: 65%|█████████████████████████████████████████████████████████████████████████ | 193/296 [28:31<15:25, 8.99s/it][A + hellaswag_sr: 66%|█████████████████████████████████████████████████████████████████████████▍ | 194/296 [28:39<15:10, 8.93s/it][A + hellaswag_sr: 66%|█████████████████████████████████████████████████████████████████████████▊ | 195/296 [28:48<15:02, 8.94s/it][A + hellaswag_sr: 66%|██████████████████████████████████████████████████████████████████████████▏ | 196/296 [28:57<14:47, 8.88s/it][A + hellaswag_sr: 67%|██████████████████████████████████████████████████████████████████████████▌ | 197/296 [29:06<14:42, 8.91s/it][A + hellaswag_sr: 67%|██████████████████████████████████████████████████████████████████████████▉ | 198/296 [29:15<14:45, 9.04s/it][A + hellaswag_sr: 67%|███████████████████████████████████████████████████████████████████████████▎ | 199/296 [29:25<14:37, 9.05s/it][A + hellaswag_sr: 68%|███████████████████████████████████████████████████████████████████████████▋ | 200/296 [29:34<14:26, 9.02s/it][A + hellaswag_sr: 68%|████████████████████████████████████████████████████████████████████████████ | 201/296 [29:42<14:14, 9.00s/it][A + hellaswag_sr: 68%|████████████████████████████████████████████████████████████████████████████▍ | 202/296 [29:51<13:48, 8.81s/it][A + hellaswag_sr: 69%|████████████████████████████████████████████████████████████████████████████▊ | 203/296 [29:59<13:34, 8.76s/it][A + hellaswag_sr: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 204/296 [30:08<13:26, 8.76s/it][A + hellaswag_sr: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 205/296 [30:17<13:08, 8.66s/it][A + hellaswag_sr: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 206/296 [30:26<13:20, 8.89s/it][A + hellaswag_sr: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 207/296 [30:35<13:06, 8.83s/it][A + hellaswag_sr: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 208/296 [30:44<12:58, 8.84s/it][A + hellaswag_sr: 71%|███████████████████████████████████████████████████████████████████████████████ | 209/296 [30:52<12:45, 8.79s/it][A + hellaswag_sr: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 210/296 [31:02<12:46, 8.91s/it][A + hellaswag_sr: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 211/296 [31:11<12:53, 9.11s/it][A + hellaswag_sr: 72%|████████████████████████████████████████████████████████████████████████████████▏ | 212/296 [31:20<12:36, 9.01s/it][A + hellaswag_sr: 72%|████████████████████████████████████████████████████████████████████████████████▌ | 213/296 [31:29<12:33, 9.08s/it][A + hellaswag_sr: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 214/296 [31:38<12:26, 9.10s/it][A + hellaswag_sr: 73%|█████████████████████████████████████████████████████████████████████████████████▎ | 215/296 [31:47<12:05, 8.96s/it][A + hellaswag_sr: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 216/296 [31:56<11:48, 8.86s/it][A + hellaswag_sr: 73%|██████████████████████████████████████████████████████████████████████████████████ | 217/296 [32:04<11:30, 8.74s/it][A + hellaswag_sr: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 218/296 [32:13<11:26, 8.80s/it][A + hellaswag_sr: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 219/296 [32:21<11:11, 8.72s/it][A + hellaswag_sr: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 220/296 [32:30<11:01, 8.70s/it][A + hellaswag_sr: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 221/296 [32:39<10:55, 8.74s/it][A + hellaswag_sr: 75%|████████████████████████████████████████████████████████████████████████████████████ | 222/296 [32:47<10:42, 8.68s/it][A + hellaswag_sr: 75%|████████████████████████████████████████████████████████████████████████████████████▍ | 223/296 [32:56<10:38, 8.75s/it][A + hellaswag_sr: 76%|████████████████████████████████████████████████████████████████████████████████████▊ | 224/296 [33:05<10:29, 8.74s/it][A + hellaswag_sr: 76%|█████████████████████████████████████████████████████████████████████████████████████▏ | 225/296 [33:14<10:22, 8.76s/it][A + hellaswag_sr: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 226/296 [33:23<10:20, 8.86s/it][A + hellaswag_sr: 77%|█████████████████████████████████████████████████████████████████████████████████████▉ | 227/296 [33:32<10:12, 8.88s/it][A + hellaswag_sr: 77%|██████████████████████████████████████████████████████████████████████████████████████▎ | 228/296 [33:41<10:01, 8.85s/it][A + hellaswag_sr: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 229/296 [33:50<10:05, 9.04s/it][A + hellaswag_sr: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 230/296 [33:59<09:51, 8.96s/it][A + hellaswag_sr: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 231/296 [34:07<09:26, 8.72s/it][A + hellaswag_sr: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 232/296 [34:16<09:18, 8.72s/it][A + hellaswag_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 233/296 [34:25<09:20, 8.90s/it][A + hellaswag_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 234/296 [34:34<09:09, 8.86s/it][A + hellaswag_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 235/296 [34:43<08:55, 8.78s/it][A + hellaswag_sr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 236/296 [34:52<08:51, 8.86s/it][A + hellaswag_sr: 80%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 237/296 [35:00<08:39, 8.80s/it][A + hellaswag_sr: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 238/296 [35:09<08:29, 8.79s/it][A + hellaswag_sr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 239/296 [35:17<08:15, 8.69s/it][A + hellaswag_sr: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 240/296 [35:26<08:05, 8.68s/it][A + hellaswag_sr: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 241/296 [35:34<07:50, 8.55s/it][A + hellaswag_sr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 242/296 [35:43<07:43, 8.59s/it][A + hellaswag_sr: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 243/296 [35:52<07:46, 8.80s/it][A + hellaswag_sr: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 244/296 [36:01<07:38, 8.82s/it][A + hellaswag_sr: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 245/296 [36:10<07:32, 8.86s/it][A + hellaswag_sr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 246/296 [36:19<07:21, 8.83s/it][A + hellaswag_sr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/296 [36:27<07:07, 8.73s/it][A + hellaswag_sr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/296 [36:36<06:59, 8.74s/it][A + hellaswag_sr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/296 [36:45<06:47, 8.66s/it][A + hellaswag_sr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/296 [36:54<06:48, 8.87s/it][A + hellaswag_sr: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/296 [37:03<06:41, 8.93s/it][A + hellaswag_sr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/296 [37:12<06:33, 8.94s/it][A + hellaswag_sr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/296 [37:21<06:21, 8.87s/it][A + hellaswag_sr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 254/296 [37:30<06:12, 8.86s/it][A + hellaswag_sr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/296 [37:38<05:58, 8.75s/it][A + hellaswag_sr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/296 [37:47<05:50, 8.77s/it][A + hellaswag_sr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 257/296 [37:56<05:40, 8.74s/it][A + hellaswag_sr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 258/296 [38:04<05:27, 8.61s/it][A + hellaswag_sr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 259/296 [38:13<05:21, 8.70s/it][A + hellaswag_sr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/296 [38:22<05:16, 8.79s/it][A + hellaswag_sr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/296 [38:30<05:05, 8.74s/it][A + hellaswag_sr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/296 [38:39<04:58, 8.78s/it][A + hellaswag_sr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/296 [38:49<04:55, 8.96s/it][A + hellaswag_sr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/296 [38:57<04:44, 8.90s/it][A + hellaswag_sr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/296 [39:07<04:39, 9.02s/it][A + hellaswag_sr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/296 [39:16<04:29, 8.98s/it][A + hellaswag_sr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/296 [39:25<04:19, 8.96s/it][A + hellaswag_sr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 268/296 [39:33<04:08, 8.87s/it][A + hellaswag_sr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 269/296 [39:42<03:57, 8.78s/it][A + hellaswag_sr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 270/296 [39:51<03:51, 8.91s/it][A + hellaswag_sr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 271/296 [40:00<03:43, 8.95s/it][A + hellaswag_sr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 272/296 [40:09<03:31, 8.81s/it][A + hellaswag_sr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 273/296 [40:17<03:22, 8.79s/it][A + hellaswag_sr: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 274/296 [40:26<03:13, 8.79s/it][A + hellaswag_sr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 275/296 [40:35<03:07, 8.92s/it][A + hellaswag_sr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 276/296 [40:44<02:59, 8.99s/it][A + hellaswag_sr: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 277/296 [40:54<02:52, 9.10s/it][A + hellaswag_sr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 278/296 [41:03<02:44, 9.14s/it][A + hellaswag_sr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 279/296 [41:12<02:34, 9.07s/it][A + hellaswag_sr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 280/296 [41:21<02:25, 9.07s/it][A + hellaswag_sr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 281/296 [41:30<02:14, 8.97s/it][A + hellaswag_sr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 282/296 [41:38<02:04, 8.88s/it][A + hellaswag_sr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 283/296 [41:47<01:55, 8.85s/it][A + hellaswag_sr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 284/296 [41:57<01:48, 9.02s/it][A + hellaswag_sr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 285/296 [42:05<01:38, 8.98s/it][A + hellaswag_sr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 286/296 [42:15<01:30, 9.04s/it][A + hellaswag_sr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 287/296 [42:23<01:20, 8.96s/it][A + hellaswag_sr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 288/296 [42:32<01:11, 8.91s/it][A + hellaswag_sr: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 289/296 [42:41<01:02, 8.97s/it][A + hellaswag_sr: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 290/296 [42:50<00:53, 8.89s/it][A + hellaswag_sr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 291/296 [42:59<00:44, 8.88s/it][A + hellaswag_sr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 292/296 [43:08<00:35, 8.87s/it][A + hellaswag_sr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 293/296 [43:16<00:26, 8.79s/it][A + hellaswag_sr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 294/296 [43:25<00:17, 8.79s/it][A + hellaswag_sr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 295/296 [43:34<00:08, 8.79s/it][A + hellaswag_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:39<00:00, 7.70s/it][A hellaswag_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:39<00:00, 8.85s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sr_acc 0.35464070271986453 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sr_acc_norm 0.4479839136416552 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 08:29:24,308 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 08:29:24,308 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:24,425 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 08:29:24,425 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:24,542 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 08:29:24,542 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:24,659 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 08:29:24,660 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 08:29:24,660 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 08:29:24,778 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 08:29:24,778 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_sr_acc'} +2024-05-30 08:29:24,837 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 08:29:24,837 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1189, 'value': 0.35464070271986453} +2024-05-30 08:29:24,897 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 08:29:25,538 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 08:29:25,538 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:25,665 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 08:29:25,665 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:25,793 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 08:29:25,793 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:25,920 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 08:29:25,921 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 08:29:25,921 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 08:29:26,049 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 08:29:26,049 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_sr_acc_norm'} +2024-05-30 08:29:26,114 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 08:29:26,114 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1190, 'value': 0.4479839136416552} +2024-05-30 08:29:26,178 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 45%|████████████████████████████████████████████████▊ | 56/124 [25:41:55<55:01:02, 2912.68s/it]['hellaswag_sv'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 08:29:26,773 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 08:29:26,773 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:26,888 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 08:29:26,888 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:27,004 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 08:29:27,004 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 08:29:27,119 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 08:29:27,120 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 08:29:27,120 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_sv'} +2024-05-30 08:29:27,236 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_sv task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 9.42 examples/s][A + Generating validation split: 2000 examples [00:00, 10273.86 examples/s][A + Generating validation split: 3994 examples [00:00, 13830.11 examples/s][A + Generating validation split: 5623 examples [00:00, 14732.58 examples/s][A + Generating validation split: 7253 examples [00:00, 15269.84 examples/s][A + Generating validation split: 9000 examples [00:00, 15679.76 examples/s][A Generating validation split: 9122 examples [00:00, 13864.95 examples/s] +Loaded 9122 examples +Running loglikelihood requests + + hellaswag_sv: 0%| | 0/286 [00:00<?, ?it/s][A + hellaswag_sv: 0%|▍ | 1/286 [00:09<44:17, 9.32s/it][A + hellaswag_sv: 1%|▊ | 2/286 [00:18<42:20, 8.95s/it][A + hellaswag_sv: 1%|█▏ | 3/286 [00:26<41:14, 8.74s/it][A + hellaswag_sv: 1%|█▌ | 4/286 [00:34<39:57, 8.50s/it][A + hellaswag_sv: 2%|█▉ | 5/286 [00:42<38:51, 8.30s/it][A + hellaswag_sv: 2%|██▍ | 6/286 [00:50<38:16, 8.20s/it][A + hellaswag_sv: 2%|██▊ | 7/286 [00:58<37:53, 8.15s/it][A + hellaswag_sv: 3%|███▏ | 8/286 [01:07<38:32, 8.32s/it][A + hellaswag_sv: 3%|███▌ | 9/286 [01:15<38:05, 8.25s/it][A + hellaswag_sv: 3%|███▉ | 10/286 [01:24<38:26, 8.36s/it][A + hellaswag_sv: 4%|████▎ | 11/286 [01:32<38:03, 8.30s/it][A + hellaswag_sv: 4%|████▋ | 12/286 [01:40<37:36, 8.24s/it][A + hellaswag_sv: 5%|█████▏ | 13/286 [01:48<37:04, 8.15s/it][A + hellaswag_sv: 5%|█████▌ | 14/286 [01:57<37:48, 8.34s/it][A + hellaswag_sv: 5%|█████▉ | 15/286 [02:04<37:00, 8.19s/it][A + hellaswag_sv: 6%|██████▎ | 16/286 [02:13<37:28, 8.33s/it][A + hellaswag_sv: 6%|██████▋ | 17/286 [02:21<36:43, 8.19s/it][A + hellaswag_sv: 6%|███████ | 18/286 [02:30<38:06, 8.53s/it][A + hellaswag_sv: 7%|███████▌ | 19/286 [02:39<37:40, 8.46s/it][A + hellaswag_sv: 7%|███████▉ | 20/286 [02:47<36:58, 8.34s/it][A + hellaswag_sv: 7%|████████▎ | 21/286 [02:55<36:39, 8.30s/it][A + hellaswag_sv: 8%|████████▋ | 22/286 [03:03<36:06, 8.21s/it][A + hellaswag_sv: 8%|█████████ | 23/286 [03:11<35:37, 8.13s/it][A + hellaswag_sv: 8%|█████████▍ | 24/286 [03:20<36:47, 8.43s/it][A + hellaswag_sv: 9%|█████████▉ | 25/286 [03:29<37:11, 8.55s/it][A + hellaswag_sv: 9%|██████████▎ | 26/286 [03:37<36:13, 8.36s/it][A + hellaswag_sv: 9%|██████████▋ | 27/286 [03:45<35:50, 8.30s/it][A + hellaswag_sv: 10%|███████████ | 28/286 [03:53<35:09, 8.18s/it][A + hellaswag_sv: 10%|███████████▍ | 29/286 [04:00<34:34, 8.07s/it][A + hellaswag_sv: 10%|███████████▊ | 30/286 [04:08<34:15, 8.03s/it][A + hellaswag_sv: 11%|████████████▏ | 31/286 [04:16<33:53, 7.97s/it][A + hellaswag_sv: 11%|████████████▋ | 32/286 [04:25<34:59, 8.26s/it][A + hellaswag_sv: 12%|█████████████ | 33/286 [04:33<34:24, 8.16s/it][A + hellaswag_sv: 12%|█████████████▍ | 34/286 [04:41<34:07, 8.13s/it][A + hellaswag_sv: 12%|█████████████▊ | 35/286 [04:49<33:52, 8.10s/it][A + hellaswag_sv: 13%|██████████████▏ | 36/286 [04:58<34:09, 8.20s/it][A + hellaswag_sv: 13%|██████████████▌ | 37/286 [05:06<33:43, 8.13s/it][A + hellaswag_sv: 13%|███████████████ | 38/286 [05:13<33:20, 8.07s/it][A + hellaswag_sv: 14%|███████████████▍ | 39/286 [05:22<33:39, 8.18s/it][A + hellaswag_sv: 14%|███████████████▊ | 40/286 [05:30<33:47, 8.24s/it][A + hellaswag_sv: 14%|████████████████▏ | 41/286 [05:38<33:29, 8.20s/it][A + hellaswag_sv: 15%|████████████████▌ | 42/286 [05:47<33:21, 8.20s/it][A + hellaswag_sv: 15%|████████████████▉ | 43/286 [05:55<33:23, 8.24s/it][A + hellaswag_sv: 15%|█████████████████▍ | 44/286 [06:04<34:29, 8.55s/it][A + hellaswag_sv: 16%|█████████████████▊ | 45/286 [06:13<34:26, 8.57s/it][A + hellaswag_sv: 16%|██████████████████▏ | 46/286 [06:21<33:41, 8.42s/it][A + hellaswag_sv: 16%|██████████████████▌ | 47/286 [06:29<33:27, 8.40s/it][A + hellaswag_sv: 17%|██████████████████▉ | 48/286 [06:38<33:33, 8.46s/it][A + hellaswag_sv: 17%|███████████████████▎ | 49/286 [06:46<32:41, 8.28s/it][A + hellaswag_sv: 17%|███████████████████▊ | 50/286 [06:55<33:19, 8.47s/it][A + hellaswag_sv: 18%|████████████████████▏ | 51/286 [07:03<33:02, 8.44s/it][A + hellaswag_sv: 18%|████████████████████▌ | 52/286 [07:11<32:13, 8.26s/it][A + hellaswag_sv: 19%|████████████████████▉ | 53/286 [07:19<31:48, 8.19s/it][A + hellaswag_sv: 19%|█████████████████████▎ | 54/286 [07:27<31:17, 8.09s/it][A + hellaswag_sv: 19%|█████████████████████▋ | 55/286 [07:35<31:39, 8.22s/it][A + hellaswag_sv: 20%|██████████████████████▏ | 56/286 [07:43<31:12, 8.14s/it][A + hellaswag_sv: 20%|██████████████████████▌ | 57/286 [07:51<30:51, 8.09s/it][A + hellaswag_sv: 20%|██████████████████████▉ | 58/286 [07:59<30:48, 8.11s/it][A + hellaswag_sv: 21%|███████████████████████▎ | 59/286 [08:07<30:28, 8.05s/it][A + hellaswag_sv: 21%|███████████████████████▋ | 60/286 [08:16<30:48, 8.18s/it][A + hellaswag_sv: 21%|████████████████████████ | 61/286 [08:24<30:34, 8.15s/it][A + hellaswag_sv: 22%|████████████████████████▍ | 62/286 [08:32<30:53, 8.28s/it][A + hellaswag_sv: 22%|████████████████████████▉ | 63/286 [08:41<30:35, 8.23s/it][A + hellaswag_sv: 22%|█████████████████████████▎ | 64/286 [08:49<31:01, 8.38s/it][A + hellaswag_sv: 23%|█████████████████████████▋ | 65/286 [08:57<30:21, 8.24s/it][A + hellaswag_sv: 23%|██████████████████████████ | 66/286 [09:05<29:53, 8.15s/it][A + hellaswag_sv: 23%|██████████████████████████▍ | 67/286 [09:14<30:12, 8.28s/it][A + hellaswag_sv: 24%|██████████████████████████▊ | 68/286 [09:22<29:51, 8.22s/it][A + hellaswag_sv: 24%|███████████████████████████▎ | 69/286 [09:31<31:11, 8.63s/it][A + hellaswag_sv: 24%|███████████████████████████▋ | 70/286 [09:40<30:50, 8.57s/it][A + hellaswag_sv: 25%|████████████████████████████ | 71/286 [09:48<30:42, 8.57s/it][A + hellaswag_sv: 25%|████████████████████████████▍ | 72/286 [09:56<29:58, 8.40s/it][A + hellaswag_sv: 26%|████████████████████████████▊ | 73/286 [10:05<30:11, 8.50s/it][A + hellaswag_sv: 26%|█████████████████████████████▏ | 74/286 [10:14<30:05, 8.52s/it][A + hellaswag_sv: 26%|█████████████████████████████▋ | 75/286 [10:22<29:27, 8.38s/it][A + hellaswag_sv: 27%|██████████████████████████████ | 76/286 [10:30<28:45, 8.22s/it][A + hellaswag_sv: 27%|██████████████████████████████▍ | 77/286 [10:38<28:25, 8.16s/it][A + hellaswag_sv: 27%|██████████████████████████████▊ | 78/286 [10:46<28:45, 8.30s/it][A + hellaswag_sv: 28%|███████████████████████████████▏ | 79/286 [10:54<28:15, 8.19s/it][A + hellaswag_sv: 28%|███████████████████████████████▌ | 80/286 [11:03<28:36, 8.33s/it][A + hellaswag_sv: 28%|████████████████████████████████ | 81/286 [11:12<29:00, 8.49s/it][A + hellaswag_sv: 29%|████████████████████████████████▍ | 82/286 [11:20<28:17, 8.32s/it][A + hellaswag_sv: 29%|████████████████████████████████▊ | 83/286 [11:27<27:45, 8.20s/it][A + hellaswag_sv: 29%|█████████████████████████████████▏ | 84/286 [11:36<27:51, 8.27s/it][A + hellaswag_sv: 30%|█████████████████████████████████▌ | 85/286 [11:45<28:17, 8.45s/it][A + hellaswag_sv: 30%|█████████████████████████████████▉ | 86/286 [11:53<27:52, 8.36s/it][A + hellaswag_sv: 30%|██████████████████████████████████▎ | 87/286 [12:01<27:19, 8.24s/it][A + hellaswag_sv: 31%|██████████████████████████████████▊ | 88/286 [12:10<28:21, 8.60s/it][A + hellaswag_sv: 31%|███████████████████████████████████▏ | 89/286 [12:19<28:06, 8.56s/it][A + hellaswag_sv: 31%|███████████████████████████████████▌ | 90/286 [12:27<27:27, 8.40s/it][A + hellaswag_sv: 32%|███████████████████████████████████▉ | 91/286 [12:35<26:49, 8.26s/it][A + hellaswag_sv: 32%|████████████████████████████████████▎ | 92/286 [12:43<26:38, 8.24s/it][A + hellaswag_sv: 33%|████████████████████████████████████▋ | 93/286 [12:51<26:12, 8.15s/it][A + hellaswag_sv: 33%|█████████████████████████████████████▏ | 94/286 [12:59<26:28, 8.27s/it][A + hellaswag_sv: 33%|█████████████████████████████████████▌ | 95/286 [13:07<25:54, 8.14s/it][A + hellaswag_sv: 34%|█████████████████████████████████████▉ | 96/286 [13:16<25:58, 8.20s/it][A + hellaswag_sv: 34%|██████████████████████████████████████▎ | 97/286 [13:24<26:19, 8.36s/it][A + hellaswag_sv: 34%|██████████████████████████████████████▋ | 98/286 [13:32<25:51, 8.25s/it][A + hellaswag_sv: 35%|███████████████████████████████████████ | 99/286 [13:42<26:34, 8.53s/it][A + hellaswag_sv: 35%|███████████████████████████████████████▏ | 100/286 [13:50<26:19, 8.49s/it][A + hellaswag_sv: 35%|███████████████████████████████████████▌ | 101/286 [13:58<26:06, 8.47s/it][A + hellaswag_sv: 36%|███████████████████████████████████████▉ | 102/286 [14:06<25:33, 8.34s/it][A + hellaswag_sv: 36%|████████████████████████████████████████▎ | 103/286 [14:14<25:05, 8.22s/it][A + hellaswag_sv: 36%|████████████████████████████████████████▋ | 104/286 [14:23<25:09, 8.29s/it][A + hellaswag_sv: 37%|█████████████████████████████████████████ | 105/286 [14:31<25:20, 8.40s/it][A + hellaswag_sv: 37%|█████████████████████████████████████████▌ | 106/286 [14:41<25:56, 8.65s/it][A + hellaswag_sv: 37%|█████████████████████████████████████████▉ | 107/286 [14:50<25:58, 8.71s/it][A + hellaswag_sv: 38%|██████████████████████████████████████████▎ | 108/286 [14:58<25:31, 8.60s/it][A + hellaswag_sv: 38%|██████████████████████████████████████████▋ | 109/286 [15:06<24:46, 8.40s/it][A + hellaswag_sv: 38%|███████████████████████████████████████████ | 110/286 [15:14<24:16, 8.27s/it][A + hellaswag_sv: 39%|███████████████████████████████████████████▍ | 111/286 [15:22<24:00, 8.23s/it][A + hellaswag_sv: 39%|███████████████████████████████████████████▊ | 112/286 [15:30<23:36, 8.14s/it][A + hellaswag_sv: 40%|████████████████████████████████████████████▎ | 113/286 [15:38<23:52, 8.28s/it][A + hellaswag_sv: 40%|████████████████████████████████████████████▋ | 114/286 [15:47<23:58, 8.37s/it][A + hellaswag_sv: 40%|█████████████████████████████████████████████ | 115/286 [15:55<23:52, 8.38s/it][A + hellaswag_sv: 41%|█████████████████████████████████████████████▍ | 116/286 [16:04<24:10, 8.53s/it][A + hellaswag_sv: 41%|█████████████████████████████████████████████▊ | 117/286 [16:12<23:28, 8.33s/it][A + hellaswag_sv: 41%|██████████████████████████████████████████████▏ | 118/286 [16:21<23:42, 8.47s/it][A + hellaswag_sv: 42%|██████████████████████████████████████████████▌ | 119/286 [16:30<23:45, 8.53s/it][A + hellaswag_sv: 42%|██████████████████████████████████████████████▉ | 120/286 [16:38<23:16, 8.42s/it][A + hellaswag_sv: 42%|███████████████████████████████████████████████▍ | 121/286 [16:47<23:27, 8.53s/it][A + hellaswag_sv: 43%|███████████████████████████████████████████████▊ | 122/286 [16:55<23:07, 8.46s/it][A + hellaswag_sv: 43%|████████████████████████████████████████████████▏ | 123/286 [17:03<22:57, 8.45s/it][A + hellaswag_sv: 43%|████████████████████████████████████████████████▌ | 124/286 [17:11<22:27, 8.32s/it][A + hellaswag_sv: 44%|████████████████████████████████████████████████▉ | 125/286 [17:19<22:07, 8.25s/it][A + hellaswag_sv: 44%|█████████████████████████████████████████████████▎ | 126/286 [17:28<22:28, 8.43s/it][A + hellaswag_sv: 44%|█████████████████████████████████████████████████▋ | 127/286 [17:36<22:07, 8.35s/it][A + hellaswag_sv: 45%|██████████████████████████████████████████████████▏ | 128/286 [17:44<21:37, 8.21s/it][A + hellaswag_sv: 45%|██████████████████████████████████████████████████▌ | 129/286 [17:53<21:52, 8.36s/it][A + hellaswag_sv: 45%|██████████████████████████████████████████████████▉ | 130/286 [18:01<21:30, 8.27s/it][A + hellaswag_sv: 46%|███████████████████████████████████████████████████▎ | 131/286 [18:09<21:11, 8.20s/it][A + hellaswag_sv: 46%|███████████████████████████████████████████████████▋ | 132/286 [18:18<21:39, 8.44s/it][A + hellaswag_sv: 47%|████████████████████████████████████████████████████ | 133/286 [18:26<21:15, 8.34s/it][A + hellaswag_sv: 47%|████████████████████████████████████████████████████▍ | 134/286 [18:35<21:10, 8.36s/it][A + hellaswag_sv: 47%|████████████████████████████████████████████████████▊ | 135/286 [18:43<21:22, 8.50s/it][A + hellaswag_sv: 48%|█████████████████████████████████████████████████████▎ | 136/286 [18:51<20:51, 8.35s/it][A + hellaswag_sv: 48%|█████████████████████████████████████████████████████▋ | 137/286 [19:00<20:53, 8.41s/it][A + hellaswag_sv: 48%|██████████████████████████████████████████████████████ | 138/286 [19:09<21:27, 8.70s/it][A + hellaswag_sv: 49%|██████████████████████████████████████████████████████▍ | 139/286 [19:17<20:48, 8.49s/it][A + hellaswag_sv: 49%|██████████████████████████████████████████████████████▊ | 140/286 [19:25<20:16, 8.33s/it][A + hellaswag_sv: 49%|███████████████████████████████████████████████████████▏ | 141/286 [19:33<19:50, 8.21s/it][A + hellaswag_sv: 50%|███████████████████████████████████████████████████████▌ | 142/286 [19:43<20:26, 8.52s/it][A + hellaswag_sv: 50%|████████████████████████████████████████████████████████ | 143/286 [19:51<20:25, 8.57s/it][A + hellaswag_sv: 50%|████████████████████████████████████████████████████████▍ | 144/286 [19:59<19:48, 8.37s/it][A + hellaswag_sv: 51%|████████████████████████████████████████████████████████▊ | 145/286 [20:08<19:53, 8.47s/it][A + hellaswag_sv: 51%|█████████████████████████████████████████████████████████▏ | 146/286 [20:16<19:42, 8.45s/it][A + hellaswag_sv: 51%|█████████████████████████████████████████████████████████▌ | 147/286 [20:25<20:08, 8.69s/it][A + hellaswag_sv: 52%|█████████████████████████████████████████████████████████▉ | 148/286 [20:33<19:31, 8.49s/it][A + hellaswag_sv: 52%|██████████████████████████████████████████████████████████▎ | 149/286 [20:42<19:06, 8.37s/it][A + hellaswag_sv: 52%|██████████████████████████████████████████████████████████▋ | 150/286 [20:50<19:02, 8.40s/it][A + hellaswag_sv: 53%|███████████████████████████████████████████████████████████▏ | 151/286 [20:59<19:05, 8.48s/it][A + hellaswag_sv: 53%|███████████████████████████████████████████████████████████▌ | 152/286 [21:07<18:37, 8.34s/it][A + hellaswag_sv: 53%|███████████████████████████████████████████████████████████▉ | 153/286 [21:15<18:12, 8.21s/it][A + hellaswag_sv: 54%|████████████████████████████████████████████████████████████▎ | 154/286 [21:23<18:17, 8.32s/it][A + hellaswag_sv: 54%|████████████████████████████████████████████████████████████▋ | 155/286 [21:31<17:59, 8.24s/it][A + hellaswag_sv: 55%|█████████████████████████████████████████████████████████████ | 156/286 [21:39<17:43, 8.18s/it][A + hellaswag_sv: 55%|█████████████████████████████████████████████████████████████▍ | 157/286 [21:48<17:49, 8.29s/it][A + hellaswag_sv: 55%|█████████████████████████████████████████████████████████████▊ | 158/286 [21:57<17:59, 8.44s/it][A + hellaswag_sv: 56%|██████████████████████████████████████████████████████████████▎ | 159/286 [22:05<17:58, 8.49s/it][A + hellaswag_sv: 56%|██████████████████████████████████████████████████████████████▋ | 160/286 [22:13<17:33, 8.36s/it][A + hellaswag_sv: 56%|███████████████████████████████████████████████████████████████ | 161/286 [22:22<17:39, 8.48s/it][A + hellaswag_sv: 57%|███████████████████████████████████████████████████████████████▍ | 162/286 [22:31<17:35, 8.51s/it][A + hellaswag_sv: 57%|███████████████████████████████████████████████████████████████▊ | 163/286 [22:39<17:05, 8.34s/it][A + hellaswag_sv: 57%|████████████████████████████████████████████████████████████████▏ | 164/286 [22:47<16:42, 8.22s/it][A + hellaswag_sv: 58%|████████████████████████████████████████████████████████████████▌ | 165/286 [22:55<16:41, 8.28s/it][A + hellaswag_sv: 58%|█████████████████████████████████████████████████████████████████ | 166/286 [23:03<16:36, 8.30s/it][A + hellaswag_sv: 58%|█████████████████████████████████████████████████████████████████▍ | 167/286 [23:12<16:34, 8.36s/it][A + hellaswag_sv: 59%|█████████████████████████████████████████████████████████████████▊ | 168/286 [23:21<16:43, 8.50s/it][A + hellaswag_sv: 59%|██████████████████████████████████████████████████████████████████▏ | 169/286 [23:29<16:21, 8.39s/it][A + hellaswag_sv: 59%|██████████████████████████████████████████████████████████████████▌ | 170/286 [23:37<16:21, 8.46s/it][A + hellaswag_sv: 60%|██████████████████████████████████████████████████████████████████▉ | 171/286 [23:45<15:52, 8.28s/it][A + hellaswag_sv: 60%|███████████████████████████████████████████████████████████████████▎ | 172/286 [23:53<15:39, 8.24s/it][A + hellaswag_sv: 60%|███████████████████████████████████████████████████████████████████▋ | 173/286 [24:01<15:22, 8.16s/it][A + hellaswag_sv: 61%|████████████████████████████████████████████████████████████████████▏ | 174/286 [24:10<15:22, 8.23s/it][A + hellaswag_sv: 61%|████████████████████████████████████████████████████████████████████▌ | 175/286 [24:18<15:09, 8.19s/it][A + hellaswag_sv: 62%|████████████████████████████████████████████████████████████████████▉ | 176/286 [24:26<15:16, 8.33s/it][A + hellaswag_sv: 62%|█████████████████████████████████████████████████████████████████████▎ | 177/286 [24:35<15:00, 8.26s/it][A + hellaswag_sv: 62%|█████████████████████████████████████████████████████████████████████▋ | 178/286 [24:43<14:55, 8.29s/it][A + hellaswag_sv: 63%|██████████████████████████████████████████████████████████████████████ | 179/286 [24:51<14:38, 8.21s/it][A + hellaswag_sv: 63%|██████████████████████████████████████████████████████████████████████▍ | 180/286 [24:59<14:20, 8.12s/it][A + hellaswag_sv: 63%|██████████████████████████████████████████████████████████████████████▉ | 181/286 [25:08<14:32, 8.31s/it][A + hellaswag_sv: 64%|███████████████████████████████████████████████████████████████████████▎ | 182/286 [25:16<14:22, 8.29s/it][A + hellaswag_sv: 64%|███████████████████████████████████████████████████████████████████████▋ | 183/286 [25:25<14:26, 8.41s/it][A + hellaswag_sv: 64%|████████████████████████████████████████████████████████████████████████ | 184/286 [25:33<14:16, 8.39s/it][A + hellaswag_sv: 65%|████████████████████████████████████████████████████████████████████████▍ | 185/286 [25:42<14:22, 8.54s/it][A + hellaswag_sv: 65%|████████████████████████████████████████████████████████████████████████▊ | 186/286 [25:51<14:26, 8.66s/it][A + hellaswag_sv: 65%|█████████████████████████████████████████████████████████████████████████▏ | 187/286 [25:59<14:09, 8.59s/it][A + hellaswag_sv: 66%|█████████████████████████████████████████████████████████████████████████▌ | 188/286 [26:08<14:02, 8.59s/it][A + hellaswag_sv: 66%|██████████████████████████████████████████████████████████████████████████ | 189/286 [26:17<14:10, 8.77s/it][A + hellaswag_sv: 66%|██████████████████████████████████████████████████████████████████████████▍ | 190/286 [26:25<13:48, 8.63s/it][A + hellaswag_sv: 67%|██████████████████████████████████████████████████████████████████████████▊ | 191/286 [26:33<13:22, 8.45s/it][A + hellaswag_sv: 67%|███████████████████████████████████████████████████████████████████████████▏ | 192/286 [26:41<12:58, 8.29s/it][A + hellaswag_sv: 67%|███████████████████████████████████████████████████████████████████████████▌ | 193/286 [26:50<13:05, 8.45s/it][A + hellaswag_sv: 68%|███████████████████████████████████████████████████████████████████████████▉ | 194/286 [26:59<13:19, 8.69s/it][A + hellaswag_sv: 68%|████████████████████████████████████████████████████████████████████████████▎ | 195/286 [27:07<12:54, 8.51s/it][A + hellaswag_sv: 69%|████████████████████████████████████████████████████████████████████████████▊ | 196/286 [27:17<13:04, 8.71s/it][A + hellaswag_sv: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 197/286 [27:25<12:54, 8.71s/it][A + hellaswag_sv: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 198/286 [27:34<12:46, 8.71s/it][A + hellaswag_sv: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 199/286 [27:42<12:15, 8.45s/it][A + hellaswag_sv: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 200/286 [27:50<11:53, 8.30s/it][A + hellaswag_sv: 70%|██████████████████████████████████████████████████████████████████████████████▋ | 201/286 [27:58<11:36, 8.19s/it][A + hellaswag_sv: 71%|███████████████████████████████████████████████████████████████████████████████ | 202/286 [28:06<11:36, 8.30s/it][A + hellaswag_sv: 71%|███████████████████████████████████████████████████████████████████████████████▍ | 203/286 [28:14<11:22, 8.23s/it][A + hellaswag_sv: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 204/286 [28:22<11:06, 8.13s/it][A + hellaswag_sv: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 205/286 [28:30<10:55, 8.09s/it][A + hellaswag_sv: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 206/286 [28:39<10:57, 8.21s/it][A + hellaswag_sv: 72%|█████████████████████████████████████████████████████████████████████████████████ | 207/286 [28:47<10:42, 8.13s/it][A + hellaswag_sv: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 208/286 [28:55<10:34, 8.13s/it][A + hellaswag_sv: 73%|█████████████████████████████████████████████████████████████████████████████████▊ | 209/286 [29:04<10:40, 8.31s/it][A + hellaswag_sv: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 210/286 [29:13<10:51, 8.57s/it][A + hellaswag_sv: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 211/286 [29:21<10:29, 8.39s/it][A + hellaswag_sv: 74%|███████████████████████████████████████████████████████████████████████████████████ | 212/286 [29:29<10:13, 8.28s/it][A + hellaswag_sv: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 213/286 [29:37<09:58, 8.19s/it][A + hellaswag_sv: 75%|███████████████████████████████████████████████████████████████████████████████████▊ | 214/286 [29:45<09:47, 8.17s/it][A + hellaswag_sv: 75%|████████████████████████████████████████████████████████████████████████████████████▏ | 215/286 [29:53<09:43, 8.22s/it][A + hellaswag_sv: 76%|████████████████████████████████████████████████████████████████████████████████████▌ | 216/286 [30:01<09:33, 8.20s/it][A + hellaswag_sv: 76%|████████████████████████████████████████████████████████████████████████████████████▉ | 217/286 [30:10<09:36, 8.36s/it][A + hellaswag_sv: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 218/286 [30:18<09:23, 8.29s/it][A + hellaswag_sv: 77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 219/286 [30:27<09:19, 8.34s/it][A + hellaswag_sv: 77%|██████████████████████████████████████████████████████████████████████████████████████▏ | 220/286 [30:35<09:03, 8.23s/it][A + hellaswag_sv: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 221/286 [30:43<08:56, 8.26s/it][A + hellaswag_sv: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 222/286 [30:52<09:02, 8.48s/it][A + hellaswag_sv: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 223/286 [31:00<08:43, 8.31s/it][A + hellaswag_sv: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 224/286 [31:08<08:28, 8.20s/it][A + hellaswag_sv: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 225/286 [31:16<08:15, 8.12s/it][A + hellaswag_sv: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 226/286 [31:24<08:16, 8.28s/it][A + hellaswag_sv: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 227/286 [31:33<08:16, 8.42s/it][A + hellaswag_sv: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 228/286 [31:42<08:12, 8.49s/it][A + hellaswag_sv: 80%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 229/286 [31:50<08:05, 8.52s/it][A + hellaswag_sv: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 230/286 [31:59<07:54, 8.48s/it][A + hellaswag_sv: 81%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 231/286 [32:07<07:40, 8.37s/it][A + hellaswag_sv: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 232/286 [32:15<07:27, 8.28s/it][A + hellaswag_sv: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 233/286 [32:23<07:14, 8.19s/it][A + hellaswag_sv: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 234/286 [32:31<07:09, 8.26s/it][A + hellaswag_sv: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 235/286 [32:40<07:01, 8.26s/it][A + hellaswag_sv: 83%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 236/286 [32:48<06:48, 8.18s/it][A + hellaswag_sv: 83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 237/286 [32:56<06:37, 8.12s/it][A + hellaswag_sv: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 238/286 [33:04<06:28, 8.10s/it][A + hellaswag_sv: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 239/286 [33:12<06:20, 8.10s/it][A + hellaswag_sv: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 240/286 [33:20<06:19, 8.26s/it][A + hellaswag_sv: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 241/286 [33:29<06:14, 8.32s/it][A + hellaswag_sv: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 242/286 [33:37<06:01, 8.22s/it][A + hellaswag_sv: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 243/286 [33:45<05:53, 8.22s/it][A + hellaswag_sv: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 244/286 [33:53<05:41, 8.13s/it][A + hellaswag_sv: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 245/286 [34:01<05:31, 8.08s/it][A + hellaswag_sv: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 246/286 [34:09<05:21, 8.03s/it][A + hellaswag_sv: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 247/286 [34:17<05:19, 8.19s/it][A + hellaswag_sv: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 248/286 [34:26<05:14, 8.28s/it][A + hellaswag_sv: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 249/286 [34:34<05:01, 8.15s/it][A + hellaswag_sv: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 250/286 [34:42<04:51, 8.10s/it][A + hellaswag_sv: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 251/286 [34:50<04:51, 8.32s/it][A + hellaswag_sv: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 252/286 [34:59<04:40, 8.26s/it][A + hellaswag_sv: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 253/286 [35:07<04:29, 8.17s/it][A + hellaswag_sv: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 254/286 [35:15<04:24, 8.26s/it][A + hellaswag_sv: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 255/286 [35:24<04:19, 8.37s/it][A + hellaswag_sv: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 256/286 [35:32<04:07, 8.26s/it][A + hellaswag_sv: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 257/286 [35:40<03:57, 8.19s/it][A + hellaswag_sv: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 258/286 [35:48<03:54, 8.36s/it][A + hellaswag_sv: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 259/286 [35:56<03:43, 8.27s/it][A + hellaswag_sv: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 260/286 [36:05<03:40, 8.46s/it][A + hellaswag_sv: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 261/286 [36:14<03:32, 8.52s/it][A + hellaswag_sv: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 262/286 [36:23<03:25, 8.56s/it][A + hellaswag_sv: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 263/286 [36:31<03:13, 8.42s/it][A + hellaswag_sv: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 264/286 [36:39<03:03, 8.33s/it][A + hellaswag_sv: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 265/286 [36:47<02:53, 8.25s/it][A + hellaswag_sv: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 266/286 [36:55<02:42, 8.13s/it][A + hellaswag_sv: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 267/286 [37:03<02:33, 8.07s/it][A + hellaswag_sv: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 268/286 [37:11<02:25, 8.06s/it][A + hellaswag_sv: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 269/286 [37:19<02:18, 8.17s/it][A + hellaswag_sv: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 270/286 [37:27<02:09, 8.11s/it][A + hellaswag_sv: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 271/286 [37:35<02:00, 8.06s/it][A + hellaswag_sv: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 272/286 [37:44<01:56, 8.33s/it][A + hellaswag_sv: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 273/286 [37:53<01:48, 8.38s/it][A + hellaswag_sv: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 274/286 [38:01<01:39, 8.26s/it][A + hellaswag_sv: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 275/286 [38:09<01:29, 8.17s/it][A + hellaswag_sv: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 276/286 [38:17<01:21, 8.18s/it][A + hellaswag_sv: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 277/286 [38:25<01:14, 8.30s/it][A + hellaswag_sv: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 278/286 [38:34<01:06, 8.34s/it][A + hellaswag_sv: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 279/286 [38:42<00:57, 8.25s/it][A + hellaswag_sv: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 280/286 [38:50<00:49, 8.22s/it][A + hellaswag_sv: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 281/286 [38:59<00:41, 8.37s/it][A + hellaswag_sv: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 282/286 [39:07<00:34, 8.50s/it][A + hellaswag_sv: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 283/286 [39:16<00:25, 8.37s/it][A + hellaswag_sv: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 284/286 [39:23<00:16, 8.22s/it][A + hellaswag_sv: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 285/286 [39:32<00:08, 8.24s/it][A + hellaswag_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 286/286 [39:37<00:00, 7.25s/it][A hellaswag_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 286/286 [39:37<00:00, 8.31s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sv_acc 0.5042753782065337 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sv_acc_norm 0.6817583863187897 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 09:09:07,085 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 09:09:07,085 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:07,213 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 09:09:07,214 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:07,341 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 09:09:07,342 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:07,469 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 09:09:07,471 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 09:09:07,471 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 09:09:07,600 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 09:09:07,600 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sv_acc'} +2024-05-30 09:09:07,665 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 09:09:07,665 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1191, 'value': 0.5042753782065337} +2024-05-30 09:09:07,730 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 09:09:08,366 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 09:09:08,366 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:08,491 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 09:09:08,491 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:08,615 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 09:09:08,615 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:08,739 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 09:09:08,740 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 09:09:08,740 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 09:09:08,865 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 09:09:08,865 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sv_acc_norm'} +2024-05-30 09:09:08,929 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 09:09:08,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1192, 'value': 0.6817583863187897} +2024-05-30 09:09:08,991 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 46%|█████████████████████████████████████████████████▋ | 57/124 [26:21:38<51:14:59, 2753.72s/it]['hellaswag_ta'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 09:09:09,660 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 09:09:09,660 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:09,793 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 09:09:09,793 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:09,925 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 09:09:09,925 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 09:09:10,058 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 09:09:10,058 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 09:09:10,058 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_ta'} +2024-05-30 09:09:10,192 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_ta task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 5.72 examples/s][A + Generating validation split: 2000 examples [00:00, 7788.14 examples/s][A + Generating validation split: 3679 examples [00:00, 11004.05 examples/s][A + Generating validation split: 5100 examples [00:00, 12086.66 examples/s][A + Generating validation split: 7000 examples [00:00, 13299.85 examples/s][A Generating validation split: 8413 examples [00:00, 11381.36 examples/s] +Loaded 8413 examples +Running loglikelihood requests + + hellaswag_ta: 0%| | 0/263 [00:00<?, ?it/s][A + hellaswag_ta: 0%|▍ | 1/263 [00:22<1:36:04, 22.00s/it][A + hellaswag_ta: 1%|▊ | 2/263 [00:44<1:35:50, 22.03s/it][A + hellaswag_ta: 1%|█▎ | 3/263 [01:05<1:34:55, 21.91s/it][A + hellaswag_ta: 2%|█▋ | 4/263 [01:29<1:37:05, 22.49s/it][A + hellaswag_ta: 2%|██▏ | 5/263 [01:52<1:38:27, 22.90s/it][A + hellaswag_ta: 2%|██▌ | 6/263 [02:18<1:42:16, 23.88s/it][A + hellaswag_ta: 3%|██▉ | 7/263 [02:41<1:40:07, 23.47s/it][A + hellaswag_ta: 3%|███▍ | 8/263 [03:04<1:39:23, 23.39s/it][A + hellaswag_ta: 3%|███▊ | 9/263 [03:27<1:39:00, 23.39s/it][A + hellaswag_ta: 4%|████▏ | 10/263 [03:50<1:37:53, 23.22s/it][A + hellaswag_ta: 4%|████▋ | 11/263 [04:14<1:38:52, 23.54s/it][A + hellaswag_ta: 5%|█████ | 12/263 [04:37<1:37:30, 23.31s/it][A + hellaswag_ta: 5%|█████▍ | 13/263 [05:00<1:36:01, 23.05s/it][A + hellaswag_ta: 5%|█████▉ | 14/263 [05:23<1:36:18, 23.21s/it][A + hellaswag_ta: 6%|██████▎ | 15/263 [05:47<1:36:15, 23.29s/it][A + hellaswag_ta: 6%|██████▊ | 16/263 [06:08<1:33:07, 22.62s/it][A + hellaswag_ta: 6%|███████▏ | 17/263 [06:30<1:31:38, 22.35s/it][A + hellaswag_ta: 7%|███████▌ | 18/263 [06:52<1:31:40, 22.45s/it][A + hellaswag_ta: 7%|████████ | 19/263 [07:16<1:33:02, 22.88s/it][A + hellaswag_ta: 8%|████████▍ | 20/263 [07:38<1:30:57, 22.46s/it][A + hellaswag_ta: 8%|████████▊ | 21/263 [08:00<1:30:18, 22.39s/it][A + hellaswag_ta: 8%|█████████▎ | 22/263 [08:22<1:29:42, 22.34s/it][A + hellaswag_ta: 9%|█████████▋ | 23/263 [08:45<1:29:53, 22.47s/it][A + hellaswag_ta: 9%|██████████▏ | 24/263 [09:04<1:26:06, 21.62s/it][A + hellaswag_ta: 10%|██████████▌ | 25/263 [09:29<1:28:44, 22.37s/it][A + hellaswag_ta: 10%|██████████▉ | 26/263 [09:54<1:31:41, 23.21s/it][A + hellaswag_ta: 10%|███████████▍ | 27/263 [10:18<1:31:59, 23.39s/it][A + hellaswag_ta: 11%|███████████▊ | 28/263 [10:40<1:30:17, 23.05s/it][A + hellaswag_ta: 11%|████████████▏ | 29/263 [11:03<1:29:52, 23.05s/it][A + hellaswag_ta: 11%|████████████▋ | 30/263 [11:24<1:27:34, 22.55s/it][A + hellaswag_ta: 12%|█████████████ | 31/263 [11:45<1:25:37, 22.14s/it][A + hellaswag_ta: 12%|█████████████▌ | 32/263 [12:07<1:25:06, 22.11s/it][A + hellaswag_ta: 13%|█████████████▉ | 33/263 [12:29<1:23:50, 21.87s/it][A + hellaswag_ta: 13%|██████████████▎ | 34/263 [12:52<1:25:07, 22.30s/it][A + hellaswag_ta: 13%|██████████████▊ | 35/263 [13:15<1:25:32, 22.51s/it][A + hellaswag_ta: 14%|███████████████▏ | 36/263 [13:37<1:24:39, 22.38s/it][A + hellaswag_ta: 14%|███████████████▌ | 37/263 [14:00<1:24:38, 22.47s/it][A + hellaswag_ta: 14%|████████████████ | 38/263 [14:24<1:25:55, 22.91s/it][A + hellaswag_ta: 15%|████████████████▍ | 39/263 [14:46<1:24:36, 22.66s/it][A + hellaswag_ta: 15%|████████████████▉ | 40/263 [15:09<1:24:52, 22.84s/it][A + hellaswag_ta: 16%|█████████████████▎ | 41/263 [15:32<1:24:26, 22.82s/it][A + hellaswag_ta: 16%|█████████████████▋ | 42/263 [15:52<1:21:24, 22.10s/it][A + hellaswag_ta: 16%|██████████████████▏ | 43/263 [16:16<1:22:22, 22.46s/it][A + hellaswag_ta: 17%|██████████████████▌ | 44/263 [16:39<1:22:47, 22.68s/it][A + hellaswag_ta: 17%|██████████████████▉ | 45/263 [17:02<1:22:56, 22.83s/it][A + hellaswag_ta: 17%|███████████████████▍ | 46/263 [17:25<1:22:22, 22.78s/it][A + hellaswag_ta: 18%|███████████████████▊ | 47/263 [17:48<1:22:26, 22.90s/it][A + hellaswag_ta: 18%|████████████████████▎ | 48/263 [18:10<1:21:44, 22.81s/it][A + hellaswag_ta: 19%|████████████████████▋ | 49/263 [18:32<1:19:34, 22.31s/it][A + hellaswag_ta: 19%|█████████████████████ | 50/263 [18:52<1:17:25, 21.81s/it][A + hellaswag_ta: 19%|█████████████████████▌ | 51/263 [19:14<1:17:00, 21.80s/it][A + hellaswag_ta: 20%|█████████████████████▉ | 52/263 [19:37<1:17:40, 22.09s/it][A + hellaswag_ta: 20%|██████████████████████▎ | 53/263 [19:58<1:16:18, 21.80s/it][A + hellaswag_ta: 21%|██████████████████████▊ | 54/263 [20:20<1:16:29, 21.96s/it][A + hellaswag_ta: 21%|███████████████████████▏ | 55/263 [20:42<1:15:33, 21.80s/it][A + hellaswag_ta: 21%|███████████████████████▋ | 56/263 [21:04<1:15:55, 22.01s/it][A + hellaswag_ta: 22%|████████████████████████ | 57/263 [21:24<1:13:19, 21.36s/it][A + hellaswag_ta: 22%|████████████████████████▍ | 58/263 [21:46<1:13:40, 21.56s/it][A + hellaswag_ta: 22%|████████████████████████▉ | 59/263 [22:10<1:16:02, 22.36s/it][A + hellaswag_ta: 23%|█████████████████████████▎ | 60/263 [22:33<1:16:16, 22.55s/it][A + hellaswag_ta: 23%|█████████████████████████▋ | 61/263 [22:54<1:14:34, 22.15s/it][A + hellaswag_ta: 24%|██████████████████████████▏ | 62/263 [23:15<1:12:43, 21.71s/it][A + hellaswag_ta: 24%|██████████████████████████▌ | 63/263 [23:37<1:12:59, 21.90s/it][A + hellaswag_ta: 24%|███████████████████████████ | 64/263 [24:01<1:13:54, 22.29s/it][A + hellaswag_ta: 25%|███████████████████████████▍ | 65/263 [24:26<1:16:09, 23.08s/it][A + hellaswag_ta: 25%|███████████████████████████▊ | 66/263 [24:49<1:16:27, 23.29s/it][A + hellaswag_ta: 25%|████████████████████████████▎ | 67/263 [25:10<1:13:32, 22.51s/it][A + hellaswag_ta: 26%|████████████████████████████▋ | 68/263 [25:31<1:11:57, 22.14s/it][A + hellaswag_ta: 26%|█████████████████████████████ | 69/263 [25:54<1:12:25, 22.40s/it][A + hellaswag_ta: 27%|█████████████████████████████▌ | 70/263 [26:17<1:12:35, 22.57s/it][A + hellaswag_ta: 27%|█████████████████████████████▉ | 71/263 [26:40<1:12:47, 22.75s/it][A + hellaswag_ta: 27%|██████████████████████████████▍ | 72/263 [27:00<1:09:42, 21.90s/it][A + hellaswag_ta: 28%|██████████████████████████████▊ | 73/263 [27:23<1:10:20, 22.21s/it][A + hellaswag_ta: 28%|███████████████████████████████▏ | 74/263 [27:47<1:11:32, 22.71s/it][A + hellaswag_ta: 29%|███████████████████████████████▋ | 75/263 [28:08<1:09:40, 22.24s/it][A + hellaswag_ta: 29%|████████████████████████████████ | 76/263 [28:29<1:07:39, 21.71s/it][A + hellaswag_ta: 29%|████████████████████████████████▍ | 77/263 [28:51<1:08:11, 22.00s/it][A + hellaswag_ta: 30%|████████████████████████████████▉ | 78/263 [29:15<1:09:27, 22.53s/it][A + hellaswag_ta: 30%|█████████████████████████████████▎ | 79/263 [29:39<1:09:53, 22.79s/it][A + hellaswag_ta: 30%|█████████████████████████████████▊ | 80/263 [30:01<1:09:25, 22.76s/it][A + hellaswag_ta: 31%|██████████████████████████████████▏ | 81/263 [30:25<1:09:38, 22.96s/it][A + hellaswag_ta: 31%|██████████████████████████████████▌ | 82/263 [30:48<1:09:35, 23.07s/it][A + hellaswag_ta: 32%|███████████████████████████████████ | 83/263 [31:11<1:09:11, 23.06s/it][A + hellaswag_ta: 32%|███████████████████████████████████▍ | 84/263 [31:36<1:10:27, 23.62s/it][A + hellaswag_ta: 32%|███████████████████████████████████▊ | 85/263 [32:02<1:12:12, 24.34s/it][A + hellaswag_ta: 33%|████████████████████████████████████▎ | 86/263 [32:22<1:08:00, 23.05s/it][A + hellaswag_ta: 33%|████████████████████████████████████▋ | 87/263 [32:46<1:08:39, 23.40s/it][A + hellaswag_ta: 33%|█████████████████████████████████████▏ | 88/263 [33:13<1:10:46, 24.27s/it][A + hellaswag_ta: 34%|█████████████████████████████████████▌ | 89/263 [33:34<1:08:02, 23.47s/it][A + hellaswag_ta: 34%|█████████████████████████████████████▉ | 90/263 [33:58<1:07:41, 23.48s/it][A + hellaswag_ta: 35%|██████████████████████████████████████▍ | 91/263 [34:21<1:07:23, 23.51s/it][A + hellaswag_ta: 35%|██████████████████████████████████████▊ | 92/263 [34:44<1:05:59, 23.15s/it][A + hellaswag_ta: 35%|███████████████████████████████████████▎ | 93/263 [35:09<1:07:37, 23.87s/it][A + hellaswag_ta: 36%|███████████████████████████████████████▋ | 94/263 [35:33<1:07:35, 24.00s/it][A + hellaswag_ta: 36%|████████████████████████████████████████ | 95/263 [35:54<1:04:38, 23.09s/it][A + hellaswag_ta: 37%|████████████████████████████████████████▌ | 96/263 [36:17<1:04:12, 23.07s/it][A + hellaswag_ta: 37%|████████████████████████████████████████▉ | 97/263 [36:39<1:02:20, 22.53s/it][A + hellaswag_ta: 37%|█████████████████████████████████████████▎ | 98/263 [37:02<1:02:32, 22.74s/it][A + hellaswag_ta: 38%|█████████████████████████████████████████▊ | 99/263 [37:24<1:01:19, 22.44s/it][A + hellaswag_ta: 38%|█████████████████████████████████████████▊ | 100/263 [37:45<1:00:07, 22.13s/it][A + hellaswag_ta: 38%|███████████████████████████████████████████ | 101/263 [38:06<58:49, 21.79s/it][A + hellaswag_ta: 39%|███████████████████████████████████████████▍ | 102/263 [38:29<59:00, 21.99s/it][A + hellaswag_ta: 39%|███████████████████████████████████████████▊ | 103/263 [38:50<58:07, 21.80s/it][A + hellaswag_ta: 40%|████████████████████████████████████████████▎ | 104/263 [39:14<59:19, 22.39s/it][A + hellaswag_ta: 40%|████████████████████████████████████████████▋ | 105/263 [39:37<59:39, 22.66s/it][A + hellaswag_ta: 40%|█████████████████████████████████████████████▏ | 106/263 [39:59<58:35, 22.39s/it][A + hellaswag_ta: 41%|█████████████████████████████████████████████▌ | 107/263 [40:22<59:12, 22.77s/it][A + hellaswag_ta: 41%|█████████████████████████████████████████████▉ | 108/263 [40:45<59:04, 22.87s/it][A + hellaswag_ta: 41%|█████████████████████████████████████████████▌ | 109/263 [41:11<1:00:24, 23.54s/it][A + hellaswag_ta: 42%|██████████████████████████████████████████████▊ | 110/263 [41:32<58:46, 23.05s/it][A + hellaswag_ta: 42%|███████████████████████████████████████████████▎ | 111/263 [41:55<57:56, 22.87s/it][A + hellaswag_ta: 43%|███████████████████████████████████████████████▋ | 112/263 [42:16<56:10, 22.32s/it][A + hellaswag_ta: 43%|████████████████████████████████████████████████ | 113/263 [42:37<55:08, 22.05s/it][A + hellaswag_ta: 43%|████████████████████████████████████████████████▌ | 114/263 [43:02<56:33, 22.78s/it][A + hellaswag_ta: 44%|████████████████████████████████████████████████▉ | 115/263 [43:23<55:07, 22.35s/it][A + hellaswag_ta: 44%|█████████████████████████████████████████████████▍ | 116/263 [43:45<54:07, 22.09s/it][A + hellaswag_ta: 44%|█████████████████████████████████████████████████▊ | 117/263 [44:08<54:36, 22.44s/it][A + hellaswag_ta: 45%|██████████████████████████████████████████████████▎ | 118/263 [44:30<54:10, 22.42s/it][A + hellaswag_ta: 45%|██████████████████████████████████████████████████▋ | 119/263 [44:54<54:50, 22.85s/it][A + hellaswag_ta: 46%|███████████████████████████████████████████████████ | 120/263 [45:17<54:07, 22.71s/it][A + hellaswag_ta: 46%|███████████████████████████████████████████████████▌ | 121/263 [45:40<53:56, 22.79s/it][A + hellaswag_ta: 46%|███████████████████████████████████████████████████▉ | 122/263 [46:02<53:12, 22.65s/it][A + hellaswag_ta: 47%|████████████████████████████████████████████████████▍ | 123/263 [46:24<52:48, 22.64s/it][A + hellaswag_ta: 47%|████████████████████████████████████████████████████▊ | 124/263 [46:48<53:10, 22.96s/it][A + hellaswag_ta: 48%|█████████████████████████████████████████████████████▏ | 125/263 [47:10<51:49, 22.53s/it][A + hellaswag_ta: 48%|█████████████████████████████████████████████████████▋ | 126/263 [47:35<53:13, 23.31s/it][A + hellaswag_ta: 48%|██████████████████████████████████████████████████████ | 127/263 [47:58<53:01, 23.39s/it][A + hellaswag_ta: 49%|██████████████████████████████████████████████████████▌ | 128/263 [48:22<52:27, 23.31s/it][A + hellaswag_ta: 49%|██████████████████████████████████████████████████████▉ | 129/263 [48:44<51:21, 23.00s/it][A + hellaswag_ta: 49%|███████████████████████████████████████████████████████▎ | 130/263 [49:06<50:37, 22.84s/it][A + hellaswag_ta: 50%|███████████████████████████████████████████████████████▊ | 131/263 [49:27<48:59, 22.27s/it][A + hellaswag_ta: 50%|████████████████████████████████████████████████████████▏ | 132/263 [49:50<48:40, 22.29s/it][A + hellaswag_ta: 51%|████████████████████████████████████████████████████████▋ | 133/263 [50:12<48:24, 22.34s/it][A + hellaswag_ta: 51%|█████████████████████████████████████████████████████████ | 134/263 [50:33<47:01, 21.87s/it][A + hellaswag_ta: 51%|█████████████████████████████████████████████████████████▍ | 135/263 [50:55<46:45, 21.92s/it][A + hellaswag_ta: 52%|█████████████████████████████████████████████████████████▉ | 136/263 [51:18<47:04, 22.24s/it][A + hellaswag_ta: 52%|██████████████████████████████████████████████████████████▎ | 137/263 [51:41<47:32, 22.64s/it][A + hellaswag_ta: 52%|██████████████████████████████████████████████████████████▊ | 138/263 [52:03<46:39, 22.40s/it][A + hellaswag_ta: 53%|███████████████████████████████████████████████████████████▏ | 139/263 [52:25<45:54, 22.21s/it][A + hellaswag_ta: 53%|███████████████████████████████████████████████████████████▌ | 140/263 [52:48<45:47, 22.33s/it][A + hellaswag_ta: 54%|████████████████████████████████████████████████████████████ | 141/263 [53:12<46:25, 22.83s/it][A + hellaswag_ta: 54%|████████████████████████████████████████████████████████████▍ | 142/263 [53:34<45:47, 22.71s/it][A + hellaswag_ta: 54%|████████████████████████████████████████████████████████████▉ | 143/263 [53:56<44:52, 22.44s/it][A + hellaswag_ta: 55%|█████████████████████████████████████████████████████████████▎ | 144/263 [54:20<45:39, 23.02s/it][A + hellaswag_ta: 55%|█████████████████████████████████████████████████████████████▋ | 145/263 [54:43<44:58, 22.87s/it][A + hellaswag_ta: 56%|██████████████████████████████████████████████████████████████▏ | 146/263 [55:04<43:38, 22.38s/it][A + hellaswag_ta: 56%|██████████████████████████████████████████████████████████████▌ | 147/263 [55:26<43:17, 22.40s/it][A + hellaswag_ta: 56%|███████████████████████████████████████████████████████████████ | 148/263 [55:47<42:07, 21.98s/it][A + hellaswag_ta: 57%|███████████████████████████████████████████████████████████████▍ | 149/263 [56:10<41:51, 22.03s/it][A + hellaswag_ta: 57%|███████████████████████████████████████████████████████████████▉ | 150/263 [56:33<42:05, 22.35s/it][A + hellaswag_ta: 57%|████████████████████████████████████████████████████████████████▎ | 151/263 [56:53<40:33, 21.73s/it][A + hellaswag_ta: 58%|████████████████████████████████████████████████████████████████▋ | 152/263 [57:18<41:47, 22.59s/it][A + hellaswag_ta: 58%|█████████████████████████████████████████████████████████████████▏ | 153/263 [57:40<41:37, 22.70s/it][A + hellaswag_ta: 59%|█████████████████████████████████████████████████████████████████▌ | 154/263 [58:05<42:04, 23.16s/it][A + hellaswag_ta: 59%|██████████████████████████████████████████████████████████████████ | 155/263 [58:26<40:31, 22.51s/it][A + hellaswag_ta: 59%|██████████████████████████████████████████████████████████████████▍ | 156/263 [58:47<39:32, 22.17s/it][A + hellaswag_ta: 60%|██████████████████████████████████████████████████████████████████▊ | 157/263 [59:09<39:02, 22.10s/it][A + hellaswag_ta: 60%|███████████████████████████████████████████████████████████████████▎ | 158/263 [59:33<39:40, 22.67s/it][A + hellaswag_ta: 60%|███████████████████████████████████████████████████████████████████▋ | 159/263 [59:55<38:50, 22.41s/it][A + hellaswag_ta: 61%|██████████████████████████████████████████████████████████████████▉ | 160/263 [1:00:17<38:12, 22.25s/it][A + hellaswag_ta: 61%|███████████████████████████████████████████████████████████████████▎ | 161/263 [1:00:40<38:21, 22.56s/it][A + hellaswag_ta: 62%|███████████████████████████████████████████████████████████████████▊ | 162/263 [1:01:01<37:22, 22.20s/it][A + hellaswag_ta: 62%|████████████████████████████████████████████████████████████████████▏ | 163/263 [1:01:23<36:31, 21.91s/it][A + hellaswag_ta: 62%|████████████████████████████████████████████████████████████████████▌ | 164/263 [1:01:45<36:35, 22.17s/it][A + hellaswag_ta: 63%|█████████████████████████████████████████████████████████████████████ | 165/263 [1:02:08<36:36, 22.42s/it][A + hellaswag_ta: 63%|█████████████████████████████████████████████████████████████████████▍ | 166/263 [1:02:31<36:13, 22.41s/it][A + hellaswag_ta: 63%|█████████████████████████████████████████████████████████████████████▊ | 167/263 [1:02:54<36:04, 22.55s/it][A + hellaswag_ta: 64%|██████████████████████████████████████████████████████████████████████▎ | 168/263 [1:03:15<34:55, 22.06s/it][A + hellaswag_ta: 64%|██████████████████████████████████████████████████████████████████████▋ | 169/263 [1:03:37<34:48, 22.22s/it][A + hellaswag_ta: 65%|███████████████████████████████████████████████████████████████████████ | 170/263 [1:04:01<35:01, 22.60s/it][A + hellaswag_ta: 65%|███████████████████████████████████████████████████████████████████████▌ | 171/263 [1:04:25<35:16, 23.01s/it][A + hellaswag_ta: 65%|███████████████████████████████████████████████████████████████████████▉ | 172/263 [1:04:47<34:39, 22.85s/it][A + hellaswag_ta: 66%|████████████████████████████████████████████████████████████████████████▎ | 173/263 [1:05:12<35:19, 23.55s/it][A + hellaswag_ta: 66%|████████████████████████████████████████████████████████████████████████▊ | 174/263 [1:05:34<34:04, 22.97s/it][A + hellaswag_ta: 67%|█████████████████████████████████████████████████████████████████████████▏ | 175/263 [1:05:55<33:01, 22.51s/it][A + hellaswag_ta: 67%|█████████████████████████████████████████████████████████████████████████▌ | 176/263 [1:06:17<32:18, 22.29s/it][A + hellaswag_ta: 67%|██████████████████████████████████████████████████████████████████████████ | 177/263 [1:06:38<31:19, 21.85s/it][A + hellaswag_ta: 68%|██████████████████████████████████████████████████████████████████████████▍ | 178/263 [1:07:01<31:28, 22.22s/it][A + hellaswag_ta: 68%|██████████████████████████████████████████████████████████████████████████▊ | 179/263 [1:07:25<31:56, 22.81s/it][A + hellaswag_ta: 68%|███████████████████████████████████████████████████████████████████████████▎ | 180/263 [1:07:51<32:36, 23.57s/it][A + hellaswag_ta: 69%|███████████████████████████████████████████████████████████████████████████▋ | 181/263 [1:08:14<32:06, 23.49s/it][A + hellaswag_ta: 69%|████████████████████████████████████████████████████████████████████████████ | 182/263 [1:08:36<31:04, 23.02s/it][A + hellaswag_ta: 70%|████████████████████████████████████████████████████████████████████████████▌ | 183/263 [1:09:02<31:56, 23.95s/it][A + hellaswag_ta: 70%|████████████████████████████████████████████████████████████████████████████▉ | 184/263 [1:09:23<30:30, 23.17s/it][A + hellaswag_ta: 70%|█████████████████████████████████████████████████████████████████████████████▍ | 185/263 [1:09:46<30:04, 23.13s/it][A + hellaswag_ta: 71%|█████████████████████████████████████████████████████████████████████████████▊ | 186/263 [1:10:08<29:03, 22.64s/it][A + hellaswag_ta: 71%|██████████████████████████████████████████████████████████████████████████████▏ | 187/263 [1:10:30<28:42, 22.66s/it][A + hellaswag_ta: 71%|██████████████████████████████████████████████████████████████████████████████▋ | 188/263 [1:10:53<28:11, 22.55s/it][A + hellaswag_ta: 72%|███████████████████████████████████████████████████████████████████████████████ | 189/263 [1:11:16<27:55, 22.64s/it][A + hellaswag_ta: 72%|███████████████████████████████████████████████████████████████████████████████▍ | 190/263 [1:11:40<28:11, 23.17s/it][A + hellaswag_ta: 73%|███████████████████████████████████████████████████████████████████████████████▉ | 191/263 [1:12:01<27:07, 22.60s/it][A + hellaswag_ta: 73%|████████████████████████████████████████████████████████████████████████████████▎ | 192/263 [1:12:24<26:44, 22.60s/it][A + hellaswag_ta: 73%|████████████████████████████████████████████████████████████████████████████████▋ | 193/263 [1:12:44<25:35, 21.93s/it][A + hellaswag_ta: 74%|█████████████████████████████████████████████████████████████████████████████████▏ | 194/263 [1:13:04<24:35, 21.39s/it][A + hellaswag_ta: 74%|█████████████████████████████████████████████████████████████████████████████████▌ | 195/263 [1:13:26<24:17, 21.43s/it][A + hellaswag_ta: 75%|█████████████████████████████████████████████████████████████████████████████████▉ | 196/263 [1:13:47<23:50, 21.36s/it][A + hellaswag_ta: 75%|██████████████████████████████████████████████████████████████████████████████████▍ | 197/263 [1:14:12<24:32, 22.30s/it][A + hellaswag_ta: 75%|██████████████████████████████████████████████████████████████████████████████████▊ | 198/263 [1:14:34<24:10, 22.31s/it][A + hellaswag_ta: 76%|███████████████████████████████████████████████████████████████████████████████████▏ | 199/263 [1:14:55<23:29, 22.02s/it][A + hellaswag_ta: 76%|███████████████████████████████████████████████████████████████████████████████████▋ | 200/263 [1:15:18<23:28, 22.36s/it][A + hellaswag_ta: 76%|████████████████████████████████████████████████████████████████████████████████████ | 201/263 [1:15:42<23:23, 22.64s/it][A + hellaswag_ta: 77%|████████████████████████████████████████████████████████████████████████████████████▍ | 202/263 [1:16:04<23:01, 22.64s/it][A + hellaswag_ta: 77%|████████████████████████████████████████████████████████████████████████████████████▉ | 203/263 [1:16:27<22:29, 22.49s/it][A + hellaswag_ta: 78%|█████████████████████████████████████████████████████████████████████████████████████▎ | 204/263 [1:16:49<22:14, 22.61s/it][A + hellaswag_ta: 78%|█████████████████████████████████████████████████████████████████████████████████████▋ | 205/263 [1:17:14<22:19, 23.10s/it][A + hellaswag_ta: 78%|██████████████████████████████████████████████████████████████████████████████████████▏ | 206/263 [1:17:36<21:47, 22.94s/it][A + hellaswag_ta: 79%|██████████████████████████████████████████████████████████████████████████████████████▌ | 207/263 [1:17:57<20:49, 22.31s/it][A + hellaswag_ta: 79%|██████████████████████████████████████████████████████████████████████████████████████▉ | 208/263 [1:18:21<21:01, 22.93s/it][A + hellaswag_ta: 79%|███████████████████████████████████████████████████████████████████████████████████████▍ | 209/263 [1:18:45<20:47, 23.10s/it][A + hellaswag_ta: 80%|███████████████████████████████████████████████████████████████████████████████████████▊ | 210/263 [1:19:06<19:44, 22.36s/it][A + hellaswag_ta: 80%|████████████████████████████████████████████████████████████████████████████████████████▎ | 211/263 [1:19:29<19:34, 22.59s/it][A + hellaswag_ta: 81%|████████████████████████████████████████████████████████████████████████████████████████▋ | 212/263 [1:19:52<19:21, 22.77s/it][A + hellaswag_ta: 81%|█████████████████████████████████████████████████████████████████████████████████████████ | 213/263 [1:20:16<19:15, 23.11s/it][A + hellaswag_ta: 81%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 214/263 [1:20:36<18:06, 22.17s/it][A + hellaswag_ta: 82%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 215/263 [1:20:58<17:51, 22.32s/it][A + hellaswag_ta: 82%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 216/263 [1:21:21<17:32, 22.39s/it][A + hellaswag_ta: 83%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 217/263 [1:21:45<17:25, 22.73s/it][A + hellaswag_ta: 83%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 218/263 [1:22:06<16:45, 22.35s/it][A + hellaswag_ta: 83%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 219/263 [1:22:26<15:57, 21.75s/it][A + hellaswag_ta: 84%|████████████████████████████████████████████████████████████████████████████████████████████ | 220/263 [1:22:49<15:44, 21.97s/it][A + hellaswag_ta: 84%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 221/263 [1:23:11<15:30, 22.16s/it][A + hellaswag_ta: 84%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 222/263 [1:23:31<14:36, 21.38s/it][A + hellaswag_ta: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 223/263 [1:23:54<14:37, 21.94s/it][A + hellaswag_ta: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 224/263 [1:24:17<14:26, 22.21s/it][A + hellaswag_ta: 86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 225/263 [1:24:44<14:53, 23.51s/it][A + hellaswag_ta: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 226/263 [1:25:07<14:31, 23.55s/it][A + hellaswag_ta: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 227/263 [1:25:31<14:09, 23.59s/it][A + hellaswag_ta: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 228/263 [1:25:52<13:22, 22.92s/it][A + hellaswag_ta: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 229/263 [1:26:16<13:04, 23.06s/it][A + hellaswag_ta: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 230/263 [1:26:38<12:31, 22.76s/it][A + hellaswag_ta: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 231/263 [1:27:00<12:07, 22.75s/it][A + hellaswag_ta: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 232/263 [1:27:23<11:42, 22.68s/it][A + hellaswag_ta: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 233/263 [1:27:47<11:33, 23.12s/it][A + hellaswag_ta: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 234/263 [1:28:11<11:16, 23.32s/it][A + hellaswag_ta: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 235/263 [1:28:36<11:06, 23.80s/it][A + hellaswag_ta: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 236/263 [1:29:00<10:45, 23.92s/it][A + hellaswag_ta: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 237/263 [1:29:22<10:04, 23.26s/it][A + hellaswag_ta: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 238/263 [1:29:44<09:33, 22.94s/it][A + hellaswag_ta: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 239/263 [1:30:09<09:27, 23.64s/it][A + hellaswag_ta: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 240/263 [1:30:30<08:44, 22.81s/it][A + hellaswag_ta: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 241/263 [1:30:52<08:17, 22.61s/it][A + hellaswag_ta: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 242/263 [1:31:13<07:40, 21.91s/it][A + hellaswag_ta: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 243/263 [1:31:35<07:20, 22.02s/it][A + hellaswag_ta: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 244/263 [1:31:58<07:02, 22.25s/it][A + hellaswag_ta: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 245/263 [1:32:18<06:33, 21.84s/it][A + hellaswag_ta: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 246/263 [1:32:41<06:12, 21.92s/it][A + hellaswag_ta: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 247/263 [1:33:04<05:57, 22.36s/it][A + hellaswag_ta: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 248/263 [1:33:27<05:36, 22.46s/it][A + hellaswag_ta: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/263 [1:33:51<05:20, 22.90s/it][A + hellaswag_ta: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/263 [1:34:15<05:05, 23.49s/it][A + hellaswag_ta: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/263 [1:34:38<04:37, 23.15s/it][A + hellaswag_ta: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 252/263 [1:34:58<04:06, 22.39s/it][A + hellaswag_ta: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 253/263 [1:35:21<03:43, 22.38s/it][A + hellaswag_ta: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 254/263 [1:35:43<03:21, 22.34s/it][A + hellaswag_ta: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 255/263 [1:36:07<03:03, 22.89s/it][A + hellaswag_ta: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 256/263 [1:36:29<02:37, 22.55s/it][A + hellaswag_ta: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 257/263 [1:36:53<02:17, 22.93s/it][A + hellaswag_ta: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 258/263 [1:37:16<01:55, 23.04s/it][A + hellaswag_ta: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/263 [1:37:39<01:31, 22.97s/it][A + hellaswag_ta: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 260/263 [1:38:04<01:10, 23.47s/it][A + hellaswag_ta: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 261/263 [1:38:24<00:45, 22.63s/it][A + hellaswag_ta: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 262/263 [1:38:48<00:22, 22.91s/it][A + hellaswag_ta: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [1:39:09<00:00, 22.27s/it][A hellaswag_ta: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [1:39:09<00:00, 22.62s/it] +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ta_acc 0.2544871032925235 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ta_acc_norm 0.2845596101271841 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 10:48:22,038 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 10:48:22,038 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:22,159 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 10:48:22,159 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:22,280 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 10:48:22,280 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:22,401 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 10:48:22,402 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 10:48:22,402 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 10:48:22,524 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 10:48:22,524 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ta_acc'} +2024-05-30 10:48:22,585 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 10:48:22,585 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1193, 'value': 0.2544871032925235} +2024-05-30 10:48:22,647 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 10:48:23,270 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 10:48:23,270 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:23,393 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 10:48:23,393 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:23,516 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 10:48:23,516 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:23,639 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 10:48:23,640 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 10:48:23,640 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 10:48:23,763 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 10:48:23,763 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_ta_acc_norm'} +2024-05-30 10:48:23,826 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 10:48:23,826 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1194, 'value': 0.2845596101271841} +2024-05-30 10:48:23,888 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 47%|██████████████████████████████████████████████████▌ | 58/124 [28:00:53<68:05:28, 3714.07s/it]['hellaswag_te'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 10:48:24,540 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 10:48:24,540 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:24,668 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 10:48:24,668 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:24,796 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 10:48:24,796 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 10:48:24,925 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 10:48:24,926 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 10:48:24,926 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_te'} +2024-05-30 10:48:25,055 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_te task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 4.06 examples/s][A + Generating validation split: 2000 examples [00:00, 6582.48 examples/s][A + Generating validation split: 3716 examples [00:00, 9963.20 examples/s][A + Generating validation split: 5185 examples [00:00, 11444.90 examples/s][A + Generating validation split: 7000 examples [00:00, 12868.38 examples/s][A + Generating validation split: 8724 examples [00:00, 13677.15 examples/s][A Generating validation split: 8724 examples [00:00, 10679.60 examples/s] +Loaded 8724 examples +Running loglikelihood requests + + hellaswag_te: 0%| | 0/273 [00:00<?, ?it/s][A + hellaswag_te: 0%|▍ | 1/273 [00:17<1:21:29, 17.98s/it][A + hellaswag_te: 1%|▊ | 2/273 [00:34<1:18:02, 17.28s/it][A + hellaswag_te: 1%|█▏ | 3/273 [00:52<1:18:58, 17.55s/it][A + hellaswag_te: 1%|█▋ | 4/273 [01:10<1:19:26, 17.72s/it][A + hellaswag_te: 2%|██ | 5/273 [01:28<1:20:10, 17.95s/it][A + hellaswag_te: 2%|██▍ | 6/273 [01:45<1:17:32, 17.43s/it][A + hellaswag_te: 3%|██▊ | 7/273 [02:04<1:19:11, 17.86s/it][A + hellaswag_te: 3%|███▎ | 8/273 [02:22<1:20:04, 18.13s/it][A + hellaswag_te: 3%|███▋ | 9/273 [02:41<1:20:45, 18.35s/it][A + hellaswag_te: 4%|████ | 10/273 [03:00<1:20:28, 18.36s/it][A + hellaswag_te: 4%|████▍ | 11/273 [03:18<1:19:48, 18.28s/it][A + hellaswag_te: 4%|████▉ | 12/273 [03:35<1:18:15, 17.99s/it][A + hellaswag_te: 5%|█████▎ | 13/273 [03:52<1:17:18, 17.84s/it][A + hellaswag_te: 5%|█████▋ | 14/273 [04:08<1:13:59, 17.14s/it][A + hellaswag_te: 5%|██████ | 15/273 [04:25<1:13:31, 17.10s/it][A + hellaswag_te: 6%|██████▌ | 16/273 [04:44<1:15:20, 17.59s/it][A + hellaswag_te: 6%|██████▉ | 17/273 [05:00<1:13:01, 17.12s/it][A + hellaswag_te: 7%|███████▎ | 18/273 [05:17<1:12:17, 17.01s/it][A + hellaswag_te: 7%|███████▋ | 19/273 [05:35<1:13:19, 17.32s/it][A + hellaswag_te: 7%|████████▏ | 20/273 [05:52<1:13:04, 17.33s/it][A + hellaswag_te: 8%|████████▌ | 21/273 [06:10<1:13:58, 17.61s/it][A + hellaswag_te: 8%|████████▉ | 22/273 [06:29<1:14:35, 17.83s/it][A + hellaswag_te: 8%|█████████▎ | 23/273 [06:46<1:13:27, 17.63s/it][A + hellaswag_te: 9%|█████████▊ | 24/273 [07:03<1:13:19, 17.67s/it][A + hellaswag_te: 9%|██████████▏ | 25/273 [07:22<1:13:33, 17.80s/it][A + hellaswag_te: 10%|██████████▌ | 26/273 [07:40<1:13:40, 17.90s/it][A + hellaswag_te: 10%|██████████▉ | 27/273 [07:58<1:13:18, 17.88s/it][A + hellaswag_te: 10%|███████████▍ | 28/273 [08:16<1:13:14, 17.94s/it][A + hellaswag_te: 11%|███████████▊ | 29/273 [08:34<1:13:52, 18.16s/it][A + hellaswag_te: 11%|████████████▏ | 30/273 [08:52<1:13:24, 18.13s/it][A + hellaswag_te: 11%|████████████▌ | 31/273 [09:10<1:12:20, 17.94s/it][A + hellaswag_te: 12%|█████████████ | 32/273 [09:28<1:12:39, 18.09s/it][A + hellaswag_te: 12%|█████████████▍ | 33/273 [09:47<1:12:39, 18.17s/it][A + hellaswag_te: 12%|█████████████▊ | 34/273 [10:05<1:12:59, 18.32s/it][A + hellaswag_te: 13%|██████████████▏ | 35/273 [10:23<1:12:02, 18.16s/it][A + hellaswag_te: 13%|██████████████▋ | 36/273 [10:42<1:12:20, 18.31s/it][A + hellaswag_te: 14%|███████████████ | 37/273 [11:00<1:11:47, 18.25s/it][A + hellaswag_te: 14%|███████████████▍ | 38/273 [11:17<1:10:02, 17.88s/it][A + hellaswag_te: 14%|███████████████▊ | 39/273 [11:34<1:09:14, 17.75s/it][A + hellaswag_te: 15%|████████████████▎ | 40/273 [11:52<1:08:30, 17.64s/it][A + hellaswag_te: 15%|████████████████▋ | 41/273 [12:10<1:08:53, 17.82s/it][A + hellaswag_te: 15%|█████████████████ | 42/273 [12:28<1:09:12, 17.98s/it][A + hellaswag_te: 16%|█████████████████▍ | 43/273 [12:47<1:09:46, 18.20s/it][A + hellaswag_te: 16%|█████████████████▉ | 44/273 [13:05<1:08:55, 18.06s/it][A + hellaswag_te: 16%|██████████████████▎ | 45/273 [13:24<1:09:39, 18.33s/it][A + hellaswag_te: 17%|██████████████████▋ | 46/273 [13:40<1:07:02, 17.72s/it][A + hellaswag_te: 17%|███████████████████ | 47/273 [13:58<1:07:31, 17.93s/it][A + hellaswag_te: 18%|███████████████████▌ | 48/273 [14:17<1:07:37, 18.03s/it][A + hellaswag_te: 18%|███████████████████▉ | 49/273 [14:33<1:05:21, 17.51s/it][A + hellaswag_te: 18%|████████████████████▎ | 50/273 [14:49<1:02:56, 16.94s/it][A + hellaswag_te: 19%|████████████████████▋ | 51/273 [15:06<1:03:38, 17.20s/it][A + hellaswag_te: 19%|█████████████████████▏ | 52/273 [15:24<1:03:26, 17.22s/it][A + hellaswag_te: 19%|█████████████████████▌ | 53/273 [15:43<1:04:56, 17.71s/it][A + hellaswag_te: 20%|█████████████████████▉ | 54/273 [16:00<1:04:56, 17.79s/it][A + hellaswag_te: 20%|██████████████████████▎ | 55/273 [16:20<1:06:06, 18.19s/it][A + hellaswag_te: 21%|██████████████████████▊ | 56/273 [16:37<1:04:25, 17.81s/it][A + hellaswag_te: 21%|███████████████████████▏ | 57/273 [16:55<1:04:39, 17.96s/it][A + hellaswag_te: 21%|███████████████████████▌ | 58/273 [17:12<1:03:31, 17.73s/it][A + hellaswag_te: 22%|███████████████████████▉ | 59/273 [17:30<1:03:57, 17.93s/it][A + hellaswag_te: 22%|████████████████████████▍ | 60/273 [17:48<1:03:18, 17.83s/it][A + hellaswag_te: 22%|████████████████████████▊ | 61/273 [18:05<1:02:16, 17.63s/it][A + hellaswag_te: 23%|█████████████████████████▏ | 62/273 [18:23<1:01:56, 17.61s/it][A + hellaswag_te: 23%|█████████████████████████▌ | 63/273 [18:41<1:01:53, 17.68s/it][A + hellaswag_te: 23%|██████████████████████████ | 64/273 [18:58<1:00:48, 17.45s/it][A + hellaswag_te: 24%|██████████████████████████▍ | 65/273 [19:15<1:00:54, 17.57s/it][A + hellaswag_te: 24%|██████████████████████████▊ | 66/273 [19:34<1:01:32, 17.84s/it][A + hellaswag_te: 25%|███████████████████████████▏ | 67/273 [19:52<1:01:34, 17.93s/it][A + hellaswag_te: 25%|████████████████████████████▏ | 68/273 [20:08<59:39, 17.46s/it][A + hellaswag_te: 25%|████████████████████████████▌ | 69/273 [20:25<58:59, 17.35s/it][A + hellaswag_te: 26%|████████████████████████████▍ | 70/273 [20:46<1:02:13, 18.39s/it][A + hellaswag_te: 26%|████████████████████████████▊ | 71/273 [21:03<1:00:10, 17.87s/it][A + hellaswag_te: 26%|█████████████████████████████▊ | 72/273 [21:19<58:27, 17.45s/it][A + hellaswag_te: 27%|██████████████████████████████▏ | 73/273 [21:37<58:42, 17.61s/it][A + hellaswag_te: 27%|██████████████████████████████▋ | 74/273 [21:54<57:28, 17.33s/it][A + hellaswag_te: 27%|███████████████████████████████ | 75/273 [22:13<59:14, 17.95s/it][A + hellaswag_te: 28%|███████████████████████████████▍ | 76/273 [22:30<57:53, 17.63s/it][A + hellaswag_te: 28%|███████████████████████████████▊ | 77/273 [22:48<57:40, 17.66s/it][A + hellaswag_te: 29%|████████████████████████████████▎ | 78/273 [23:06<57:54, 17.82s/it][A + hellaswag_te: 29%|████████████████████████████████▋ | 79/273 [23:25<58:09, 17.99s/it][A + hellaswag_te: 29%|█████████████████████████████████ | 80/273 [23:42<56:56, 17.70s/it][A + hellaswag_te: 30%|█████████████████████████████████▌ | 81/273 [24:00<57:24, 17.94s/it][A + hellaswag_te: 30%|█████████████████████████████████▉ | 82/273 [24:19<57:53, 18.19s/it][A + hellaswag_te: 30%|██████████████████████████████████▎ | 83/273 [24:37<57:29, 18.16s/it][A + hellaswag_te: 31%|██████████████████████████████████▊ | 84/273 [24:57<58:38, 18.62s/it][A + hellaswag_te: 31%|███████████████████████████████████▏ | 85/273 [25:15<57:55, 18.48s/it][A + hellaswag_te: 32%|███████████████████████████████████▌ | 86/273 [25:33<57:38, 18.49s/it][A + hellaswag_te: 32%|████████████████████████████████████ | 87/273 [25:51<56:26, 18.21s/it][A + hellaswag_te: 32%|████████████████████████████████████▍ | 88/273 [26:09<55:39, 18.05s/it][A + hellaswag_te: 33%|████████████████████████████████████▊ | 89/273 [26:25<53:46, 17.54s/it][A + hellaswag_te: 33%|█████████████████████████████████████▎ | 90/273 [26:44<54:50, 17.98s/it][A + hellaswag_te: 33%|█████████████████████████████████████▋ | 91/273 [27:02<54:34, 17.99s/it][A + hellaswag_te: 34%|██████████████████████████████████████ | 92/273 [27:21<54:51, 18.18s/it][A + hellaswag_te: 34%|██████████████████████████████████████▍ | 93/273 [27:40<55:29, 18.50s/it][A + hellaswag_te: 34%|██████████████████████████████████████▉ | 94/273 [27:57<54:19, 18.21s/it][A + hellaswag_te: 35%|███████████████████████████████████████▎ | 95/273 [28:14<52:26, 17.68s/it][A + hellaswag_te: 35%|███████████████████████████████████████▋ | 96/273 [28:31<52:01, 17.64s/it][A + hellaswag_te: 36%|████████████████████████████████████████▏ | 97/273 [28:48<50:32, 17.23s/it][A + hellaswag_te: 36%|████████████████████████████████████████▌ | 98/273 [29:07<51:53, 17.79s/it][A + hellaswag_te: 36%|████████████████████████████████████████▉ | 99/273 [29:24<51:21, 17.71s/it][A + hellaswag_te: 37%|█████████████████████████████████████████ | 100/273 [29:42<50:59, 17.69s/it][A + hellaswag_te: 37%|█████████████████████████████████████████▍ | 101/273 [29:58<49:44, 17.35s/it][A + hellaswag_te: 37%|█████████████████████████████████████████▊ | 102/273 [30:17<50:33, 17.74s/it][A + hellaswag_te: 38%|██████████████████████████████████████████▎ | 103/273 [30:35<50:38, 17.87s/it][A + hellaswag_te: 38%|██████████████████████████████████████████▋ | 104/273 [30:54<50:38, 17.98s/it][A + hellaswag_te: 38%|███████████████████████████████████████████ | 105/273 [31:12<50:48, 18.14s/it][A + hellaswag_te: 39%|███████████████████████████████████████████▍ | 106/273 [31:29<49:43, 17.86s/it][A + hellaswag_te: 39%|███████████████████████████████████████████▉ | 107/273 [31:46<48:25, 17.50s/it][A + hellaswag_te: 40%|████████████████████████████████████████████▎ | 108/273 [32:04<48:39, 17.70s/it][A + hellaswag_te: 40%|████████████████████████████████████████████▋ | 109/273 [32:22<48:16, 17.66s/it][A + hellaswag_te: 40%|█████████████████████████████████████████████▏ | 110/273 [32:40<48:30, 17.86s/it][A + hellaswag_te: 41%|█████████████████████████████████████████████▌ | 111/273 [32:57<47:07, 17.45s/it][A + hellaswag_te: 41%|█████████████████████████████████████████████▉ | 112/273 [33:14<47:13, 17.60s/it][A + hellaswag_te: 41%|██████████████████████████████████████████████▎ | 113/273 [33:33<48:04, 18.03s/it][A + hellaswag_te: 42%|██████████████████████████████████████████████▊ | 114/273 [33:52<47:54, 18.08s/it][A + hellaswag_te: 42%|███████████████████████████████████████████████▏ | 115/273 [34:12<49:35, 18.83s/it][A + hellaswag_te: 42%|███████████████████████████████████████████████▌ | 116/273 [34:31<49:22, 18.87s/it][A + hellaswag_te: 43%|████████████████████████████████████████████████ | 117/273 [34:48<47:37, 18.32s/it][A + hellaswag_te: 43%|████████████████████████████████████████████████▍ | 118/273 [35:06<47:05, 18.23s/it][A + hellaswag_te: 44%|████████████████████████████████████████████████▊ | 119/273 [35:25<46:48, 18.23s/it][A + hellaswag_te: 44%|█████████████████████████████████████████████████▏ | 120/273 [35:41<45:31, 17.85s/it][A + hellaswag_te: 44%|█████████████████████████████████████████████████▋ | 121/273 [35:58<44:25, 17.53s/it][A + hellaswag_te: 45%|██████████████████████████████████████████████████ | 122/273 [36:17<44:42, 17.76s/it][A + hellaswag_te: 45%|██████████████████████████████████████████████████▍ | 123/273 [36:34<43:50, 17.53s/it][A + hellaswag_te: 45%|██████████████████████████████████████████████████▊ | 124/273 [36:51<43:47, 17.64s/it][A + hellaswag_te: 46%|███████████████████████████████████████████████████▎ | 125/273 [37:08<42:53, 17.39s/it][A + hellaswag_te: 46%|███████████████████████████████████████████████████▋ | 126/273 [37:25<41:53, 17.10s/it][A + hellaswag_te: 47%|████████████████████████████████████████████████████ | 127/273 [37:41<41:05, 16.89s/it][A + hellaswag_te: 47%|████████████████████████████████████████████████████▌ | 128/273 [37:59<41:26, 17.15s/it][A + hellaswag_te: 47%|████████████████████████████████████████████████████▉ | 129/273 [38:17<41:52, 17.45s/it][A + hellaswag_te: 48%|█████████████████████████████████████████████████████▎ | 130/273 [38:35<41:54, 17.59s/it][A + hellaswag_te: 48%|█████████████████████████████████████████████████████▋ | 131/273 [38:52<41:25, 17.50s/it][A + hellaswag_te: 48%|██████████████████████████████████████████████████████▏ | 132/273 [39:09<40:51, 17.38s/it][A + hellaswag_te: 49%|██████████████████████████████████████████████████████▌ | 133/273 [39:28<41:38, 17.85s/it][A + hellaswag_te: 49%|██████████████████████████████████████████████████████▉ | 134/273 [39:45<40:46, 17.60s/it][A + hellaswag_te: 49%|███████████████████████████████████████████████████████▍ | 135/273 [40:03<40:45, 17.72s/it][A + hellaswag_te: 50%|███████████████████████████████████████████████████████▊ | 136/273 [40:22<41:17, 18.08s/it][A + hellaswag_te: 50%|████████████████████████████████████████████████████████▏ | 137/273 [40:40<40:33, 17.89s/it][A + hellaswag_te: 51%|████████████████████████████████████████████████████████▌ | 138/273 [40:59<41:04, 18.26s/it][A + hellaswag_te: 51%|█████████████████████████████████████████████████████████ | 139/273 [41:16<40:10, 17.99s/it][A + hellaswag_te: 51%|█████████████████████████████████████████████████████████▍ | 140/273 [41:33<39:18, 17.73s/it][A + hellaswag_te: 52%|█████████████████████████████████████████████████████████▊ | 141/273 [41:51<38:49, 17.65s/it][A + hellaswag_te: 52%|██████████████████████████████████████████████████████████▎ | 142/273 [42:10<39:19, 18.01s/it][A + hellaswag_te: 52%|██████████████████████████████████████████████████████████▋ | 143/273 [42:28<39:33, 18.26s/it][A + hellaswag_te: 53%|███████████████████████████████████████████████████████████ | 144/273 [42:46<38:32, 17.92s/it][A + hellaswag_te: 53%|███████████████████████████████████████████████████████████▍ | 145/273 [43:04<38:22, 17.99s/it][A + hellaswag_te: 53%|███████████████████████████████████████████████████████████▉ | 146/273 [43:20<36:56, 17.45s/it][A + hellaswag_te: 54%|████████████████████████████████████████████████████████████▎ | 147/273 [43:38<36:54, 17.58s/it][A + hellaswag_te: 54%|████████████████████████████████████████████████████████████▋ | 148/273 [43:54<35:53, 17.23s/it][A + hellaswag_te: 55%|█████████████████████████████████████████████████████████████▏ | 149/273 [44:11<35:39, 17.25s/it][A + hellaswag_te: 55%|█████████████████████████████████████████████████████████████▌ | 150/273 [44:30<35:51, 17.49s/it][A + hellaswag_te: 55%|█████████████████████████████████████████████████████████████▉ | 151/273 [44:46<35:12, 17.32s/it][A + hellaswag_te: 56%|██████████████████████████████████████████████████████████████▎ | 152/273 [45:04<35:05, 17.40s/it][A + hellaswag_te: 56%|██████████████████████████████████████████████████████████████▊ | 153/273 [45:21<34:35, 17.30s/it][A + hellaswag_te: 56%|███████████████████████████████████████████████████████████████▏ | 154/273 [45:39<34:56, 17.62s/it][A + hellaswag_te: 57%|███████████████████████████████████████████████████████████████▌ | 155/273 [45:55<33:19, 16.94s/it][A + hellaswag_te: 57%|████████████████████████████████████████████████████████████████ | 156/273 [46:11<32:51, 16.85s/it][A + hellaswag_te: 58%|████████████████████████████████████████████████████████████████▍ | 157/273 [46:30<33:23, 17.27s/it][A + hellaswag_te: 58%|████████████████████████████████████████████████████████████████▊ | 158/273 [46:47<33:05, 17.27s/it][A + hellaswag_te: 58%|█████████████████████████████████████████████████████████████████▏ | 159/273 [47:03<32:19, 17.01s/it][A + hellaswag_te: 59%|█████████████████████████████████████████████████████████████████▋ | 160/273 [47:22<32:45, 17.39s/it][A + hellaswag_te: 59%|██████████████████████████████████████████████████████████████████ | 161/273 [47:39<32:40, 17.50s/it][A + hellaswag_te: 59%|██████████████████████████████████████████████████████████████████▍ | 162/273 [47:57<32:11, 17.40s/it][A + hellaswag_te: 60%|██████████████████████████████████████████████████████████████████▊ | 163/273 [48:14<31:39, 17.27s/it][A + hellaswag_te: 60%|███████████████████████████████████████████████████████████████████▎ | 164/273 [48:30<30:46, 16.94s/it][A + hellaswag_te: 60%|███████████████████████████████████████████████████████████████████▋ | 165/273 [48:49<31:51, 17.70s/it][A + hellaswag_te: 61%|████████████████████████████████████████████████████████████████████ | 166/273 [49:09<32:31, 18.24s/it][A + hellaswag_te: 61%|████████████████████████████████████████████████████████████████████▌ | 167/273 [49:28<32:48, 18.57s/it][A + hellaswag_te: 62%|████████████████████████████████████████████████████████████████████▉ | 168/273 [49:46<32:05, 18.34s/it][A + hellaswag_te: 62%|█████████████████████████████████████████████████████████████████████▎ | 169/273 [50:04<31:49, 18.36s/it][A + hellaswag_te: 62%|█████████████████████████████████████████████████████████████████████▋ | 170/273 [50:23<31:50, 18.54s/it][A + hellaswag_te: 63%|██████████████████████████████████████████████████████████████████████▏ | 171/273 [50:41<31:19, 18.42s/it][A + hellaswag_te: 63%|██████████████████████████████████████████████████████████████████████▌ | 172/273 [50:59<30:22, 18.05s/it][A + hellaswag_te: 63%|██████████████████████████████████████████████████████████████████████▉ | 173/273 [51:17<30:25, 18.26s/it][A + hellaswag_te: 64%|███████████████████████████████████████████████████████████████████████▍ | 174/273 [51:36<30:07, 18.26s/it][A + hellaswag_te: 64%|███████████████████████████████████████████████████████████████████████▊ | 175/273 [51:55<30:28, 18.66s/it][A + hellaswag_te: 64%|████████████████████████████████████████████████████████████████████████▏ | 176/273 [52:13<29:39, 18.35s/it][A + hellaswag_te: 65%|████████████████████████████████████████████████████████████████████████▌ | 177/273 [52:31<29:22, 18.36s/it][A + hellaswag_te: 65%|█████████████████████████████████████████████████████████████████████████ | 178/273 [52:51<29:37, 18.71s/it][A + hellaswag_te: 66%|█████████████████████████████████████████████████████████████████████████▍ | 179/273 [53:08<28:31, 18.20s/it][A + hellaswag_te: 66%|█████████████████████████████████████████████████████████████████████████▊ | 180/273 [53:25<28:02, 18.09s/it][A + hellaswag_te: 66%|██████████████████████████████████████████████████████████████████████████▎ | 181/273 [53:45<28:22, 18.51s/it][A + hellaswag_te: 67%|██████████████████████████████████████████████████████████████████████████▋ | 182/273 [54:05<28:36, 18.86s/it][A + hellaswag_te: 67%|███████████████████████████████████████████████████████████████████████████ | 183/273 [54:23<28:07, 18.75s/it][A + hellaswag_te: 67%|███████████████████████████████████████████████████████████████████████████▍ | 184/273 [54:42<27:59, 18.88s/it][A + hellaswag_te: 68%|███████████████████████████████████████████████████████████████████████████▉ | 185/273 [55:00<27:16, 18.60s/it][A + hellaswag_te: 68%|████████████████████████████████████████████████████████████████████████████▎ | 186/273 [55:19<27:10, 18.74s/it][A + hellaswag_te: 68%|████████████████████████████████████████████████████████████████████████████▋ | 187/273 [55:37<26:17, 18.34s/it][A + hellaswag_te: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 188/273 [55:54<25:26, 17.96s/it][A + hellaswag_te: 69%|█████████████████████████████████████████████████████████████████████████████▌ | 189/273 [56:11<24:45, 17.69s/it][A + hellaswag_te: 70%|█████████████████████████████████████████████████████████████████████████████▉ | 190/273 [56:29<24:34, 17.77s/it][A + hellaswag_te: 70%|██████████████████████████████████████████████████████████████████████████████▎ | 191/273 [56:47<24:37, 18.02s/it][A + hellaswag_te: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 192/273 [57:06<24:37, 18.24s/it][A + hellaswag_te: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 193/273 [57:24<24:20, 18.25s/it][A + hellaswag_te: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 194/273 [57:43<23:57, 18.20s/it][A + hellaswag_te: 71%|████████████████████████████████████████████████████████████████████████████████ | 195/273 [58:00<23:25, 18.02s/it][A + hellaswag_te: 72%|████████████████████████████████████████████████████████████████████████████████▍ | 196/273 [58:18<23:01, 17.95s/it][A + hellaswag_te: 72%|████████████████████████████████████████████████████████████████████████████████▊ | 197/273 [58:35<22:25, 17.71s/it][A + hellaswag_te: 73%|█████████████████████████████████████████████████████████████████████████████████▏ | 198/273 [58:53<22:20, 17.87s/it][A + hellaswag_te: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 199/273 [59:12<22:20, 18.11s/it][A + hellaswag_te: 73%|██████████████████████████████████████████████████████████████████████████████████ | 200/273 [59:30<22:10, 18.23s/it][A + hellaswag_te: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 201/273 [59:48<21:34, 17.98s/it][A + hellaswag_te: 74%|█████████████████████████████████████████████████████████████████████████████████▍ | 202/273 [1:00:06<21:13, 17.94s/it][A + hellaswag_te: 74%|█████████████████████████████████████████████████████████████████████████████████▊ | 203/273 [1:00:23<20:32, 17.61s/it][A + hellaswag_te: 75%|██████████████████████████████████████████████████████████████████████████████████▏ | 204/273 [1:00:41<20:26, 17.78s/it][A + hellaswag_te: 75%|██████████████████████████████████████████████████████████████████████████████████▌ | 205/273 [1:00:58<19:49, 17.49s/it][A + hellaswag_te: 75%|███████████████████████████████████████████████████████████████████████████████████ | 206/273 [1:01:16<19:49, 17.75s/it][A + hellaswag_te: 76%|███████████████████████████████████████████████████████████████████████████████████▍ | 207/273 [1:01:35<19:52, 18.08s/it][A + hellaswag_te: 76%|███████████████████████████████████████████████████████████████████████████████████▊ | 208/273 [1:01:53<19:39, 18.15s/it][A + hellaswag_te: 77%|████████████████████████████████████████████████████████████████████████████████████▏ | 209/273 [1:02:11<19:21, 18.15s/it][A + hellaswag_te: 77%|████████████████████████████████████████████████████████████████████████████████████▌ | 210/273 [1:02:29<18:59, 18.08s/it][A + hellaswag_te: 77%|█████████████████████████████████████████████████████████████████████████████████████ | 211/273 [1:02:46<18:22, 17.78s/it][A + hellaswag_te: 78%|█████████████████████████████████████████████████████████████████████████████████████▍ | 212/273 [1:03:05<18:19, 18.02s/it][A + hellaswag_te: 78%|█████████████████████████████████████████████████████████████████████████████████████▊ | 213/273 [1:03:23<17:57, 17.95s/it][A + hellaswag_te: 78%|██████████████████████████████████████████████████████████████████████████████████████▏ | 214/273 [1:03:42<17:57, 18.27s/it][A + hellaswag_te: 79%|██████████████████████████████████████████████████████████████████████████████████████▋ | 215/273 [1:03:59<17:20, 17.94s/it][A + hellaswag_te: 79%|███████████████████████████████████████████████████████████████████████████████████████ | 216/273 [1:04:15<16:41, 17.56s/it][A + hellaswag_te: 79%|███████████████████████████████████████████████████████████████████████████████████████▍ | 217/273 [1:04:33<16:19, 17.50s/it][A + hellaswag_te: 80%|███████████████████████████████████████████████████████████████████████████████████████▊ | 218/273 [1:04:51<16:12, 17.68s/it][A + hellaswag_te: 80%|████████████████████████████████████████████████████████████████████████████████████████▏ | 219/273 [1:05:08<15:47, 17.55s/it][A + hellaswag_te: 81%|████████████████████████████████████████████████████████████████████████████████████████▋ | 220/273 [1:05:24<15:06, 17.11s/it][A + hellaswag_te: 81%|█████████████████████████████████████████████████████████████████████████████████████████ | 221/273 [1:05:41<14:42, 16.98s/it][A + hellaswag_te: 81%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 222/273 [1:06:00<14:52, 17.49s/it][A + hellaswag_te: 82%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 223/273 [1:06:17<14:27, 17.35s/it][A + hellaswag_te: 82%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 224/273 [1:06:33<13:55, 17.06s/it][A + hellaswag_te: 82%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 225/273 [1:06:51<13:45, 17.20s/it][A + hellaswag_te: 83%|███████████████████████████████████████████████████████████████████████████████████████████ | 226/273 [1:07:08<13:28, 17.21s/it][A + hellaswag_te: 83%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 227/273 [1:07:26<13:28, 17.58s/it][A + hellaswag_te: 84%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 228/273 [1:07:44<13:13, 17.63s/it][A + hellaswag_te: 84%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 229/273 [1:08:02<13:01, 17.76s/it][A + hellaswag_te: 84%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 230/273 [1:08:20<12:45, 17.79s/it][A + hellaswag_te: 85%|█████████████████████████████████████████████████████████████████████████████████████████████ | 231/273 [1:08:37<12:14, 17.49s/it][A + hellaswag_te: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 232/273 [1:08:56<12:17, 18.00s/it][A + hellaswag_te: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 233/273 [1:09:14<12:05, 18.15s/it][A + hellaswag_te: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 234/273 [1:09:34<11:59, 18.46s/it][A + hellaswag_te: 86%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 235/273 [1:09:52<11:38, 18.38s/it][A + hellaswag_te: 86%|███████████████████████████████████████████████████████████████████████████████████████████████ | 236/273 [1:10:09<11:04, 17.97s/it][A + hellaswag_te: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 237/273 [1:10:27<10:45, 17.93s/it][A + hellaswag_te: 87%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 238/273 [1:10:44<10:24, 17.85s/it][A + hellaswag_te: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/273 [1:11:01<10:00, 17.65s/it][A + hellaswag_te: 88%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/273 [1:11:20<09:54, 18.01s/it][A + hellaswag_te: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 241/273 [1:11:38<09:35, 17.98s/it][A + hellaswag_te: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 242/273 [1:11:56<09:15, 17.93s/it][A + hellaswag_te: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 243/273 [1:12:15<09:07, 18.26s/it][A + hellaswag_te: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 244/273 [1:12:32<08:42, 18.01s/it][A + hellaswag_te: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 245/273 [1:12:49<08:13, 17.63s/it][A + hellaswag_te: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 246/273 [1:13:08<08:03, 17.92s/it][A + hellaswag_te: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 247/273 [1:13:27<07:52, 18.16s/it][A + hellaswag_te: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 248/273 [1:13:44<07:31, 18.06s/it][A + hellaswag_te: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 249/273 [1:14:02<07:07, 17.80s/it][A + hellaswag_te: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 250/273 [1:14:19<06:46, 17.69s/it][A + hellaswag_te: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 251/273 [1:14:36<06:24, 17.49s/it][A + hellaswag_te: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 252/273 [1:14:55<06:14, 17.82s/it][A + hellaswag_te: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 253/273 [1:15:12<05:51, 17.58s/it][A + hellaswag_te: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 254/273 [1:15:29<05:33, 17.58s/it][A + hellaswag_te: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 255/273 [1:15:47<05:18, 17.68s/it][A + hellaswag_te: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 256/273 [1:16:05<05:02, 17.77s/it][A + hellaswag_te: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 257/273 [1:16:22<04:40, 17.54s/it][A + hellaswag_te: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 258/273 [1:16:38<04:15, 17.04s/it][A + hellaswag_te: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/273 [1:16:56<04:03, 17.39s/it][A + hellaswag_te: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 260/273 [1:17:13<03:44, 17.28s/it][A + hellaswag_te: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 261/273 [1:17:31<03:29, 17.47s/it][A + hellaswag_te: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 262/273 [1:17:50<03:15, 17.76s/it][A + hellaswag_te: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 263/273 [1:18:07<02:58, 17.80s/it][A + hellaswag_te: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 264/273 [1:18:26<02:43, 18.14s/it][A + hellaswag_te: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 265/273 [1:18:45<02:26, 18.27s/it][A + hellaswag_te: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 266/273 [1:19:03<02:07, 18.28s/it][A + hellaswag_te: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 267/273 [1:19:23<01:52, 18.76s/it][A + hellaswag_te: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 268/273 [1:19:41<01:32, 18.57s/it][A + hellaswag_te: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 269/273 [1:19:58<01:12, 18.05s/it][A + hellaswag_te: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 270/273 [1:20:17<00:54, 18.28s/it][A + hellaswag_te: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 271/273 [1:20:35<00:36, 18.27s/it][A + hellaswag_te: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 272/273 [1:20:52<00:17, 17.96s/it][A + hellaswag_te: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 273/273 [1:21:05<00:00, 16.26s/it][A hellaswag_te: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 273/273 [1:21:05<00:00, 17.82s/it] +There is an error!! +There is an error!! +There is an error!! +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_te_acc 0.25722145804676755 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_te_acc_norm 0.2961944062356717 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 12:09:33,177 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 12:09:33,177 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:33,306 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 12:09:33,307 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:33,436 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 12:09:33,436 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:33,566 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 12:09:33,566 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 12:09:33,566 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 12:09:33,697 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 12:09:33,697 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_te_acc'} +2024-05-30 12:09:33,763 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 12:09:33,763 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1195, 'value': 0.25722145804676755} +2024-05-30 12:09:33,829 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 12:09:34,461 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 12:09:34,461 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:34,585 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 12:09:34,585 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:34,709 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 12:09:34,709 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:34,832 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 12:09:34,833 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 12:09:34,833 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 12:09:34,958 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 12:09:34,958 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_te_acc_norm'} +2024-05-30 12:09:35,021 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 12:09:35,021 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1196, 'value': 0.2961944062356717} +2024-05-30 12:09:35,083 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 48%|███████████████████████████████████████████████████▍ | 59/124 [29:22:04<73:19:38, 4061.21s/it]['hellaswag_uk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 12:09:35,731 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 12:09:35,731 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:35,859 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 12:09:35,859 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:35,986 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 12:09:35,987 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 12:09:36,114 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 12:09:36,115 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 12:09:36,115 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'hellaswag_uk'} +2024-05-30 12:09:36,244 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_uk task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 7.92 examples/s][A + Generating validation split: 2000 examples [00:00, 9200.67 examples/s][A + Generating validation split: 3985 examples [00:00, 12787.50 examples/s][A + Generating validation split: 5489 examples [00:00, 13574.69 examples/s][A + Generating validation split: 7000 examples [00:00, 14052.02 examples/s][A + Generating validation split: 9000 examples [00:00, 14786.25 examples/s][A Generating validation split: 9409 examples [00:00, 12840.11 examples/s] +Loaded 9409 examples +Running loglikelihood requests + + hellaswag_uk: 0%| | 0/295 [00:00<?, ?it/s][A + hellaswag_uk: 0%|▍ | 1/295 [00:11<56:36, 11.55s/it][A + hellaswag_uk: 1%|▊ | 2/295 [00:22<56:02, 11.48s/it][A + hellaswag_uk: 1%|█▏ | 3/295 [00:35<57:16, 11.77s/it][A + hellaswag_uk: 1%|█▌ | 4/295 [00:47<58:00, 11.96s/it][A + hellaswag_uk: 2%|█▉ | 5/295 [00:59<58:25, 12.09s/it][A + hellaswag_uk: 2%|██▎ | 6/295 [01:12<59:16, 12.31s/it][A + hellaswag_uk: 2%|██▋ | 7/295 [01:23<57:05, 11.90s/it][A + hellaswag_uk: 3%|███ | 8/295 [01:35<56:23, 11.79s/it][A + hellaswag_uk: 3%|███▍ | 9/295 [01:46<56:27, 11.85s/it][A + hellaswag_uk: 3%|███▊ | 10/295 [01:59<57:23, 12.08s/it][A + hellaswag_uk: 4%|████▏ | 11/295 [02:11<57:03, 12.06s/it][A + hellaswag_uk: 4%|████▌ | 12/295 [02:23<56:48, 12.05s/it][A + hellaswag_uk: 4%|████▉ | 13/295 [02:35<55:45, 11.87s/it][A + hellaswag_uk: 5%|█████▎ | 14/295 [02:46<55:33, 11.86s/it][A + hellaswag_uk: 5%|█████▋ | 15/295 [02:59<56:16, 12.06s/it][A + hellaswag_uk: 5%|██████▏ | 16/295 [03:10<54:26, 11.71s/it][A + hellaswag_uk: 6%|██████▌ | 17/295 [03:22<54:27, 11.75s/it][A + hellaswag_uk: 6%|██████▉ | 18/295 [03:34<54:49, 11.88s/it][A + hellaswag_uk: 6%|███████▎ | 19/295 [03:46<55:13, 12.00s/it][A + hellaswag_uk: 7%|███████▋ | 20/295 [03:57<53:51, 11.75s/it][A + hellaswag_uk: 7%|████████ | 21/295 [04:09<53:19, 11.68s/it][A + hellaswag_uk: 7%|████████▍ | 22/295 [04:21<54:27, 11.97s/it][A + hellaswag_uk: 8%|████████▊ | 23/295 [04:34<54:45, 12.08s/it][A + hellaswag_uk: 8%|█████████▏ | 24/295 [04:45<53:20, 11.81s/it][A + hellaswag_uk: 8%|█████████▌ | 25/295 [04:58<54:41, 12.15s/it][A + hellaswag_uk: 9%|█████████▉ | 26/295 [05:10<54:47, 12.22s/it][A + hellaswag_uk: 9%|██████████▎ | 27/295 [05:22<53:55, 12.07s/it][A + hellaswag_uk: 9%|██████████▋ | 28/295 [05:35<54:25, 12.23s/it][A + hellaswag_uk: 10%|███████████ | 29/295 [05:47<54:46, 12.36s/it][A + hellaswag_uk: 10%|███████████▍ | 30/295 [06:00<54:55, 12.44s/it][A + hellaswag_uk: 11%|███████████▊ | 31/295 [06:11<52:37, 11.96s/it][A + hellaswag_uk: 11%|████████████▎ | 32/295 [06:22<52:04, 11.88s/it][A + hellaswag_uk: 11%|████████████▋ | 33/295 [06:34<51:51, 11.88s/it][A + hellaswag_uk: 12%|█████████████ | 34/295 [06:46<51:31, 11.84s/it][A + hellaswag_uk: 12%|█████████████▍ | 35/295 [06:58<51:50, 11.96s/it][A + hellaswag_uk: 12%|█████████████▊ | 36/295 [07:10<51:02, 11.82s/it][A + hellaswag_uk: 13%|██████████████▏ | 37/295 [07:22<51:53, 12.07s/it][A + hellaswag_uk: 13%|██████████████▌ | 38/295 [07:33<50:14, 11.73s/it][A + hellaswag_uk: 13%|██████████████▉ | 39/295 [07:45<49:51, 11.69s/it][A + hellaswag_uk: 14%|███████████████▎ | 40/295 [07:58<50:46, 11.95s/it][A + hellaswag_uk: 14%|███████████████▋ | 41/295 [08:10<51:19, 12.13s/it][A + hellaswag_uk: 14%|████████████████ | 42/295 [08:22<50:52, 12.07s/it][A + hellaswag_uk: 15%|████████████████▍ | 43/295 [08:33<49:54, 11.88s/it][A + hellaswag_uk: 15%|████████████████▊ | 44/295 [08:45<49:17, 11.78s/it][A + hellaswag_uk: 15%|█████████████████▏ | 45/295 [08:57<49:01, 11.77s/it][A + hellaswag_uk: 16%|█████████████████▌ | 46/295 [09:08<48:32, 11.70s/it][A + hellaswag_uk: 16%|██████████████████ | 47/295 [09:20<48:25, 11.72s/it][A + hellaswag_uk: 16%|██████████████████▍ | 48/295 [09:32<48:00, 11.66s/it][A + hellaswag_uk: 17%|██████████████████▊ | 49/295 [09:44<48:30, 11.83s/it][A + hellaswag_uk: 17%|███████████████████▏ | 50/295 [09:54<46:51, 11.48s/it][A + hellaswag_uk: 17%|███████████████████▌ | 51/295 [10:06<46:57, 11.55s/it][A + hellaswag_uk: 18%|███████████████████▉ | 52/295 [10:19<47:47, 11.80s/it][A + hellaswag_uk: 18%|████████████████████▎ | 53/295 [10:32<49:20, 12.23s/it][A + hellaswag_uk: 18%|████████████████████▋ | 54/295 [10:45<50:44, 12.63s/it][A + hellaswag_uk: 19%|█████████████████████ | 55/295 [10:58<50:26, 12.61s/it][A + hellaswag_uk: 19%|█████████████████████▍ | 56/295 [11:10<49:47, 12.50s/it][A + hellaswag_uk: 19%|█████████████████████▊ | 57/295 [11:22<48:25, 12.21s/it][A + hellaswag_uk: 20%|██████████████████████▏ | 58/295 [11:34<47:49, 12.11s/it][A + hellaswag_uk: 20%|██████████████████████▌ | 59/295 [11:45<47:05, 11.97s/it][A + hellaswag_uk: 20%|██████████████████████▉ | 60/295 [11:57<46:30, 11.88s/it][A + hellaswag_uk: 21%|███████████████████████▎ | 61/295 [12:08<45:35, 11.69s/it][A + hellaswag_uk: 21%|███████████████████████▋ | 62/295 [12:22<47:39, 12.27s/it][A + hellaswag_uk: 21%|████████████████████████▏ | 63/295 [12:34<47:15, 12.22s/it][A + hellaswag_uk: 22%|████████████████████████▌ | 64/295 [12:46<47:10, 12.25s/it][A + hellaswag_uk: 22%|████████████████████████▉ | 65/295 [12:58<47:01, 12.27s/it][A + hellaswag_uk: 22%|█████████████████████████▎ | 66/295 [13:10<45:32, 11.93s/it][A + hellaswag_uk: 23%|█████████████████████████▋ | 67/295 [13:22<45:34, 12.00s/it][A + hellaswag_uk: 23%|██████████████████████████ | 68/295 [13:33<44:10, 11.68s/it][A + hellaswag_uk: 23%|██████████████████████████▍ | 69/295 [13:44<44:06, 11.71s/it][A + hellaswag_uk: 24%|██████████████████████████▊ | 70/295 [13:57<45:11, 12.05s/it][A + hellaswag_uk: 24%|███████████████████████████▏ | 71/295 [14:09<44:06, 11.81s/it][A + hellaswag_uk: 24%|███████████████████████████▌ | 72/295 [14:21<44:13, 11.90s/it][A + hellaswag_uk: 25%|███████████████████████████▉ | 73/295 [14:33<44:54, 12.14s/it][A + hellaswag_uk: 25%|████████████████████████████▎ | 74/295 [14:45<43:55, 11.93s/it][A + hellaswag_uk: 25%|████████████████████████████▋ | 75/295 [14:57<43:30, 11.87s/it][A + hellaswag_uk: 26%|█████████████████████████████ | 76/295 [15:09<44:12, 12.11s/it][A + hellaswag_uk: 26%|█████████████████████████████▍ | 77/295 [15:21<44:03, 12.13s/it][A + hellaswag_uk: 26%|█████████████████████████████▉ | 78/295 [15:34<44:00, 12.17s/it][A + hellaswag_uk: 27%|██████████████████████████████▎ | 79/295 [15:46<43:44, 12.15s/it][A + hellaswag_uk: 27%|██████████████████████████████▋ | 80/295 [15:59<44:14, 12.35s/it][A + hellaswag_uk: 27%|███████████████████████████████ | 81/295 [16:11<43:54, 12.31s/it][A + hellaswag_uk: 28%|███████████████████████████████▍ | 82/295 [16:22<42:58, 12.10s/it][A + hellaswag_uk: 28%|███████████████████████████████▊ | 83/295 [16:35<43:20, 12.27s/it][A + hellaswag_uk: 28%|████████████████████████████████▏ | 84/295 [16:48<43:31, 12.37s/it][A + hellaswag_uk: 29%|████████████████████████████████▌ | 85/295 [16:59<42:21, 12.10s/it][A + hellaswag_uk: 29%|████████████████████████████████▉ | 86/295 [17:12<42:43, 12.26s/it][A + hellaswag_uk: 29%|█████████████████████████████████▎ | 87/295 [17:24<42:31, 12.27s/it][A + hellaswag_uk: 30%|█████████████████████████████████▋ | 88/295 [17:35<41:20, 11.99s/it][A + hellaswag_uk: 30%|██████████████████████████████████ | 89/295 [17:47<40:58, 11.93s/it][A + hellaswag_uk: 31%|██████████████████████████████████▍ | 90/295 [17:59<40:48, 11.94s/it][A + hellaswag_uk: 31%|██████████████████████████████████▊ | 91/295 [18:12<41:20, 12.16s/it][A + hellaswag_uk: 31%|███████████████████████████████████▏ | 92/295 [18:23<40:31, 11.98s/it][A + hellaswag_uk: 32%|███████████████████████████████████▌ | 93/295 [18:36<40:29, 12.03s/it][A + hellaswag_uk: 32%|████████████████████████████████████ | 94/295 [18:48<40:18, 12.03s/it][A + hellaswag_uk: 32%|████████████████████████████████████▍ | 95/295 [19:00<40:38, 12.19s/it][A + hellaswag_uk: 33%|████████████████████████████████████▊ | 96/295 [19:12<39:41, 11.97s/it][A + hellaswag_uk: 33%|█████████████████████████████████████▏ | 97/295 [19:24<39:48, 12.06s/it][A + hellaswag_uk: 33%|█████████████████████████████████████▌ | 98/295 [19:36<39:17, 11.97s/it][A + hellaswag_uk: 34%|█████████████████████████████████████▉ | 99/295 [19:48<39:33, 12.11s/it][A + hellaswag_uk: 34%|█████████████████████████████████████▉ | 100/295 [20:00<39:36, 12.19s/it][A + hellaswag_uk: 34%|██████████████████████████████████████▎ | 101/295 [20:13<39:21, 12.17s/it][A + hellaswag_uk: 35%|██████████████████████████████████████▋ | 102/295 [20:25<38:59, 12.12s/it][A + hellaswag_uk: 35%|███████████████████████████████████████ | 103/295 [20:37<38:59, 12.19s/it][A + hellaswag_uk: 35%|███████████████████████████████████████▍ | 104/295 [20:47<37:02, 11.64s/it][A + hellaswag_uk: 36%|███████████████████████████████████████▊ | 105/295 [21:00<37:37, 11.88s/it][A + hellaswag_uk: 36%|████████████████████████████████████████▏ | 106/295 [21:12<37:55, 12.04s/it][A + hellaswag_uk: 36%|████████████████████████████████████████▌ | 107/295 [21:24<37:58, 12.12s/it][A + hellaswag_uk: 37%|█████████████████████████████████████████ | 108/295 [21:36<37:21, 11.98s/it][A + hellaswag_uk: 37%|█████████████████████████████████████████▍ | 109/295 [21:48<37:08, 11.98s/it][A + hellaswag_uk: 37%|█████████████████████████████████████████▊ | 110/295 [22:00<37:13, 12.08s/it][A + hellaswag_uk: 38%|██████████████████████████████████████████▏ | 111/295 [22:13<37:17, 12.16s/it][A + hellaswag_uk: 38%|██████████████████████████████████████████▌ | 112/295 [22:25<36:49, 12.07s/it][A + hellaswag_uk: 38%|██████████████████████████████████████████▉ | 113/295 [22:37<36:32, 12.05s/it][A + hellaswag_uk: 39%|███████████████████████████████████████████▎ | 114/295 [22:48<36:02, 11.95s/it][A + hellaswag_uk: 39%|███████████████████████████████████████████▋ | 115/295 [23:00<35:27, 11.82s/it][A + hellaswag_uk: 39%|████████████████████████████████████████████ | 116/295 [23:13<36:29, 12.23s/it][A + hellaswag_uk: 40%|████████████████████████████████████████████▍ | 117/295 [23:25<35:46, 12.06s/it][A + hellaswag_uk: 40%|████████████████████████████████████████████▊ | 118/295 [23:37<36:04, 12.23s/it][A + hellaswag_uk: 40%|█████████████████████████████████████████████▏ | 119/295 [23:49<35:26, 12.08s/it][A + hellaswag_uk: 41%|█████████████████████████████████████████████▌ | 120/295 [24:01<35:22, 12.13s/it][A + hellaswag_uk: 41%|█████████████████████████████████████████████▉ | 121/295 [24:13<35:11, 12.13s/it][A + hellaswag_uk: 41%|██████████████████████████████████████████████▎ | 122/295 [24:26<35:17, 12.24s/it][A + hellaswag_uk: 42%|██████████████████████████████████████████████▋ | 123/295 [24:39<35:31, 12.39s/it][A + hellaswag_uk: 42%|███████████████████████████████████████████████ | 124/295 [24:50<34:22, 12.06s/it][A + hellaswag_uk: 42%|███████████████████████████████████████████████▍ | 125/295 [25:02<34:24, 12.15s/it][A + hellaswag_uk: 43%|███████████████████████████████████████████████▊ | 126/295 [25:13<33:00, 11.72s/it][A + hellaswag_uk: 43%|████████████████████████████████████████████████▏ | 127/295 [25:26<33:29, 11.96s/it][A + hellaswag_uk: 43%|████████████████████████████████████████████████▌ | 128/295 [25:38<33:32, 12.05s/it][A + hellaswag_uk: 44%|████████████████████████████████████████████████▉ | 129/295 [25:50<33:06, 11.97s/it][A + hellaswag_uk: 44%|█████████████████████████████████████████████████▎ | 130/295 [26:01<32:36, 11.86s/it][A + hellaswag_uk: 44%|█████████████████████████████████████████████████▋ | 131/295 [26:13<32:22, 11.84s/it][A + hellaswag_uk: 45%|██████████████████████████████████████████████████ | 132/295 [26:25<32:09, 11.84s/it][A + hellaswag_uk: 45%|██████████████████████████████████████████████████▍ | 133/295 [26:37<32:13, 11.94s/it][A + hellaswag_uk: 45%|██████████████████████████████████████████████████▊ | 134/295 [26:49<32:04, 11.95s/it][A + hellaswag_uk: 46%|███████████████████████████████████████████████████▎ | 135/295 [27:00<31:16, 11.73s/it][A + hellaswag_uk: 46%|███████████████████████████████████████████████████▋ | 136/295 [27:12<31:10, 11.77s/it][A + hellaswag_uk: 46%|████████████████████████████████████████████████████ | 137/295 [27:25<31:59, 12.15s/it][A + hellaswag_uk: 47%|████████████████████████████████████████████████████▍ | 138/295 [27:37<31:51, 12.17s/it][A + hellaswag_uk: 47%|████████████████████████████████████████████████████▊ | 139/295 [27:49<31:17, 12.04s/it][A + hellaswag_uk: 47%|█████████████████████████████████████████████████████▏ | 140/295 [28:01<30:46, 11.92s/it][A + hellaswag_uk: 48%|█████████████████████████████████████████████████████▌ | 141/295 [28:13<30:46, 11.99s/it][A + hellaswag_uk: 48%|█████████████████████████████████████████████████████▉ | 142/295 [28:26<31:13, 12.24s/it][A + hellaswag_uk: 48%|██████████████████████████████████████████████████████▎ | 143/295 [28:38<31:00, 12.24s/it][A + hellaswag_uk: 49%|██████████████████████████████████████████████████████▋ | 144/295 [28:50<30:32, 12.14s/it][A + hellaswag_uk: 49%|███████████████████████████████████████████████████████ | 145/295 [29:02<30:21, 12.15s/it][A + hellaswag_uk: 49%|███████████████████████████████████████████████████████▍ | 146/295 [29:15<30:33, 12.31s/it][A + hellaswag_uk: 50%|███████████████████████████████████████████████████████▊ | 147/295 [29:26<29:46, 12.07s/it][A + hellaswag_uk: 50%|████████████████████████████████████████████████████████▏ | 148/295 [29:38<29:28, 12.03s/it][A + hellaswag_uk: 51%|████████████████████████████████████████████████████████▌ | 149/295 [29:49<28:36, 11.76s/it][A + hellaswag_uk: 51%|████████████████████████████████████████████████████████▉ | 150/295 [30:02<28:56, 11.98s/it][A + hellaswag_uk: 51%|█████████████████████████████████████████████████████████▎ | 151/295 [30:13<28:15, 11.77s/it][A + hellaswag_uk: 52%|█████████████████████████████████████████████████████████▋ | 152/295 [30:25<27:52, 11.70s/it][A + hellaswag_uk: 52%|██████████████████████████████████████████████████████████ | 153/295 [30:37<28:34, 12.08s/it][A + hellaswag_uk: 52%|██████████████████████████████████████████████████████████▍ | 154/295 [30:49<27:46, 11.82s/it][A + hellaswag_uk: 53%|██████████████████████████████████████████████████████████▊ | 155/295 [31:02<28:24, 12.18s/it][A + hellaswag_uk: 53%|███████████████████████████████████████████████████████████▏ | 156/295 [31:13<27:47, 11.99s/it][A + hellaswag_uk: 53%|███████████████████████████████████████████████████████████▌ | 157/295 [31:25<27:21, 11.89s/it][A + hellaswag_uk: 54%|███████████████████████████████████████████████████████████▉ | 158/295 [31:37<27:12, 11.91s/it][A + hellaswag_uk: 54%|████████████████████████████████████████████████████████████▎ | 159/295 [31:50<27:53, 12.31s/it][A + hellaswag_uk: 54%|████████████████████████████████████████████████████████████▋ | 160/295 [32:02<27:35, 12.27s/it][A + hellaswag_uk: 55%|█████████████████████████████████████████████████████████████▏ | 161/295 [32:15<27:23, 12.26s/it][A + hellaswag_uk: 55%|█████████████████████████████████████████████████████████████▌ | 162/295 [32:26<26:40, 12.03s/it][A + hellaswag_uk: 55%|█████████████████████████████████████████████████████████████▉ | 163/295 [32:38<26:21, 11.98s/it][A + hellaswag_uk: 56%|██████████████████████████████████████████████████████████████▎ | 164/295 [32:50<26:26, 12.11s/it][A + hellaswag_uk: 56%|██████████████████████████████████████████████████████████████▋ | 165/295 [33:02<25:54, 11.96s/it][A + hellaswag_uk: 56%|███████████████████████████████████████████████████████████████ | 166/295 [33:14<25:40, 11.94s/it][A + hellaswag_uk: 57%|███████████████████████████████████████████████████████████████▍ | 167/295 [33:25<24:48, 11.63s/it][A + hellaswag_uk: 57%|███████████████████████████████████████████████████████████████▊ | 168/295 [33:37<24:42, 11.67s/it][A + hellaswag_uk: 57%|████████████████████████████████████████████████████████████████▏ | 169/295 [33:48<24:39, 11.74s/it][A + hellaswag_uk: 58%|████████████████████████████████████████████████████████████████▌ | 170/295 [34:00<24:27, 11.74s/it][A + hellaswag_uk: 58%|████████████████████████████████████████████████████████████████▉ | 171/295 [34:12<24:03, 11.64s/it][A + hellaswag_uk: 58%|█████████████████████████████████████████████████████████████████▎ | 172/295 [34:22<23:19, 11.38s/it][A + hellaswag_uk: 59%|█████████████████████████████████████████████████████████████████▋ | 173/295 [34:34<23:08, 11.38s/it][A + hellaswag_uk: 59%|██████████████████████████████████████████████████████████████████ | 174/295 [34:46<23:42, 11.75s/it][A + hellaswag_uk: 59%|██████████████████████████████████████████████████████████████████▍ | 175/295 [34:59<23:46, 11.89s/it][A + hellaswag_uk: 60%|██████████████████████████████████████████████████████████████████▊ | 176/295 [35:10<23:24, 11.80s/it][A + hellaswag_uk: 60%|███████████████████████████████████████████████████████████████████▏ | 177/295 [35:23<23:56, 12.17s/it][A + hellaswag_uk: 60%|███████████████████████████████████████████████████████████████████▌ | 178/295 [35:35<23:21, 11.98s/it][A + hellaswag_uk: 61%|███████████████████████████████████████████████████████████████████▉ | 179/295 [35:47<23:08, 11.97s/it][A + hellaswag_uk: 61%|████████████████████████████████████████████████████████████████████▎ | 180/295 [36:00<23:27, 12.24s/it][A + hellaswag_uk: 61%|████████████████████████████████████████████████████████████████████▋ | 181/295 [36:12<23:17, 12.26s/it][A + hellaswag_uk: 62%|█████████████████████████████████████████████████████████████████████ | 182/295 [36:23<22:40, 12.04s/it][A + hellaswag_uk: 62%|█████████████████████████████████████████████████████████████████████▍ | 183/295 [36:35<22:11, 11.88s/it][A + hellaswag_uk: 62%|█████████████████████████████████████████████████████████████████████▊ | 184/295 [36:47<22:14, 12.02s/it][A + hellaswag_uk: 63%|██████████████████████████████████████████████████████████████████████▏ | 185/295 [36:59<22:08, 12.07s/it][A + hellaswag_uk: 63%|██████████████████████████████████████████████████████████████████████▌ | 186/295 [37:11<21:42, 11.95s/it][A + hellaswag_uk: 63%|██████████████████████████████████████████████████████████████████████▉ | 187/295 [37:24<21:50, 12.14s/it][A + hellaswag_uk: 64%|███████████████████████████████████████████████████████████████████████▍ | 188/295 [37:35<21:19, 11.96s/it][A + hellaswag_uk: 64%|███████████████████████████████████████████████████████████████████████▊ | 189/295 [37:47<20:55, 11.84s/it][A + hellaswag_uk: 64%|████████████████████████████████████████████████████████████████████████▏ | 190/295 [37:59<20:48, 11.89s/it][A + hellaswag_uk: 65%|████████████████████████████████████████████████████████████████████████▌ | 191/295 [38:10<20:15, 11.69s/it][A + hellaswag_uk: 65%|████████████████████████████████████████████████████████████████████████▉ | 192/295 [38:23<20:54, 12.18s/it][A + hellaswag_uk: 65%|█████████████████████████████████████████████████████████████████████████▎ | 193/295 [38:37<21:17, 12.53s/it][A + hellaswag_uk: 66%|█████████████████████████████████████████████████████████████████████████▋ | 194/295 [38:49<20:48, 12.36s/it][A + hellaswag_uk: 66%|██████████████████████████████████████████████████████████████████████████ | 195/295 [39:01<20:37, 12.38s/it][A + hellaswag_uk: 66%|██████████████████████████████████████████████████████████████████████████▍ | 196/295 [39:13<20:07, 12.20s/it][A + hellaswag_uk: 67%|██████████████████████████████████████████████████████████████████████████▊ | 197/295 [39:25<19:46, 12.10s/it][A + hellaswag_uk: 67%|███████████████████████████████████████████████████████████████████████████▏ | 198/295 [39:38<19:59, 12.37s/it][A + hellaswag_uk: 67%|███████████████████████████████████████████████████████████████████████████▌ | 199/295 [39:50<19:50, 12.41s/it][A + hellaswag_uk: 68%|███████████████████████████████████████████████████████████████████████████▉ | 200/295 [40:03<19:53, 12.56s/it][A + hellaswag_uk: 68%|████████████████████████████████████████████████████████████████████████████▎ | 201/295 [40:15<19:16, 12.30s/it][A + hellaswag_uk: 68%|████████████████████████████████████████████████████████████████████████████▋ | 202/295 [40:26<18:33, 11.98s/it][A + hellaswag_uk: 69%|█████████████████████████████████████████████████████████████████████████████ | 203/295 [40:38<18:32, 12.09s/it][A + hellaswag_uk: 69%|█████████████████████████████████████████████████████████████████████████████▍ | 204/295 [40:50<18:01, 11.89s/it][A + hellaswag_uk: 69%|█████████████████████████████████████████████████████████████████████████████▊ | 205/295 [41:01<17:39, 11.77s/it][A + hellaswag_uk: 70%|██████████████████████████████████████████████████████████████████████████████▏ | 206/295 [41:14<17:58, 12.11s/it][A + hellaswag_uk: 70%|██████████████████████████████████████████████████████████████████████████████▌ | 207/295 [41:27<18:12, 12.41s/it][A + hellaswag_uk: 71%|██████████████████████████████████████████████████████████████████████████████▉ | 208/295 [41:39<17:33, 12.11s/it][A + hellaswag_uk: 71%|███████████████████████████████████████████████████████████████████████████████▎ | 209/295 [41:50<16:56, 11.82s/it][A + hellaswag_uk: 71%|███████████████████████████████████████████████████████████████████████████████▋ | 210/295 [42:02<16:42, 11.79s/it][A + hellaswag_uk: 72%|████████████████████████████████████████████████████████████████████████████████ | 211/295 [42:13<16:16, 11.62s/it][A + hellaswag_uk: 72%|████████████████████████████████████████████████████████████████████████████████▍ | 212/295 [42:23<15:40, 11.33s/it][A + hellaswag_uk: 72%|████████████████████████████████████████████████████████████████████████████████▊ | 213/295 [42:35<15:35, 11.41s/it][A + hellaswag_uk: 73%|█████████████████████████████████████████████████████████████████████████████████▏ | 214/295 [42:47<15:26, 11.44s/it][A + hellaswag_uk: 73%|█████████████████████████████████████████████████████████████████████████████████▋ | 215/295 [42:58<15:15, 11.44s/it][A + hellaswag_uk: 73%|██████████████████████████████████████████████████████████████████████████████████ | 216/295 [43:10<15:26, 11.72s/it][A + hellaswag_uk: 74%|██████████████████████████████████████████████████████████████████████████████████▍ | 217/295 [43:23<15:30, 11.93s/it][A + hellaswag_uk: 74%|██████████████████████████████████████████████████████████████████████████████████▊ | 218/295 [43:35<15:17, 11.91s/it][A + hellaswag_uk: 74%|███████████████████████████████████████████████████████████████████████████████████▏ | 219/295 [43:48<15:30, 12.24s/it][A + hellaswag_uk: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 220/295 [44:00<15:26, 12.36s/it][A + hellaswag_uk: 75%|███████████████████████████████████████████████████████████████████████████████████▉ | 221/295 [44:13<15:26, 12.52s/it][A + hellaswag_uk: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 222/295 [44:26<15:09, 12.46s/it][A + hellaswag_uk: 76%|████████████████████████████████████████████████████████████████████████████████████▋ | 223/295 [44:38<14:53, 12.41s/it][A + hellaswag_uk: 76%|█████████████████████████████████████████████████████████████████████████████████████ | 224/295 [44:50<14:33, 12.30s/it][A + hellaswag_uk: 76%|█████████████████████████████████████████████████████████████████████████████████████▍ | 225/295 [45:02<14:16, 12.24s/it][A + hellaswag_uk: 77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 226/295 [45:14<13:53, 12.08s/it][A + hellaswag_uk: 77%|██████████████████████████████████████████████████████████████████████████████████████▏ | 227/295 [45:25<13:30, 11.92s/it][A + hellaswag_uk: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 228/295 [45:38<13:42, 12.27s/it][A + hellaswag_uk: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 229/295 [45:50<13:27, 12.24s/it][A + hellaswag_uk: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 230/295 [46:02<13:08, 12.14s/it][A + hellaswag_uk: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 231/295 [46:14<12:51, 12.05s/it][A + hellaswag_uk: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 232/295 [46:27<12:56, 12.32s/it][A + hellaswag_uk: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 233/295 [46:39<12:44, 12.33s/it][A + hellaswag_uk: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 234/295 [46:52<12:29, 12.28s/it][A + hellaswag_uk: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 235/295 [47:03<12:08, 12.14s/it][A + hellaswag_uk: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 236/295 [47:15<11:45, 11.96s/it][A + hellaswag_uk: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 237/295 [47:27<11:25, 11.82s/it][A + hellaswag_uk: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 238/295 [47:38<11:14, 11.84s/it][A + hellaswag_uk: 81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 239/295 [47:50<10:56, 11.72s/it][A + hellaswag_uk: 81%|███████████████████████████████████████████████████████████████████████████████████████████ | 240/295 [48:02<10:47, 11.78s/it][A + hellaswag_uk: 82%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 241/295 [48:14<10:45, 11.95s/it][A + hellaswag_uk: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 242/295 [48:27<10:52, 12.30s/it][A + hellaswag_uk: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 243/295 [48:40<10:41, 12.33s/it][A + hellaswag_uk: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 244/295 [48:52<10:30, 12.36s/it][A + hellaswag_uk: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 245/295 [49:03<09:58, 11.98s/it][A + hellaswag_uk: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 246/295 [49:15<09:42, 11.88s/it][A + hellaswag_uk: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 247/295 [49:27<09:33, 11.95s/it][A + hellaswag_uk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 248/295 [49:39<09:24, 12.00s/it][A + hellaswag_uk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 249/295 [49:52<09:20, 12.19s/it][A + hellaswag_uk: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 250/295 [50:05<09:17, 12.39s/it][A + hellaswag_uk: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 251/295 [50:17<09:11, 12.54s/it][A + hellaswag_uk: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 252/295 [50:29<08:46, 12.25s/it][A + hellaswag_uk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 253/295 [50:42<08:41, 12.43s/it][A + hellaswag_uk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 254/295 [50:55<08:33, 12.51s/it][A + hellaswag_uk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 255/295 [51:07<08:19, 12.49s/it][A + hellaswag_uk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 256/295 [51:20<08:09, 12.56s/it][A + hellaswag_uk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 257/295 [51:32<07:51, 12.41s/it][A + hellaswag_uk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 258/295 [51:44<07:32, 12.22s/it][A + hellaswag_uk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/295 [51:56<07:20, 12.23s/it][A + hellaswag_uk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 260/295 [52:07<06:59, 11.98s/it][A + hellaswag_uk: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 261/295 [52:20<06:57, 12.27s/it][A + hellaswag_uk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 262/295 [52:32<06:41, 12.18s/it][A + hellaswag_uk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 263/295 [52:45<06:32, 12.26s/it][A + hellaswag_uk: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 264/295 [52:56<06:12, 12.03s/it][A + hellaswag_uk: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 265/295 [53:07<05:55, 11.85s/it][A + hellaswag_uk: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 266/295 [53:20<05:46, 11.95s/it][A + hellaswag_uk: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 267/295 [53:32<05:39, 12.13s/it][A + hellaswag_uk: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 268/295 [53:45<05:32, 12.30s/it][A + hellaswag_uk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 269/295 [53:56<05:12, 12.03s/it][A + hellaswag_uk: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 270/295 [54:09<05:02, 12.11s/it][A + hellaswag_uk: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 271/295 [54:20<04:47, 11.99s/it][A + hellaswag_uk: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 272/295 [54:33<04:37, 12.09s/it][A + hellaswag_uk: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 273/295 [54:45<04:30, 12.29s/it][A + hellaswag_uk: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 274/295 [54:57<04:12, 12.04s/it][A + hellaswag_uk: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 275/295 [55:09<04:01, 12.08s/it][A + hellaswag_uk: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 276/295 [55:21<03:47, 11.95s/it][A + hellaswag_uk: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 277/295 [55:32<03:30, 11.67s/it][A + hellaswag_uk: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 278/295 [55:45<03:25, 12.09s/it][A + hellaswag_uk: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 279/295 [55:57<03:14, 12.13s/it][A + hellaswag_uk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 280/295 [56:10<03:07, 12.50s/it][A + hellaswag_uk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 281/295 [56:22<02:51, 12.28s/it][A + hellaswag_uk: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 282/295 [56:35<02:42, 12.47s/it][A + hellaswag_uk: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 283/295 [56:48<02:30, 12.52s/it][A + hellaswag_uk: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 284/295 [57:01<02:20, 12.73s/it][A + hellaswag_uk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 285/295 [57:13<02:06, 12.65s/it][A + hellaswag_uk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 286/295 [57:26<01:53, 12.57s/it][A + hellaswag_uk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 287/295 [57:38<01:38, 12.33s/it][A + hellaswag_uk: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 288/295 [57:50<01:26, 12.31s/it][A + hellaswag_uk: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 289/295 [58:01<01:12, 12.09s/it][A + hellaswag_uk: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 290/295 [58:15<01:02, 12.46s/it][A + hellaswag_uk: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 291/295 [58:27<00:49, 12.46s/it][A + hellaswag_uk: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 292/295 [58:40<00:37, 12.51s/it][A + hellaswag_uk: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 293/295 [58:52<00:24, 12.43s/it][A + hellaswag_uk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 294/295 [59:04<00:12, 12.23s/it][A + hellaswag_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [59:08<00:00, 9.86s/it][A hellaswag_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [59:08<00:00, 12.03s/it] +There is an error!! +There is an error!! +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_uk_acc 0.3292592198958444 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_uk_acc_norm 0.4114146030396429 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 13:08:47,429 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 13:08:47,429 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:47,554 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 13:08:47,554 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:47,677 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 13:08:47,678 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:47,801 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 13:08:47,802 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 13:08:47,802 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 13:08:47,928 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 13:08:47,928 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_uk_acc'} +2024-05-30 13:08:47,991 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 13:08:47,991 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1197, 'value': 0.3292592198958444} +2024-05-30 13:08:48,054 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 13:08:48,676 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 13:08:48,676 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:48,798 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 13:08:48,798 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:48,920 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 13:08:48,920 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:49,042 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 13:08:49,043 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 13:08:49,043 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 13:08:49,166 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 13:08:49,166 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_uk_acc_norm'} +2024-05-30 13:08:49,228 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 13:08:49,228 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1198, 'value': 0.4114146030396429} +2024-05-30 13:08:49,290 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 48%|████████████████████████████████████████████████████▎ | 60/124 [30:21:18<69:29:42, 3909.11s/it]['hellaswag_vi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 13:08:49,952 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 13:08:49,952 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:50,084 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 13:08:50,084 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:50,215 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 13:08:50,215 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:08:50,346 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 13:08:50,347 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 13:08:50,347 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_vi'} +2024-05-30 13:08:50,479 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_vi task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1 examples [00:00, 8.00 examples/s][A + Generating validation split: 1690 examples [00:00, 9008.56 examples/s][A + Generating validation split: 3191 examples [00:00, 11599.57 examples/s][A + Generating validation split: 4994 examples [00:00, 13873.26 examples/s][A + Generating validation split: 6492 examples [00:00, 14259.11 examples/s][A + Generating validation split: 8007 examples [00:00, 14555.39 examples/s][A Generating validation split: 9162 examples [00:00, 12880.45 examples/s] +Loaded 9162 examples +Running loglikelihood requests + + hellaswag_vi: 0%| | 0/287 [00:00<?, ?it/s][A + hellaswag_vi: 0%|▍ | 1/287 [00:10<52:10, 10.94s/it][A + hellaswag_vi: 1%|▊ | 2/287 [00:21<50:58, 10.73s/it][A + hellaswag_vi: 1%|█▏ | 3/287 [00:32<50:14, 10.61s/it][A + hellaswag_vi: 1%|█▌ | 4/287 [00:42<49:45, 10.55s/it][A + hellaswag_vi: 2%|█▉ | 5/287 [00:53<49:58, 10.63s/it][A + hellaswag_vi: 2%|██▍ | 6/287 [01:03<49:46, 10.63s/it][A + hellaswag_vi: 2%|██▊ | 7/287 [01:15<51:07, 10.96s/it][A + hellaswag_vi: 3%|███▏ | 8/287 [01:26<50:25, 10.84s/it][A + hellaswag_vi: 3%|███▌ | 9/287 [01:36<49:48, 10.75s/it][A + hellaswag_vi: 3%|███▉ | 10/287 [01:47<50:22, 10.91s/it][A + hellaswag_vi: 4%|████▎ | 11/287 [01:58<49:47, 10.82s/it][A + hellaswag_vi: 4%|████▋ | 12/287 [02:09<50:09, 10.94s/it][A + hellaswag_vi: 5%|█████ | 13/287 [02:20<49:37, 10.87s/it][A + hellaswag_vi: 5%|█████▌ | 14/287 [02:31<49:12, 10.81s/it][A + hellaswag_vi: 5%|█████▉ | 15/287 [02:40<47:35, 10.50s/it][A + hellaswag_vi: 6%|██████▎ | 16/287 [02:51<47:40, 10.55s/it][A + hellaswag_vi: 6%|██████▋ | 17/287 [03:02<47:45, 10.61s/it][A + hellaswag_vi: 6%|███████ | 18/287 [03:12<47:28, 10.59s/it][A + hellaswag_vi: 7%|███████▍ | 19/287 [03:23<47:08, 10.55s/it][A + hellaswag_vi: 7%|███████▊ | 20/287 [03:34<47:15, 10.62s/it][A + hellaswag_vi: 7%|████████▎ | 21/287 [03:44<47:07, 10.63s/it][A + hellaswag_vi: 8%|████████▋ | 22/287 [03:55<47:45, 10.81s/it][A + hellaswag_vi: 8%|█████████ | 23/287 [04:06<47:38, 10.83s/it][A + hellaswag_vi: 8%|█████████▍ | 24/287 [04:17<47:08, 10.75s/it][A + hellaswag_vi: 9%|█████████▊ | 25/287 [04:27<46:13, 10.59s/it][A + hellaswag_vi: 9%|██████████▏ | 26/287 [04:37<45:06, 10.37s/it][A + hellaswag_vi: 9%|██████████▋ | 27/287 [04:47<45:06, 10.41s/it][A + hellaswag_vi: 10%|███████████ | 28/287 [04:57<43:56, 10.18s/it][A + hellaswag_vi: 10%|███████████▍ | 29/287 [05:09<45:24, 10.56s/it][A + hellaswag_vi: 10%|███████████▊ | 30/287 [05:19<44:27, 10.38s/it][A + hellaswag_vi: 11%|████████████▏ | 31/287 [05:29<44:31, 10.44s/it][A + hellaswag_vi: 11%|████████████▌ | 32/287 [05:40<44:46, 10.53s/it][A + hellaswag_vi: 11%|████████████▉ | 33/287 [05:50<44:41, 10.56s/it][A + hellaswag_vi: 12%|█████████████▍ | 34/287 [06:02<45:24, 10.77s/it][A + hellaswag_vi: 12%|█████████████▊ | 35/287 [06:12<45:03, 10.73s/it][A + hellaswag_vi: 13%|██████████████▏ | 36/287 [06:24<45:28, 10.87s/it][A + hellaswag_vi: 13%|██████████████▌ | 37/287 [06:35<45:33, 10.93s/it][A + hellaswag_vi: 13%|██████████████▉ | 38/287 [06:46<46:13, 11.14s/it][A + hellaswag_vi: 14%|███████████████▎ | 39/287 [06:57<45:50, 11.09s/it][A + hellaswag_vi: 14%|███████████████▋ | 40/287 [07:08<44:45, 10.87s/it][A + hellaswag_vi: 14%|████████████████▏ | 41/287 [07:18<44:03, 10.74s/it][A + hellaswag_vi: 15%|████████████████▌ | 42/287 [07:29<44:14, 10.84s/it][A + hellaswag_vi: 15%|████████████████▉ | 43/287 [07:40<43:38, 10.73s/it][A + hellaswag_vi: 15%|█████████████████▎ | 44/287 [07:51<44:13, 10.92s/it][A + hellaswag_vi: 16%|█████████████████▋ | 45/287 [08:02<43:53, 10.88s/it][A + hellaswag_vi: 16%|██████████████████ | 46/287 [08:12<42:39, 10.62s/it][A + hellaswag_vi: 16%|██████████████████▌ | 47/287 [08:23<43:04, 10.77s/it][A + hellaswag_vi: 17%|██████████████████▉ | 48/287 [08:34<43:45, 10.99s/it][A + hellaswag_vi: 17%|███████████████████▎ | 49/287 [08:45<43:03, 10.86s/it][A + hellaswag_vi: 17%|███████████████████▋ | 50/287 [08:55<42:29, 10.76s/it][A + hellaswag_vi: 18%|████████████████████ | 51/287 [09:06<42:15, 10.75s/it][A + hellaswag_vi: 18%|████████████████████▍ | 52/287 [09:16<41:24, 10.57s/it][A + hellaswag_vi: 18%|████████████████████▊ | 53/287 [09:27<40:54, 10.49s/it][A + hellaswag_vi: 19%|█████████████████████▎ | 54/287 [09:37<41:07, 10.59s/it][A + hellaswag_vi: 19%|█████████████████████▋ | 55/287 [09:48<41:08, 10.64s/it][A + hellaswag_vi: 20%|██████████████████████ | 56/287 [09:59<40:48, 10.60s/it][A + hellaswag_vi: 20%|██████████████████████▍ | 57/287 [10:09<40:27, 10.55s/it][A + hellaswag_vi: 20%|██████████████████████▊ | 58/287 [10:19<39:42, 10.40s/it][A + hellaswag_vi: 21%|███████████████████████▏ | 59/287 [10:30<39:39, 10.44s/it][A + hellaswag_vi: 21%|███████████████████████▌ | 60/287 [10:40<39:27, 10.43s/it][A + hellaswag_vi: 21%|████████████████████████ | 61/287 [10:51<39:17, 10.43s/it][A + hellaswag_vi: 22%|████████████████████████▍ | 62/287 [11:01<39:31, 10.54s/it][A + hellaswag_vi: 22%|████████████████████████▊ | 63/287 [11:12<39:22, 10.55s/it][A + hellaswag_vi: 22%|█████████████████████████▏ | 64/287 [11:23<39:55, 10.74s/it][A + hellaswag_vi: 23%|█████████████████████████▌ | 65/287 [11:33<38:59, 10.54s/it][A + hellaswag_vi: 23%|█████████████████████████▉ | 66/287 [11:45<39:47, 10.81s/it][A + hellaswag_vi: 23%|██████████████████████████▍ | 67/287 [11:56<39:43, 10.83s/it][A + hellaswag_vi: 24%|██████████████████████████▊ | 68/287 [12:06<39:33, 10.84s/it][A + hellaswag_vi: 24%|███████████████████████████▏ | 69/287 [12:17<38:45, 10.67s/it][A + hellaswag_vi: 24%|███████████████████████████▌ | 70/287 [12:27<38:09, 10.55s/it][A + hellaswag_vi: 25%|███████████████████████████▉ | 71/287 [12:38<38:40, 10.74s/it][A + hellaswag_vi: 25%|████████████████████████████▎ | 72/287 [12:49<38:15, 10.68s/it][A + hellaswag_vi: 25%|████████████████████████████▋ | 73/287 [13:00<38:37, 10.83s/it][A + hellaswag_vi: 26%|█████████████████████████████▏ | 74/287 [13:11<38:42, 10.91s/it][A + hellaswag_vi: 26%|█████████████████████████████▌ | 75/287 [13:21<38:03, 10.77s/it][A + hellaswag_vi: 26%|█████████████████████████████▉ | 76/287 [13:32<37:33, 10.68s/it][A + hellaswag_vi: 27%|██████████████████████████████▎ | 77/287 [13:42<36:30, 10.43s/it][A + hellaswag_vi: 27%|██████████████████████████████▋ | 78/287 [13:53<37:24, 10.74s/it][A + hellaswag_vi: 28%|███████████████████████████████ | 79/287 [14:03<36:35, 10.55s/it][A + hellaswag_vi: 28%|███████████████████████████████▍ | 80/287 [14:15<37:09, 10.77s/it][A + hellaswag_vi: 28%|███████████████████████████████▉ | 81/287 [14:25<36:08, 10.53s/it][A + hellaswag_vi: 29%|████████████████████████████████▎ | 82/287 [14:35<36:02, 10.55s/it][A + hellaswag_vi: 29%|████████████████████████████████▋ | 83/287 [14:46<35:54, 10.56s/it][A + hellaswag_vi: 29%|█████████████████████████████████ | 84/287 [14:56<35:35, 10.52s/it][A + hellaswag_vi: 30%|█████████████████████████████████▍ | 85/287 [15:06<35:15, 10.48s/it][A + hellaswag_vi: 30%|█████████████████████████████████▊ | 86/287 [15:18<35:49, 10.69s/it][A + hellaswag_vi: 30%|██████████████████████████████████▎ | 87/287 [15:28<35:13, 10.57s/it][A + hellaswag_vi: 31%|██████████████████████████████████▋ | 88/287 [15:38<34:49, 10.50s/it][A + hellaswag_vi: 31%|███████████████████████████████████ | 89/287 [15:49<34:46, 10.54s/it][A + hellaswag_vi: 31%|███████████████████████████████████▍ | 90/287 [15:59<34:14, 10.43s/it][A + hellaswag_vi: 32%|███████████████████████████████████▊ | 91/287 [16:10<34:15, 10.49s/it][A + hellaswag_vi: 32%|████████████████████████████████████▏ | 92/287 [16:21<34:39, 10.66s/it][A + hellaswag_vi: 32%|████████████████████████████████████▌ | 93/287 [16:31<33:37, 10.40s/it][A + hellaswag_vi: 33%|█████████████████████████████████████ | 94/287 [16:40<32:46, 10.19s/it][A + hellaswag_vi: 33%|█████████████████████████████████████▍ | 95/287 [16:52<33:43, 10.54s/it][A + hellaswag_vi: 33%|█████████████████████████████████████▊ | 96/287 [17:02<33:28, 10.52s/it][A + hellaswag_vi: 34%|██████████████████████████████████████▏ | 97/287 [17:13<33:14, 10.50s/it][A + hellaswag_vi: 34%|██████████████████████████████████████▌ | 98/287 [17:23<33:00, 10.48s/it][A + hellaswag_vi: 34%|██████████████████████████████████████▉ | 99/287 [17:34<33:05, 10.56s/it][A + hellaswag_vi: 35%|███████████████████████████████████████ | 100/287 [17:45<33:10, 10.65s/it][A + hellaswag_vi: 35%|███████████████████████████████████████▍ | 101/287 [17:55<32:59, 10.64s/it][A + hellaswag_vi: 36%|███████████████████████████████████████▊ | 102/287 [18:06<33:15, 10.78s/it][A + hellaswag_vi: 36%|████████████████████████████████████████▏ | 103/287 [18:17<32:59, 10.76s/it][A + hellaswag_vi: 36%|████████████████████████████████████████▌ | 104/287 [18:28<32:57, 10.81s/it][A + hellaswag_vi: 37%|████████████████████████████████████████▉ | 105/287 [18:38<31:58, 10.54s/it][A + hellaswag_vi: 37%|█████████████████████████████████████████▎ | 106/287 [18:49<32:37, 10.82s/it][A + hellaswag_vi: 37%|█████████████████████████████████████████▊ | 107/287 [19:00<32:24, 10.80s/it][A + hellaswag_vi: 38%|██████████████████████████████████████████▏ | 108/287 [19:11<32:38, 10.94s/it][A + hellaswag_vi: 38%|██████████████████████████████████████████▌ | 109/287 [19:22<31:52, 10.74s/it][A + hellaswag_vi: 38%|██████████████████████████████████████████▉ | 110/287 [19:32<31:44, 10.76s/it][A + hellaswag_vi: 39%|███████████████████████████████████████████▎ | 111/287 [19:43<31:26, 10.72s/it][A + hellaswag_vi: 39%|███████████████████████████████████████████▋ | 112/287 [19:53<30:37, 10.50s/it][A + hellaswag_vi: 39%|████████████████████████████████████████████ | 113/287 [20:04<30:30, 10.52s/it][A + hellaswag_vi: 40%|████████████████████████████████████████████▍ | 114/287 [20:14<30:18, 10.51s/it][A + hellaswag_vi: 40%|████████████████████████████████████████████▉ | 115/287 [20:25<30:00, 10.47s/it][A + hellaswag_vi: 40%|█████████████████████████████████████████████▎ | 116/287 [20:35<29:59, 10.53s/it][A + hellaswag_vi: 41%|█████████████████████████████████████████████▋ | 117/287 [20:46<30:24, 10.73s/it][A + hellaswag_vi: 41%|██████████████████████████████████████████████ | 118/287 [20:56<29:26, 10.45s/it][A + hellaswag_vi: 41%|██████████████████████████████████████████████▍ | 119/287 [21:07<29:09, 10.42s/it][A + hellaswag_vi: 42%|██████████████████████████████████████████████▊ | 120/287 [21:17<29:21, 10.55s/it][A + hellaswag_vi: 42%|███████████████████████████████████████████████▏ | 121/287 [21:28<29:07, 10.53s/it][A + hellaswag_vi: 43%|███████████████████████████████████████████████▌ | 122/287 [21:39<29:14, 10.64s/it][A + hellaswag_vi: 43%|████████████████████████████████████████████████ | 123/287 [21:49<28:50, 10.55s/it][A + hellaswag_vi: 43%|████████████████████████████████████████████████▍ | 124/287 [22:00<29:02, 10.69s/it][A + hellaswag_vi: 44%|████████████████████████████████████████████████▊ | 125/287 [22:11<28:56, 10.72s/it][A + hellaswag_vi: 44%|█████████████████████████████████████████████████▏ | 126/287 [22:22<28:48, 10.74s/it][A + hellaswag_vi: 44%|█████████████████████████████████████████████████▌ | 127/287 [22:32<28:36, 10.73s/it][A + hellaswag_vi: 45%|█████████████████████████████████████████████████▉ | 128/287 [22:43<28:25, 10.73s/it][A + hellaswag_vi: 45%|██████████████████████████████████████████████████▎ | 129/287 [22:54<28:15, 10.73s/it][A + hellaswag_vi: 45%|██████████████████████████████████████████████████▋ | 130/287 [23:04<27:54, 10.67s/it][A + hellaswag_vi: 46%|███████████████████████████████████████████████████ | 131/287 [23:15<27:48, 10.69s/it][A + hellaswag_vi: 46%|███████████████████████████████████████████████████▌ | 132/287 [23:26<27:27, 10.63s/it][A + hellaswag_vi: 46%|███████████████████████████████████████████████████▉ | 133/287 [23:36<27:13, 10.60s/it][A + hellaswag_vi: 47%|████████████████████████████████████████████████████▎ | 134/287 [23:46<26:18, 10.31s/it][A + hellaswag_vi: 47%|████████████████████████████████████████████████████▋ | 135/287 [23:57<26:38, 10.51s/it][A + hellaswag_vi: 47%|█████████████████████████████████████████████████████ | 136/287 [24:07<26:33, 10.55s/it][A + hellaswag_vi: 48%|█████████████████████████████████████████████████████▍ | 137/287 [24:19<26:57, 10.79s/it][A + hellaswag_vi: 48%|█████████████████████████████████████████████████████▊ | 138/287 [24:29<26:35, 10.71s/it][A + hellaswag_vi: 48%|██████████████████████████████████████████████████████▏ | 139/287 [24:40<26:27, 10.72s/it][A + hellaswag_vi: 49%|██████████████████████████████████████████████████████▋ | 140/287 [24:50<25:58, 10.60s/it][A + hellaswag_vi: 49%|███████████████████████████████████████████████████████ | 141/287 [25:01<25:56, 10.66s/it][A + hellaswag_vi: 49%|███████████████████████████████████████████████████████▍ | 142/287 [25:12<25:38, 10.61s/it][A + hellaswag_vi: 50%|███████████████████████████████████████████████████████▊ | 143/287 [25:22<25:37, 10.68s/it][A + hellaswag_vi: 50%|████████████████████████████████████████████████████████▏ | 144/287 [25:32<24:47, 10.41s/it][A + hellaswag_vi: 51%|████████████████████████████████████████████████████████▌ | 145/287 [25:43<24:54, 10.52s/it][A + hellaswag_vi: 51%|████████████████████████████████████████████████████████▉ | 146/287 [25:55<25:28, 10.84s/it][A + hellaswag_vi: 51%|█████████████████████████████████████████████████████████▎ | 147/287 [26:05<25:11, 10.79s/it][A + hellaswag_vi: 52%|█████████████████████████████████████████████████████████▊ | 148/287 [26:16<25:12, 10.88s/it][A + hellaswag_vi: 52%|██████████████████████████████████████████████████████████▏ | 149/287 [26:27<25:02, 10.89s/it][A + hellaswag_vi: 52%|██████████████████████████████████████████████████████████▌ | 150/287 [26:37<24:20, 10.66s/it][A + hellaswag_vi: 53%|██████████████████████████████████████████████████████████▉ | 151/287 [26:49<24:30, 10.81s/it][A + hellaswag_vi: 53%|███████████████████████████████████████████████████████████▎ | 152/287 [26:59<24:23, 10.84s/it][A + hellaswag_vi: 53%|███████████████████████████████████████████████████████████▋ | 153/287 [27:10<24:10, 10.82s/it][A + hellaswag_vi: 54%|████████████████████████████████████████████████████████████ | 154/287 [27:21<23:52, 10.77s/it][A + hellaswag_vi: 54%|████████████████████████████████████████████████████████████▍ | 155/287 [27:32<23:48, 10.83s/it][A + hellaswag_vi: 54%|████████████████████████████████████████████████████████████▉ | 156/287 [27:42<23:25, 10.73s/it][A + hellaswag_vi: 55%|█████████████████████████████████████████████████████████████▎ | 157/287 [27:53<23:29, 10.84s/it][A + hellaswag_vi: 55%|█████████████████████████████████████████████████████████████▋ | 158/287 [28:04<23:12, 10.79s/it][A + hellaswag_vi: 55%|██████████████████████████████████████████████████████████████ | 159/287 [28:15<23:12, 10.88s/it][A + hellaswag_vi: 56%|██████████████████████████████████████████████████████████████▍ | 160/287 [28:26<22:44, 10.74s/it][A + hellaswag_vi: 56%|██████████████████████████████████████████████████████████████▊ | 161/287 [28:36<22:31, 10.72s/it][A + hellaswag_vi: 56%|███████████████████████████████████████████████████████████████▏ | 162/287 [28:47<22:30, 10.80s/it][A + hellaswag_vi: 57%|███████████████████████████████████████████████████████████████▌ | 163/287 [28:58<22:21, 10.82s/it][A + hellaswag_vi: 57%|████████████████████████████████████████████████████████████████ | 164/287 [29:09<22:00, 10.74s/it][A + hellaswag_vi: 57%|████████████████████████████████████████████████████████████████▍ | 165/287 [29:19<21:42, 10.68s/it][A + hellaswag_vi: 58%|████████████████████████████████████████████████████████████████▊ | 166/287 [29:30<21:32, 10.68s/it][A + hellaswag_vi: 58%|█████████████████████████████████████████████████████████████████▏ | 167/287 [29:40<21:11, 10.59s/it][A + hellaswag_vi: 59%|█████████████████████████████████████████████████████████████████▌ | 168/287 [29:51<20:56, 10.56s/it][A + hellaswag_vi: 59%|█████████████████████████████████████████████████████████████████▉ | 169/287 [30:02<21:11, 10.77s/it][A + hellaswag_vi: 59%|██████████████████████████████████████████████████████████████████▎ | 170/287 [30:12<20:37, 10.58s/it][A + hellaswag_vi: 60%|██████████████████████████████████████████████████████████████████▋ | 171/287 [30:22<20:09, 10.43s/it][A + hellaswag_vi: 60%|███████████████████████████████████████████████████████████████████ | 172/287 [30:33<20:05, 10.48s/it][A + hellaswag_vi: 60%|███████████████████████████████████████████████████████████████████▌ | 173/287 [30:44<20:25, 10.75s/it][A + hellaswag_vi: 61%|███████████████████████████████████████████████████████████████████▉ | 174/287 [30:54<19:37, 10.42s/it][A + hellaswag_vi: 61%|████████████████████████████████████████████████████████████████████▎ | 175/287 [31:05<19:40, 10.54s/it][A + hellaswag_vi: 61%|████████████████████████████████████████████████████████████████████▋ | 176/287 [31:15<19:26, 10.51s/it][A + hellaswag_vi: 62%|█████████████████████████████████████████████████████████████████████ | 177/287 [31:26<19:28, 10.62s/it][A + hellaswag_vi: 62%|█████████████████████████████████████████████████████████████████████▍ | 178/287 [31:37<19:18, 10.63s/it][A + hellaswag_vi: 62%|█████████████████████████████████████████████████████████████████████▊ | 179/287 [31:47<18:56, 10.53s/it][A + hellaswag_vi: 63%|██████████████████████████████████████████████████████████████████████▏ | 180/287 [31:58<18:46, 10.53s/it][A + hellaswag_vi: 63%|██████████████████████████████████████████████████████████████████████▋ | 181/287 [32:08<18:39, 10.56s/it][A + hellaswag_vi: 63%|███████████████████████████████████████████████████████████████████████ | 182/287 [32:18<18:07, 10.36s/it][A + hellaswag_vi: 64%|███████████████████████████████████████████████████████████████████████▍ | 183/287 [32:28<17:36, 10.16s/it][A + hellaswag_vi: 64%|███████████████████████████████████████████████████████████████████████▊ | 184/287 [32:39<17:56, 10.45s/it][A + hellaswag_vi: 64%|████████████████████████████████████████████████████████████████████████▏ | 185/287 [32:49<17:31, 10.31s/it][A + hellaswag_vi: 65%|████████████████████████████████████████████████████████████████████████▌ | 186/287 [33:00<17:32, 10.42s/it][A + hellaswag_vi: 65%|████████████████████████████████████████████████████████████████████████▉ | 187/287 [33:10<17:27, 10.48s/it][A + hellaswag_vi: 66%|█████████████████████████████████████████████████████████████████████████▎ | 188/287 [33:21<17:20, 10.51s/it][A + hellaswag_vi: 66%|█████████████████████████████████████████████████████████████████████████▊ | 189/287 [33:32<17:20, 10.62s/it][A + hellaswag_vi: 66%|██████████████████████████████████████████████████████████████████████████▏ | 190/287 [33:42<17:09, 10.61s/it][A + hellaswag_vi: 67%|██████████████████████████████████████████████████████████████████████████▌ | 191/287 [33:53<17:04, 10.67s/it][A + hellaswag_vi: 67%|██████████████████████████████████████████████████████████████████████████▉ | 192/287 [34:04<16:58, 10.72s/it][A + hellaswag_vi: 67%|███████████████████████████████████████████████████████████████████████████▎ | 193/287 [34:15<16:54, 10.79s/it][A + hellaswag_vi: 68%|███████████████████████████████████████████████████████████████████████████▋ | 194/287 [34:26<17:00, 10.98s/it][A + hellaswag_vi: 68%|████████████████████████████████████████████████████████████████████████████ | 195/287 [34:36<16:29, 10.76s/it][A + hellaswag_vi: 68%|████████████████████████████████████████████████████████████████████████████▍ | 196/287 [34:47<16:16, 10.73s/it][A + hellaswag_vi: 69%|████████████████████████████████████████████████████████████████████████████▉ | 197/287 [34:58<16:01, 10.68s/it][A + hellaswag_vi: 69%|█████████████████████████████████████████████████████████████████████████████▎ | 198/287 [35:09<16:06, 10.86s/it][A + hellaswag_vi: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 199/287 [35:20<16:02, 10.93s/it][A + hellaswag_vi: 70%|██████████████████████████████████████████████████████████████████████████████ | 200/287 [35:31<15:39, 10.80s/it][A + hellaswag_vi: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 201/287 [35:41<15:21, 10.71s/it][A + hellaswag_vi: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 202/287 [35:51<14:57, 10.56s/it][A + hellaswag_vi: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 203/287 [36:02<14:49, 10.59s/it][A + hellaswag_vi: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 204/287 [36:13<14:56, 10.81s/it][A + hellaswag_vi: 71%|████████████████████████████████████████████████████████████████████████████████ | 205/287 [36:25<15:03, 11.02s/it][A + hellaswag_vi: 72%|████████████████████████████████████████████████████████████████████████████████▍ | 206/287 [36:35<14:44, 10.92s/it][A + hellaswag_vi: 72%|████████████████████████████████████████████████████████████████████████████████▊ | 207/287 [36:46<14:21, 10.77s/it][A + hellaswag_vi: 72%|█████████████████████████████████████████████████████████████████████████████████▏ | 208/287 [36:57<14:10, 10.77s/it][A + hellaswag_vi: 73%|█████████████████████████████████████████████████████████████████████████████████▌ | 209/287 [37:08<14:09, 10.89s/it][A + hellaswag_vi: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 210/287 [37:18<13:52, 10.82s/it][A + hellaswag_vi: 74%|██████████████████████████████████████████████████████████████████████████████████▎ | 211/287 [37:28<13:15, 10.46s/it][A + hellaswag_vi: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 212/287 [37:39<13:20, 10.67s/it][A + hellaswag_vi: 74%|███████████████████████████████████████████████████████████████████████████████████ | 213/287 [37:51<13:24, 10.87s/it][A + hellaswag_vi: 75%|███████████████████████████████████████████████████████████████████████████████████▌ | 214/287 [38:02<13:18, 10.94s/it][A + hellaswag_vi: 75%|███████████████████████████████████████████████████████████████████████████████████▉ | 215/287 [38:12<12:58, 10.81s/it][A + hellaswag_vi: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 216/287 [38:23<12:56, 10.93s/it][A + hellaswag_vi: 76%|████████████████████████████████████████████████████████████████████████████████████▋ | 217/287 [38:34<12:37, 10.82s/it][A + hellaswag_vi: 76%|█████████████████████████████████████████████████████████████████████████████████████ | 218/287 [38:45<12:35, 10.95s/it][A + hellaswag_vi: 76%|█████████████████████████████████████████████████████████████████████████████████████▍ | 219/287 [38:56<12:18, 10.86s/it][A + hellaswag_vi: 77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 220/287 [39:06<11:48, 10.58s/it][A + hellaswag_vi: 77%|██████████████████████████████████████████████████████████████████████████████████████▏ | 221/287 [39:16<11:41, 10.62s/it][A + hellaswag_vi: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 222/287 [39:28<11:44, 10.84s/it][A + hellaswag_vi: 78%|███████████████████████████████████████████████████████████████████████████████████████ | 223/287 [39:39<11:34, 10.85s/it][A + hellaswag_vi: 78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 224/287 [39:49<11:18, 10.78s/it][A + hellaswag_vi: 78%|███████████████████████████████████████████████████████████████████████████████████████▊ | 225/287 [40:00<11:02, 10.69s/it][A + hellaswag_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████▏ | 226/287 [40:11<10:55, 10.74s/it][A + hellaswag_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 227/287 [40:20<10:26, 10.44s/it][A + hellaswag_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 228/287 [40:30<09:56, 10.11s/it][A + hellaswag_vi: 80%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 229/287 [40:41<10:06, 10.45s/it][A + hellaswag_vi: 80%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 230/287 [40:52<10:02, 10.56s/it][A + hellaswag_vi: 80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 231/287 [41:03<10:02, 10.76s/it][A + hellaswag_vi: 81%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 232/287 [41:13<09:45, 10.64s/it][A + hellaswag_vi: 81%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 233/287 [41:25<09:42, 10.78s/it][A + hellaswag_vi: 82%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 234/287 [41:35<09:28, 10.72s/it][A + hellaswag_vi: 82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 235/287 [41:46<09:24, 10.86s/it][A + hellaswag_vi: 82%|████████████████████████████████████████████████████████████████████████████████████████████ | 236/287 [41:57<09:08, 10.76s/it][A + hellaswag_vi: 83%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 237/287 [42:08<09:09, 10.99s/it][A + hellaswag_vi: 83%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 238/287 [42:19<08:52, 10.88s/it][A + hellaswag_vi: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/287 [42:29<08:34, 10.72s/it][A + hellaswag_vi: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/287 [42:40<08:22, 10.69s/it][A + hellaswag_vi: 84%|██████████████████████████████████████████████████████████████████████████████████████████████ | 241/287 [42:50<08:10, 10.65s/it][A + hellaswag_vi: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 242/287 [43:01<07:57, 10.62s/it][A + hellaswag_vi: 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 243/287 [43:12<07:58, 10.87s/it][A + hellaswag_vi: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 244/287 [43:24<07:50, 10.95s/it][A + hellaswag_vi: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 245/287 [43:34<07:33, 10.80s/it][A + hellaswag_vi: 86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 246/287 [43:45<07:29, 10.97s/it][A + hellaswag_vi: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/287 [43:56<07:12, 10.81s/it][A + hellaswag_vi: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/287 [44:07<07:01, 10.80s/it][A + hellaswag_vi: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/287 [44:17<06:46, 10.70s/it][A + hellaswag_vi: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/287 [44:28<06:38, 10.78s/it][A + hellaswag_vi: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/287 [44:39<06:33, 10.92s/it][A + hellaswag_vi: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/287 [44:50<06:19, 10.84s/it][A + hellaswag_vi: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/287 [45:00<05:57, 10.52s/it][A + hellaswag_vi: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 254/287 [45:11<05:49, 10.60s/it][A + hellaswag_vi: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 255/287 [45:21<05:35, 10.49s/it][A + hellaswag_vi: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 256/287 [45:33<05:37, 10.89s/it][A + hellaswag_vi: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 257/287 [45:43<05:26, 10.87s/it][A + hellaswag_vi: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 258/287 [45:54<05:14, 10.85s/it][A + hellaswag_vi: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 259/287 [46:05<05:06, 10.94s/it][A + hellaswag_vi: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/287 [46:16<04:51, 10.78s/it][A + hellaswag_vi: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/287 [46:27<04:41, 10.81s/it][A + hellaswag_vi: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/287 [46:37<04:28, 10.73s/it][A + hellaswag_vi: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 263/287 [46:48<04:15, 10.65s/it][A + hellaswag_vi: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 264/287 [46:59<04:07, 10.76s/it][A + hellaswag_vi: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 265/287 [47:10<03:59, 10.87s/it][A + hellaswag_vi: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 266/287 [47:21<03:47, 10.83s/it][A + hellaswag_vi: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 267/287 [47:31<03:34, 10.72s/it][A + hellaswag_vi: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 268/287 [47:42<03:24, 10.78s/it][A + hellaswag_vi: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 269/287 [47:53<03:13, 10.77s/it][A + hellaswag_vi: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 270/287 [48:03<03:01, 10.69s/it][A + hellaswag_vi: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 271/287 [48:14<02:52, 10.81s/it][A + hellaswag_vi: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 272/287 [48:25<02:43, 10.91s/it][A + hellaswag_vi: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 273/287 [48:36<02:31, 10.82s/it][A + hellaswag_vi: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 274/287 [48:47<02:19, 10.75s/it][A + hellaswag_vi: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 275/287 [48:57<02:09, 10.76s/it][A + hellaswag_vi: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 276/287 [49:07<01:55, 10.52s/it][A + hellaswag_vi: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 277/287 [49:18<01:45, 10.51s/it][A + hellaswag_vi: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 278/287 [49:29<01:36, 10.74s/it][A + hellaswag_vi: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 279/287 [49:39<01:23, 10.47s/it][A + hellaswag_vi: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 280/287 [49:49<01:11, 10.24s/it][A + hellaswag_vi: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 281/287 [49:59<01:02, 10.35s/it][A + hellaswag_vi: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 282/287 [50:09<00:50, 10.17s/it][A + hellaswag_vi: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 283/287 [50:20<00:42, 10.52s/it][A + hellaswag_vi: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 284/287 [50:31<00:31, 10.61s/it][A + hellaswag_vi: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 285/287 [50:42<00:21, 10.72s/it][A + hellaswag_vi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 286/287 [50:53<00:10, 10.90s/it][A + hellaswag_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [51:00<00:00, 9.52s/it][A hellaswag_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [51:00<00:00, 10.66s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_vi_acc 0.3195808775376555 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_vi_acc_norm 0.38626937349923596 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 13:59:53,607 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 13:59:53,607 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:53,739 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 13:59:53,739 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:53,870 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 13:59:53,870 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:54,001 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 13:59:54,002 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 13:59:54,002 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 13:59:54,135 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 13:59:54,135 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_vi_acc'} +2024-05-30 13:59:54,202 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 13:59:54,202 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1199, 'value': 0.3195808775376555} +2024-05-30 13:59:54,269 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 13:59:54,915 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 13:59:54,915 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:55,041 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 13:59:55,041 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:55,168 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 13:59:55,168 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:55,294 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 13:59:55,295 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 13:59:55,295 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 13:59:55,422 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 13:59:55,422 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_vi_acc_norm'} +2024-05-30 13:59:55,487 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 13:59:55,487 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1200, 'value': 0.38626937349923596} +2024-05-30 13:59:55,550 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 49%|█████████████████████████████████████████████████████▏ | 61/124 [31:12:24<63:59:04, 3656.25s/it]['hellaswag_zh'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 13:59:56,195 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 13:59:56,195 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:56,322 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 13:59:56,322 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:56,449 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 13:59:56,449 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 13:59:56,575 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 13:59:56,576 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 13:59:56,576 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'hellaswag_zh'} +2024-05-30 13:59:56,704 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=hellaswag_zh task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 1000 examples [00:00, 6844.33 examples/s][A + Generating validation split: 3000 examples [00:00, 12388.51 examples/s][A + Generating validation split: 5000 examples [00:00, 14496.73 examples/s][A + Generating validation split: 7000 examples [00:00, 15553.34 examples/s][A + Generating validation split: 9000 examples [00:00, 16156.72 examples/s][A Generating validation split: 9266 examples [00:00, 14655.47 examples/s] +Loaded 9266 examples +Running loglikelihood requests + + hellaswag_zh: 0%| | 0/290 [00:00<?, ?it/s][A + hellaswag_zh: 0%|▍ | 1/290 [00:09<44:52, 9.32s/it][A + hellaswag_zh: 1%|▊ | 2/290 [00:17<42:23, 8.83s/it][A + hellaswag_zh: 1%|█▏ | 3/290 [00:27<43:32, 9.10s/it][A + hellaswag_zh: 1%|█▌ | 4/290 [00:35<42:09, 8.85s/it][A + hellaswag_zh: 2%|█▉ | 5/290 [00:44<41:24, 8.72s/it][A + hellaswag_zh: 2%|██▎ | 6/290 [00:53<42:03, 8.89s/it][A + hellaswag_zh: 2%|██▊ | 7/290 [01:02<41:45, 8.85s/it][A + hellaswag_zh: 3%|███▏ | 8/290 [01:10<41:06, 8.75s/it][A + hellaswag_zh: 3%|███▌ | 9/290 [01:19<40:46, 8.71s/it][A + hellaswag_zh: 3%|███▉ | 10/290 [01:27<40:36, 8.70s/it][A + hellaswag_zh: 4%|████▎ | 11/290 [01:36<40:26, 8.70s/it][A + hellaswag_zh: 4%|████▋ | 12/290 [01:45<40:13, 8.68s/it][A + hellaswag_zh: 4%|█████ | 13/290 [01:54<40:11, 8.71s/it][A + hellaswag_zh: 5%|█████▍ | 14/290 [02:03<40:48, 8.87s/it][A + hellaswag_zh: 5%|█████▊ | 15/290 [02:11<40:01, 8.73s/it][A + hellaswag_zh: 6%|██████▏ | 16/290 [02:20<40:00, 8.76s/it][A + hellaswag_zh: 6%|██████▌ | 17/290 [02:29<39:27, 8.67s/it][A + hellaswag_zh: 6%|███████ | 18/290 [02:37<39:18, 8.67s/it][A + hellaswag_zh: 7%|███████▍ | 19/290 [02:46<39:02, 8.64s/it][A + hellaswag_zh: 7%|███████▊ | 20/290 [02:55<39:18, 8.74s/it][A + hellaswag_zh: 7%|████████▏ | 21/290 [03:04<40:25, 9.02s/it][A + hellaswag_zh: 8%|████████▌ | 22/290 [03:13<39:10, 8.77s/it][A + hellaswag_zh: 8%|████████▉ | 23/290 [03:22<39:32, 8.88s/it][A + hellaswag_zh: 8%|█████████▎ | 24/290 [03:31<39:55, 9.01s/it][A + hellaswag_zh: 9%|█████████▋ | 25/290 [03:40<39:01, 8.84s/it][A + hellaswag_zh: 9%|██████████▏ | 26/290 [03:48<39:04, 8.88s/it][A + hellaswag_zh: 9%|██████████▌ | 27/290 [03:57<38:15, 8.73s/it][A + hellaswag_zh: 10%|██████████▉ | 28/290 [04:06<38:54, 8.91s/it][A + hellaswag_zh: 10%|███████████▎ | 29/290 [04:15<38:44, 8.90s/it][A + hellaswag_zh: 10%|███████████▋ | 30/290 [04:23<37:56, 8.76s/it][A + hellaswag_zh: 11%|████████████ | 31/290 [04:32<37:01, 8.58s/it][A + hellaswag_zh: 11%|████████████▍ | 32/290 [04:40<36:23, 8.46s/it][A + hellaswag_zh: 11%|████████████▊ | 33/290 [04:49<36:30, 8.52s/it][A + hellaswag_zh: 12%|█████████████▏ | 34/290 [04:56<35:32, 8.33s/it][A + hellaswag_zh: 12%|█████████████▋ | 35/290 [05:05<36:18, 8.54s/it][A + hellaswag_zh: 12%|██████████████ | 36/290 [05:14<36:49, 8.70s/it][A + hellaswag_zh: 13%|██████████████▍ | 37/290 [05:23<36:26, 8.64s/it][A + hellaswag_zh: 13%|██████████████▊ | 38/290 [05:32<36:07, 8.60s/it][A + hellaswag_zh: 13%|███████████████▏ | 39/290 [05:41<36:34, 8.74s/it][A + hellaswag_zh: 14%|███████████████▌ | 40/290 [05:50<36:42, 8.81s/it][A + hellaswag_zh: 14%|███████████████▉ | 41/290 [05:58<36:32, 8.81s/it][A + hellaswag_zh: 14%|████████████████▎ | 42/290 [06:07<36:06, 8.74s/it][A + hellaswag_zh: 15%|████████████████▊ | 43/290 [06:16<36:05, 8.77s/it][A + hellaswag_zh: 15%|█████████████████▏ | 44/290 [06:24<35:37, 8.69s/it][A + hellaswag_zh: 16%|█████████████████▌ | 45/290 [06:32<34:30, 8.45s/it][A + hellaswag_zh: 16%|█████████████████▉ | 46/290 [06:41<34:25, 8.47s/it][A + hellaswag_zh: 16%|██████████████████▎ | 47/290 [06:49<33:53, 8.37s/it][A + hellaswag_zh: 17%|██████████████████▋ | 48/290 [06:58<34:12, 8.48s/it][A + hellaswag_zh: 17%|███████████████████ | 49/290 [07:06<34:15, 8.53s/it][A + hellaswag_zh: 17%|███████████████████▍ | 50/290 [07:15<34:18, 8.58s/it][A + hellaswag_zh: 18%|███████████████████▊ | 51/290 [07:24<34:15, 8.60s/it][A + hellaswag_zh: 18%|████████████████████▎ | 52/290 [07:32<33:56, 8.56s/it][A + hellaswag_zh: 18%|████████████████████▋ | 53/290 [07:40<33:39, 8.52s/it][A + hellaswag_zh: 19%|█████████████████████ | 54/290 [07:49<33:45, 8.58s/it][A + hellaswag_zh: 19%|█████████████████████▍ | 55/290 [07:58<34:00, 8.68s/it][A + hellaswag_zh: 19%|█████████████████████▊ | 56/290 [08:07<34:25, 8.83s/it][A + hellaswag_zh: 20%|██████████████████████▏ | 57/290 [08:17<35:07, 9.04s/it][A + hellaswag_zh: 20%|██████████████████████▌ | 58/290 [08:25<34:34, 8.94s/it][A + hellaswag_zh: 20%|██████████████████████▉ | 59/290 [08:34<33:46, 8.77s/it][A + hellaswag_zh: 21%|███████████████████████▍ | 60/290 [08:42<33:18, 8.69s/it][A + hellaswag_zh: 21%|███████████████████████▊ | 61/290 [08:51<32:53, 8.62s/it][A + hellaswag_zh: 21%|████████████████████████▏ | 62/290 [08:59<32:47, 8.63s/it][A + hellaswag_zh: 22%|████████████████████████▌ | 63/290 [09:08<32:25, 8.57s/it][A + hellaswag_zh: 22%|████████████████████████▉ | 64/290 [09:17<32:27, 8.62s/it][A + hellaswag_zh: 22%|█████████████████████████▎ | 65/290 [09:25<32:05, 8.56s/it][A + hellaswag_zh: 23%|█████████████████████████▋ | 66/290 [09:33<31:47, 8.51s/it][A + hellaswag_zh: 23%|██████████████████████████ | 67/290 [09:42<31:42, 8.53s/it][A + hellaswag_zh: 23%|██████████████████████████▍ | 68/290 [09:50<31:26, 8.50s/it][A + hellaswag_zh: 24%|██████████████████████████▉ | 69/290 [09:59<31:51, 8.65s/it][A + hellaswag_zh: 24%|███████████████████████████▎ | 70/290 [10:08<31:31, 8.60s/it][A + hellaswag_zh: 24%|███████████████████████████▋ | 71/290 [10:16<31:12, 8.55s/it][A + hellaswag_zh: 25%|████████████████████████████ | 72/290 [10:25<30:47, 8.48s/it][A + hellaswag_zh: 25%|████████████████████████████▍ | 73/290 [10:33<30:48, 8.52s/it][A + hellaswag_zh: 26%|████████████████████████████▊ | 74/290 [10:42<31:13, 8.67s/it][A + hellaswag_zh: 26%|█████████████████████████████▏ | 75/290 [10:51<31:06, 8.68s/it][A + hellaswag_zh: 26%|█████████████████████████████▌ | 76/290 [11:00<31:00, 8.69s/it][A + hellaswag_zh: 27%|██████████████████████████████ | 77/290 [11:09<31:23, 8.84s/it][A + hellaswag_zh: 27%|██████████████████████████████▍ | 78/290 [11:17<30:46, 8.71s/it][A + hellaswag_zh: 27%|██████████████████████████████▊ | 79/290 [11:26<30:34, 8.69s/it][A + hellaswag_zh: 28%|███████████████████████████████▏ | 80/290 [11:35<30:35, 8.74s/it][A + hellaswag_zh: 28%|███████████████████████████████▌ | 81/290 [11:43<30:03, 8.63s/it][A + hellaswag_zh: 28%|███████████████████████████████▉ | 82/290 [11:52<30:08, 8.69s/it][A + hellaswag_zh: 29%|████████████████████████████████▎ | 83/290 [12:00<29:31, 8.56s/it][A + hellaswag_zh: 29%|████████████████████████████████▋ | 84/290 [12:09<29:21, 8.55s/it][A + hellaswag_zh: 29%|█████████████████████████████████ | 85/290 [12:17<29:13, 8.55s/it][A + hellaswag_zh: 30%|█████████████████████████████████▌ | 86/290 [12:26<29:10, 8.58s/it][A + hellaswag_zh: 30%|█████████████████████████████████▉ | 87/290 [12:35<29:01, 8.58s/it][A + hellaswag_zh: 30%|██████████████████████████████████▎ | 88/290 [12:43<28:19, 8.41s/it][A + hellaswag_zh: 31%|██████████████████████████████████▋ | 89/290 [12:51<28:13, 8.43s/it][A + hellaswag_zh: 31%|███████████████████████████████████ | 90/290 [13:00<28:06, 8.43s/it][A + hellaswag_zh: 31%|███████████████████████████████████▍ | 91/290 [13:08<27:53, 8.41s/it][A + hellaswag_zh: 32%|███████████████████████████████████▊ | 92/290 [13:16<27:48, 8.43s/it][A + hellaswag_zh: 32%|████████████████████████████████████▏ | 93/290 [13:25<27:47, 8.46s/it][A + hellaswag_zh: 32%|████████████████████████████████████▋ | 94/290 [13:34<28:23, 8.69s/it][A + hellaswag_zh: 33%|█████████████████████████████████████ | 95/290 [13:43<28:11, 8.67s/it][A + hellaswag_zh: 33%|█████████████████████████████████████▍ | 96/290 [13:51<27:52, 8.62s/it][A + hellaswag_zh: 33%|█████████████████████████████████████▊ | 97/290 [14:01<28:31, 8.87s/it][A + hellaswag_zh: 34%|██████████████████████████████████████▏ | 98/290 [14:09<27:58, 8.74s/it][A + hellaswag_zh: 34%|██████████████████████████████████████▌ | 99/290 [14:18<27:38, 8.68s/it][A + hellaswag_zh: 34%|██████████████████████████████████████▌ | 100/290 [14:26<27:29, 8.68s/it][A + hellaswag_zh: 35%|███████████████████████████████████████ | 101/290 [14:34<26:40, 8.47s/it][A + hellaswag_zh: 35%|███████████████████████████████████████▍ | 102/290 [14:42<26:13, 8.37s/it][A + hellaswag_zh: 36%|███████████████████████████████████████▊ | 103/290 [14:52<26:52, 8.62s/it][A + hellaswag_zh: 36%|████████████████████████████████████████▏ | 104/290 [15:01<27:19, 8.82s/it][A + hellaswag_zh: 36%|████████████████████████████████████████▌ | 105/290 [15:09<26:53, 8.72s/it][A + hellaswag_zh: 37%|████████████████████████████████████████▉ | 106/290 [15:18<26:28, 8.63s/it][A + hellaswag_zh: 37%|█████████████████████████████████████████▎ | 107/290 [15:26<26:14, 8.61s/it][A + hellaswag_zh: 37%|█████████████████████████████████████████▋ | 108/290 [15:35<26:05, 8.60s/it][A + hellaswag_zh: 38%|██████████████████████████████████████████ | 109/290 [15:44<25:59, 8.61s/it][A + hellaswag_zh: 38%|██████████████████████████████████████████▍ | 110/290 [15:52<25:41, 8.56s/it][A + hellaswag_zh: 38%|██████████████████████████████████████████▊ | 111/290 [16:01<25:56, 8.69s/it][A + hellaswag_zh: 39%|███████████████████████████████████████████▎ | 112/290 [16:10<25:43, 8.67s/it][A + hellaswag_zh: 39%|███████████████████████████████████████████▋ | 113/290 [16:18<24:57, 8.46s/it][A + hellaswag_zh: 39%|████████████████████████████████████████████ | 114/290 [16:26<24:56, 8.50s/it][A + hellaswag_zh: 40%|████████████████████████████████████████████▍ | 115/290 [16:35<24:56, 8.55s/it][A + hellaswag_zh: 40%|████████████████████████████████████████████▊ | 116/290 [16:44<25:11, 8.68s/it][A + hellaswag_zh: 40%|█████████████████████████████████████████████▏ | 117/290 [16:53<25:27, 8.83s/it][A + hellaswag_zh: 41%|█████████████████████████████████████████████▌ | 118/290 [17:02<25:40, 8.95s/it][A + hellaswag_zh: 41%|█████████████████████████████████████████████▉ | 119/290 [17:11<25:35, 8.98s/it][A + hellaswag_zh: 41%|██████████████████████████████████████████████▎ | 120/290 [17:20<25:02, 8.84s/it][A + hellaswag_zh: 42%|██████████████████████████████████████████████▋ | 121/290 [17:29<25:15, 8.97s/it][A + hellaswag_zh: 42%|███████████████████████████████████████████████ | 122/290 [17:38<24:52, 8.88s/it][A + hellaswag_zh: 42%|███████████████████████████████████████████████▌ | 123/290 [17:46<24:01, 8.63s/it][A + hellaswag_zh: 43%|███████████████████████████████████████████████▉ | 124/290 [17:55<24:31, 8.86s/it][A + hellaswag_zh: 43%|████████████████████████████████████████████████▎ | 125/290 [18:04<24:04, 8.76s/it][A + hellaswag_zh: 43%|████████████████████████████████████████████████▋ | 126/290 [18:13<23:53, 8.74s/it][A + hellaswag_zh: 44%|█████████████████████████████████████████████████ | 127/290 [18:21<23:31, 8.66s/it][A + hellaswag_zh: 44%|█████████████████████████████████████████████████▍ | 128/290 [18:29<23:13, 8.60s/it][A + hellaswag_zh: 44%|█████████████████████████████████████████████████▊ | 129/290 [18:38<23:01, 8.58s/it][A + hellaswag_zh: 45%|██████████████████████████████████████████████████▏ | 130/290 [18:47<22:59, 8.62s/it][A + hellaswag_zh: 45%|██████████████████████████████████████████████████▌ | 131/290 [18:55<22:18, 8.42s/it][A + hellaswag_zh: 46%|██████████████████████████████████████████████████▉ | 132/290 [19:03<22:20, 8.48s/it][A + hellaswag_zh: 46%|███████████████████████████████████████████████████▎ | 133/290 [19:12<22:24, 8.57s/it][A + hellaswag_zh: 46%|███████████████████████████████████████████████████▊ | 134/290 [19:21<22:27, 8.64s/it][A + hellaswag_zh: 47%|████████████████████████████████████████████████████▏ | 135/290 [19:30<22:44, 8.80s/it][A + hellaswag_zh: 47%|████████████████████████████████████████████████████▌ | 136/290 [19:39<22:29, 8.76s/it][A + hellaswag_zh: 47%|████████████████████████████████████████████████████▉ | 137/290 [19:47<22:09, 8.69s/it][A + hellaswag_zh: 48%|█████████████████████████████████████████████████████▎ | 138/290 [19:55<21:36, 8.53s/it][A + hellaswag_zh: 48%|█████████████████████████████████████████████████████▋ | 139/290 [20:04<21:17, 8.46s/it][A + hellaswag_zh: 48%|██████████████████████████████████████████████████████ | 140/290 [20:12<20:47, 8.32s/it][A + hellaswag_zh: 49%|██████████████████████████████████████████████████████▍ | 141/290 [20:21<21:08, 8.51s/it][A + hellaswag_zh: 49%|██████████████████████████████████████████████████████▊ | 142/290 [20:30<21:32, 8.73s/it][A + hellaswag_zh: 49%|███████████████████████████████████████████████████████▏ | 143/290 [20:38<21:10, 8.64s/it][A + hellaswag_zh: 50%|███████████████████████████████████████████████████████▌ | 144/290 [20:47<20:56, 8.61s/it][A + hellaswag_zh: 50%|████████████████████████████████████████████████████████ | 145/290 [20:56<20:58, 8.68s/it][A + hellaswag_zh: 50%|████████████████████████████████████████████████████████▍ | 146/290 [21:04<20:45, 8.65s/it][A + hellaswag_zh: 51%|████████████████████████████████████████████████████████▊ | 147/290 [21:13<20:29, 8.60s/it][A + hellaswag_zh: 51%|█████████████████████████████████████████████████████████▏ | 148/290 [21:22<20:39, 8.73s/it][A + hellaswag_zh: 51%|█████████████████████████████████████████████████████████▌ | 149/290 [21:30<20:26, 8.70s/it][A + hellaswag_zh: 52%|█████████████████████████████████████████████████████████▉ | 150/290 [21:40<20:35, 8.82s/it][A + hellaswag_zh: 52%|██████████████████████████████████████████████████████████▎ | 151/290 [21:48<20:11, 8.71s/it][A + hellaswag_zh: 52%|██████████████████████████████████████████████████████████▋ | 152/290 [21:57<20:10, 8.77s/it][A + hellaswag_zh: 53%|███████████████████████████████████████████████████████████ | 153/290 [22:05<19:46, 8.66s/it][A + hellaswag_zh: 53%|███████████████████████████████████████████████████████████▍ | 154/290 [22:14<19:38, 8.66s/it][A + hellaswag_zh: 53%|███████████████████████████████████████████████████████████▊ | 155/290 [22:22<19:16, 8.57s/it][A + hellaswag_zh: 54%|████████████████████████████████████████████████████████████▏ | 156/290 [22:32<19:36, 8.78s/it][A + hellaswag_zh: 54%|████████████████████████████████████████████████████████████▋ | 157/290 [22:40<19:17, 8.70s/it][A + hellaswag_zh: 54%|█████████████████████████████████████████████████████████████ | 158/290 [22:48<18:38, 8.47s/it][A + hellaswag_zh: 55%|█████████████████████████████████████████████████████████████▍ | 159/290 [22:57<18:29, 8.47s/it][A + hellaswag_zh: 55%|█████████████████████████████████████████████████████████████▊ | 160/290 [23:05<18:28, 8.53s/it][A + hellaswag_zh: 56%|██████████████████████████████████████████████████████████████▏ | 161/290 [23:14<18:51, 8.77s/it][A + hellaswag_zh: 56%|██████████████████████████████████████████████████████████████▌ | 162/290 [23:23<18:35, 8.71s/it][A + hellaswag_zh: 56%|██████████████████████████████████████████████████████████████▉ | 163/290 [23:31<18:14, 8.62s/it][A + hellaswag_zh: 57%|███████████████████████████████████████████████████████████████▎ | 164/290 [23:40<18:13, 8.68s/it][A + hellaswag_zh: 57%|███████████████████████████████████████████████████████████████▋ | 165/290 [23:49<18:03, 8.67s/it][A + hellaswag_zh: 57%|████████████████████████████████████████████████████████████████ | 166/290 [23:57<17:49, 8.63s/it][A + hellaswag_zh: 58%|████████████████████████████████████████████████████████████████▍ | 167/290 [24:06<17:39, 8.61s/it][A + hellaswag_zh: 58%|████████████████████████████████████████████████████████████████▉ | 168/290 [24:15<17:51, 8.79s/it][A + hellaswag_zh: 58%|█████████████████████████████████████████████████████████████████▎ | 169/290 [24:24<17:36, 8.73s/it][A + hellaswag_zh: 59%|█████████████████████████████████████████████████████████████████▋ | 170/290 [24:33<17:49, 8.91s/it][A + hellaswag_zh: 59%|██████████████████████████████████████████████████████████████████ | 171/290 [24:41<17:06, 8.63s/it][A + hellaswag_zh: 59%|██████████████████████████████████████████████████████████████████▍ | 172/290 [24:51<17:24, 8.85s/it][A + hellaswag_zh: 60%|██████████████████████████████████████████████████████████████████▊ | 173/290 [24:59<17:05, 8.76s/it][A + hellaswag_zh: 60%|███████████████████████████████████████████████████████████████████▏ | 174/290 [25:08<16:54, 8.74s/it][A + hellaswag_zh: 60%|███████████████████████████████████████████████████████████████████▌ | 175/290 [25:16<16:34, 8.64s/it][A + hellaswag_zh: 61%|███████████████████████████████████████████████████████████████████▉ | 176/290 [25:24<16:02, 8.45s/it][A + hellaswag_zh: 61%|████████████████████████████████████████████████████████████████████▎ | 177/290 [25:33<16:00, 8.50s/it][A + hellaswag_zh: 61%|████████████████████████████████████████████████████████████████████▋ | 178/290 [25:41<15:51, 8.49s/it][A + hellaswag_zh: 62%|█████████████████████████████████████████████████████████████████████▏ | 179/290 [25:50<15:55, 8.61s/it][A + hellaswag_zh: 62%|█████████████████████████████████████████████████████████████████████▌ | 180/290 [25:59<15:45, 8.60s/it][A + hellaswag_zh: 62%|█████████████████████████████████████████████████████████████████████▉ | 181/290 [26:07<15:33, 8.57s/it][A + hellaswag_zh: 63%|██████████████████████████████████████████████████████████████████████▎ | 182/290 [26:15<15:14, 8.47s/it][A + hellaswag_zh: 63%|██████████████████████████████████████████████████████████████████████▋ | 183/290 [26:24<15:15, 8.56s/it][A + hellaswag_zh: 63%|███████████████████████████████████████████████████████████████████████ | 184/290 [26:33<15:06, 8.55s/it][A + hellaswag_zh: 64%|███████████████████████████████████████████████████████████████████████▍ | 185/290 [26:42<15:13, 8.70s/it][A + hellaswag_zh: 64%|███████████████████████████████████████████████████████████████████████▊ | 186/290 [26:50<15:02, 8.68s/it][A + hellaswag_zh: 64%|████████████████████████████████████████████████████████████████████████▏ | 187/290 [26:59<14:55, 8.70s/it][A + hellaswag_zh: 65%|████████████████████████████████████████████████████████████████████████▌ | 188/290 [27:08<14:43, 8.66s/it][A + hellaswag_zh: 65%|████████████████████████████████████████████████████████████████████████▉ | 189/290 [27:16<14:28, 8.59s/it][A + hellaswag_zh: 66%|█████████████████████████████████████████████████████████████████████████▍ | 190/290 [27:24<14:06, 8.47s/it][A + hellaswag_zh: 66%|█████████████████████████████████████████████████████████████████████████▊ | 191/290 [27:33<14:15, 8.64s/it][A + hellaswag_zh: 66%|██████████████████████████████████████████████████████████████████████████▏ | 192/290 [27:42<14:01, 8.59s/it][A + hellaswag_zh: 67%|██████████████████████████████████████████████████████████████████████████▌ | 193/290 [27:51<14:08, 8.75s/it][A + hellaswag_zh: 67%|██████████████████████████████████████████████████████████████████████████▉ | 194/290 [28:00<13:55, 8.70s/it][A + hellaswag_zh: 67%|███████████████████████████████████████████████████████████████████████████▎ | 195/290 [28:08<13:42, 8.66s/it][A + hellaswag_zh: 68%|███████████████████████████████████████████████████████████████████████████▋ | 196/290 [28:17<13:51, 8.85s/it][A + hellaswag_zh: 68%|████████████████████████████████████████████████████████████████████████████ | 197/290 [28:26<13:34, 8.76s/it][A + hellaswag_zh: 68%|████████████████████████████████████████████████████████████████████████████▍ | 198/290 [28:35<13:34, 8.85s/it][A + hellaswag_zh: 69%|████████████████████████████████████████████████████████████████████████████▊ | 199/290 [28:44<13:25, 8.85s/it][A + hellaswag_zh: 69%|█████████████████████████████████████████████████████████████████████████████▏ | 200/290 [28:52<12:54, 8.60s/it][A + hellaswag_zh: 69%|█████████████████████████████████████████████████████████████████████████████▋ | 201/290 [29:01<12:46, 8.61s/it][A + hellaswag_zh: 70%|██████████████████████████████████████████████████████████████████████████████ | 202/290 [29:09<12:41, 8.66s/it][A + hellaswag_zh: 70%|██████████████████████████████████████████████████████████████████████████████▍ | 203/290 [29:18<12:33, 8.66s/it][A + hellaswag_zh: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 204/290 [29:27<12:37, 8.81s/it][A + hellaswag_zh: 71%|███████████████████████████████████████████████████████████████████████████████▏ | 205/290 [29:35<12:13, 8.63s/it][A + hellaswag_zh: 71%|███████████████████████████████████████████████████████████████████████████████▌ | 206/290 [29:44<12:06, 8.65s/it][A + hellaswag_zh: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 207/290 [29:53<11:58, 8.66s/it][A + hellaswag_zh: 72%|████████████████████████████████████████████████████████████████████████████████▎ | 208/290 [30:01<11:44, 8.59s/it][A + hellaswag_zh: 72%|████████████████████████████████████████████████████████████████████████████████▋ | 209/290 [30:10<11:49, 8.76s/it][A + hellaswag_zh: 72%|█████████████████████████████████████████████████████████████████████████████████ | 210/290 [30:19<11:39, 8.75s/it][A + hellaswag_zh: 73%|█████████████████████████████████████████████████████████████████████████████████▍ | 211/290 [30:28<11:26, 8.69s/it][A + hellaswag_zh: 73%|█████████████████████████████████████████████████████████████████████████████████▉ | 212/290 [30:36<11:16, 8.67s/it][A + hellaswag_zh: 73%|██████████████████████████████████████████████████████████████████████████████████▎ | 213/290 [30:44<10:52, 8.47s/it][A + hellaswag_zh: 74%|██████████████████████████████████████████████████████████████████████████████████▋ | 214/290 [30:53<10:40, 8.43s/it][A + hellaswag_zh: 74%|███████████████████████████████████████████████████████████████████████████████████ | 215/290 [31:01<10:34, 8.46s/it][A + hellaswag_zh: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 216/290 [31:10<10:32, 8.55s/it][A + hellaswag_zh: 75%|███████████████████████████████████████████████████████████████████████████████████▊ | 217/290 [31:18<10:08, 8.33s/it][A + hellaswag_zh: 75%|████████████████████████████████████████████████████████████████████████████████████▏ | 218/290 [31:27<10:17, 8.57s/it][A + hellaswag_zh: 76%|████████████████████████████████████████████████████████████████████████████████████▌ | 219/290 [31:36<10:12, 8.63s/it][A + hellaswag_zh: 76%|████████████████████████████████████████████████████████████████████████████████████▉ | 220/290 [31:44<09:56, 8.53s/it][A + hellaswag_zh: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 221/290 [31:52<09:45, 8.49s/it][A + hellaswag_zh: 77%|█████████████████████████████████████████████████████████████████████████████████████▋ | 222/290 [32:00<09:30, 8.39s/it][A + hellaswag_zh: 77%|██████████████████████████████████████████████████████████████████████████████████████ | 223/290 [32:09<09:20, 8.37s/it][A + hellaswag_zh: 77%|██████████████████████████████████████████████████████████████████████████████████████▌ | 224/290 [32:17<09:13, 8.39s/it][A + hellaswag_zh: 78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 225/290 [32:26<09:12, 8.50s/it][A + hellaswag_zh: 78%|███████████████████████████████████████████████████████████████████████████████████████▎ | 226/290 [32:35<09:07, 8.56s/it][A + hellaswag_zh: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 227/290 [32:44<09:07, 8.69s/it][A + hellaswag_zh: 79%|████████████████████████████████████████████████████████████████████████████████████████ | 228/290 [32:52<08:55, 8.63s/it][A + hellaswag_zh: 79%|████████████████████████████████████████████████████████████████████████████████████████▍ | 229/290 [33:01<08:52, 8.73s/it][A + hellaswag_zh: 79%|████████████████████████████████████████████████████████████████████████████████████████▊ | 230/290 [33:10<08:43, 8.73s/it][A + hellaswag_zh: 80%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 231/290 [33:19<08:41, 8.83s/it][A + hellaswag_zh: 80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 232/290 [33:27<08:23, 8.68s/it][A + hellaswag_zh: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 233/290 [33:36<08:10, 8.60s/it][A + hellaswag_zh: 81%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 234/290 [33:44<07:59, 8.56s/it][A + hellaswag_zh: 81%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 235/290 [33:53<07:49, 8.54s/it][A + hellaswag_zh: 81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 236/290 [34:01<07:39, 8.51s/it][A + hellaswag_zh: 82%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 237/290 [34:10<07:35, 8.60s/it][A + hellaswag_zh: 82%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 238/290 [34:18<07:25, 8.57s/it][A + hellaswag_zh: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 239/290 [34:27<07:17, 8.57s/it][A + hellaswag_zh: 83%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 240/290 [34:35<07:05, 8.50s/it][A + hellaswag_zh: 83%|█████████████████████████████████████████████████████████████████████████████████████████████ | 241/290 [34:45<07:11, 8.81s/it][A + hellaswag_zh: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 242/290 [34:53<06:59, 8.75s/it][A + hellaswag_zh: 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 243/290 [35:02<06:54, 8.83s/it][A + hellaswag_zh: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 244/290 [35:11<06:41, 8.73s/it][A + hellaswag_zh: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 245/290 [35:20<06:32, 8.71s/it][A + hellaswag_zh: 85%|███████████████████████████████████████████████████████████████████████████████████████████████ | 246/290 [35:28<06:24, 8.73s/it][A + hellaswag_zh: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 247/290 [35:37<06:20, 8.85s/it][A + hellaswag_zh: 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 248/290 [35:46<06:08, 8.78s/it][A + hellaswag_zh: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 249/290 [35:55<05:58, 8.74s/it][A + hellaswag_zh: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 250/290 [36:03<05:47, 8.68s/it][A + hellaswag_zh: 87%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 251/290 [36:12<05:42, 8.78s/it][A + hellaswag_zh: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 252/290 [36:22<05:39, 8.93s/it][A + hellaswag_zh: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 253/290 [36:30<05:24, 8.77s/it][A + hellaswag_zh: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 254/290 [36:39<05:14, 8.74s/it][A + hellaswag_zh: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 255/290 [36:47<05:03, 8.69s/it][A + hellaswag_zh: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 256/290 [36:56<04:59, 8.81s/it][A + hellaswag_zh: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 257/290 [37:05<04:52, 8.86s/it][A + hellaswag_zh: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 258/290 [37:14<04:39, 8.75s/it][A + hellaswag_zh: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 259/290 [37:22<04:28, 8.65s/it][A + hellaswag_zh: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 260/290 [37:31<04:21, 8.73s/it][A + hellaswag_zh: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/290 [37:40<04:10, 8.65s/it][A + hellaswag_zh: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 262/290 [37:48<03:59, 8.55s/it][A + hellaswag_zh: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 263/290 [37:56<03:48, 8.45s/it][A + hellaswag_zh: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 264/290 [38:05<03:44, 8.64s/it][A + hellaswag_zh: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 265/290 [38:14<03:35, 8.63s/it][A + hellaswag_zh: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 266/290 [38:23<03:30, 8.78s/it][A + hellaswag_zh: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 267/290 [38:31<03:19, 8.69s/it][A + hellaswag_zh: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 268/290 [38:41<03:16, 8.92s/it][A + hellaswag_zh: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 269/290 [38:49<03:04, 8.79s/it][A + hellaswag_zh: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 270/290 [38:59<02:58, 8.91s/it][A + hellaswag_zh: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 271/290 [39:07<02:47, 8.81s/it][A + hellaswag_zh: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 272/290 [39:16<02:39, 8.87s/it][A + hellaswag_zh: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 273/290 [39:25<02:29, 8.76s/it][A + hellaswag_zh: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 274/290 [39:34<02:20, 8.81s/it][A + hellaswag_zh: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 275/290 [39:42<02:10, 8.73s/it][A + hellaswag_zh: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 276/290 [39:51<02:02, 8.78s/it][A + hellaswag_zh: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 277/290 [39:59<01:51, 8.59s/it][A + hellaswag_zh: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 278/290 [40:08<01:44, 8.74s/it][A + hellaswag_zh: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 279/290 [40:17<01:35, 8.67s/it][A + hellaswag_zh: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 280/290 [40:25<01:26, 8.65s/it][A + hellaswag_zh: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 281/290 [40:34<01:16, 8.53s/it][A + hellaswag_zh: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 282/290 [40:42<01:08, 8.55s/it][A + hellaswag_zh: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 283/290 [40:51<01:00, 8.64s/it][A + hellaswag_zh: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 284/290 [41:00<00:53, 8.86s/it][A + hellaswag_zh: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 285/290 [41:08<00:42, 8.56s/it][A + hellaswag_zh: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [41:17<00:34, 8.75s/it][A + hellaswag_zh: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [41:26<00:25, 8.55s/it][A + hellaswag_zh: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [41:35<00:17, 8.74s/it][A + hellaswag_zh: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [41:43<00:08, 8.68s/it][A + hellaswag_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [41:50<00:00, 8.20s/it][A hellaswag_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [41:50<00:00, 8.66s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_zh_acc 0.43254910425210447 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_zh_acc_norm 0.5909777681847614 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 14:41:49,929 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 14:41:49,929 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:50,056 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 14:41:50,056 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:50,183 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 14:41:50,183 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:50,310 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 14:41:50,311 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 14:41:50,311 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 14:41:50,439 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 14:41:50,439 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_zh_acc'} +2024-05-30 14:41:50,503 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 14:41:50,503 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1201, 'value': 0.43254910425210447} +2024-05-30 14:41:50,568 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 14:41:51,218 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 14:41:51,218 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:51,346 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 14:41:51,346 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:51,473 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 14:41:51,473 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:51,601 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 14:41:51,602 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 14:41:51,602 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 14:41:51,731 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 14:41:51,731 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_zh_acc_norm'} +2024-05-30 14:41:51,796 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 14:41:51,796 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1202, 'value': 0.5909777681847614} +2024-05-30 14:41:51,860 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 50%|██████████████████████████████████████████████████████ | 62/124 [31:54:21<57:04:44, 3314.27s/it]['mmlu_ar'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 14:41:52,513 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 14:41:52,513 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:52,642 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 14:41:52,642 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:52,770 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 14:41:52,770 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 14:41:52,899 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 14:41:52,899 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 14:41:52,900 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ar'} +2024-05-30 14:41:53,029 INFO sqlalchemy.engine.Engine ROLLBACK +/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_mmlu contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_mmlu/m_mmlu.py +You can avoid this message in future by passing the argument `trust_remote_code=True`. +Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`. + warnings.warn( +[Task(name=mmlu_ar task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1719 examples [00:00, 15782.38 examples/s][A + Generating test split: 5000 examples [00:00, 25047.49 examples/s][A + Generating test split: 8421 examples [00:00, 29110.76 examples/s][A + Generating test split: 11830 examples [00:00, 31041.55 examples/s][A Generating test split: 12928 examples [00:00, 28436.32 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 274 examples [00:00, 26754.49 examples/s] +Running loglikelihood requests + + mmlu_ar: 0%| | 0/404 [00:00<?, ?it/s][A + mmlu_ar: 0%|▎ | 1/404 [00:11<1:18:16, 11.65s/it][A + mmlu_ar: 0%|▌ | 2/404 [00:23<1:17:55, 11.63s/it][A + mmlu_ar: 1%|▊ | 3/404 [00:35<1:20:05, 11.98s/it][A + mmlu_ar: 1%|█▏ | 4/404 [00:48<1:22:07, 12.32s/it][A + mmlu_ar: 1%|█▍ | 5/404 [01:02<1:26:30, 13.01s/it][A + mmlu_ar: 1%|█▋ | 6/404 [01:14<1:23:22, 12.57s/it][A + mmlu_ar: 2%|██ | 7/404 [01:26<1:21:54, 12.38s/it][A + mmlu_ar: 2%|██▎ | 8/404 [01:37<1:19:22, 12.03s/it][A + mmlu_ar: 2%|██▌ | 9/404 [01:48<1:17:36, 11.79s/it][A + mmlu_ar: 2%|██▊ | 10/404 [02:00<1:15:56, 11.56s/it][A + mmlu_ar: 3%|███▏ | 11/404 [02:11<1:16:21, 11.66s/it][A + mmlu_ar: 3%|███▍ | 12/404 [02:23<1:16:10, 11.66s/it][A + mmlu_ar: 3%|███▋ | 13/404 [02:33<1:13:08, 11.22s/it][A + mmlu_ar: 3%|████ | 14/404 [02:44<1:12:22, 11.13s/it][A + mmlu_ar: 4%|████▎ | 15/404 [02:57<1:14:56, 11.56s/it][A + mmlu_ar: 4%|████▌ | 16/404 [03:10<1:17:29, 11.98s/it][A + mmlu_ar: 4%|████▉ | 17/404 [03:20<1:13:26, 11.39s/it][A + mmlu_ar: 4%|█████▏ | 18/404 [03:30<1:11:55, 11.18s/it][A + mmlu_ar: 5%|█████▍ | 19/404 [03:40<1:08:23, 10.66s/it][A + mmlu_ar: 5%|█████▋ | 20/404 [03:51<1:08:55, 10.77s/it][A + mmlu_ar: 5%|██████ | 21/404 [04:03<1:12:11, 11.31s/it][A + mmlu_ar: 5%|██████▎ | 22/404 [04:15<1:12:09, 11.33s/it][A + mmlu_ar: 6%|██████▌ | 23/404 [04:25<1:10:16, 11.07s/it][A + mmlu_ar: 6%|██████▉ | 24/404 [04:37<1:11:34, 11.30s/it][A + mmlu_ar: 6%|███████▏ | 25/404 [04:49<1:12:26, 11.47s/it][A + mmlu_ar: 6%|███████▍ | 26/404 [04:59<1:08:48, 10.92s/it][A + mmlu_ar: 7%|███████▊ | 27/404 [05:08<1:05:50, 10.48s/it][A + mmlu_ar: 7%|████████ | 28/404 [05:19<1:07:17, 10.74s/it][A + mmlu_ar: 7%|████████▎ | 29/404 [05:30<1:07:34, 10.81s/it][A + mmlu_ar: 7%|████████▌ | 30/404 [05:43<1:09:50, 11.21s/it][A + mmlu_ar: 8%|████████▉ | 31/404 [05:55<1:12:38, 11.68s/it][A + mmlu_ar: 8%|█████████▏ | 32/404 [06:06<1:10:57, 11.44s/it][A + mmlu_ar: 8%|█████████▍ | 33/404 [06:19<1:13:13, 11.84s/it][A + mmlu_ar: 8%|█████████▊ | 34/404 [06:32<1:14:16, 12.04s/it][A + mmlu_ar: 9%|██████████ | 35/404 [06:42<1:11:23, 11.61s/it][A + mmlu_ar: 9%|██████████▎ | 36/404 [06:52<1:07:56, 11.08s/it][A + mmlu_ar: 9%|██████████▌ | 37/404 [07:03<1:08:35, 11.21s/it][A + mmlu_ar: 9%|██████████▉ | 38/404 [07:15<1:09:39, 11.42s/it][A + mmlu_ar: 10%|███████████▏ | 39/404 [07:28<1:12:11, 11.87s/it][A + mmlu_ar: 10%|███████████▍ | 40/404 [07:38<1:08:03, 11.22s/it][A + mmlu_ar: 10%|███████████▊ | 41/404 [07:50<1:08:44, 11.36s/it][A + mmlu_ar: 10%|████████████ | 42/404 [08:00<1:06:34, 11.03s/it][A + mmlu_ar: 11%|████████████▎ | 43/404 [08:12<1:08:00, 11.30s/it][A + mmlu_ar: 11%|████████████▋ | 44/404 [08:24<1:09:37, 11.60s/it][A + mmlu_ar: 11%|████████████▉ | 45/404 [08:35<1:07:05, 11.21s/it][A + mmlu_ar: 11%|█████████████▏ | 46/404 [08:46<1:07:48, 11.36s/it][A + mmlu_ar: 12%|█████████████▍ | 47/404 [08:57<1:05:42, 11.04s/it][A + mmlu_ar: 12%|█████████████▊ | 48/404 [09:09<1:07:37, 11.40s/it][A + mmlu_ar: 12%|██████████████ | 49/404 [09:22<1:10:04, 11.84s/it][A + mmlu_ar: 12%|██████████████▎ | 50/404 [09:32<1:07:57, 11.52s/it][A + mmlu_ar: 13%|██████████████▋ | 51/404 [09:44<1:07:27, 11.47s/it][A + mmlu_ar: 13%|██████████████▉ | 52/404 [09:55<1:06:30, 11.34s/it][A + mmlu_ar: 13%|███████████████▏ | 53/404 [10:07<1:07:02, 11.46s/it][A + mmlu_ar: 13%|███████████████▌ | 54/404 [10:20<1:10:40, 12.12s/it][A + mmlu_ar: 14%|███████████████▊ | 55/404 [10:32<1:09:38, 11.97s/it][A + mmlu_ar: 14%|████████████████ | 56/404 [10:43<1:08:26, 11.80s/it][A + mmlu_ar: 14%|████████████████▎ | 57/404 [10:54<1:06:32, 11.50s/it][A + mmlu_ar: 14%|████████████████▋ | 58/404 [11:04<1:03:56, 11.09s/it][A + mmlu_ar: 15%|████████████████▉ | 59/404 [11:14<1:02:09, 10.81s/it][A + mmlu_ar: 15%|█████████████████▏ | 60/404 [11:25<1:01:34, 10.74s/it][A + mmlu_ar: 15%|█████████████████▌ | 61/404 [11:38<1:04:57, 11.36s/it][A + mmlu_ar: 15%|█████████████████▊ | 62/404 [11:49<1:04:26, 11.31s/it][A + mmlu_ar: 16%|██████████████████ | 63/404 [12:01<1:05:14, 11.48s/it][A + mmlu_ar: 16%|██████████████████▍ | 64/404 [12:11<1:02:47, 11.08s/it][A + mmlu_ar: 16%|██████████████████▋ | 65/404 [12:21<1:01:43, 10.92s/it][A + mmlu_ar: 16%|██████████████████▉ | 66/404 [12:32<1:00:31, 10.74s/it][A + mmlu_ar: 17%|███████████████████▏ | 67/404 [12:43<1:00:38, 10.80s/it][A + mmlu_ar: 17%|███████████████████▌ | 68/404 [12:55<1:03:20, 11.31s/it][A + mmlu_ar: 17%|███████████████████▊ | 69/404 [13:07<1:04:21, 11.53s/it][A + mmlu_ar: 17%|████████████████████ | 70/404 [13:18<1:03:43, 11.45s/it][A + mmlu_ar: 18%|████████████████████▍ | 71/404 [13:30<1:04:06, 11.55s/it][A + mmlu_ar: 18%|████████████████████▋ | 72/404 [13:41<1:03:19, 11.44s/it][A + mmlu_ar: 18%|████████████████████▉ | 73/404 [13:53<1:03:11, 11.46s/it][A + mmlu_ar: 18%|█████████████████████▏ | 74/404 [14:04<1:02:26, 11.35s/it][A + mmlu_ar: 19%|█████████████████████▌ | 75/404 [14:16<1:03:41, 11.61s/it][A + mmlu_ar: 19%|█████████████████████▊ | 76/404 [14:27<1:01:40, 11.28s/it][A + mmlu_ar: 19%|██████████████████████ | 77/404 [14:39<1:02:51, 11.53s/it][A + mmlu_ar: 19%|██████████████████████▍ | 78/404 [14:50<1:02:27, 11.49s/it][A + mmlu_ar: 20%|██████████████████████▋ | 79/404 [15:02<1:03:04, 11.65s/it][A + mmlu_ar: 20%|██████████████████████▉ | 80/404 [15:14<1:02:24, 11.56s/it][A + mmlu_ar: 20%|███████████████████████▎ | 81/404 [15:25<1:02:01, 11.52s/it][A + mmlu_ar: 20%|███████████████████████▌ | 82/404 [15:38<1:03:22, 11.81s/it][A + mmlu_ar: 21%|███████████████████████▊ | 83/404 [15:48<1:00:43, 11.35s/it][A + mmlu_ar: 21%|████████████████████████ | 84/404 [16:02<1:04:11, 12.04s/it][A + mmlu_ar: 21%|████████████████████████▊ | 85/404 [16:11<59:19, 11.16s/it][A + mmlu_ar: 21%|████████████████████████▋ | 86/404 [16:23<1:01:42, 11.64s/it][A + mmlu_ar: 22%|████████████████████████▉ | 87/404 [16:36<1:03:20, 11.99s/it][A + mmlu_ar: 22%|█████████████████████████▎ | 88/404 [16:47<1:01:16, 11.64s/it][A + mmlu_ar: 22%|█████████████████████████▌ | 89/404 [16:58<1:00:06, 11.45s/it][A + mmlu_ar: 22%|█████████████████████████▊ | 90/404 [17:11<1:02:01, 11.85s/it][A + mmlu_ar: 23%|██████████████████████████▏ | 91/404 [17:23<1:01:44, 11.84s/it][A + mmlu_ar: 23%|██████████████████████████▍ | 92/404 [17:34<1:00:37, 11.66s/it][A + mmlu_ar: 23%|███████████████████████████▏ | 93/404 [17:44<58:49, 11.35s/it][A + mmlu_ar: 23%|██████████████████████████▉ | 94/404 [17:57<1:00:14, 11.66s/it][A + mmlu_ar: 24%|███████████████████████████▎ | 95/404 [18:09<1:00:19, 11.71s/it][A + mmlu_ar: 24%|███████████████████████████▌ | 96/404 [18:21<1:00:43, 11.83s/it][A + mmlu_ar: 24%|███████████████████████████▊ | 97/404 [18:36<1:05:10, 12.74s/it][A + mmlu_ar: 24%|████████████████████████████▏ | 98/404 [18:46<1:02:02, 12.17s/it][A + mmlu_ar: 25%|████████████████████████████▍ | 99/404 [18:59<1:01:36, 12.12s/it][A + mmlu_ar: 25%|████████████████████████████▍ | 100/404 [19:10<1:00:01, 11.85s/it][A + mmlu_ar: 25%|████████████████████████████▊ | 101/404 [19:22<1:00:14, 11.93s/it][A + mmlu_ar: 25%|█████████████████████████████ | 102/404 [19:36<1:02:58, 12.51s/it][A + mmlu_ar: 25%|█████████████████████████████▊ | 103/404 [19:46<59:33, 11.87s/it][A + mmlu_ar: 26%|█████████████████████████████▌ | 104/404 [19:59<1:00:27, 12.09s/it][A + mmlu_ar: 26%|██████████████████████████████▍ | 105/404 [20:10<59:30, 11.94s/it][A + mmlu_ar: 26%|██████████████████████████████▋ | 106/404 [20:21<56:58, 11.47s/it][A + mmlu_ar: 26%|██████████████████████████████▉ | 107/404 [20:33<58:44, 11.87s/it][A + mmlu_ar: 27%|███████████████████████████████▎ | 108/404 [20:44<56:12, 11.39s/it][A + mmlu_ar: 27%|███████████████████████████████▌ | 109/404 [20:53<53:30, 10.88s/it][A + mmlu_ar: 27%|███████████████████████████████▊ | 110/404 [21:07<57:00, 11.63s/it][A + mmlu_ar: 27%|████████████████████████████████▏ | 111/404 [21:17<54:37, 11.19s/it][A + mmlu_ar: 28%|████████████████████████████████▍ | 112/404 [21:30<56:28, 11.60s/it][A + mmlu_ar: 28%|████████████████████████████████▋ | 113/404 [21:41<55:45, 11.50s/it][A + mmlu_ar: 28%|█████████████████████████████████ | 114/404 [21:51<53:36, 11.09s/it][A + mmlu_ar: 28%|█████████████████████████████████▎ | 115/404 [22:03<55:09, 11.45s/it][A + mmlu_ar: 29%|█████████████████████████████████▌ | 116/404 [22:14<53:32, 11.15s/it][A + mmlu_ar: 29%|█████████████████████████████████▉ | 117/404 [22:26<54:58, 11.49s/it][A + mmlu_ar: 29%|██████████████████████████████████▏ | 118/404 [22:37<54:42, 11.48s/it][A + mmlu_ar: 29%|██████████████████████████████████▍ | 119/404 [22:48<53:39, 11.30s/it][A + mmlu_ar: 30%|██████████████████████████████████▊ | 120/404 [23:00<53:23, 11.28s/it][A + mmlu_ar: 30%|███████████████████████████████████ | 121/404 [23:11<53:11, 11.28s/it][A + mmlu_ar: 30%|███████████████████████████████████▎ | 122/404 [23:23<54:09, 11.52s/it][A + mmlu_ar: 30%|███████████████████████████████████▌ | 123/404 [23:35<54:23, 11.62s/it][A + mmlu_ar: 31%|███████████████████████████████████▉ | 124/404 [23:47<54:48, 11.74s/it][A + mmlu_ar: 31%|████████████████████████████████████▏ | 125/404 [23:58<54:03, 11.63s/it][A + mmlu_ar: 31%|████████████████████████████████████▍ | 126/404 [24:08<51:18, 11.07s/it][A + mmlu_ar: 31%|████████████████████████████████████▊ | 127/404 [24:21<53:43, 11.64s/it][A + mmlu_ar: 32%|█████████████████████████████████████ | 128/404 [24:34<55:40, 12.10s/it][A + mmlu_ar: 32%|█████████████████████████████████████▎ | 129/404 [24:46<55:33, 12.12s/it][A + mmlu_ar: 32%|█████████████████████████████████████▋ | 130/404 [24:56<52:03, 11.40s/it][A + mmlu_ar: 32%|█████████████████████████████████████▉ | 131/404 [25:08<52:26, 11.53s/it][A + mmlu_ar: 33%|██████████████████████████████████████▏ | 132/404 [25:19<51:13, 11.30s/it][A + mmlu_ar: 33%|██████████████████████████████████████▌ | 133/404 [25:30<51:30, 11.40s/it][A + mmlu_ar: 33%|██████████████████████████████████████▊ | 134/404 [25:42<51:43, 11.50s/it][A + mmlu_ar: 33%|███████████████████████████████████████ | 135/404 [25:53<51:36, 11.51s/it][A + mmlu_ar: 34%|███████████████████████████████████████▍ | 136/404 [26:04<50:31, 11.31s/it][A + mmlu_ar: 34%|███████████████████████████████████████▋ | 137/404 [26:16<50:36, 11.37s/it][A + mmlu_ar: 34%|███████████████████████████████████████▉ | 138/404 [26:26<49:20, 11.13s/it][A + mmlu_ar: 34%|████████████████████████████████████████▎ | 139/404 [26:39<51:48, 11.73s/it][A + mmlu_ar: 35%|████████████████████████████████████████▌ | 140/404 [26:51<50:54, 11.57s/it][A + mmlu_ar: 35%|████████████████████████████████████████▊ | 141/404 [27:00<48:21, 11.03s/it][A + mmlu_ar: 35%|█████████████████████████████████████████ | 142/404 [27:12<48:36, 11.13s/it][A + mmlu_ar: 35%|█████████████████████████████████████████▍ | 143/404 [27:24<49:53, 11.47s/it][A + mmlu_ar: 36%|█████████████████████████████████████████▋ | 144/404 [27:35<49:38, 11.45s/it][A + mmlu_ar: 36%|█████████████████████████████████████████▉ | 145/404 [27:47<49:52, 11.56s/it][A + mmlu_ar: 36%|██████████████████████████████████████████▎ | 146/404 [27:57<47:00, 10.93s/it][A + mmlu_ar: 36%|██████████████████████████████████████████▌ | 147/404 [28:07<46:01, 10.75s/it][A + mmlu_ar: 37%|██████████████████████████████████████████▊ | 148/404 [28:17<45:25, 10.65s/it][A + mmlu_ar: 37%|███████████████████████████████████████████▏ | 149/404 [28:27<43:37, 10.26s/it][A + mmlu_ar: 37%|███████████████████████████████████████████▍ | 150/404 [28:38<44:22, 10.48s/it][A + mmlu_ar: 37%|███████████████████████████████████████████▋ | 151/404 [28:48<44:12, 10.48s/it][A + mmlu_ar: 38%|████████████████████████████████████████████ | 152/404 [29:00<45:49, 10.91s/it][A + mmlu_ar: 38%|████████████████████████████████████████████▎ | 153/404 [29:11<45:42, 10.93s/it][A + mmlu_ar: 38%|████████████████████████████████████████████▌ | 154/404 [29:23<46:36, 11.19s/it][A + mmlu_ar: 38%|████████████████████████████████████████████▉ | 155/404 [29:36<48:41, 11.73s/it][A + mmlu_ar: 39%|█████████████████████████████████████████████▏ | 156/404 [29:46<46:47, 11.32s/it][A + mmlu_ar: 39%|█████████████████████████████████████████████▍ | 157/404 [29:58<46:30, 11.30s/it][A + mmlu_ar: 39%|█████████████████████████████████████████████▊ | 158/404 [30:11<48:20, 11.79s/it][A + mmlu_ar: 39%|██████████████████████████████████████████████ | 159/404 [30:23<49:19, 12.08s/it][A + mmlu_ar: 40%|██████████████████████████████████████████████▎ | 160/404 [30:33<46:04, 11.33s/it][A + mmlu_ar: 40%|██████████████████████████████████████████████▋ | 161/404 [30:45<47:19, 11.69s/it][A + mmlu_ar: 40%|██████████████████████████████████████████████▉ | 162/404 [30:57<47:04, 11.67s/it][A + mmlu_ar: 40%|███████████████████████████████████████████████▏ | 163/404 [31:08<46:17, 11.53s/it][A + mmlu_ar: 41%|███████████████████████████████████████████████▍ | 164/404 [31:21<47:54, 11.98s/it][A + mmlu_ar: 41%|███████████████████████████████████████████████▊ | 165/404 [31:34<48:18, 12.13s/it][A + mmlu_ar: 41%|████████████████████████████████████████████████ | 166/404 [31:45<47:40, 12.02s/it][A + mmlu_ar: 41%|████████████████████████████████████████████████▎ | 167/404 [31:57<47:00, 11.90s/it][A + mmlu_ar: 42%|████████████████████████████████████████████████▋ | 168/404 [32:09<47:03, 11.97s/it][A + mmlu_ar: 42%|████████████████████████████████████████████████▉ | 169/404 [32:20<45:21, 11.58s/it][A + mmlu_ar: 42%|█████████████████████████████████████████████████▏ | 170/404 [32:32<45:59, 11.79s/it][A + mmlu_ar: 42%|█████████████████████████████████████████████████▌ | 171/404 [32:44<45:14, 11.65s/it][A + mmlu_ar: 43%|█████████████████████████████████████████████████▊ | 172/404 [32:54<44:11, 11.43s/it][A + mmlu_ar: 43%|██████████████████████████████████████████████████ | 173/404 [33:08<46:05, 11.97s/it][A + mmlu_ar: 43%|██████████████████████████████████████████████████▍ | 174/404 [33:19<45:42, 11.92s/it][A + mmlu_ar: 43%|██████████████████████████████████████████████████▋ | 175/404 [33:31<44:37, 11.69s/it][A + mmlu_ar: 44%|██████████████████████████████████████████████████▉ | 176/404 [33:46<48:24, 12.74s/it][A + mmlu_ar: 44%|███████████████████████████████████████████████████▎ | 177/404 [33:58<47:20, 12.52s/it][A + mmlu_ar: 44%|███████████████████████████████████████████████████▌ | 178/404 [34:09<45:39, 12.12s/it][A + mmlu_ar: 44%|███████████████████████████████████████████████████▊ | 179/404 [34:19<43:31, 11.60s/it][A + mmlu_ar: 45%|████████████████████████████████████████████████████▏ | 180/404 [34:30<41:49, 11.20s/it][A + mmlu_ar: 45%|████████████████████████████████████████████████████▍ | 181/404 [34:42<42:45, 11.51s/it][A + mmlu_ar: 45%|████████████████████████████████████████████████████▋ | 182/404 [34:54<42:51, 11.58s/it][A + mmlu_ar: 45%|████████████████████████████████████████████████████▉ | 183/404 [35:05<42:51, 11.64s/it][A + mmlu_ar: 46%|█████████████████████████████████████████████████████▎ | 184/404 [35:16<41:47, 11.40s/it][A + mmlu_ar: 46%|█████████████████████████████████████████████████████▌ | 185/404 [35:29<43:21, 11.88s/it][A + mmlu_ar: 46%|█████████████████████████████████████████████████████▊ | 186/404 [35:41<43:25, 11.95s/it][A + mmlu_ar: 46%|██████████████████████████████████████████████████████▏ | 187/404 [35:52<41:53, 11.58s/it][A + mmlu_ar: 47%|██████████████████████████████████████████████████████▍ | 188/404 [36:04<42:07, 11.70s/it][A + mmlu_ar: 47%|██████████████████████████████████████████████████████▋ | 189/404 [36:15<41:24, 11.56s/it][A + mmlu_ar: 47%|███████████████████████████████████████████████████████ | 190/404 [36:26<40:18, 11.30s/it][A + mmlu_ar: 47%|███████████████████████████████████████████████████████▎ | 191/404 [36:39<41:53, 11.80s/it][A + mmlu_ar: 48%|███████████████████████████████████████████████████████▌ | 192/404 [36:50<41:18, 11.69s/it][A + mmlu_ar: 48%|███████████████████████████████████████████████████████▉ | 193/404 [37:04<43:04, 12.25s/it][A + mmlu_ar: 48%|████████████████████████████████████████████████████████▏ | 194/404 [37:14<41:03, 11.73s/it][A + mmlu_ar: 48%|████████████████████████████████████████████████████████▍ | 195/404 [37:26<40:25, 11.60s/it][A + mmlu_ar: 49%|████████████████████████████████████████████████████████▊ | 196/404 [37:37<40:02, 11.55s/it][A + mmlu_ar: 49%|█████████████████████████████████████████████████████████ | 197/404 [37:49<40:09, 11.64s/it][A + mmlu_ar: 49%|█████████████████████████████████████████████████████████▎ | 198/404 [37:58<37:18, 10.86s/it][A + mmlu_ar: 49%|█████████████████████████████████████████████████████████▋ | 199/404 [38:09<36:51, 10.79s/it][A + mmlu_ar: 50%|█████████████████████████████████████████████████████████▉ | 200/404 [38:19<36:27, 10.72s/it][A + mmlu_ar: 50%|██████████████████████████████████████████████████████████▏ | 201/404 [38:32<38:12, 11.29s/it][A + mmlu_ar: 50%|██████████████████████████████████████████████████████████▌ | 202/404 [38:43<37:52, 11.25s/it][A + mmlu_ar: 50%|██████████████████████████████████████████████████████████▊ | 203/404 [38:54<37:31, 11.20s/it][A + mmlu_ar: 50%|███████████████████████████████████████████████████████████ | 204/404 [39:06<38:14, 11.47s/it][A + mmlu_ar: 51%|███████████████████████████████████████████████████████████▎ | 205/404 [39:18<38:45, 11.68s/it][A + mmlu_ar: 51%|███████████████████████████████████████████████████████████▋ | 206/404 [39:30<38:25, 11.64s/it][A + mmlu_ar: 51%|███████████████████████████████████████████████████████████▉ | 207/404 [39:42<38:50, 11.83s/it][A + mmlu_ar: 51%|████████████████████████████████████████████████████████████▏ | 208/404 [39:53<37:43, 11.55s/it][A + mmlu_ar: 52%|████████████████████████████████████████████████████████████▌ | 209/404 [40:04<37:01, 11.39s/it][A + mmlu_ar: 52%|████████████████████████████████████████████████████████████▊ | 210/404 [40:15<36:34, 11.31s/it][A + mmlu_ar: 52%|█████████████████████████████████████████████████████████████ | 211/404 [40:29<38:57, 12.11s/it][A + mmlu_ar: 52%|█████████████████████████████████████████████████████████████▍ | 212/404 [40:41<38:05, 11.91s/it][A + mmlu_ar: 53%|█████████████████████████████████████████████████████████████▋ | 213/404 [40:52<37:17, 11.72s/it][A + mmlu_ar: 53%|█████████████████████████████████████████████████████████████▉ | 214/404 [41:05<38:48, 12.26s/it][A + mmlu_ar: 53%|██████████████████████████████████████████████████████████████▎ | 215/404 [41:17<38:21, 12.18s/it][A + mmlu_ar: 53%|██████████████████████████████████████████████████████████████▌ | 216/404 [41:28<36:22, 11.61s/it][A + mmlu_ar: 54%|██████████████████████████████████████████████████████████████▊ | 217/404 [41:39<35:53, 11.51s/it][A + mmlu_ar: 54%|███████████████████████████████████████████████████████████████▏ | 218/404 [41:50<34:56, 11.27s/it][A + mmlu_ar: 54%|███████████████████████████████████████████████████████████████▍ | 219/404 [42:01<34:25, 11.17s/it][A + mmlu_ar: 54%|███████████████████████████████████████████████████████████████▋ | 220/404 [42:14<36:11, 11.80s/it][A + mmlu_ar: 55%|████████████████████████████████████████████████████████████████ | 221/404 [42:24<34:39, 11.36s/it][A + mmlu_ar: 55%|████████████████████████████████████████████████████████████████▎ | 222/404 [42:35<33:48, 11.15s/it][A + mmlu_ar: 55%|████████████████████████████████████████████████████████████████▌ | 223/404 [42:45<32:13, 10.68s/it][A + mmlu_ar: 55%|████████████████████████████████████████████████████████████████▊ | 224/404 [42:57<33:14, 11.08s/it][A + mmlu_ar: 56%|█████████████████████████████████████████████████████████████████▏ | 225/404 [43:07<32:17, 10.82s/it][A + mmlu_ar: 56%|█████████████████████████████████████████████████████████████████▍ | 226/404 [43:19<33:19, 11.23s/it][A + mmlu_ar: 56%|█████████████████████████████████████████████████████████████████▋ | 227/404 [43:30<32:43, 11.09s/it][A + mmlu_ar: 56%|██████████████████████████████████████████████████████████████████ | 228/404 [43:40<31:41, 10.80s/it][A + mmlu_ar: 57%|██████████████████████████████████████████████████████████████████▎ | 229/404 [43:54<34:02, 11.67s/it][A + mmlu_ar: 57%|██████████████████████████████████████████████████████████████████▌ | 230/404 [44:05<33:31, 11.56s/it][A + mmlu_ar: 57%|██████████████████████████████████████████████████████████████████▉ | 231/404 [44:16<32:47, 11.37s/it][A + mmlu_ar: 57%|███████████████████████████████████████████████████████████████████▏ | 232/404 [44:25<31:06, 10.85s/it][A + mmlu_ar: 58%|███████████████████████████████████████████████████████████████████▍ | 233/404 [44:36<30:21, 10.65s/it][A + mmlu_ar: 58%|███████████████████████████████████████████████████████████████████▊ | 234/404 [44:47<31:11, 11.01s/it][A + mmlu_ar: 58%|████████████████████████████████████████████████████████████████████ | 235/404 [44:59<31:07, 11.05s/it][A + mmlu_ar: 58%|████████████████████████████████████████████████████████████████████▎ | 236/404 [45:10<30:52, 11.02s/it][A + mmlu_ar: 59%|████████████████████████████████████████████████████████████████████▋ | 237/404 [45:22<31:59, 11.49s/it][A + mmlu_ar: 59%|████████████████████████████████████████████████████████████████████▉ | 238/404 [45:33<30:55, 11.18s/it][A + mmlu_ar: 59%|█████████████████████████████████████████████████████████████████████▏ | 239/404 [45:45<31:36, 11.49s/it][A + mmlu_ar: 59%|█████████████████████████████████████████████████████████████████████▌ | 240/404 [45:58<32:37, 11.93s/it][A + mmlu_ar: 60%|█████████████████████████████████████████████████████████████████████▊ | 241/404 [46:10<32:41, 12.04s/it][A + mmlu_ar: 60%|██████████████████████████████████████████████████████████████████████ | 242/404 [46:20<31:11, 11.55s/it][A + mmlu_ar: 60%|██████████████████████████████████████████████████████████████████████▎ | 243/404 [46:34<32:48, 12.23s/it][A + mmlu_ar: 60%|██████████████████████████████████████████████████████████████████████▋ | 244/404 [46:46<32:09, 12.06s/it][A + mmlu_ar: 61%|██████████████████████████████████████████████████████████████████████▉ | 245/404 [46:59<32:51, 12.40s/it][A + mmlu_ar: 61%|███████████████████████████████████████████████████████████████████████▏ | 246/404 [47:09<30:27, 11.57s/it][A + mmlu_ar: 61%|███████████████████████████████████████████████████████████████████████▌ | 247/404 [47:18<28:20, 10.83s/it][A + mmlu_ar: 61%|███████████████████████████████████████████████████████████████████████▊ | 248/404 [47:30<29:05, 11.19s/it][A + mmlu_ar: 62%|████████████████████████████████████████████████████████████████████████ | 249/404 [47:42<29:22, 11.37s/it][A + mmlu_ar: 62%|████████████████████████████████████████████████████████████████████████▍ | 250/404 [47:54<29:34, 11.52s/it][A + mmlu_ar: 62%|████████████████████████████████████████████████████████████████████████▋ | 251/404 [48:06<30:00, 11.77s/it][A + mmlu_ar: 62%|████████████████████████████████████████████████████████████████████████▉ | 252/404 [48:17<29:27, 11.63s/it][A + mmlu_ar: 63%|█████████████████████████████████████████████████████████████████████████▎ | 253/404 [48:28<28:42, 11.40s/it][A + mmlu_ar: 63%|█████████████████████████████████████████████████████████████████████████▌ | 254/404 [48:41<29:34, 11.83s/it][A + mmlu_ar: 63%|█████████████████████████████████████████████████████████████████████████▊ | 255/404 [48:58<33:33, 13.51s/it][A + mmlu_ar: 63%|██████████████████████████████████████████████████████████████████████████▏ | 256/404 [49:12<33:27, 13.56s/it][A + mmlu_ar: 64%|██████████████████████████████████████████████████████████████████████████▍ | 257/404 [49:23<31:36, 12.90s/it][A + mmlu_ar: 64%|██████████████████████████████████████████████████████████████████████████▋ | 258/404 [49:35<30:23, 12.49s/it][A + mmlu_ar: 64%|███████████████████████████████████████████████████████████████████████████ | 259/404 [49:50<31:46, 13.15s/it][A + mmlu_ar: 64%|███████████████████████████████████████████████████████████████████████████▎ | 260/404 [50:02<30:47, 12.83s/it][A + mmlu_ar: 65%|███████████████████████████████████████████████████████████████████████████▌ | 261/404 [50:12<28:49, 12.10s/it][A + mmlu_ar: 65%|███████████████████████████████████████████████████████████████████████████▉ | 262/404 [50:24<28:16, 11.95s/it][A + mmlu_ar: 65%|████████████████████████████████████████████████████████████████████████████▏ | 263/404 [50:37<28:59, 12.34s/it][A + mmlu_ar: 65%|████████████████████████████████████████████████████████████████████████████▍ | 264/404 [50:48<27:42, 11.87s/it][A + mmlu_ar: 66%|████████████████████████████████████████████████████████████████████████████▋ | 265/404 [50:57<25:41, 11.09s/it][A + mmlu_ar: 66%|█████████████████████████████████████████████████████████████████████████████ | 266/404 [51:08<25:14, 10.97s/it][A + mmlu_ar: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 267/404 [51:20<25:41, 11.25s/it][A + mmlu_ar: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 268/404 [51:31<25:51, 11.41s/it][A + mmlu_ar: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 269/404 [51:41<24:46, 11.01s/it][A + mmlu_ar: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 270/404 [51:52<24:34, 11.00s/it][A + mmlu_ar: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 271/404 [52:04<24:51, 11.21s/it][A + mmlu_ar: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 272/404 [52:15<24:39, 11.21s/it][A + mmlu_ar: 68%|███████████████████████████████████████████████████████████████████████████████ | 273/404 [52:26<24:12, 11.09s/it][A + mmlu_ar: 68%|███████████████████████████████████████████████████████████████████████████████▎ | 274/404 [52:39<25:16, 11.67s/it][A + mmlu_ar: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 275/404 [52:50<24:32, 11.42s/it][A + mmlu_ar: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 276/404 [53:02<24:45, 11.61s/it][A + mmlu_ar: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 277/404 [53:13<24:04, 11.37s/it][A + mmlu_ar: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 278/404 [53:23<22:51, 10.89s/it][A + mmlu_ar: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 279/404 [53:36<24:06, 11.57s/it][A + mmlu_ar: 69%|█████████████████████████████████████████████████████████████████████████████████ | 280/404 [53:48<24:13, 11.72s/it][A + mmlu_ar: 70%|█████████████████████████████████████████████████████████████████████████████████▍ | 281/404 [54:01<24:49, 12.11s/it][A + mmlu_ar: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 282/404 [54:11<23:31, 11.57s/it][A + mmlu_ar: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 283/404 [54:21<22:03, 10.94s/it][A + mmlu_ar: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 284/404 [54:32<21:58, 10.99s/it][A + mmlu_ar: 71%|██████████████████████████████████████████████████████████████████████████████████▌ | 285/404 [54:43<21:58, 11.08s/it][A + mmlu_ar: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 286/404 [54:55<22:30, 11.45s/it][A + mmlu_ar: 71%|███████████████████████████████████████████████████████████████████████████████████ | 287/404 [55:06<21:43, 11.14s/it][A + mmlu_ar: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 288/404 [55:17<21:27, 11.10s/it][A + mmlu_ar: 72%|███████████████████████████████████████████████████████████████████████████████████▋ | 289/404 [55:29<21:53, 11.42s/it][A + mmlu_ar: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 290/404 [55:40<21:43, 11.44s/it][A + mmlu_ar: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 291/404 [55:53<22:05, 11.73s/it][A + mmlu_ar: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 292/404 [56:05<21:51, 11.71s/it][A + mmlu_ar: 73%|████████████████████████████████████████████████████████████████████████████████████▊ | 293/404 [56:16<21:25, 11.58s/it][A + mmlu_ar: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 294/404 [56:29<21:59, 11.99s/it][A + mmlu_ar: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 295/404 [56:43<22:46, 12.54s/it][A + mmlu_ar: 73%|█████████████████████████████████████████████████████████████████████████████████████▋ | 296/404 [56:54<22:06, 12.28s/it][A + mmlu_ar: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 297/404 [57:05<21:18, 11.95s/it][A + mmlu_ar: 74%|██████████████████████████████████████████████████████████████████████████████████████▎ | 298/404 [57:18<21:23, 12.11s/it][A + mmlu_ar: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 299/404 [57:28<20:06, 11.49s/it][A + mmlu_ar: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 300/404 [57:40<20:07, 11.61s/it][A + mmlu_ar: 75%|███████████████████████████████████████████████████████████████████████████████████████▏ | 301/404 [57:51<19:26, 11.32s/it][A + mmlu_ar: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 302/404 [58:01<19:02, 11.20s/it][A + mmlu_ar: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 303/404 [58:13<18:59, 11.28s/it][A + mmlu_ar: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 304/404 [58:24<18:28, 11.09s/it][A + mmlu_ar: 75%|████████████████████████████████████████████████████████████████████████████████████████▎ | 305/404 [58:33<17:23, 10.54s/it][A + mmlu_ar: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 306/404 [58:43<16:59, 10.40s/it][A + mmlu_ar: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 307/404 [58:54<17:22, 10.75s/it][A + mmlu_ar: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 308/404 [59:06<17:35, 10.99s/it][A + mmlu_ar: 76%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 309/404 [59:17<17:26, 11.02s/it][A + mmlu_ar: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 310/404 [59:29<17:45, 11.33s/it][A + mmlu_ar: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 311/404 [59:40<17:32, 11.32s/it][A + mmlu_ar: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 312/404 [59:51<17:04, 11.14s/it][A + mmlu_ar: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 313/404 [1:00:02<16:45, 11.05s/it][A + mmlu_ar: 78%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 314/404 [1:00:15<17:15, 11.51s/it][A + mmlu_ar: 78%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 315/404 [1:00:26<17:01, 11.48s/it][A + mmlu_ar: 78%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 316/404 [1:00:37<16:34, 11.31s/it][A + mmlu_ar: 78%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 317/404 [1:00:49<16:43, 11.53s/it][A + mmlu_ar: 79%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 318/404 [1:01:00<16:22, 11.43s/it][A + mmlu_ar: 79%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 319/404 [1:01:11<16:01, 11.31s/it][A + mmlu_ar: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 320/404 [1:01:24<16:16, 11.63s/it][A + mmlu_ar: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 321/404 [1:01:34<15:47, 11.42s/it][A + mmlu_ar: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 322/404 [1:01:49<16:57, 12.41s/it][A + mmlu_ar: 80%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 323/404 [1:02:00<15:57, 11.82s/it][A + mmlu_ar: 80%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 324/404 [1:02:11<15:28, 11.61s/it][A + mmlu_ar: 80%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 325/404 [1:02:24<15:47, 11.99s/it][A + mmlu_ar: 81%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 326/404 [1:02:36<15:33, 11.97s/it][A + mmlu_ar: 81%|█████████████████████████████████████████████████████████████████████████████████████████████ | 327/404 [1:02:46<14:47, 11.53s/it][A + mmlu_ar: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 328/404 [1:02:57<14:14, 11.25s/it][A + mmlu_ar: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 329/404 [1:03:08<14:12, 11.37s/it][A + mmlu_ar: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 330/404 [1:03:19<13:50, 11.22s/it][A + mmlu_ar: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 331/404 [1:03:31<13:48, 11.35s/it][A + mmlu_ar: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 332/404 [1:03:43<13:47, 11.49s/it][A + mmlu_ar: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 333/404 [1:03:53<13:21, 11.29s/it][A + mmlu_ar: 83%|███████████████████████████████████████████████████████████████████████████████████████████████ | 334/404 [1:04:04<12:51, 11.02s/it][A + mmlu_ar: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 335/404 [1:04:16<13:11, 11.47s/it][A + mmlu_ar: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 336/404 [1:04:27<12:49, 11.31s/it][A + mmlu_ar: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 337/404 [1:04:40<12:59, 11.63s/it][A + mmlu_ar: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 338/404 [1:04:50<12:22, 11.24s/it][A + mmlu_ar: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 339/404 [1:05:01<12:08, 11.21s/it][A + mmlu_ar: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 340/404 [1:05:13<12:03, 11.31s/it][A + mmlu_ar: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 341/404 [1:05:25<12:03, 11.49s/it][A + mmlu_ar: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 342/404 [1:05:35<11:36, 11.24s/it][A + mmlu_ar: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 343/404 [1:05:48<11:55, 11.73s/it][A + mmlu_ar: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 344/404 [1:05:59<11:23, 11.38s/it][A + mmlu_ar: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 345/404 [1:06:09<11:01, 11.21s/it][A + mmlu_ar: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 346/404 [1:06:20<10:43, 11.09s/it][A + mmlu_ar: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 347/404 [1:06:34<11:12, 11.79s/it][A + mmlu_ar: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 348/404 [1:06:47<11:18, 12.11s/it][A + mmlu_ar: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 349/404 [1:06:59<11:05, 12.10s/it][A + mmlu_ar: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 350/404 [1:07:11<10:53, 12.11s/it][A + mmlu_ar: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 351/404 [1:07:24<10:56, 12.38s/it][A + mmlu_ar: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 352/404 [1:07:37<10:51, 12.54s/it][A + mmlu_ar: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 353/404 [1:07:52<11:14, 13.23s/it][A + mmlu_ar: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 354/404 [1:08:03<10:34, 12.69s/it][A + mmlu_ar: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 355/404 [1:08:14<09:52, 12.09s/it][A + mmlu_ar: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 356/404 [1:08:25<09:29, 11.87s/it][A + mmlu_ar: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 357/404 [1:08:37<09:19, 11.90s/it][A + mmlu_ar: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 358/404 [1:08:51<09:34, 12.50s/it][A + mmlu_ar: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 359/404 [1:09:02<09:10, 12.23s/it][A + mmlu_ar: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 360/404 [1:09:13<08:41, 11.86s/it][A + mmlu_ar: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 361/404 [1:09:24<08:09, 11.39s/it][A + mmlu_ar: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 362/404 [1:09:36<08:11, 11.71s/it][A + mmlu_ar: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 363/404 [1:09:48<08:01, 11.75s/it][A + mmlu_ar: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 364/404 [1:10:00<07:54, 11.85s/it][A + mmlu_ar: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 365/404 [1:10:11<07:25, 11.43s/it][A + mmlu_ar: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 366/404 [1:10:22<07:18, 11.54s/it][A + mmlu_ar: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 367/404 [1:10:34<07:07, 11.56s/it][A + mmlu_ar: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 368/404 [1:10:45<06:55, 11.54s/it][A + mmlu_ar: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 369/404 [1:10:57<06:47, 11.63s/it][A + mmlu_ar: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 370/404 [1:11:09<06:40, 11.77s/it][A + mmlu_ar: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 371/404 [1:11:21<06:25, 11.68s/it][A + mmlu_ar: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 372/404 [1:11:32<06:06, 11.46s/it][A + mmlu_ar: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 373/404 [1:11:42<05:43, 11.09s/it][A + mmlu_ar: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 374/404 [1:11:57<06:06, 12.22s/it][A + mmlu_ar: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 375/404 [1:12:08<05:42, 11.80s/it][A + mmlu_ar: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 376/404 [1:12:19<05:29, 11.78s/it][A + mmlu_ar: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 377/404 [1:12:30<05:09, 11.46s/it][A + mmlu_ar: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 378/404 [1:12:41<04:53, 11.28s/it][A + mmlu_ar: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 379/404 [1:12:52<04:39, 11.19s/it][A + mmlu_ar: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 380/404 [1:13:02<04:21, 10.89s/it][A + mmlu_ar: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 381/404 [1:13:14<04:16, 11.17s/it][A + mmlu_ar: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 382/404 [1:13:27<04:15, 11.61s/it][A + mmlu_ar: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 383/404 [1:13:37<03:56, 11.26s/it][A + mmlu_ar: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 384/404 [1:13:47<03:35, 10.77s/it][A + mmlu_ar: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 385/404 [1:13:59<03:33, 11.23s/it][A + mmlu_ar: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 386/404 [1:14:11<03:27, 11.52s/it][A + mmlu_ar: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 387/404 [1:14:22<03:12, 11.30s/it][A + mmlu_ar: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 388/404 [1:14:34<03:02, 11.38s/it][A + mmlu_ar: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 389/404 [1:14:44<02:45, 11.06s/it][A + mmlu_ar: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 390/404 [1:14:56<02:37, 11.28s/it][A + mmlu_ar: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 391/404 [1:15:08<02:29, 11.53s/it][A + mmlu_ar: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 392/404 [1:15:19<02:15, 11.32s/it][A + mmlu_ar: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 393/404 [1:15:30<02:06, 11.46s/it][A + mmlu_ar: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 394/404 [1:15:41<01:51, 11.18s/it][A + mmlu_ar: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 395/404 [1:15:51<01:38, 10.90s/it][A + mmlu_ar: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 396/404 [1:16:04<01:31, 11.44s/it][A + mmlu_ar: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 397/404 [1:16:14<01:18, 11.16s/it][A + mmlu_ar: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 398/404 [1:16:26<01:06, 11.15s/it][A + mmlu_ar: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 399/404 [1:16:36<00:55, 11.07s/it][A + mmlu_ar: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 400/404 [1:16:47<00:44, 11.02s/it][A + mmlu_ar: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 401/404 [1:17:00<00:34, 11.59s/it][A + mmlu_ar: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 402/404 [1:17:12<00:23, 11.78s/it][A + mmlu_ar: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 403/404 [1:17:23<00:11, 11.47s/it][A + mmlu_ar: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:17:35<00:00, 11.60s/it][A mmlu_ar: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:17:35<00:00, 11.52s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ar_acc 0.26098391089108913 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ar_acc_norm 0.28047648514851486 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 15:59:31,406 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 15:59:31,406 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:31,530 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 15:59:31,530 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:31,654 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 15:59:31,654 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:31,778 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 15:59:31,779 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 15:59:31,779 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 15:59:31,903 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 15:59:31,903 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ar_acc'} +2024-05-30 15:59:31,966 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 15:59:31,966 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1203, 'value': 0.26098391089108913} +2024-05-30 15:59:32,030 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 15:59:32,664 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 15:59:32,664 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:32,790 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 15:59:32,790 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:32,915 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 15:59:32,915 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:33,040 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 15:59:33,040 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 15:59:33,040 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 15:59:33,167 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 15:59:33,167 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_ar_acc_norm'} +2024-05-30 15:59:33,230 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 15:59:33,230 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1204, 'value': 0.28047648514851486} +2024-05-30 15:59:33,294 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 51%|██████████████████████████████████████████████████████▊ | 63/124 [33:12:02<63:00:23, 3718.42s/it]['mmlu_bn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 15:59:33,943 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 15:59:33,943 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:34,071 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 15:59:34,071 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:34,200 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 15:59:34,200 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 15:59:34,328 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 15:59:34,328 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 15:59:34,329 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_bn'} +2024-05-30 15:59:34,457 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_bn task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1682 examples [00:00, 13877.44 examples/s][A + Generating test split: 5000 examples [00:00, 23638.45 examples/s][A + Generating test split: 8349 examples [00:00, 27862.32 examples/s][A + Generating test split: 11792 examples [00:00, 30094.44 examples/s][A Generating test split: 12227 examples [00:00, 26950.75 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 216 examples [00:00, 25424.30 examples/s] +Running loglikelihood requests + + mmlu_bn: 0%| | 0/383 [00:00<?, ?it/s][A + mmlu_bn: 0%|▎ | 1/383 [00:20<2:11:03, 20.59s/it][A + mmlu_bn: 1%|▌ | 2/383 [00:40<2:07:55, 20.15s/it][A + mmlu_bn: 1%|▉ | 3/383 [00:56<1:56:10, 18.34s/it][A + mmlu_bn: 1%|█▏ | 4/383 [01:11<1:48:04, 17.11s/it][A + mmlu_bn: 1%|█▌ | 5/383 [01:29<1:49:35, 17.40s/it][A + mmlu_bn: 2%|█▊ | 6/383 [01:46<1:47:27, 17.10s/it][A + mmlu_bn: 2%|██▏ | 7/383 [02:03<1:48:00, 17.24s/it][A + mmlu_bn: 2%|██▍ | 8/383 [02:24<1:55:22, 18.46s/it][A + mmlu_bn: 2%|██▋ | 9/383 [02:39<1:48:33, 17.42s/it][A + mmlu_bn: 3%|███ | 10/383 [02:59<1:52:06, 18.03s/it][A + mmlu_bn: 3%|███▎ | 11/383 [03:19<1:55:35, 18.65s/it][A + mmlu_bn: 3%|███▋ | 12/383 [03:38<1:56:28, 18.84s/it][A + mmlu_bn: 3%|███▉ | 13/383 [04:02<2:04:40, 20.22s/it][A + mmlu_bn: 4%|████▏ | 14/383 [04:19<1:59:29, 19.43s/it][A + mmlu_bn: 4%|████▌ | 15/383 [04:38<1:57:18, 19.13s/it][A + mmlu_bn: 4%|████▊ | 16/383 [04:54<1:52:28, 18.39s/it][A + mmlu_bn: 4%|█████▏ | 17/383 [05:12<1:50:24, 18.10s/it][A + mmlu_bn: 5%|█████▍ | 18/383 [05:30<1:50:35, 18.18s/it][A + mmlu_bn: 5%|█████▊ | 19/383 [05:49<1:51:07, 18.32s/it][A + mmlu_bn: 5%|██████ | 20/383 [06:10<1:55:33, 19.10s/it][A + mmlu_bn: 5%|██████▎ | 21/383 [06:25<1:47:55, 17.89s/it][A + mmlu_bn: 6%|██████▋ | 22/383 [06:44<1:49:23, 18.18s/it][A + mmlu_bn: 6%|██████▉ | 23/383 [07:02<1:49:48, 18.30s/it][A + mmlu_bn: 6%|███████▎ | 24/383 [07:24<1:56:36, 19.49s/it][A + mmlu_bn: 7%|███████▌ | 25/383 [07:46<2:00:33, 20.20s/it][A + mmlu_bn: 7%|███████▊ | 26/383 [08:17<2:19:02, 23.37s/it][A + mmlu_bn: 7%|████████▏ | 27/383 [08:37<2:12:39, 22.36s/it][A + mmlu_bn: 7%|████████▍ | 28/383 [08:55<2:05:05, 21.14s/it][A + mmlu_bn: 8%|████████▊ | 29/383 [09:18<2:06:42, 21.48s/it][A + mmlu_bn: 8%|█████████ | 30/383 [09:35<1:59:49, 20.37s/it][A + mmlu_bn: 8%|█████████▍ | 31/383 [09:58<2:03:48, 21.10s/it][A + mmlu_bn: 8%|█████████▋ | 32/383 [10:16<1:58:18, 20.22s/it][A + mmlu_bn: 9%|█████████▉ | 33/383 [10:34<1:53:38, 19.48s/it][A + mmlu_bn: 9%|██████████▎ | 34/383 [10:51<1:48:32, 18.66s/it][A + mmlu_bn: 9%|██████████▌ | 35/383 [11:06<1:42:26, 17.66s/it][A + mmlu_bn: 9%|██████████▉ | 36/383 [11:22<1:39:23, 17.19s/it][A + mmlu_bn: 10%|███████████▏ | 37/383 [11:44<1:46:09, 18.41s/it][A + mmlu_bn: 10%|███████████▌ | 38/383 [12:02<1:46:14, 18.48s/it][A + mmlu_bn: 10%|███████████▊ | 39/383 [12:22<1:47:38, 18.77s/it][A + mmlu_bn: 10%|████████████ | 40/383 [12:42<1:50:01, 19.25s/it][A + mmlu_bn: 11%|████████████▍ | 41/383 [12:58<1:43:30, 18.16s/it][A + mmlu_bn: 11%|████████████▋ | 42/383 [13:18<1:46:09, 18.68s/it][A + mmlu_bn: 11%|█████████████ | 43/383 [13:39<1:50:01, 19.42s/it][A + mmlu_bn: 11%|█████████████▎ | 44/383 [13:56<1:45:21, 18.65s/it][A + mmlu_bn: 12%|█████████████▋ | 45/383 [14:13<1:43:15, 18.33s/it][A + mmlu_bn: 12%|█████████████▉ | 46/383 [14:29<1:38:24, 17.52s/it][A + mmlu_bn: 12%|██████████████▏ | 47/383 [14:47<1:39:55, 17.85s/it][A + mmlu_bn: 13%|██████████████▌ | 48/383 [15:08<1:45:09, 18.83s/it][A + mmlu_bn: 13%|██████████████▊ | 49/383 [15:27<1:44:36, 18.79s/it][A + mmlu_bn: 13%|███████████████▏ | 50/383 [15:44<1:41:35, 18.31s/it][A + mmlu_bn: 13%|███████████████▍ | 51/383 [16:04<1:43:47, 18.76s/it][A + mmlu_bn: 14%|███████████████▋ | 52/383 [16:21<1:40:31, 18.22s/it][A + mmlu_bn: 14%|████████████████ | 53/383 [16:37<1:35:58, 17.45s/it][A + mmlu_bn: 14%|████████████████▎ | 54/383 [16:56<1:39:10, 18.09s/it][A + mmlu_bn: 14%|████████████████▋ | 55/383 [17:18<1:44:33, 19.13s/it][A + mmlu_bn: 15%|████████████████▉ | 56/383 [17:33<1:38:00, 17.98s/it][A + mmlu_bn: 15%|█████████████████▎ | 57/383 [17:52<1:39:26, 18.30s/it][A + mmlu_bn: 15%|█████████████████▌ | 58/383 [18:07<1:33:48, 17.32s/it][A + mmlu_bn: 15%|█████████████████▊ | 59/383 [18:27<1:36:52, 17.94s/it][A + mmlu_bn: 16%|██████████████████▏ | 60/383 [18:43<1:33:37, 17.39s/it][A + mmlu_bn: 16%|██████████████████▍ | 61/383 [19:05<1:41:05, 18.84s/it][A + mmlu_bn: 16%|██████████████████▊ | 62/383 [19:23<1:39:35, 18.62s/it][A + mmlu_bn: 16%|███████████████████ | 63/383 [19:42<1:40:08, 18.78s/it][A + mmlu_bn: 17%|███████████████████▍ | 64/383 [19:59<1:36:04, 18.07s/it][A + mmlu_bn: 17%|███████████████████▋ | 65/383 [20:19<1:39:00, 18.68s/it][A + mmlu_bn: 17%|███████████████████▉ | 66/383 [20:34<1:32:40, 17.54s/it][A + mmlu_bn: 17%|████████████████████▎ | 67/383 [20:52<1:34:09, 17.88s/it][A + mmlu_bn: 18%|████████████████████▌ | 68/383 [21:11<1:34:39, 18.03s/it][A + mmlu_bn: 18%|████████████████████▉ | 69/383 [21:31<1:38:12, 18.77s/it][A + mmlu_bn: 18%|█████████████████████▏ | 70/383 [21:49<1:36:39, 18.53s/it][A + mmlu_bn: 19%|█████████████████████▌ | 71/383 [22:10<1:39:48, 19.20s/it][A + mmlu_bn: 19%|█████████████████████▊ | 72/383 [22:30<1:40:39, 19.42s/it][A + mmlu_bn: 19%|██████████████████████ | 73/383 [22:50<1:41:22, 19.62s/it][A + mmlu_bn: 19%|██████████████████████▍ | 74/383 [23:13<1:45:46, 20.54s/it][A + mmlu_bn: 20%|██████████████████████▋ | 75/383 [23:32<1:43:26, 20.15s/it][A + mmlu_bn: 20%|███████████████████████ | 76/383 [23:53<1:45:16, 20.58s/it][A + mmlu_bn: 20%|███████████████████████▎ | 77/383 [24:11<1:40:16, 19.66s/it][A + mmlu_bn: 20%|███████████████████████▌ | 78/383 [24:27<1:34:53, 18.67s/it][A + mmlu_bn: 21%|███████████████████████▉ | 79/383 [24:45<1:32:47, 18.31s/it][A + mmlu_bn: 21%|████████████████████████▏ | 80/383 [25:04<1:34:20, 18.68s/it][A + mmlu_bn: 21%|████████████████████████▌ | 81/383 [25:25<1:37:22, 19.35s/it][A + mmlu_bn: 21%|████████████████████████▊ | 82/383 [25:43<1:34:12, 18.78s/it][A + mmlu_bn: 22%|█████████████████████████▏ | 83/383 [25:59<1:29:39, 17.93s/it][A + mmlu_bn: 22%|█████████████████████████▍ | 84/383 [26:19<1:32:30, 18.56s/it][A + mmlu_bn: 22%|█████████████████████████▋ | 85/383 [26:40<1:35:41, 19.27s/it][A + mmlu_bn: 22%|██████████████████████████ | 86/383 [27:03<1:41:33, 20.52s/it][A + mmlu_bn: 23%|██████████████████████████▎ | 87/383 [27:24<1:41:48, 20.64s/it][A + mmlu_bn: 23%|██████████████████████████▋ | 88/383 [27:44<1:41:05, 20.56s/it][A + mmlu_bn: 23%|██████████████████████████▉ | 89/383 [28:03<1:37:41, 19.94s/it][A + mmlu_bn: 23%|███████████████████████████▎ | 90/383 [28:21<1:35:21, 19.53s/it][A + mmlu_bn: 24%|███████████████████████████▌ | 91/383 [28:42<1:35:58, 19.72s/it][A + mmlu_bn: 24%|███████████████████████████▊ | 92/383 [28:56<1:28:30, 18.25s/it][A + mmlu_bn: 24%|████████████████████████████▏ | 93/383 [29:18<1:32:35, 19.16s/it][A + mmlu_bn: 25%|████████████████████████████▍ | 94/383 [29:37<1:32:12, 19.14s/it][A + mmlu_bn: 25%|████████████████████████████▊ | 95/383 [30:00<1:37:36, 20.33s/it][A + mmlu_bn: 25%|█████████████████████████████ | 96/383 [30:18<1:34:15, 19.71s/it][A + mmlu_bn: 25%|█████████████████████████████▍ | 97/383 [30:42<1:40:16, 21.04s/it][A + mmlu_bn: 26%|█████████████████████████████▋ | 98/383 [31:03<1:39:55, 21.04s/it][A + mmlu_bn: 26%|█████████████████████████████▉ | 99/383 [31:25<1:40:29, 21.23s/it][A + mmlu_bn: 26%|██████████████████████████████ | 100/383 [31:46<1:40:16, 21.26s/it][A + mmlu_bn: 26%|██████████████████████████████▎ | 101/383 [32:09<1:41:23, 21.57s/it][A + mmlu_bn: 27%|██████████████████████████████▋ | 102/383 [32:26<1:35:43, 20.44s/it][A + mmlu_bn: 27%|██████████████████████████████▉ | 103/383 [32:43<1:29:40, 19.22s/it][A + mmlu_bn: 27%|███████████████████████████████▏ | 104/383 [33:05<1:32:52, 19.97s/it][A + mmlu_bn: 27%|███████████████████████████████▌ | 105/383 [33:25<1:33:23, 20.15s/it][A + mmlu_bn: 28%|███████████████████████████████▊ | 106/383 [33:43<1:30:28, 19.60s/it][A + mmlu_bn: 28%|████████████████████████████████▏ | 107/383 [34:01<1:27:11, 18.96s/it][A + mmlu_bn: 28%|████████████████████████████████▍ | 108/383 [34:18<1:23:56, 18.31s/it][A + mmlu_bn: 28%|████████████████████████████████▋ | 109/383 [34:36<1:23:00, 18.18s/it][A + mmlu_bn: 29%|█████████████████████████████████ | 110/383 [34:51<1:19:05, 17.38s/it][A + mmlu_bn: 29%|█████████████████████████████████▎ | 111/383 [35:10<1:20:34, 17.77s/it][A + mmlu_bn: 29%|█████████████████████████████████▋ | 112/383 [35:30<1:23:00, 18.38s/it][A + mmlu_bn: 30%|█████████████████████████████████▉ | 113/383 [35:51<1:27:01, 19.34s/it][A + mmlu_bn: 30%|██████████████████████████████████▏ | 114/383 [36:10<1:26:01, 19.19s/it][A + mmlu_bn: 30%|██████████████████████████████████▌ | 115/383 [36:28<1:24:09, 18.84s/it][A + mmlu_bn: 30%|██████████████████████████████████▊ | 116/383 [36:46<1:22:39, 18.58s/it][A + mmlu_bn: 31%|███████████████████████████████████▏ | 117/383 [37:01<1:17:33, 17.49s/it][A + mmlu_bn: 31%|███████████████████████████████████▍ | 118/383 [37:24<1:25:01, 19.25s/it][A + mmlu_bn: 31%|███████████████████████████████████▋ | 119/383 [37:37<1:16:46, 17.45s/it][A + mmlu_bn: 31%|████████████████████████████████████ | 120/383 [38:00<1:22:54, 18.92s/it][A + mmlu_bn: 32%|████████████████████████████████████▎ | 121/383 [38:19<1:22:59, 19.01s/it][A + mmlu_bn: 32%|████████████████████████████████████▋ | 122/383 [38:39<1:24:15, 19.37s/it][A + mmlu_bn: 32%|████████████████████████████████████▉ | 123/383 [38:57<1:22:06, 18.95s/it][A + mmlu_bn: 32%|█████████████████████████████████████▏ | 124/383 [39:24<1:31:48, 21.27s/it][A + mmlu_bn: 33%|█████████████████████████████████████▌ | 125/383 [39:45<1:31:23, 21.26s/it][A + mmlu_bn: 33%|█████████████████████████████████████▊ | 126/383 [40:08<1:32:38, 21.63s/it][A + mmlu_bn: 33%|██████████████████████████████████████▏ | 127/383 [40:29<1:32:05, 21.58s/it][A + mmlu_bn: 33%|██████████████████████████████████████▍ | 128/383 [40:48<1:28:47, 20.89s/it][A + mmlu_bn: 34%|██████████████████████████████████████▋ | 129/383 [41:06<1:24:49, 20.04s/it][A + mmlu_bn: 34%|███████████████████████████████████████ | 130/383 [41:28<1:26:32, 20.52s/it][A + mmlu_bn: 34%|███████████████████████████████████████▎ | 131/383 [41:47<1:23:36, 19.91s/it][A + mmlu_bn: 34%|███████████████████████████████████████▋ | 132/383 [42:06<1:22:20, 19.68s/it][A + mmlu_bn: 35%|███████████████████████████████████████▉ | 133/383 [42:24<1:20:22, 19.29s/it][A + mmlu_bn: 35%|████████████████████████████████████████▏ | 134/383 [42:42<1:18:25, 18.90s/it][A + mmlu_bn: 35%|████████████████████████████████████████▌ | 135/383 [43:01<1:18:03, 18.89s/it][A + mmlu_bn: 36%|████████████████████████████████████████▊ | 136/383 [43:19<1:17:00, 18.71s/it][A + mmlu_bn: 36%|█████████████████████████████████████████▏ | 137/383 [43:37<1:15:47, 18.48s/it][A + mmlu_bn: 36%|█████████████████████████████████████████▍ | 138/383 [43:56<1:16:22, 18.71s/it][A + mmlu_bn: 36%|█████████████████████████████████████████▋ | 139/383 [44:14<1:14:43, 18.37s/it][A + mmlu_bn: 37%|██████████████████████████████████████████ | 140/383 [44:33<1:14:44, 18.46s/it][A + mmlu_bn: 37%|██████████████████████████████████████████▎ | 141/383 [44:50<1:13:30, 18.23s/it][A + mmlu_bn: 37%|██████████████████████████████████████████▋ | 142/383 [45:10<1:14:33, 18.56s/it][A + mmlu_bn: 37%|██████████████████████████████████████████▉ | 143/383 [45:29<1:15:04, 18.77s/it][A + mmlu_bn: 38%|███████████████████████████████████████████▏ | 144/383 [45:47<1:13:59, 18.58s/it][A + mmlu_bn: 38%|███████████████████████████████████████████▌ | 145/383 [46:08<1:16:35, 19.31s/it][A + mmlu_bn: 38%|███████████████████████████████████████████▊ | 146/383 [46:27<1:15:39, 19.15s/it][A + mmlu_bn: 38%|████████████████████████████████████████████▏ | 147/383 [46:51<1:20:46, 20.54s/it][A + mmlu_bn: 39%|████████████████████████████████████████████▍ | 148/383 [47:08<1:16:41, 19.58s/it][A + mmlu_bn: 39%|████████████████████████████████████████████▋ | 149/383 [47:25<1:13:44, 18.91s/it][A + mmlu_bn: 39%|█████████████████████████████████████████████ | 150/383 [47:43<1:12:28, 18.66s/it][A + mmlu_bn: 39%|█████████████████████████████████████████████▎ | 151/383 [48:03<1:13:06, 18.91s/it][A + mmlu_bn: 40%|█████████████████████████████████████████████▋ | 152/383 [48:23<1:14:16, 19.29s/it][A + mmlu_bn: 40%|█████████████████████████████████████████████▉ | 153/383 [48:40<1:11:32, 18.66s/it][A + mmlu_bn: 40%|██████████████████████████████████████████████▏ | 154/383 [48:58<1:10:03, 18.35s/it][A + mmlu_bn: 40%|██████████████████████████████████████████████▌ | 155/383 [49:15<1:08:09, 17.94s/it][A + mmlu_bn: 41%|██████████████████████████████████████████████▊ | 156/383 [49:33<1:08:20, 18.06s/it][A + mmlu_bn: 41%|███████████████████████████████████████████████▏ | 157/383 [49:52<1:08:41, 18.24s/it][A + mmlu_bn: 41%|███████████████████████████████████████████████▍ | 158/383 [50:13<1:11:49, 19.15s/it][A + mmlu_bn: 42%|███████████████████████████████████████████████▋ | 159/383 [50:31<1:10:26, 18.87s/it][A + mmlu_bn: 42%|████████████████████████████████████████████████ | 160/383 [50:52<1:11:34, 19.26s/it][A + mmlu_bn: 42%|████████████████████████████████████████████████▎ | 161/383 [51:08<1:08:35, 18.54s/it][A + mmlu_bn: 42%|████████████████████████████████████████████████▋ | 162/383 [51:24<1:05:20, 17.74s/it][A + mmlu_bn: 43%|████████████████████████████████████████████████▉ | 163/383 [51:45<1:08:39, 18.72s/it][A + mmlu_bn: 43%|█████████████████████████████████████████████████▏ | 164/383 [52:08<1:12:29, 19.86s/it][A + mmlu_bn: 43%|█████████████████████████████████████████████████▌ | 165/383 [52:31<1:15:14, 20.71s/it][A + mmlu_bn: 43%|█████████████████████████████████████████████████▊ | 166/383 [52:50<1:14:02, 20.47s/it][A + mmlu_bn: 44%|██████████████████████████████████████████████████▏ | 167/383 [53:08<1:10:33, 19.60s/it][A + mmlu_bn: 44%|██████████████████████████████████████████████████▍ | 168/383 [53:27<1:09:48, 19.48s/it][A + mmlu_bn: 44%|██████████████████████████████████████████████████▋ | 169/383 [53:48<1:10:58, 19.90s/it][A + mmlu_bn: 44%|███████████████████████████████████████████████████ | 170/383 [54:09<1:11:20, 20.10s/it][A + mmlu_bn: 45%|███████████████████████████████████████████████████▎ | 171/383 [54:30<1:12:19, 20.47s/it][A + mmlu_bn: 45%|███████████████████████████████████████████████████▋ | 172/383 [54:47<1:08:36, 19.51s/it][A + mmlu_bn: 45%|███████████████████████████████████████████████████▉ | 173/383 [55:04<1:05:43, 18.78s/it][A + mmlu_bn: 45%|████████████████████████████████████████████████████▏ | 174/383 [55:19<1:01:36, 17.69s/it][A + mmlu_bn: 46%|████████████████████████████████████████████████████▌ | 175/383 [55:40<1:03:59, 18.46s/it][A + mmlu_bn: 46%|████████████████████████████████████████████████████▊ | 176/383 [55:56<1:01:30, 17.83s/it][A + mmlu_bn: 46%|█████████████████████████████████████████████████████▏ | 177/383 [56:16<1:03:00, 18.35s/it][A + mmlu_bn: 46%|█████████████████████████████████████████████████████▍ | 178/383 [56:33<1:01:14, 17.92s/it][A + mmlu_bn: 47%|██████████████████████████████████████████████████████▋ | 179/383 [56:49<59:25, 17.48s/it][A + mmlu_bn: 47%|██████████████████████████████████████████████████████▉ | 180/383 [57:07<59:19, 17.53s/it][A + mmlu_bn: 47%|███████████████████████████████████████████████████████▎ | 181/383 [57:23<58:18, 17.32s/it][A + mmlu_bn: 48%|██████████████████████████████████████████████████████▋ | 182/383 [57:45<1:01:51, 18.47s/it][A + mmlu_bn: 48%|██████████████████████████████████████████████████████▉ | 183/383 [58:08<1:06:09, 19.85s/it][A + mmlu_bn: 48%|███████████████████████████████████████████████████████▏ | 184/383 [58:29<1:07:37, 20.39s/it][A + mmlu_bn: 48%|███████████████████████████████████████████████████████▌ | 185/383 [58:47<1:04:39, 19.59s/it][A + mmlu_bn: 49%|███████████████████████████████████████████████████████▊ | 186/383 [59:03<1:00:16, 18.36s/it][A + mmlu_bn: 49%|█████████████████████████████████████████████████████████▏ | 187/383 [59:21<59:56, 18.35s/it][A + mmlu_bn: 49%|████████████████████████████████████████████████████████▍ | 188/383 [59:41<1:00:59, 18.77s/it][A + mmlu_bn: 49%|█████████████████████████████████████████████████████████▋ | 189/383 [59:56<57:06, 17.66s/it][A + mmlu_bn: 50%|█████████████████████████████████████████████████████████ | 190/383 [1:00:17<59:52, 18.62s/it][A + mmlu_bn: 50%|████████████████████████████████████████████████████████▎ | 191/383 [1:00:36<1:00:03, 18.77s/it][A + mmlu_bn: 50%|████████████████████████████████████████████████████████▋ | 192/383 [1:00:56<1:01:00, 19.16s/it][A + mmlu_bn: 50%|█████████████████████████████████████████████████████████▉ | 193/383 [1:01:12<57:39, 18.21s/it][A + mmlu_bn: 51%|██████████████████████████████████████████████████████████▎ | 194/383 [1:01:29<56:43, 18.01s/it][A + mmlu_bn: 51%|██████████████████████████████████████████████████████████▌ | 195/383 [1:01:46<54:54, 17.52s/it][A + mmlu_bn: 51%|██████████████████████████████████████████████████████████▊ | 196/383 [1:02:07<57:48, 18.55s/it][A + mmlu_bn: 51%|██████████████████████████████████████████████████████████ | 197/383 [1:02:31<1:02:36, 20.20s/it][A + mmlu_bn: 52%|██████████████████████████████████████████████████████████▍ | 198/383 [1:02:51<1:02:41, 20.33s/it][A + mmlu_bn: 52%|███████████████████████████████████████████████████████████▊ | 199/383 [1:03:06<56:59, 18.59s/it][A + mmlu_bn: 52%|████████████████████████████████████████████████████████████ | 200/383 [1:03:24<56:22, 18.48s/it][A + mmlu_bn: 52%|████████████████████████████████████████████████████████████▎ | 201/383 [1:03:46<58:56, 19.43s/it][A + mmlu_bn: 53%|███████████████████████████████████████████████████████████▌ | 202/383 [1:04:08<1:01:03, 20.24s/it][A + mmlu_bn: 53%|███████████████████████████████████████████████████████████▉ | 203/383 [1:04:28<1:00:20, 20.12s/it][A + mmlu_bn: 53%|█████████████████████████████████████████████████████████████▎ | 204/383 [1:04:45<57:22, 19.23s/it][A + mmlu_bn: 54%|█████████████████████████████████████████████████████████████▌ | 205/383 [1:05:06<58:21, 19.67s/it][A + mmlu_bn: 54%|████████████████████████████████████████████████████████████▊ | 206/383 [1:05:28<1:00:26, 20.49s/it][A + mmlu_bn: 54%|█████████████████████████████████████████████████████████████ | 207/383 [1:05:48<1:00:07, 20.50s/it][A + mmlu_bn: 54%|██████████████████████████████████████████████████████████████▍ | 208/383 [1:06:05<56:20, 19.32s/it][A + mmlu_bn: 55%|██████████████████████████████████████████████████████████████▊ | 209/383 [1:06:22<53:59, 18.62s/it][A + mmlu_bn: 55%|███████████████████████████████████████████████████████████████ | 210/383 [1:06:38<51:47, 17.96s/it][A + mmlu_bn: 55%|███████████████████████████████████████████████████████████████▎ | 211/383 [1:06:56<51:24, 17.94s/it][A + mmlu_bn: 55%|███████████████████████████████████████████████████████████████▋ | 212/383 [1:07:15<51:57, 18.23s/it][A + mmlu_bn: 56%|███████████████████████████████████████████████████████████████▉ | 213/383 [1:07:34<52:05, 18.38s/it][A + mmlu_bn: 56%|████████████████████████████████████████████████████████████████▎ | 214/383 [1:07:51<50:46, 18.03s/it][A + mmlu_bn: 56%|████████████████████████████████████████████████████████████████▌ | 215/383 [1:08:11<51:57, 18.56s/it][A + mmlu_bn: 56%|████████████████████████████████████████████████████████████████▊ | 216/383 [1:08:29<51:33, 18.52s/it][A + mmlu_bn: 57%|█████████████████████████████████████████████████████████████████▏ | 217/383 [1:08:54<55:56, 20.22s/it][A + mmlu_bn: 57%|█████████████████████████████████████████████████████████████████▍ | 218/383 [1:09:12<54:17, 19.75s/it][A + mmlu_bn: 57%|█████████████████████████████████████████████████████████████████▊ | 219/383 [1:09:33<55:06, 20.16s/it][A + mmlu_bn: 57%|██████████████████████████████████████████████████████████████████ | 220/383 [1:09:52<53:41, 19.76s/it][A + mmlu_bn: 58%|██████████████████████████████████████████████████████████████████▎ | 221/383 [1:10:10<51:56, 19.24s/it][A + mmlu_bn: 58%|██████████████████████████████████████████████████████████████████▋ | 222/383 [1:10:30<51:41, 19.27s/it][A + mmlu_bn: 58%|██████████████████████████████████████████████████████████████████▉ | 223/383 [1:10:45<48:36, 18.23s/it][A + mmlu_bn: 58%|███████████████████████████████████████████████████████████████████▎ | 224/383 [1:11:06<50:16, 18.97s/it][A + mmlu_bn: 59%|███████████████████████████████████████████████████████████████████▌ | 225/383 [1:11:22<47:47, 18.15s/it][A + mmlu_bn: 59%|███████████████████████████████████████████████████████████████████▊ | 226/383 [1:11:40<47:02, 17.98s/it][A + mmlu_bn: 59%|████████████████████████████████████████████████████████████████████▏ | 227/383 [1:12:01<48:51, 18.79s/it][A + mmlu_bn: 60%|████████████████████████████████████████████████████████████████████▍ | 228/383 [1:12:19<48:16, 18.68s/it][A + mmlu_bn: 60%|████████████████████████████████████████████████████████████████████▊ | 229/383 [1:12:40<49:39, 19.34s/it][A + mmlu_bn: 60%|█████████████████████████████████████████████████████████████████████ | 230/383 [1:13:00<49:57, 19.59s/it][A + mmlu_bn: 60%|█████████████████████████████████████████████████████████████████████▎ | 231/383 [1:13:20<49:53, 19.69s/it][A + mmlu_bn: 61%|█████████████████████████████████████████████████████████████████████▋ | 232/383 [1:13:42<51:05, 20.30s/it][A + mmlu_bn: 61%|█████████████████████████████████████████████████████████████████████▉ | 233/383 [1:14:04<52:35, 21.04s/it][A + mmlu_bn: 61%|██████████████████████████████████████████████████████████████████████▎ | 234/383 [1:14:28<54:11, 21.82s/it][A + mmlu_bn: 61%|██████████████████████████████████████████████████████████████████████▌ | 235/383 [1:14:51<54:55, 22.27s/it][A + mmlu_bn: 62%|██████████████████████████████████████████████████████████████████████▊ | 236/383 [1:15:06<49:02, 20.02s/it][A + mmlu_bn: 62%|███████████████████████████████████████████████████████████████████████▏ | 237/383 [1:15:30<51:17, 21.08s/it][A + mmlu_bn: 62%|███████████████████████████████████████████████████████████████████████▍ | 238/383 [1:15:49<49:57, 20.67s/it][A + mmlu_bn: 62%|███████████████████████████████████████████████████████████████████████▊ | 239/383 [1:16:08<48:11, 20.08s/it][A + mmlu_bn: 63%|████████████████████████████████████████████████████████████████████████ | 240/383 [1:16:26<45:59, 19.30s/it][A + mmlu_bn: 63%|████████████████████████████████████████████████████████████████████████▎ | 241/383 [1:16:43<44:15, 18.70s/it][A + mmlu_bn: 63%|████████████████████████████████████████████████████████████████████████▋ | 242/383 [1:16:57<40:52, 17.39s/it][A + mmlu_bn: 63%|████████████████████████████████████████████████████████████████████████▉ | 243/383 [1:17:18<43:15, 18.54s/it][A + mmlu_bn: 64%|█████████████████████████████████████████████████████████████████████████▎ | 244/383 [1:17:37<43:13, 18.66s/it][A + mmlu_bn: 64%|█████████████████████████████████████████████████████████████████████████▌ | 245/383 [1:17:54<41:47, 18.17s/it][A + mmlu_bn: 64%|█████████████████████████████████████████████████████████████████████████▊ | 246/383 [1:18:12<41:02, 17.98s/it][A + mmlu_bn: 64%|██████████████████████████████████████████████████████████████████████████▏ | 247/383 [1:18:31<41:35, 18.35s/it][A + mmlu_bn: 65%|██████████████████████████████████████████████████████████████████████████▍ | 248/383 [1:18:48<40:35, 18.04s/it][A + mmlu_bn: 65%|██████████████████████████████████████████████████████████████████████████▊ | 249/383 [1:19:07<40:45, 18.25s/it][A + mmlu_bn: 65%|███████████████████████████████████████████████████████████████████████████ | 250/383 [1:19:29<42:42, 19.26s/it][A + mmlu_bn: 66%|███████████████████████████████████████████████████████████████████████████▎ | 251/383 [1:19:50<43:55, 19.97s/it][A + mmlu_bn: 66%|███████████████████████████████████████████████████████████████████████████▋ | 252/383 [1:20:08<42:17, 19.37s/it][A + mmlu_bn: 66%|███████████████████████████████████████████████████████████████████████████▉ | 253/383 [1:20:30<43:23, 20.03s/it][A + mmlu_bn: 66%|████████████████████████████████████████████████████████████████████████████▎ | 254/383 [1:20:45<39:58, 18.59s/it][A + mmlu_bn: 67%|████████████████████████████████████████████████████████████████████████████▌ | 255/383 [1:21:09<42:50, 20.08s/it][A + mmlu_bn: 67%|████████████████████████████████████████████████████████████████████████████▊ | 256/383 [1:21:31<43:35, 20.60s/it][A + mmlu_bn: 67%|█████████████████████████████████████████████████████████████████████████████▏ | 257/383 [1:21:48<41:25, 19.72s/it][A + mmlu_bn: 67%|█████████████████████████████████████████████████████████████████████████████▍ | 258/383 [1:22:09<41:26, 19.89s/it][A + mmlu_bn: 68%|█████████████████████████████████████████████████████████████████████████████▊ | 259/383 [1:22:32<43:10, 20.89s/it][A + mmlu_bn: 68%|██████████████████████████████████████████████████████████████████████████████ | 260/383 [1:22:50<41:13, 20.11s/it][A + mmlu_bn: 68%|██████████████████████████████████████████████████████████████████████████████▎ | 261/383 [1:23:07<38:51, 19.11s/it][A + mmlu_bn: 68%|██████████████████████████████████████████████████████████████████████████████▋ | 262/383 [1:23:24<37:16, 18.48s/it][A + mmlu_bn: 69%|██████████████████████████████████████████████████████████████████████████████▉ | 263/383 [1:23:45<38:51, 19.43s/it][A + mmlu_bn: 69%|███████████████████████████████████████████████████████████████████████████████▎ | 264/383 [1:24:06<38:59, 19.66s/it][A + mmlu_bn: 69%|███████████████████████████████████████████████████████████████████████████████▌ | 265/383 [1:24:24<38:05, 19.37s/it][A + mmlu_bn: 69%|███████████████████████████████████████████████████████████████████████████████▊ | 266/383 [1:24:43<37:27, 19.21s/it][A + mmlu_bn: 70%|████████████████████████████████████████████████████████████████████████████████▏ | 267/383 [1:25:06<39:09, 20.26s/it][A + mmlu_bn: 70%|████████████████████████████████████████████████████████████████████████████████▍ | 268/383 [1:25:28<39:57, 20.85s/it][A + mmlu_bn: 70%|████████████████████████████████████████████████████████████████████████████████▊ | 269/383 [1:25:46<37:43, 19.85s/it][A + mmlu_bn: 70%|█████████████████████████████████████████████████████████████████████████████████ | 270/383 [1:26:07<38:08, 20.25s/it][A + mmlu_bn: 71%|█████████████████████████████████████████████████████████████████████████████████▎ | 271/383 [1:26:29<38:57, 20.87s/it][A + mmlu_bn: 71%|█████████████████████████████████████████████████████████████████████████████████▋ | 272/383 [1:26:52<39:39, 21.44s/it][A + mmlu_bn: 71%|█████████████████████████████████████████████████████████████████████████████████▉ | 273/383 [1:27:14<39:33, 21.58s/it][A + mmlu_bn: 72%|██████████████████████████████████████████████████████████████████████████████████▎ | 274/383 [1:27:30<36:17, 19.97s/it][A + mmlu_bn: 72%|██████████████████████████████████████████████████████████████████████████████████▌ | 275/383 [1:27:47<34:31, 19.18s/it][A + mmlu_bn: 72%|██████████████████████████████████████████████████████████████████████████████████▊ | 276/383 [1:28:05<33:17, 18.67s/it][A + mmlu_bn: 72%|███████████████████████████████████████████████████████████████████████████████████▏ | 277/383 [1:28:23<32:34, 18.44s/it][A + mmlu_bn: 73%|███████████████████████████████████████████████████████████████████████████████████▍ | 278/383 [1:28:46<34:32, 19.74s/it][A + mmlu_bn: 73%|███████████████████████████████████████████████████████████████████████████████████▊ | 279/383 [1:29:04<33:26, 19.29s/it][A + mmlu_bn: 73%|████████████████████████████████████████████████████████████████████████████████████ | 280/383 [1:29:24<33:28, 19.50s/it][A + mmlu_bn: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 281/383 [1:29:42<32:42, 19.24s/it][A + mmlu_bn: 74%|████████████████████████████████████████████████████████████████████████████████████▋ | 282/383 [1:30:03<33:10, 19.71s/it][A + mmlu_bn: 74%|████████████████████████████████████████████████████████████████████████████████████▉ | 283/383 [1:30:21<31:47, 19.07s/it][A + mmlu_bn: 74%|█████████████████████████████████████████████████████████████████████████████████████▎ | 284/383 [1:30:38<30:35, 18.54s/it][A + mmlu_bn: 74%|█████████████████████████████████████████████████████████████████████████████████████▌ | 285/383 [1:30:54<29:02, 17.78s/it][A + mmlu_bn: 75%|█████████████████████████████████████████████████████████████████████████████████████▊ | 286/383 [1:31:12<28:41, 17.75s/it][A + mmlu_bn: 75%|██████████████████████████████████████████████████████████████████████████████████████▏ | 287/383 [1:31:34<30:33, 19.10s/it][A + mmlu_bn: 75%|██████████████████████████████████████████████████████████████████████████████████████▍ | 288/383 [1:31:54<30:39, 19.37s/it][A + mmlu_bn: 75%|██████████████████████████████████████████████████████████████████████████████████████▊ | 289/383 [1:32:16<31:38, 20.20s/it][A + mmlu_bn: 76%|███████████████████████████████████████████████████████████████████████████████████████ | 290/383 [1:32:34<30:13, 19.50s/it][A + mmlu_bn: 76%|███████████████████████████████████████████████████████████████████████████████████████▍ | 291/383 [1:32:51<28:45, 18.76s/it][A + mmlu_bn: 76%|███████████████████████████████████████████████████████████████████████████████████████▋ | 292/383 [1:33:18<32:09, 21.20s/it][A + mmlu_bn: 77%|███████████████████████████████████████████████████████████████████████████████████████▉ | 293/383 [1:33:40<32:15, 21.51s/it][A + mmlu_bn: 77%|████████████████████████████████████████████████████████████████████████████████████████▎ | 294/383 [1:33:58<30:06, 20.29s/it][A + mmlu_bn: 77%|████████████████████████████████████████████████████████████████████████████████████████▌ | 295/383 [1:34:16<28:57, 19.75s/it][A + mmlu_bn: 77%|████████████████████████████████████████████████████████████████████████████████████████▉ | 296/383 [1:34:34<27:37, 19.05s/it][A + mmlu_bn: 78%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 297/383 [1:34:51<26:46, 18.68s/it][A + mmlu_bn: 78%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 298/383 [1:35:12<27:10, 19.18s/it][A + mmlu_bn: 78%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 299/383 [1:35:25<24:27, 17.47s/it][A + mmlu_bn: 78%|██████████████████████████████████████████████████████████████████████████████████████████ | 300/383 [1:35:42<23:44, 17.16s/it][A + mmlu_bn: 79%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 301/383 [1:36:01<24:25, 17.88s/it][A + mmlu_bn: 79%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 302/383 [1:36:15<22:37, 16.77s/it][A + mmlu_bn: 79%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 303/383 [1:36:35<23:35, 17.70s/it][A + mmlu_bn: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 304/383 [1:36:57<24:42, 18.77s/it][A + mmlu_bn: 80%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 305/383 [1:37:18<25:27, 19.59s/it][A + mmlu_bn: 80%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 306/383 [1:37:34<23:35, 18.38s/it][A + mmlu_bn: 80%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 307/383 [1:37:48<21:46, 17.20s/it][A + mmlu_bn: 80%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 308/383 [1:38:04<21:07, 16.90s/it][A + mmlu_bn: 81%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 309/383 [1:38:21<20:53, 16.94s/it][A + mmlu_bn: 81%|█████████████████████████████████████████████████████████████████████████████████████████████ | 310/383 [1:38:41<21:36, 17.75s/it][A + mmlu_bn: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 311/383 [1:39:00<21:53, 18.24s/it][A + mmlu_bn: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 312/383 [1:39:19<21:41, 18.33s/it][A + mmlu_bn: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 313/383 [1:39:38<21:32, 18.46s/it][A + mmlu_bn: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 314/383 [1:39:55<20:42, 18.01s/it][A + mmlu_bn: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 315/383 [1:40:17<21:52, 19.30s/it][A + mmlu_bn: 83%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 316/383 [1:40:35<21:15, 19.04s/it][A + mmlu_bn: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 317/383 [1:40:55<21:02, 19.12s/it][A + mmlu_bn: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 318/383 [1:41:14<20:53, 19.28s/it][A + mmlu_bn: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 319/383 [1:41:33<20:25, 19.15s/it][A + mmlu_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████ | 320/383 [1:41:53<20:27, 19.48s/it][A + mmlu_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 321/383 [1:42:07<18:26, 17.85s/it][A + mmlu_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 322/383 [1:42:27<18:40, 18.37s/it][A + mmlu_bn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 323/383 [1:42:50<19:40, 19.68s/it][A + mmlu_bn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 324/383 [1:43:08<18:48, 19.13s/it][A + mmlu_bn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 325/383 [1:43:23<17:33, 18.16s/it][A + mmlu_bn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 326/383 [1:43:45<18:12, 19.17s/it][A + mmlu_bn: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 327/383 [1:44:02<17:14, 18.47s/it][A + mmlu_bn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 328/383 [1:44:20<16:54, 18.45s/it][A + mmlu_bn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 329/383 [1:44:45<18:13, 20.24s/it][A + mmlu_bn: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 330/383 [1:45:01<16:54, 19.15s/it][A + mmlu_bn: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 331/383 [1:45:18<16:00, 18.48s/it][A + mmlu_bn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 332/383 [1:45:38<16:06, 18.95s/it][A + mmlu_bn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 333/383 [1:45:59<16:07, 19.36s/it][A + mmlu_bn: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 334/383 [1:46:25<17:26, 21.36s/it][A + mmlu_bn: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 335/383 [1:46:42<16:13, 20.28s/it][A + mmlu_bn: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 336/383 [1:47:01<15:29, 19.77s/it][A + mmlu_bn: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 337/383 [1:47:17<14:19, 18.68s/it][A + mmlu_bn: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 338/383 [1:47:35<13:56, 18.59s/it][A + mmlu_bn: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 339/383 [1:48:00<14:52, 20.29s/it][A + mmlu_bn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 340/383 [1:48:18<14:13, 19.85s/it][A + mmlu_bn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 341/383 [1:48:36<13:26, 19.20s/it][A + mmlu_bn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 342/383 [1:48:55<13:07, 19.20s/it][A + mmlu_bn: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 343/383 [1:49:13<12:34, 18.85s/it][A + mmlu_bn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 344/383 [1:49:31<11:55, 18.35s/it][A + mmlu_bn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 345/383 [1:49:50<11:43, 18.52s/it][A + mmlu_bn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 346/383 [1:50:06<11:07, 18.04s/it][A + mmlu_bn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 347/383 [1:50:26<11:01, 18.36s/it][A + mmlu_bn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 348/383 [1:50:40<10:04, 17.28s/it][A + mmlu_bn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 349/383 [1:50:56<09:33, 16.86s/it][A + mmlu_bn: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 350/383 [1:51:15<09:37, 17.49s/it][A + mmlu_bn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 351/383 [1:51:31<09:05, 17.05s/it][A + mmlu_bn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 352/383 [1:51:51<09:11, 17.78s/it][A + mmlu_bn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 353/383 [1:52:14<09:45, 19.53s/it][A + mmlu_bn: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 354/383 [1:52:33<09:22, 19.40s/it][A + mmlu_bn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 355/383 [1:52:51<08:47, 18.84s/it][A + mmlu_bn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 356/383 [1:53:07<08:08, 18.11s/it][A + mmlu_bn: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 357/383 [1:53:26<07:53, 18.20s/it][A + mmlu_bn: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 358/383 [1:53:49<08:12, 19.70s/it][A + mmlu_bn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 359/383 [1:54:09<07:56, 19.85s/it][A + mmlu_bn: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 360/383 [1:54:28<07:27, 19.47s/it][A + mmlu_bn: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 361/383 [1:54:49<07:18, 19.94s/it][A + mmlu_bn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 362/383 [1:55:04<06:29, 18.56s/it][A + mmlu_bn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 363/383 [1:55:21<06:01, 18.06s/it][A + mmlu_bn: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 364/383 [1:55:37<05:33, 17.56s/it][A + mmlu_bn: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 365/383 [1:55:57<05:26, 18.15s/it][A + mmlu_bn: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 366/383 [1:56:15<05:09, 18.22s/it][A + mmlu_bn: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 367/383 [1:56:33<04:48, 18.03s/it][A + mmlu_bn: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 368/383 [1:56:51<04:32, 18.19s/it][A + mmlu_bn: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 369/383 [1:57:08<04:09, 17.83s/it][A + mmlu_bn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/383 [1:57:24<03:44, 17.24s/it][A + mmlu_bn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 371/383 [1:57:43<03:33, 17.77s/it][A + mmlu_bn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 372/383 [1:58:02<03:19, 18.17s/it][A + mmlu_bn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/383 [1:58:21<03:04, 18.42s/it][A + mmlu_bn: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 374/383 [1:58:44<02:57, 19.69s/it][A + mmlu_bn: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 375/383 [1:59:00<02:27, 18.49s/it][A + mmlu_bn: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 376/383 [1:59:18<02:09, 18.46s/it][A + mmlu_bn: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 377/383 [1:59:38<01:52, 18.79s/it][A + mmlu_bn: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 378/383 [1:59:56<01:33, 18.73s/it][A + mmlu_bn: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 379/383 [2:00:15<01:14, 18.70s/it][A + mmlu_bn: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 380/383 [2:00:33<00:55, 18.41s/it][A + mmlu_bn: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 381/383 [2:00:48<00:34, 17.50s/it][A + mmlu_bn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 382/383 [2:01:05<00:17, 17.41s/it][A + mmlu_bn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [2:01:10<00:00, 13.69s/it][A mmlu_bn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [2:01:10<00:00, 18.98s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_bn_acc 0.25092009487200456 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_bn_acc_norm 0.27889097898094384 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 18:00:47,506 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 18:00:47,506 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:47,631 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 18:00:47,631 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:47,756 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 18:00:47,756 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:47,881 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 18:00:47,882 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 18:00:47,882 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 18:00:48,008 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 18:00:48,008 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_bn_acc'} +2024-05-30 18:00:48,071 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 18:00:48,071 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1205, 'value': 0.25092009487200456} +2024-05-30 18:00:48,135 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 18:00:48,775 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 18:00:48,775 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:48,901 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 18:00:48,901 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:49,027 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 18:00:49,027 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:49,153 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 18:00:49,154 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 18:00:49,154 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 18:00:49,282 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 18:00:49,282 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_bn_acc_norm'} +2024-05-30 18:00:49,345 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 18:00:49,346 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1206, 'value': 0.27889097898094384} +2024-05-30 18:00:49,409 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 52%|███████████████████████████████████████████████████████▋ | 64/124 [35:13:18<79:45:43, 4785.73s/it]['mmlu_ca'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 18:00:50,052 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 18:00:50,052 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:50,179 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 18:00:50,179 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:50,305 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 18:00:50,305 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:00:50,432 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 18:00:50,433 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 18:00:50,433 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ca'} +2024-05-30 18:00:50,560 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_ca task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1763 examples [00:00, 17032.97 examples/s][A + Generating test split: 5104 examples [00:00, 26524.45 examples/s][A + Generating test split: 8639 examples [00:00, 30516.39 examples/s][A + Generating test split: 12013 examples [00:00, 31781.07 examples/s][A Generating test split: 13156 examples [00:00, 29725.72 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 269 examples [00:00, 27638.04 examples/s] +Running loglikelihood requests + + mmlu_ca: 0%| | 0/412 [00:00<?, ?it/s][A + mmlu_ca: 0%|▎ | 1/412 [00:07<53:33, 7.82s/it][A + mmlu_ca: 0%|▌ | 2/412 [00:16<55:41, 8.15s/it][A + mmlu_ca: 1%|▊ | 3/412 [00:23<52:35, 7.72s/it][A + mmlu_ca: 1%|█▏ | 4/412 [00:30<51:24, 7.56s/it][A + mmlu_ca: 1%|█▍ | 5/412 [00:37<48:50, 7.20s/it][A + mmlu_ca: 1%|█▋ | 6/412 [00:45<50:34, 7.47s/it][A + mmlu_ca: 2%|██ | 7/412 [00:53<51:27, 7.62s/it][A + mmlu_ca: 2%|██▎ | 8/412 [01:00<50:21, 7.48s/it][A + mmlu_ca: 2%|██▌ | 9/412 [01:07<49:34, 7.38s/it][A + mmlu_ca: 2%|██▊ | 10/412 [01:14<47:50, 7.14s/it][A + mmlu_ca: 3%|███▏ | 11/412 [01:21<47:10, 7.06s/it][A + mmlu_ca: 3%|███▍ | 12/412 [01:28<47:18, 7.10s/it][A + mmlu_ca: 3%|███▋ | 13/412 [01:35<47:03, 7.08s/it][A + mmlu_ca: 3%|████ | 14/412 [01:42<47:12, 7.12s/it][A + mmlu_ca: 4%|████▎ | 15/412 [01:50<48:08, 7.28s/it][A + mmlu_ca: 4%|████▌ | 16/412 [01:57<49:08, 7.45s/it][A + mmlu_ca: 4%|████▊ | 17/412 [02:05<48:43, 7.40s/it][A + mmlu_ca: 4%|█████▏ | 18/412 [02:12<47:51, 7.29s/it][A + mmlu_ca: 5%|█████▍ | 19/412 [02:19<47:29, 7.25s/it][A + mmlu_ca: 5%|█████▋ | 20/412 [02:26<47:33, 7.28s/it][A + mmlu_ca: 5%|██████ | 21/412 [02:34<47:38, 7.31s/it][A + mmlu_ca: 5%|██████▎ | 22/412 [02:42<49:37, 7.63s/it][A + mmlu_ca: 6%|██████▌ | 23/412 [02:49<47:45, 7.37s/it][A + mmlu_ca: 6%|██████▊ | 24/412 [02:56<46:46, 7.23s/it][A + mmlu_ca: 6%|███████▏ | 25/412 [03:04<47:53, 7.42s/it][A + mmlu_ca: 6%|███████▍ | 26/412 [03:11<47:02, 7.31s/it][A + mmlu_ca: 7%|███████▋ | 27/412 [03:18<46:27, 7.24s/it][A + mmlu_ca: 7%|████████ | 28/412 [03:26<47:32, 7.43s/it][A + mmlu_ca: 7%|████████▎ | 29/412 [03:33<47:13, 7.40s/it][A + mmlu_ca: 7%|████████▌ | 30/412 [03:40<45:45, 7.19s/it][A + mmlu_ca: 8%|████████▉ | 31/412 [03:47<46:32, 7.33s/it][A + mmlu_ca: 8%|█████████▏ | 32/412 [03:55<46:18, 7.31s/it][A + mmlu_ca: 8%|█████████▍ | 33/412 [04:01<45:21, 7.18s/it][A + mmlu_ca: 8%|█████████▋ | 34/412 [04:10<47:42, 7.57s/it][A + mmlu_ca: 8%|██████████ | 35/412 [04:18<49:14, 7.84s/it][A + mmlu_ca: 9%|██████████▎ | 36/412 [04:25<47:34, 7.59s/it][A + mmlu_ca: 9%|██████████▌ | 37/412 [04:33<47:41, 7.63s/it][A + mmlu_ca: 9%|██████████▉ | 38/412 [04:41<48:11, 7.73s/it][A + mmlu_ca: 9%|███████████▏ | 39/412 [04:48<47:32, 7.65s/it][A + mmlu_ca: 10%|███████████▍ | 40/412 [04:56<47:17, 7.63s/it][A + mmlu_ca: 10%|███████████▋ | 41/412 [05:03<46:34, 7.53s/it][A + mmlu_ca: 10%|████████████ | 42/412 [05:11<47:30, 7.70s/it][A + mmlu_ca: 10%|████████████▎ | 43/412 [05:19<47:07, 7.66s/it][A + mmlu_ca: 11%|████████████▌ | 44/412 [05:27<47:06, 7.68s/it][A + mmlu_ca: 11%|████████████▉ | 45/412 [05:33<44:57, 7.35s/it][A + mmlu_ca: 11%|█████████████▏ | 46/412 [05:41<44:56, 7.37s/it][A + mmlu_ca: 11%|█████████████▍ | 47/412 [05:50<47:48, 7.86s/it][A + mmlu_ca: 12%|█████████████▋ | 48/412 [05:59<50:06, 8.26s/it][A + mmlu_ca: 12%|██████████████ | 49/412 [06:06<47:26, 7.84s/it][A + mmlu_ca: 12%|██████████████▎ | 50/412 [06:13<46:53, 7.77s/it][A + mmlu_ca: 12%|██████████████▌ | 51/412 [06:20<44:50, 7.45s/it][A + mmlu_ca: 13%|██████████████▉ | 52/412 [06:27<44:12, 7.37s/it][A + mmlu_ca: 13%|███████████████▏ | 53/412 [06:35<44:30, 7.44s/it][A + mmlu_ca: 13%|███████████████▍ | 54/412 [06:42<43:17, 7.26s/it][A + mmlu_ca: 13%|███████████████▊ | 55/412 [06:49<42:16, 7.11s/it][A + mmlu_ca: 14%|████████████████ | 56/412 [06:56<42:39, 7.19s/it][A + mmlu_ca: 14%|████████████████▎ | 57/412 [07:03<42:35, 7.20s/it][A + mmlu_ca: 14%|████████████████▌ | 58/412 [07:10<42:11, 7.15s/it][A + mmlu_ca: 14%|████████████████▉ | 59/412 [07:17<42:05, 7.15s/it][A + mmlu_ca: 15%|█████████████████▏ | 60/412 [07:24<41:28, 7.07s/it][A + mmlu_ca: 15%|█████████████████▍ | 61/412 [07:32<42:15, 7.22s/it][A + mmlu_ca: 15%|█████████████████▊ | 62/412 [07:39<41:26, 7.10s/it][A + mmlu_ca: 15%|██████████████████ | 63/412 [07:47<42:57, 7.39s/it][A + mmlu_ca: 16%|██████████████████▎ | 64/412 [07:54<42:16, 7.29s/it][A + mmlu_ca: 16%|██████████████████▌ | 65/412 [08:01<42:13, 7.30s/it][A + mmlu_ca: 16%|██████████████████▉ | 66/412 [08:08<41:18, 7.16s/it][A + mmlu_ca: 16%|███████████████████▏ | 67/412 [08:16<43:14, 7.52s/it][A + mmlu_ca: 17%|███████████████████▍ | 68/412 [08:23<41:26, 7.23s/it][A + mmlu_ca: 17%|███████████████████▊ | 69/412 [08:30<41:46, 7.31s/it][A + mmlu_ca: 17%|████████████████████ | 70/412 [08:37<41:22, 7.26s/it][A + mmlu_ca: 17%|████████████████████▎ | 71/412 [08:45<41:40, 7.33s/it][A + mmlu_ca: 17%|████████████████████▌ | 72/412 [08:53<42:54, 7.57s/it][A + mmlu_ca: 18%|████████████████████▉ | 73/412 [09:00<42:26, 7.51s/it][A + mmlu_ca: 18%|█████████████████████▏ | 74/412 [09:09<43:50, 7.78s/it][A + mmlu_ca: 18%|█████████████████████▍ | 75/412 [09:16<42:24, 7.55s/it][A + mmlu_ca: 18%|█████████████████████▊ | 76/412 [09:23<41:16, 7.37s/it][A + mmlu_ca: 19%|██████████████████████ | 77/412 [09:30<40:44, 7.30s/it][A + mmlu_ca: 19%|██████████████████████▎ | 78/412 [09:37<40:11, 7.22s/it][A + mmlu_ca: 19%|██████████████████████▋ | 79/412 [09:44<39:13, 7.07s/it][A + mmlu_ca: 19%|██████████████████████▉ | 80/412 [09:50<38:19, 6.92s/it][A + mmlu_ca: 20%|███████████████████████▏ | 81/412 [09:57<38:32, 6.99s/it][A + mmlu_ca: 20%|███████████████████████▍ | 82/412 [10:04<37:37, 6.84s/it][A + mmlu_ca: 20%|███████████████████████▊ | 83/412 [10:12<38:56, 7.10s/it][A + mmlu_ca: 20%|████████████████████████ | 84/412 [10:20<40:08, 7.34s/it][A + mmlu_ca: 21%|████████████████████████▎ | 85/412 [10:28<42:34, 7.81s/it][A + mmlu_ca: 21%|████████████████████████▋ | 86/412 [10:35<40:57, 7.54s/it][A + mmlu_ca: 21%|████████████████████████▉ | 87/412 [10:42<39:19, 7.26s/it][A + mmlu_ca: 21%|█████████████████████████▏ | 88/412 [10:49<38:16, 7.09s/it][A + mmlu_ca: 22%|█████████████████████████▍ | 89/412 [10:56<39:00, 7.25s/it][A + mmlu_ca: 22%|█████████████████████████▊ | 90/412 [11:04<39:01, 7.27s/it][A + mmlu_ca: 22%|██████████████████████████ | 91/412 [11:12<40:13, 7.52s/it][A + mmlu_ca: 22%|██████████████████████████▎ | 92/412 [11:19<40:31, 7.60s/it][A + mmlu_ca: 23%|██████████████████████████▋ | 93/412 [11:27<39:44, 7.47s/it][A + mmlu_ca: 23%|██████████████████████████▉ | 94/412 [11:34<38:40, 7.30s/it][A + mmlu_ca: 23%|███████████████████████████▏ | 95/412 [11:42<40:13, 7.61s/it][A + mmlu_ca: 23%|███████████████████████████▍ | 96/412 [11:50<40:21, 7.66s/it][A + mmlu_ca: 24%|███████████████████████████▊ | 97/412 [11:56<37:58, 7.23s/it][A + mmlu_ca: 24%|████████████████████████████ | 98/412 [12:03<37:19, 7.13s/it][A + mmlu_ca: 24%|████████████████████████████▎ | 99/412 [12:10<36:40, 7.03s/it][A + mmlu_ca: 24%|████████████████████████████▍ | 100/412 [12:18<38:33, 7.41s/it][A + mmlu_ca: 25%|████████████████████████████▋ | 101/412 [12:26<40:18, 7.78s/it][A + mmlu_ca: 25%|████████████████████████████▉ | 102/412 [12:35<41:01, 7.94s/it][A + mmlu_ca: 25%|█████████████████████████████▎ | 103/412 [12:41<38:30, 7.48s/it][A + mmlu_ca: 25%|█████████████████████████████▌ | 104/412 [12:49<39:34, 7.71s/it][A + mmlu_ca: 25%|█████████████████████████████▊ | 105/412 [12:56<37:06, 7.25s/it][A + mmlu_ca: 26%|██████████████████████████████ | 106/412 [13:03<37:14, 7.30s/it][A + mmlu_ca: 26%|██████████████████████████████▍ | 107/412 [13:11<38:01, 7.48s/it][A + mmlu_ca: 26%|██████████████████████████████▋ | 108/412 [13:18<37:23, 7.38s/it][A + mmlu_ca: 26%|██████████████████████████████▉ | 109/412 [13:25<36:51, 7.30s/it][A + mmlu_ca: 27%|███████████████████████████████▏ | 110/412 [13:34<38:55, 7.73s/it][A + mmlu_ca: 27%|███████████████████████████████▌ | 111/412 [13:42<39:19, 7.84s/it][A + mmlu_ca: 27%|███████████████████████████████▊ | 112/412 [13:50<38:42, 7.74s/it][A + mmlu_ca: 27%|████████████████████████████████ | 113/412 [13:57<38:38, 7.76s/it][A + mmlu_ca: 28%|████████████████████████████████▎ | 114/412 [14:06<39:58, 8.05s/it][A + mmlu_ca: 28%|████████████████████████████████▋ | 115/412 [14:14<39:07, 7.90s/it][A + mmlu_ca: 28%|████████████████████████████████▉ | 116/412 [14:21<37:53, 7.68s/it][A + mmlu_ca: 28%|█████████████████████████████████▏ | 117/412 [14:27<35:33, 7.23s/it][A + mmlu_ca: 29%|█████████████████████████████████▌ | 118/412 [14:33<34:06, 6.96s/it][A + mmlu_ca: 29%|█████████████████████████████████▊ | 119/412 [14:40<33:51, 6.93s/it][A + mmlu_ca: 29%|██████████████████████████████████ | 120/412 [14:47<33:17, 6.84s/it][A + mmlu_ca: 29%|██████████████████████████████████▎ | 121/412 [14:53<32:29, 6.70s/it][A + mmlu_ca: 30%|██████████████████████████████████▋ | 122/412 [15:00<32:55, 6.81s/it][A + mmlu_ca: 30%|██████████████████████████████████▉ | 123/412 [15:07<33:14, 6.90s/it][A + mmlu_ca: 30%|███████████████████████████████████▏ | 124/412 [15:14<33:02, 6.88s/it][A + mmlu_ca: 30%|███████████████████████████████████▍ | 125/412 [15:21<33:02, 6.91s/it][A + mmlu_ca: 31%|███████████████████████████████████▊ | 126/412 [15:28<32:21, 6.79s/it][A + mmlu_ca: 31%|████████████████████████████████████ | 127/412 [15:36<33:48, 7.12s/it][A + mmlu_ca: 31%|████████████████████████████████████▎ | 128/412 [15:44<34:57, 7.38s/it][A + mmlu_ca: 31%|████████████████████████████████████▋ | 129/412 [15:52<36:30, 7.74s/it][A + mmlu_ca: 32%|████████████████████████████████████▉ | 130/412 [16:00<36:08, 7.69s/it][A + mmlu_ca: 32%|█████████████████████████████████████▏ | 131/412 [16:07<34:53, 7.45s/it][A + mmlu_ca: 32%|█████████████████████████████████████▍ | 132/412 [16:14<34:53, 7.48s/it][A + mmlu_ca: 32%|█████████████████████████████████████▊ | 133/412 [16:22<34:45, 7.47s/it][A + mmlu_ca: 33%|██████████████████████████████████████ | 134/412 [16:29<34:13, 7.39s/it][A + mmlu_ca: 33%|██████████████████████████████████████▎ | 135/412 [16:36<33:44, 7.31s/it][A + mmlu_ca: 33%|██████████████████████████████████████▌ | 136/412 [16:43<32:39, 7.10s/it][A + mmlu_ca: 33%|██████████████████████████████████████▉ | 137/412 [16:50<33:42, 7.36s/it][A + mmlu_ca: 33%|███████████████████████████████████████▏ | 138/412 [16:59<35:14, 7.72s/it][A + mmlu_ca: 34%|███████████████████████████████████████▍ | 139/412 [17:06<33:57, 7.46s/it][A + mmlu_ca: 34%|███████████████████████████████████████▊ | 140/412 [17:14<35:06, 7.75s/it][A + mmlu_ca: 34%|████████████████████████████████████████ | 141/412 [17:21<34:08, 7.56s/it][A + mmlu_ca: 34%|████████████████████████████████████████▎ | 142/412 [17:28<33:18, 7.40s/it][A + mmlu_ca: 35%|████████████████████████████████████████▌ | 143/412 [17:36<33:29, 7.47s/it][A + mmlu_ca: 35%|████████████████████████████████████████▉ | 144/412 [17:44<33:25, 7.48s/it][A + mmlu_ca: 35%|█████████████████████████████████████████▏ | 145/412 [17:51<33:39, 7.57s/it][A + mmlu_ca: 35%|█████████████████████████████████████████▍ | 146/412 [17:57<31:29, 7.10s/it][A + mmlu_ca: 36%|█████████████████████████████████████████▋ | 147/412 [18:05<32:00, 7.25s/it][A + mmlu_ca: 36%|██████████████████████████████████████████ | 148/412 [18:13<32:44, 7.44s/it][A + mmlu_ca: 36%|██████████████████████████████████████████▎ | 149/412 [18:22<34:11, 7.80s/it][A + mmlu_ca: 36%|██████████████████████████████████████████▌ | 150/412 [18:29<33:55, 7.77s/it][A + mmlu_ca: 37%|██████████████████████████████████████████▉ | 151/412 [18:36<32:40, 7.51s/it][A + mmlu_ca: 37%|███████████████████████████████████████████▏ | 152/412 [18:43<31:54, 7.36s/it][A + mmlu_ca: 37%|███████████████████████████████████████████▍ | 153/412 [18:51<32:34, 7.54s/it][A + mmlu_ca: 37%|███████████████████████████████████████████▋ | 154/412 [18:58<31:59, 7.44s/it][A + mmlu_ca: 38%|████████████████████████████████████████████ | 155/412 [19:06<31:49, 7.43s/it][A + mmlu_ca: 38%|████████████████████████████████████████████▎ | 156/412 [19:13<31:23, 7.36s/it][A + mmlu_ca: 38%|████████████████████████████████████████████▌ | 157/412 [19:19<30:13, 7.11s/it][A + mmlu_ca: 38%|████████████████████████████████████████████▊ | 158/412 [19:26<29:33, 6.98s/it][A + mmlu_ca: 39%|█████████████████████████████████████████████▏ | 159/412 [19:33<29:36, 7.02s/it][A + mmlu_ca: 39%|█████████████████████████████████████████████▍ | 160/412 [19:41<31:01, 7.39s/it][A + mmlu_ca: 39%|█████████████████████████████████████████████▋ | 161/412 [19:48<30:20, 7.25s/it][A + mmlu_ca: 39%|██████████████████████████████████████████████ | 162/412 [19:56<31:12, 7.49s/it][A + mmlu_ca: 40%|██████████████████████████████████████████████▎ | 163/412 [20:04<30:37, 7.38s/it][A + mmlu_ca: 40%|██████████████████████████████████████████████▌ | 164/412 [20:11<30:16, 7.33s/it][A + mmlu_ca: 40%|██████████████████████████████████████████████▊ | 165/412 [20:18<29:47, 7.24s/it][A + mmlu_ca: 40%|███████████████████████████████████████████████▏ | 166/412 [20:26<31:01, 7.57s/it][A + mmlu_ca: 41%|███████████████████████████████████████████████▍ | 167/412 [20:35<32:57, 8.07s/it][A + mmlu_ca: 41%|███████████████████████████████████████████████▋ | 168/412 [20:42<31:14, 7.68s/it][A + mmlu_ca: 41%|███████████████████████████████████████████████▉ | 169/412 [20:50<31:20, 7.74s/it][A + mmlu_ca: 41%|████████████████████████████████████████████████▎ | 170/412 [20:57<30:17, 7.51s/it][A + mmlu_ca: 42%|████████████████████████████████████████████████▌ | 171/412 [21:05<30:42, 7.65s/it][A + mmlu_ca: 42%|████████████████████████████████████████████████▊ | 172/412 [21:12<29:50, 7.46s/it][A + mmlu_ca: 42%|█████████████████████████████████████████████████▏ | 173/412 [21:20<30:19, 7.61s/it][A + mmlu_ca: 42%|█████████████████████████████████████████████████▍ | 174/412 [21:27<29:19, 7.39s/it][A + mmlu_ca: 42%|█████████████████████████████████████████████████▋ | 175/412 [21:35<30:14, 7.65s/it][A + mmlu_ca: 43%|█████████████████████████████████████████████████▉ | 176/412 [21:43<30:00, 7.63s/it][A + mmlu_ca: 43%|██████████████████████████████████████████████████▎ | 177/412 [21:51<30:09, 7.70s/it][A + mmlu_ca: 43%|██████████████████████████████████████████████████▌ | 178/412 [21:58<29:29, 7.56s/it][A + mmlu_ca: 43%|██████████████████████████████████████████████████▊ | 179/412 [22:06<30:13, 7.78s/it][A + mmlu_ca: 44%|███████████████████████████████████████████████████ | 180/412 [22:13<28:51, 7.46s/it][A + mmlu_ca: 44%|███████████████████████████████████████████████████▍ | 181/412 [22:19<27:22, 7.11s/it][A + mmlu_ca: 44%|███████████████████████████████████████████████████▋ | 182/412 [22:28<29:02, 7.58s/it][A + mmlu_ca: 44%|███████████████████████████████████████████████████▉ | 183/412 [22:37<30:48, 8.07s/it][A + mmlu_ca: 45%|████████████████████████████████████████████████████▎ | 184/412 [22:44<29:37, 7.79s/it][A + mmlu_ca: 45%|████████████████████████████████████████████████████▌ | 185/412 [22:52<29:07, 7.70s/it][A + mmlu_ca: 45%|████████████████████████████████████████████████████▊ | 186/412 [23:00<29:23, 7.80s/it][A + mmlu_ca: 45%|█████████████████████████████████████████████████████ | 187/412 [23:07<28:20, 7.56s/it][A + mmlu_ca: 46%|█████████████████████████████████████████████████████▍ | 188/412 [23:15<28:35, 7.66s/it][A + mmlu_ca: 46%|█████████████████████████████████████████████████████▋ | 189/412 [23:22<27:55, 7.51s/it][A + mmlu_ca: 46%|█████████████████████████████████████████████████████▉ | 190/412 [23:29<27:12, 7.35s/it][A + mmlu_ca: 46%|██████████████████████████████████████████████████████▏ | 191/412 [23:36<26:45, 7.27s/it][A + mmlu_ca: 47%|██████████████████████████████████████████████████████▌ | 192/412 [23:43<26:09, 7.13s/it][A + mmlu_ca: 47%|██████████████████████████████████████████████████████▊ | 193/412 [23:50<25:48, 7.07s/it][A + mmlu_ca: 47%|███████████████████████████████████████████████████████ | 194/412 [23:57<25:42, 7.08s/it][A + mmlu_ca: 47%|███████████████████████████████████████████████████████▍ | 195/412 [24:04<25:45, 7.12s/it][A + mmlu_ca: 48%|███████████████████████████████████████████████████████▋ | 196/412 [24:12<26:20, 7.32s/it][A + mmlu_ca: 48%|███████████████████████████████████████████████████████▉ | 197/412 [24:19<26:21, 7.35s/it][A + mmlu_ca: 48%|████████████████████████████████████████████████████████▏ | 198/412 [24:26<26:17, 7.37s/it][A + mmlu_ca: 48%|████████████████████████████████████████████████████████▌ | 199/412 [24:33<25:43, 7.25s/it][A + mmlu_ca: 49%|████████████████████████████████████████████████████████▊ | 200/412 [24:40<25:08, 7.11s/it][A + mmlu_ca: 49%|█████████████████████████████████████████████████████████ | 201/412 [24:47<24:53, 7.08s/it][A + mmlu_ca: 49%|█████████████████████████████████████████████████████████▎ | 202/412 [24:54<24:08, 6.90s/it][A + mmlu_ca: 49%|█████████████████████████████████████████████████████████▋ | 203/412 [25:00<23:53, 6.86s/it][A + mmlu_ca: 50%|█████████████████████████████████████████████████████████▉ | 204/412 [25:08<24:44, 7.14s/it][A + mmlu_ca: 50%|██████████████████████████████████████████████████████████▏ | 205/412 [25:15<24:24, 7.07s/it][A + mmlu_ca: 50%|██████████████████████████████████████████████████████████▌ | 206/412 [25:24<26:14, 7.64s/it][A + mmlu_ca: 50%|██████████████████████████████████████████████████████████▊ | 207/412 [25:32<25:53, 7.58s/it][A + mmlu_ca: 50%|███████████████████████████████████████████████████████████ | 208/412 [25:40<27:05, 7.97s/it][A + mmlu_ca: 51%|███████████████████████████████████████████████████████████▎ | 209/412 [25:47<25:44, 7.61s/it][A + mmlu_ca: 51%|███████████████████████████████████████████████████████████▋ | 210/412 [25:54<24:49, 7.37s/it][A + mmlu_ca: 51%|███████████████████████████████████████████████████████████▉ | 211/412 [26:01<24:25, 7.29s/it][A + mmlu_ca: 51%|████████████████████████████████████████████████████████████▏ | 212/412 [26:08<23:58, 7.19s/it][A + mmlu_ca: 52%|████████████████████████████████████████████████████████████▍ | 213/412 [26:15<23:48, 7.18s/it][A + mmlu_ca: 52%|████████████████████████████████████████████████████████████▊ | 214/412 [26:22<23:15, 7.05s/it][A + mmlu_ca: 52%|█████████████████████████████████████████████████████████████ | 215/412 [26:29<22:59, 7.00s/it][A + mmlu_ca: 52%|█████████████████████████████████████████████████████████████▎ | 216/412 [26:37<23:41, 7.25s/it][A + mmlu_ca: 53%|█████████████████████████████████████████████████████████████▌ | 217/412 [26:43<23:05, 7.11s/it][A + mmlu_ca: 53%|█████████████████████████████████████████████████████████████▉ | 218/412 [26:51<23:40, 7.32s/it][A + mmlu_ca: 53%|██████████████████████████████████████████████████████████████▏ | 219/412 [26:58<23:02, 7.17s/it][A + mmlu_ca: 53%|██████████████████████████████████████████████████████████████▍ | 220/412 [27:06<23:20, 7.30s/it][A + mmlu_ca: 54%|██████████████████████████████████████████████████████████████▊ | 221/412 [27:13<22:46, 7.15s/it][A + mmlu_ca: 54%|███████████████████████████████████████████████████████████████ | 222/412 [27:20<23:10, 7.32s/it][A + mmlu_ca: 54%|███████████████████████████████████████████████████████████████▎ | 223/412 [27:27<22:25, 7.12s/it][A + mmlu_ca: 54%|███████████████████████████████████████████████████████████████▌ | 224/412 [27:35<23:06, 7.38s/it][A + mmlu_ca: 55%|███████████████████████████████████████████████████████████████▉ | 225/412 [27:42<22:24, 7.19s/it][A + mmlu_ca: 55%|████████████████████████████████████████████████████████████████▏ | 226/412 [27:50<23:00, 7.42s/it][A + mmlu_ca: 55%|████████████████████████████████████████████████████████████████▍ | 227/412 [27:57<23:07, 7.50s/it][A + mmlu_ca: 55%|████████████████████████████████████████████████████████████████▋ | 228/412 [28:05<23:08, 7.54s/it][A + mmlu_ca: 56%|█████████████████████████████████████████████████████████████████ | 229/412 [28:11<21:57, 7.20s/it][A + mmlu_ca: 56%|█████████████████████████████████████████████████████████████████▎ | 230/412 [28:19<22:20, 7.37s/it][A + mmlu_ca: 56%|█████████████████████████████████████████████████████████████████▌ | 231/412 [28:28<23:21, 7.75s/it][A + mmlu_ca: 56%|█████████████████████████████████████████████████████████████████▉ | 232/412 [28:35<22:27, 7.49s/it][A + mmlu_ca: 57%|██████████████████████████████████████████████████████████████████▏ | 233/412 [28:44<23:52, 8.00s/it][A + mmlu_ca: 57%|██████████████████████████████████████████████████████████████████▍ | 234/412 [28:51<22:37, 7.62s/it][A + mmlu_ca: 57%|██████████████████████████████████████████████████████████████████▋ | 235/412 [28:58<21:56, 7.44s/it][A + mmlu_ca: 57%|███████████████████████████████████████████████████████████████████ | 236/412 [29:04<21:00, 7.16s/it][A + mmlu_ca: 58%|███████████████████████████████████████████████████████████████████▎ | 237/412 [29:12<21:30, 7.37s/it][A + mmlu_ca: 58%|███████████████████████████████████████████████████████████████████▌ | 238/412 [29:20<21:43, 7.49s/it][A + mmlu_ca: 58%|███████████████████████████████████████████████████████████████████▊ | 239/412 [29:28<22:03, 7.65s/it][A + mmlu_ca: 58%|████████████████████████████████████████████████████████████████████▏ | 240/412 [29:34<21:06, 7.37s/it][A + mmlu_ca: 58%|████████████████████████████████████████████████████████████████████▍ | 241/412 [29:41<20:06, 7.06s/it][A + mmlu_ca: 59%|████████████████████████████████████████████████████████████████████▋ | 242/412 [29:48<20:10, 7.12s/it][A + mmlu_ca: 59%|█████████████████████████████████████████████████████████████████████ | 243/412 [29:56<20:34, 7.31s/it][A + mmlu_ca: 59%|█████████████████████████████████████████████████████████████████████▎ | 244/412 [30:04<21:24, 7.65s/it][A + mmlu_ca: 59%|█████████████████████████████████████████████████████████████████████▌ | 245/412 [30:11<20:14, 7.27s/it][A + mmlu_ca: 60%|█████████████████████████████████████████████████████████████████████▊ | 246/412 [30:18<20:39, 7.46s/it][A + mmlu_ca: 60%|██████████████████████████████████████████████████████████████████████▏ | 247/412 [30:25<20:03, 7.29s/it][A + mmlu_ca: 60%|██████████████████████████████████████████████████████████████████████▍ | 248/412 [30:32<19:28, 7.12s/it][A + mmlu_ca: 60%|██████████████████████████████████████████████████████████████████████▋ | 249/412 [30:40<20:00, 7.36s/it][A + mmlu_ca: 61%|██████████████████████████████████████████████████████████████████████▉ | 250/412 [30:48<20:02, 7.42s/it][A + mmlu_ca: 61%|███████████████████████████████████████████████████████████████████████▎ | 251/412 [30:57<21:15, 7.92s/it][A + mmlu_ca: 61%|███████████████████████████████████████████████████████████████████████▌ | 252/412 [31:04<20:32, 7.71s/it][A + mmlu_ca: 61%|███████████████████████████████████████████████████████████████████████▊ | 253/412 [31:11<19:59, 7.54s/it][A + mmlu_ca: 62%|████████████████████████████████████████████████████████████████████████▏ | 254/412 [31:19<20:09, 7.65s/it][A + mmlu_ca: 62%|████████████████████████████████████████████████████████████████████████▍ | 255/412 [31:28<21:17, 8.14s/it][A + mmlu_ca: 62%|████████████████████████████████████████████████████████████████████████▋ | 256/412 [31:36<20:56, 8.05s/it][A + mmlu_ca: 62%|████████████████████████████████████████████████████████████████████████▉ | 257/412 [31:43<20:08, 7.80s/it][A + mmlu_ca: 63%|█████████████████████████████████████████████████████████████████████████▎ | 258/412 [31:52<20:27, 7.97s/it][A + mmlu_ca: 63%|█████████████████████████████████████████████████████████████████████████▌ | 259/412 [31:59<19:54, 7.81s/it][A + mmlu_ca: 63%|█████████████████████████████████████████████████████████████████████████▊ | 260/412 [32:06<18:53, 7.46s/it][A + mmlu_ca: 63%|██████████████████████████████████████████████████████████████████████████ | 261/412 [32:13<18:21, 7.29s/it][A + mmlu_ca: 64%|██████████████████████████████████████████████████████████████████████████▍ | 262/412 [32:21<19:14, 7.70s/it][A + mmlu_ca: 64%|██████████████████████████████████████████████████████████████████████████▋ | 263/412 [32:29<18:54, 7.61s/it][A + mmlu_ca: 64%|██████████████████████████████████████████████████████████████████████████▉ | 264/412 [32:36<18:36, 7.55s/it][A + mmlu_ca: 64%|███████████████████████████████████████████████████████████████████████████▎ | 265/412 [32:43<18:04, 7.38s/it][A + mmlu_ca: 65%|███████████████████████████████████████████████████████████████████████████▌ | 266/412 [32:52<18:47, 7.72s/it][A + mmlu_ca: 65%|███████████████████████████████████████████████████████████████████████████▊ | 267/412 [32:58<17:24, 7.20s/it][A + mmlu_ca: 65%|████████████████████████████████████████████████████████████████████████████ | 268/412 [33:05<17:27, 7.27s/it][A + mmlu_ca: 65%|████████████████████████████████████████████████████████████████████████████▍ | 269/412 [33:12<17:02, 7.15s/it][A + mmlu_ca: 66%|████████████████████████████████████████████████████████████████████████████▋ | 270/412 [33:19<16:42, 7.06s/it][A + mmlu_ca: 66%|████████████████████████████████████████████████████████████████████████████▉ | 271/412 [33:26<16:42, 7.11s/it][A + mmlu_ca: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 272/412 [33:33<16:29, 7.07s/it][A + mmlu_ca: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 273/412 [33:40<16:24, 7.08s/it][A + mmlu_ca: 67%|█████████████████████████████████████████████████████████████████████████████▊ | 274/412 [33:49<17:19, 7.53s/it][A + mmlu_ca: 67%|██████████████████████████████████████████████████████████████████████████████ | 275/412 [33:55<16:43, 7.33s/it][A + mmlu_ca: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 276/412 [34:03<16:27, 7.26s/it][A + mmlu_ca: 67%|██████████████████████████████████████████████████████████████████████████████▋ | 277/412 [34:10<16:38, 7.40s/it][A + mmlu_ca: 67%|██████████████████████████████████████████████████████████████████████████████▉ | 278/412 [34:18<16:33, 7.41s/it][A + mmlu_ca: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 279/412 [34:25<15:59, 7.22s/it][A + mmlu_ca: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 280/412 [34:32<16:08, 7.33s/it][A + mmlu_ca: 68%|███████████████████████████████████████████████████████████████████████████████▊ | 281/412 [34:40<16:12, 7.42s/it][A + mmlu_ca: 68%|████████████████████████████████████████████████████████████████████████████████ | 282/412 [34:47<16:14, 7.50s/it][A + mmlu_ca: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 283/412 [34:55<15:53, 7.39s/it][A + mmlu_ca: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 284/412 [35:02<16:04, 7.54s/it][A + mmlu_ca: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 285/412 [35:11<16:18, 7.71s/it][A + mmlu_ca: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 286/412 [35:19<16:37, 7.92s/it][A + mmlu_ca: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 287/412 [35:26<15:45, 7.56s/it][A + mmlu_ca: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 288/412 [35:33<15:39, 7.58s/it][A + mmlu_ca: 70%|██████████████████████████████████████████████████████████████████████████████████ | 289/412 [35:40<15:00, 7.32s/it][A + mmlu_ca: 70%|██████████████████████████████████████████████████████████████████████████████████▎ | 290/412 [35:48<15:05, 7.43s/it][A + mmlu_ca: 71%|██████████████████████████████████████████████████████████████████████████████████▋ | 291/412 [35:55<14:58, 7.43s/it][A + mmlu_ca: 71%|██████████████████████████████████████████████████████████████████████████████████▉ | 292/412 [36:02<14:46, 7.39s/it][A + mmlu_ca: 71%|███████████████████████████████████████████████████████████████████████████████████▏ | 293/412 [36:10<14:35, 7.36s/it][A + mmlu_ca: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 294/412 [36:17<14:38, 7.44s/it][A + mmlu_ca: 72%|███████████████████████████████████████████████████████████████████████████████████▊ | 295/412 [36:26<15:03, 7.72s/it][A + mmlu_ca: 72%|████████████████████████████████████████████████████████████████████████████████████ | 296/412 [36:33<14:23, 7.44s/it][A + mmlu_ca: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 297/412 [36:40<14:15, 7.44s/it][A + mmlu_ca: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 298/412 [36:48<14:15, 7.50s/it][A + mmlu_ca: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 299/412 [36:55<14:09, 7.52s/it][A + mmlu_ca: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 300/412 [37:02<13:42, 7.35s/it][A + mmlu_ca: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 301/412 [37:08<12:59, 7.03s/it][A + mmlu_ca: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 302/412 [37:17<13:39, 7.45s/it][A + mmlu_ca: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 303/412 [37:24<13:18, 7.33s/it][A + mmlu_ca: 74%|██████████████████████████████████████████████████████████████████████████████████████▎ | 304/412 [37:31<13:04, 7.27s/it][A + mmlu_ca: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 305/412 [37:38<12:40, 7.10s/it][A + mmlu_ca: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 306/412 [37:45<12:34, 7.12s/it][A + mmlu_ca: 75%|███████████████████████████████████████████████████████████████████████████████████████▏ | 307/412 [37:52<12:26, 7.11s/it][A + mmlu_ca: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 308/412 [38:00<12:58, 7.49s/it][A + mmlu_ca: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 309/412 [38:07<12:22, 7.20s/it][A + mmlu_ca: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 310/412 [38:15<12:32, 7.37s/it][A + mmlu_ca: 75%|████████████████████████████████████████████████████████████████████████████████████████▎ | 311/412 [38:22<12:26, 7.39s/it][A + mmlu_ca: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 312/412 [38:29<12:19, 7.39s/it][A + mmlu_ca: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 313/412 [38:37<12:03, 7.31s/it][A + mmlu_ca: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 314/412 [38:43<11:43, 7.18s/it][A + mmlu_ca: 76%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 315/412 [38:50<11:31, 7.13s/it][A + mmlu_ca: 77%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 316/412 [38:58<11:35, 7.24s/it][A + mmlu_ca: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 317/412 [39:06<11:52, 7.50s/it][A + mmlu_ca: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 318/412 [39:13<11:34, 7.39s/it][A + mmlu_ca: 77%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 319/412 [39:21<11:26, 7.39s/it][A + mmlu_ca: 78%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 320/412 [39:29<11:33, 7.54s/it][A + mmlu_ca: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 321/412 [39:37<12:01, 7.92s/it][A + mmlu_ca: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 322/412 [39:44<11:20, 7.56s/it][A + mmlu_ca: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 323/412 [39:52<11:19, 7.63s/it][A + mmlu_ca: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 324/412 [39:59<11:01, 7.51s/it][A + mmlu_ca: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 325/412 [40:07<10:52, 7.50s/it][A + mmlu_ca: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 326/412 [40:15<11:02, 7.70s/it][A + mmlu_ca: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 327/412 [40:23<11:06, 7.85s/it][A + mmlu_ca: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 328/412 [40:30<10:38, 7.61s/it][A + mmlu_ca: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 329/412 [40:38<10:38, 7.70s/it][A + mmlu_ca: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 330/412 [40:45<10:11, 7.46s/it][A + mmlu_ca: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 331/412 [40:53<10:20, 7.66s/it][A + mmlu_ca: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 332/412 [41:02<10:47, 8.09s/it][A + mmlu_ca: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 333/412 [41:10<10:35, 8.04s/it][A + mmlu_ca: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 334/412 [41:17<09:57, 7.65s/it][A + mmlu_ca: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 335/412 [41:24<09:31, 7.43s/it][A + mmlu_ca: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 336/412 [41:31<09:15, 7.31s/it][A + mmlu_ca: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/412 [41:39<09:35, 7.67s/it][A + mmlu_ca: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/412 [41:47<09:33, 7.75s/it][A + mmlu_ca: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 339/412 [41:55<09:26, 7.76s/it][A + mmlu_ca: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 340/412 [42:03<09:19, 7.77s/it][A + mmlu_ca: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 341/412 [42:11<09:14, 7.81s/it][A + mmlu_ca: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 342/412 [42:18<09:01, 7.73s/it][A + mmlu_ca: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 343/412 [42:25<08:46, 7.63s/it][A + mmlu_ca: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 344/412 [42:32<08:26, 7.45s/it][A + mmlu_ca: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 345/412 [42:40<08:19, 7.46s/it][A + mmlu_ca: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 346/412 [42:47<08:08, 7.41s/it][A + mmlu_ca: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 347/412 [42:54<07:56, 7.34s/it][A + mmlu_ca: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 348/412 [43:01<07:42, 7.23s/it][A + mmlu_ca: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 349/412 [43:08<07:27, 7.10s/it][A + mmlu_ca: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 350/412 [43:16<07:27, 7.22s/it][A + mmlu_ca: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 351/412 [43:24<07:47, 7.67s/it][A + mmlu_ca: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 352/412 [43:32<07:34, 7.57s/it][A + mmlu_ca: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 353/412 [43:39<07:12, 7.33s/it][A + mmlu_ca: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 354/412 [43:46<07:01, 7.26s/it][A + mmlu_ca: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 355/412 [43:53<06:51, 7.22s/it][A + mmlu_ca: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 356/412 [44:00<06:38, 7.12s/it][A + mmlu_ca: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 357/412 [44:08<06:58, 7.61s/it][A + mmlu_ca: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 358/412 [44:16<06:50, 7.59s/it][A + mmlu_ca: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 359/412 [44:23<06:36, 7.48s/it][A + mmlu_ca: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 360/412 [44:31<06:34, 7.59s/it][A + mmlu_ca: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 361/412 [44:39<06:37, 7.79s/it][A + mmlu_ca: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 362/412 [44:46<06:12, 7.44s/it][A + mmlu_ca: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 363/412 [44:54<06:08, 7.53s/it][A + mmlu_ca: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 364/412 [45:00<05:46, 7.21s/it][A + mmlu_ca: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 365/412 [45:07<05:36, 7.16s/it][A + mmlu_ca: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 366/412 [45:14<05:25, 7.08s/it][A + mmlu_ca: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 367/412 [45:22<05:36, 7.48s/it][A + mmlu_ca: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 368/412 [45:29<05:21, 7.32s/it][A + mmlu_ca: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 369/412 [45:37<05:20, 7.45s/it][A + mmlu_ca: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/412 [45:45<05:19, 7.60s/it][A + mmlu_ca: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 371/412 [45:53<05:10, 7.57s/it][A + mmlu_ca: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 372/412 [46:02<05:29, 8.25s/it][A + mmlu_ca: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/412 [46:11<05:22, 8.28s/it][A + mmlu_ca: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 374/412 [46:18<05:06, 8.06s/it][A + mmlu_ca: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 375/412 [46:25<04:41, 7.61s/it][A + mmlu_ca: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 376/412 [46:32<04:23, 7.33s/it][A + mmlu_ca: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 377/412 [46:39<04:18, 7.37s/it][A + mmlu_ca: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 378/412 [46:47<04:13, 7.44s/it][A + mmlu_ca: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 379/412 [46:54<04:04, 7.42s/it][A + mmlu_ca: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 380/412 [47:02<04:03, 7.61s/it][A + mmlu_ca: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 381/412 [47:09<03:53, 7.54s/it][A + mmlu_ca: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 382/412 [47:17<03:46, 7.56s/it][A + mmlu_ca: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 383/412 [47:25<03:39, 7.57s/it][A + mmlu_ca: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 384/412 [47:32<03:26, 7.38s/it][A + mmlu_ca: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 385/412 [47:39<03:17, 7.31s/it][A + mmlu_ca: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 386/412 [47:46<03:12, 7.39s/it][A + mmlu_ca: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 387/412 [47:54<03:05, 7.42s/it][A + mmlu_ca: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 388/412 [48:01<02:57, 7.40s/it][A + mmlu_ca: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 389/412 [48:08<02:47, 7.29s/it][A + mmlu_ca: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 390/412 [48:15<02:37, 7.14s/it][A + mmlu_ca: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 391/412 [48:23<02:32, 7.27s/it][A + mmlu_ca: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 392/412 [48:29<02:19, 6.99s/it][A + mmlu_ca: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 393/412 [48:36<02:16, 7.17s/it][A + mmlu_ca: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 394/412 [48:44<02:08, 7.16s/it][A + mmlu_ca: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 395/412 [48:51<02:00, 7.09s/it][A + mmlu_ca: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 396/412 [48:57<01:52, 7.03s/it][A + mmlu_ca: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 397/412 [49:06<01:54, 7.62s/it][A + mmlu_ca: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 398/412 [49:15<01:50, 7.88s/it][A + mmlu_ca: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 399/412 [49:24<01:45, 8.15s/it][A + mmlu_ca: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 400/412 [49:31<01:35, 8.00s/it][A + mmlu_ca: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 401/412 [49:38<01:25, 7.75s/it][A + mmlu_ca: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 402/412 [49:47<01:18, 7.85s/it][A + mmlu_ca: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 403/412 [49:54<01:09, 7.68s/it][A + mmlu_ca: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 404/412 [50:00<00:58, 7.36s/it][A + mmlu_ca: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 405/412 [50:07<00:50, 7.22s/it][A + mmlu_ca: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [50:14<00:42, 7.15s/it][A + mmlu_ca: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [50:22<00:36, 7.33s/it][A + mmlu_ca: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [50:30<00:29, 7.50s/it][A + mmlu_ca: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [50:38<00:22, 7.51s/it][A + mmlu_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [50:44<00:14, 7.30s/it][A + mmlu_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [50:51<00:07, 7.10s/it][A + mmlu_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [50:55<00:00, 6.23s/it][A mmlu_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [50:55<00:00, 7.42s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ca_acc 0.3459258133171177 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ca_acc_norm 0.3267710550319246 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 18:51:48,569 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 18:51:48,569 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:48,699 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 18:51:48,699 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:48,828 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 18:51:48,828 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:48,958 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 18:51:48,959 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 18:51:48,959 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 18:51:49,089 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 18:51:49,089 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_ca_acc'} +2024-05-30 18:51:49,155 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 18:51:49,155 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1207, 'value': 0.3459258133171177} +2024-05-30 18:51:49,221 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 18:51:49,851 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 18:51:49,851 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:49,974 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 18:51:49,974 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:50,098 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 18:51:50,098 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:50,221 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 18:51:50,222 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 18:51:50,222 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 18:51:50,346 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 18:51:50,347 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ca_acc_norm'} +2024-05-30 18:51:50,409 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 18:51:50,409 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1208, 'value': 0.3267710550319246} +2024-05-30 18:51:50,472 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 52%|████████████████████████████████████████████████████████▌ | 65/124 [36:04:19<69:57:11, 4268.33s/it]['mmlu_da'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 18:51:51,086 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 18:51:51,086 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:51,206 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 18:51:51,206 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:51,327 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 18:51:51,327 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 18:51:51,447 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 18:51:51,448 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 18:51:51,448 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_da'} +2024-05-30 18:51:51,569 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_da task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1772 examples [00:00, 17451.93 examples/s][A + Generating test split: 5143 examples [00:00, 26952.37 examples/s][A + Generating test split: 8677 examples [00:00, 30763.66 examples/s][A + Generating test split: 12040 examples [00:00, 31889.83 examples/s][A Generating test split: 13206 examples [00:00, 29962.51 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 269 examples [00:00, 27719.52 examples/s] +Running loglikelihood requests + + mmlu_da: 0%| | 0/413 [00:00<?, ?it/s][A + mmlu_da: 0%|▎ | 1/413 [00:07<51:54, 7.56s/it][A + mmlu_da: 0%|▌ | 2/413 [00:14<50:41, 7.40s/it][A + mmlu_da: 1%|▊ | 3/413 [00:22<50:21, 7.37s/it][A + mmlu_da: 1%|█▏ | 4/413 [00:29<50:58, 7.48s/it][A + mmlu_da: 1%|█▍ | 5/413 [00:37<52:02, 7.65s/it][A + mmlu_da: 1%|█▋ | 6/413 [00:45<50:55, 7.51s/it][A + mmlu_da: 2%|██ | 7/413 [00:53<53:16, 7.87s/it][A + mmlu_da: 2%|██▎ | 8/413 [01:00<51:54, 7.69s/it][A + mmlu_da: 2%|██▌ | 9/413 [01:09<53:08, 7.89s/it][A + mmlu_da: 2%|██▊ | 10/413 [01:17<54:10, 8.06s/it][A + mmlu_da: 3%|███▏ | 11/413 [01:25<53:09, 7.93s/it][A + mmlu_da: 3%|███▍ | 12/413 [01:32<51:52, 7.76s/it][A + mmlu_da: 3%|███▋ | 13/413 [01:40<51:40, 7.75s/it][A + mmlu_da: 3%|████ | 14/413 [01:47<51:00, 7.67s/it][A + mmlu_da: 4%|████▎ | 15/413 [01:55<50:38, 7.63s/it][A + mmlu_da: 4%|████▌ | 16/413 [02:04<52:34, 7.95s/it][A + mmlu_da: 4%|████▊ | 17/413 [02:12<53:19, 8.08s/it][A + mmlu_da: 4%|█████▏ | 18/413 [02:21<54:08, 8.22s/it][A + mmlu_da: 5%|█████▍ | 19/413 [02:30<55:20, 8.43s/it][A + mmlu_da: 5%|█████▋ | 20/413 [02:37<53:32, 8.17s/it][A + mmlu_da: 5%|██████ | 21/413 [02:46<54:38, 8.36s/it][A + mmlu_da: 5%|██████▎ | 22/413 [02:54<54:06, 8.30s/it][A + mmlu_da: 6%|██████▌ | 23/413 [03:02<52:36, 8.09s/it][A + mmlu_da: 6%|██████▊ | 24/413 [03:12<56:13, 8.67s/it][A + mmlu_da: 6%|███████▏ | 25/413 [03:20<54:58, 8.50s/it][A + mmlu_da: 6%|███████▍ | 26/413 [03:27<53:12, 8.25s/it][A + mmlu_da: 7%|███████▋ | 27/413 [03:35<52:19, 8.13s/it][A + mmlu_da: 7%|████████ | 28/413 [03:44<52:38, 8.21s/it][A + mmlu_da: 7%|████████▎ | 29/413 [03:51<51:32, 8.05s/it][A + mmlu_da: 7%|████████▌ | 30/413 [03:59<50:01, 7.84s/it][A + mmlu_da: 8%|████████▊ | 31/413 [04:06<48:52, 7.68s/it][A + mmlu_da: 8%|█████████▏ | 32/413 [04:14<50:02, 7.88s/it][A + mmlu_da: 8%|█████████▍ | 33/413 [04:23<52:03, 8.22s/it][A + mmlu_da: 8%|█████████▋ | 34/413 [04:31<50:18, 7.97s/it][A + mmlu_da: 8%|██████████ | 35/413 [04:39<49:50, 7.91s/it][A + mmlu_da: 9%|██████████▎ | 36/413 [04:48<53:11, 8.47s/it][A + mmlu_da: 9%|██████████▌ | 37/413 [04:57<52:54, 8.44s/it][A + mmlu_da: 9%|██████████▊ | 38/413 [05:06<54:33, 8.73s/it][A + mmlu_da: 9%|███████████▏ | 39/413 [05:14<53:26, 8.57s/it][A + mmlu_da: 10%|███████████▍ | 40/413 [05:22<52:32, 8.45s/it][A + mmlu_da: 10%|███████████▋ | 41/413 [05:30<50:56, 8.22s/it][A + mmlu_da: 10%|████████████ | 42/413 [05:38<49:29, 8.00s/it][A + mmlu_da: 10%|████████████▎ | 43/413 [05:45<48:58, 7.94s/it][A + mmlu_da: 11%|████████████▌ | 44/413 [05:54<50:27, 8.20s/it][A + mmlu_da: 11%|████████████▊ | 45/413 [06:02<48:47, 7.95s/it][A + mmlu_da: 11%|█████████████▏ | 46/413 [06:09<48:27, 7.92s/it][A + mmlu_da: 11%|█████████████▍ | 47/413 [06:18<50:00, 8.20s/it][A + mmlu_da: 12%|█████████████▋ | 48/413 [06:26<48:22, 7.95s/it][A + mmlu_da: 12%|██████████████ | 49/413 [06:34<48:13, 7.95s/it][A + mmlu_da: 12%|██████████████▎ | 50/413 [06:41<46:55, 7.76s/it][A + mmlu_da: 12%|██████████████▌ | 51/413 [06:51<50:14, 8.33s/it][A + mmlu_da: 13%|██████████████▊ | 52/413 [06:59<49:38, 8.25s/it][A + mmlu_da: 13%|███████████████▏ | 53/413 [07:07<50:00, 8.34s/it][A + mmlu_da: 13%|███████████████▍ | 54/413 [07:16<49:51, 8.33s/it][A + mmlu_da: 13%|███████████████▋ | 55/413 [07:24<49:10, 8.24s/it][A + mmlu_da: 14%|████████████████ | 56/413 [07:32<49:02, 8.24s/it][A + mmlu_da: 14%|████████████████▎ | 57/413 [07:40<48:53, 8.24s/it][A + mmlu_da: 14%|████████████████▌ | 58/413 [07:48<48:34, 8.21s/it][A + mmlu_da: 14%|████████████████▊ | 59/413 [07:57<48:57, 8.30s/it][A + mmlu_da: 15%|█████████████████▏ | 60/413 [08:05<47:59, 8.16s/it][A + mmlu_da: 15%|█████████████████▍ | 61/413 [08:12<46:47, 7.97s/it][A + mmlu_da: 15%|█████████████████▋ | 62/413 [08:19<45:25, 7.76s/it][A + mmlu_da: 15%|██████████████████ | 63/413 [08:28<47:12, 8.09s/it][A + mmlu_da: 15%|██████████████████▎ | 64/413 [08:36<47:00, 8.08s/it][A + mmlu_da: 16%|██████████████████▌ | 65/413 [08:44<46:55, 8.09s/it][A + mmlu_da: 16%|██████████████████▊ | 66/413 [08:53<47:35, 8.23s/it][A + mmlu_da: 16%|███████████████████▏ | 67/413 [09:01<46:55, 8.14s/it][A + mmlu_da: 16%|███████████████████▍ | 68/413 [09:09<47:06, 8.19s/it][A + mmlu_da: 17%|███████████████████▋ | 69/413 [09:18<48:52, 8.52s/it][A + mmlu_da: 17%|████████████████████ | 70/413 [09:26<47:13, 8.26s/it][A + mmlu_da: 17%|████████████████████▎ | 71/413 [09:34<46:40, 8.19s/it][A + mmlu_da: 17%|████████████████████▌ | 72/413 [09:42<46:02, 8.10s/it][A + mmlu_da: 18%|████████████████████▊ | 73/413 [09:50<45:27, 8.02s/it][A + mmlu_da: 18%|█████████████████████▏ | 74/413 [09:57<43:11, 7.64s/it][A + mmlu_da: 18%|█████████████████████▍ | 75/413 [10:04<43:14, 7.68s/it][A + mmlu_da: 18%|█████████████████████▋ | 76/413 [10:13<44:17, 7.89s/it][A + mmlu_da: 19%|██████████████████████ | 77/413 [10:21<44:53, 8.02s/it][A + mmlu_da: 19%|██████████████████████▎ | 78/413 [10:29<44:55, 8.05s/it][A + mmlu_da: 19%|██████████████████████▌ | 79/413 [10:39<47:30, 8.53s/it][A + mmlu_da: 19%|██████████████████████▊ | 80/413 [10:46<45:21, 8.17s/it][A + mmlu_da: 20%|███████████████████████▏ | 81/413 [10:54<44:16, 8.00s/it][A + mmlu_da: 20%|███████████████████████▍ | 82/413 [11:01<42:59, 7.79s/it][A + mmlu_da: 20%|███████████████████████▋ | 83/413 [11:10<44:41, 8.13s/it][A + mmlu_da: 20%|████████████████████████ | 84/413 [11:18<43:44, 7.98s/it][A + mmlu_da: 21%|████████████████████████▎ | 85/413 [11:26<43:41, 7.99s/it][A + mmlu_da: 21%|████████████████████████▌ | 86/413 [11:35<45:09, 8.29s/it][A + mmlu_da: 21%|████████████████████████▊ | 87/413 [11:43<45:07, 8.31s/it][A + mmlu_da: 21%|█████████████████████████▏ | 88/413 [11:51<43:47, 8.08s/it][A + mmlu_da: 22%|█████████████████████████▍ | 89/413 [11:58<42:27, 7.86s/it][A + mmlu_da: 22%|█████████████████████████▋ | 90/413 [12:05<41:02, 7.62s/it][A + mmlu_da: 22%|██████████████████████████ | 91/413 [12:13<41:23, 7.71s/it][A + mmlu_da: 22%|██████████████████████████▎ | 92/413 [12:21<42:33, 7.96s/it][A + mmlu_da: 23%|██████████████████████████▌ | 93/413 [12:29<41:20, 7.75s/it][A + mmlu_da: 23%|██████████████████████████▊ | 94/413 [12:37<41:57, 7.89s/it][A + mmlu_da: 23%|███████████████████████████▏ | 95/413 [12:44<40:41, 7.68s/it][A + mmlu_da: 23%|███████████████████████████▍ | 96/413 [12:52<40:11, 7.61s/it][A + mmlu_da: 23%|███████████████████████████▋ | 97/413 [12:59<40:25, 7.68s/it][A + mmlu_da: 24%|████████████████████████████ | 98/413 [13:08<41:21, 7.88s/it][A + mmlu_da: 24%|████████████████████████████▎ | 99/413 [13:16<41:53, 8.01s/it][A + mmlu_da: 24%|████████████████████████████▎ | 100/413 [13:24<41:17, 7.92s/it][A + mmlu_da: 24%|████████████████████████████▌ | 101/413 [13:31<40:35, 7.81s/it][A + mmlu_da: 25%|████████████████████████████▉ | 102/413 [13:39<40:09, 7.75s/it][A + mmlu_da: 25%|█████████████████████████████▏ | 103/413 [13:47<40:04, 7.76s/it][A + mmlu_da: 25%|█████████████████████████████▍ | 104/413 [13:54<39:28, 7.67s/it][A + mmlu_da: 25%|█████████████████████████████▋ | 105/413 [14:02<40:27, 7.88s/it][A + mmlu_da: 26%|██████████████████████████████ | 106/413 [14:10<39:19, 7.69s/it][A + mmlu_da: 26%|██████████████████████████████▎ | 107/413 [14:17<38:46, 7.60s/it][A + mmlu_da: 26%|██████████████████████████████▌ | 108/413 [14:26<40:12, 7.91s/it][A + mmlu_da: 26%|██████████████████████████████▉ | 109/413 [14:33<38:45, 7.65s/it][A + mmlu_da: 27%|███████████████████████████████▏ | 110/413 [14:41<38:59, 7.72s/it][A + mmlu_da: 27%|███████████████████████████████▍ | 111/413 [14:50<41:55, 8.33s/it][A + mmlu_da: 27%|███████████████████████████████▋ | 112/413 [14:58<40:56, 8.16s/it][A + mmlu_da: 27%|████████████████████████████████ | 113/413 [15:06<40:56, 8.19s/it][A + mmlu_da: 28%|████████████████████████████████▎ | 114/413 [15:16<42:05, 8.45s/it][A + mmlu_da: 28%|████████████████████████████████▌ | 115/413 [15:25<43:53, 8.84s/it][A + mmlu_da: 28%|████████████████████████████████▊ | 116/413 [15:33<42:42, 8.63s/it][A + mmlu_da: 28%|█████████████████████████████████▏ | 117/413 [15:41<40:39, 8.24s/it][A + mmlu_da: 29%|█████████████████████████████████▍ | 118/413 [15:49<40:56, 8.33s/it][A + mmlu_da: 29%|█████████████████████████████████▋ | 119/413 [15:57<40:13, 8.21s/it][A + mmlu_da: 29%|█████████████████████████████████▉ | 120/413 [16:04<38:25, 7.87s/it][A + mmlu_da: 29%|██████████████████████████████████▎ | 121/413 [16:12<37:29, 7.70s/it][A + mmlu_da: 30%|██████████████████████████████████▌ | 122/413 [16:19<37:14, 7.68s/it][A + mmlu_da: 30%|██████████████████████████████████▊ | 123/413 [16:28<38:55, 8.05s/it][A + mmlu_da: 30%|███████████████████████████████████▏ | 124/413 [16:36<38:06, 7.91s/it][A + mmlu_da: 30%|███████████████████████████████████▍ | 125/413 [16:44<38:11, 7.96s/it][A + mmlu_da: 31%|███████████████████████████████████▋ | 126/413 [16:52<37:49, 7.91s/it][A + mmlu_da: 31%|███████████████████████████████████▉ | 127/413 [16:59<36:44, 7.71s/it][A + mmlu_da: 31%|████████████████████████████████████▎ | 128/413 [17:06<36:22, 7.66s/it][A + mmlu_da: 31%|████████████████████████████████████▌ | 129/413 [17:14<36:16, 7.66s/it][A + mmlu_da: 31%|████████████████████████████████████▊ | 130/413 [17:22<36:32, 7.75s/it][A + mmlu_da: 32%|█████████████████████████████████████ | 131/413 [17:30<37:04, 7.89s/it][A + mmlu_da: 32%|█████████████████████████████████████▍ | 132/413 [17:38<36:32, 7.80s/it][A + mmlu_da: 32%|█████████████████████████████████████▋ | 133/413 [17:45<35:46, 7.67s/it][A + mmlu_da: 32%|█████████████████████████████████████▉ | 134/413 [17:53<36:11, 7.78s/it][A + mmlu_da: 33%|██████████████████████████████████████▏ | 135/413 [18:01<35:25, 7.65s/it][A + mmlu_da: 33%|██████████████████████████████████████▌ | 136/413 [18:09<35:55, 7.78s/it][A + mmlu_da: 33%|██████████████████████████████████████▊ | 137/413 [18:18<37:35, 8.17s/it][A + mmlu_da: 33%|███████████████████████████████████████ | 138/413 [18:26<37:07, 8.10s/it][A + mmlu_da: 34%|███████████████████████████████████████▍ | 139/413 [18:35<38:45, 8.49s/it][A + mmlu_da: 34%|███████████████████████████████████████▋ | 140/413 [18:43<38:09, 8.39s/it][A + mmlu_da: 34%|███████████████████████████████████████▉ | 141/413 [18:51<36:49, 8.12s/it][A + mmlu_da: 34%|████████████████████████████████████████▏ | 142/413 [18:58<35:45, 7.92s/it][A + mmlu_da: 35%|████████████████████████████████████████▌ | 143/413 [19:06<35:07, 7.81s/it][A + mmlu_da: 35%|████████████████████████████████████████▊ | 144/413 [19:14<35:54, 8.01s/it][A + mmlu_da: 35%|█████████████████████████████████████████ | 145/413 [19:22<34:59, 7.84s/it][A + mmlu_da: 35%|█████████████████████████████████████████▎ | 146/413 [19:29<34:28, 7.75s/it][A + mmlu_da: 36%|█████████████████████████████████████████▋ | 147/413 [19:37<34:49, 7.85s/it][A + mmlu_da: 36%|█████████████████████████████████████████▉ | 148/413 [19:45<34:21, 7.78s/it][A + mmlu_da: 36%|██████████████████████████████████████████▏ | 149/413 [19:53<34:42, 7.89s/it][A + mmlu_da: 36%|██████████████████████████████████████████▍ | 150/413 [20:01<34:32, 7.88s/it][A + mmlu_da: 37%|██████████████████████████████████████████▊ | 151/413 [20:10<35:39, 8.17s/it][A + mmlu_da: 37%|███████████████████████████████████████████ | 152/413 [20:17<34:39, 7.97s/it][A + mmlu_da: 37%|███████████████████████████████████████████▎ | 153/413 [20:26<35:09, 8.11s/it][A + mmlu_da: 37%|███████████████████████████████████████████▋ | 154/413 [20:33<33:57, 7.87s/it][A + mmlu_da: 38%|███████████████████████████████████████████▉ | 155/413 [20:40<33:06, 7.70s/it][A + mmlu_da: 38%|████████████████████████████████████████████▏ | 156/413 [20:48<33:14, 7.76s/it][A + mmlu_da: 38%|████████████████████████████████████████████▍ | 157/413 [20:56<32:43, 7.67s/it][A + mmlu_da: 38%|████████████████████████████████████████████▊ | 158/413 [21:04<33:14, 7.82s/it][A + mmlu_da: 38%|█████████████████████████████████████████████ | 159/413 [21:11<32:40, 7.72s/it][A + mmlu_da: 39%|█████████████████████████████████████████████▎ | 160/413 [21:18<31:43, 7.52s/it][A + mmlu_da: 39%|█████████████████████████████████████████████▌ | 161/413 [21:27<32:45, 7.80s/it][A + mmlu_da: 39%|█████████████████████████████████████████████▉ | 162/413 [21:35<32:59, 7.89s/it][A + mmlu_da: 39%|██████████████████████████████████████████████▏ | 163/413 [21:42<32:23, 7.77s/it][A + mmlu_da: 40%|██████████████████████████████████████████████▍ | 164/413 [21:51<33:49, 8.15s/it][A + mmlu_da: 40%|██████████████████████████████████████████████▋ | 165/413 [22:00<33:38, 8.14s/it][A + mmlu_da: 40%|███████████████████████████████████████████████ | 166/413 [22:08<34:06, 8.28s/it][A + mmlu_da: 40%|███████████████████████████████████████████████▎ | 167/413 [22:16<32:59, 8.05s/it][A + mmlu_da: 41%|███████████████████████████████████████████████▌ | 168/413 [22:23<32:01, 7.84s/it][A + mmlu_da: 41%|███████████████████████████████████████████████▉ | 169/413 [22:31<32:17, 7.94s/it][A + mmlu_da: 41%|████████████████████████████████████████████████▏ | 170/413 [22:38<31:10, 7.70s/it][A + mmlu_da: 41%|████████████████████████████████████████████████▍ | 171/413 [22:46<30:38, 7.60s/it][A + mmlu_da: 42%|████████████████████████████████████████████████▋ | 172/413 [22:53<30:24, 7.57s/it][A + mmlu_da: 42%|█████████████████████████████████████████████████ | 173/413 [23:01<30:05, 7.52s/it][A + mmlu_da: 42%|█████████████████████████████████████████████████▎ | 174/413 [23:08<29:50, 7.49s/it][A + mmlu_da: 42%|█████████████████████████████████████████████████▌ | 175/413 [23:16<30:27, 7.68s/it][A + mmlu_da: 43%|█████████████████████████████████████████████████▊ | 176/413 [23:24<31:06, 7.87s/it][A + mmlu_da: 43%|██████████████████████████████████████████████████▏ | 177/413 [23:33<31:29, 8.01s/it][A + mmlu_da: 43%|██████████████████████████████████████████████████▍ | 178/413 [23:42<32:21, 8.26s/it][A + mmlu_da: 43%|██████████████████████████████████████████████████▋ | 179/413 [23:49<30:36, 7.85s/it][A + mmlu_da: 44%|██████████████████████████████████████████████████▉ | 180/413 [23:58<32:34, 8.39s/it][A + mmlu_da: 44%|███████████████████████████████████████████████████▎ | 181/413 [24:06<31:46, 8.22s/it][A + mmlu_da: 44%|███████████████████████████████████████████████████▌ | 182/413 [24:13<30:49, 8.01s/it][A + mmlu_da: 44%|███████████████████████████████████████████████████▊ | 183/413 [24:21<30:31, 7.96s/it][A + mmlu_da: 45%|████████████████████████████████████████████████████▏ | 184/413 [24:29<29:57, 7.85s/it][A + mmlu_da: 45%|████████████████████████████████████████████████████▍ | 185/413 [24:38<31:06, 8.19s/it][A + mmlu_da: 45%|████████████████████████████████████████████████████▋ | 186/413 [24:47<31:32, 8.34s/it][A + mmlu_da: 45%|████████████████████████████████████████████████████▉ | 187/413 [24:54<30:07, 8.00s/it][A + mmlu_da: 46%|█████████████████████████████████████████████████████▎ | 188/413 [25:02<29:50, 7.96s/it][A + mmlu_da: 46%|█████████████████████████████████████████████████████▌ | 189/413 [25:09<28:53, 7.74s/it][A + mmlu_da: 46%|█████████████████████████████████████████████████████▊ | 190/413 [25:16<28:27, 7.66s/it][A + mmlu_da: 46%|██████████████████████████████████████████████████████ | 191/413 [25:24<27:58, 7.56s/it][A + mmlu_da: 46%|██████████████████████████████████████████████████████▍ | 192/413 [25:32<28:42, 7.80s/it][A + mmlu_da: 47%|██████████████████████████████████████████████████████▋ | 193/413 [25:40<28:45, 7.85s/it][A + mmlu_da: 47%|██████████████████████████████████████████████████████▉ | 194/413 [25:48<29:21, 8.04s/it][A + mmlu_da: 47%|███████████████████████████████████████████████████████▏ | 195/413 [25:56<29:03, 8.00s/it][A + mmlu_da: 47%|███████████████████████████████████████████████████████▌ | 196/413 [26:04<28:09, 7.79s/it][A + mmlu_da: 48%|███████████████████████████████████████████████████████▊ | 197/413 [26:11<27:40, 7.69s/it][A + mmlu_da: 48%|████████████████████████████████████████████████████████ | 198/413 [26:18<27:07, 7.57s/it][A + mmlu_da: 48%|████████████████████████████████████████████████████████▍ | 199/413 [26:26<27:30, 7.71s/it][A + mmlu_da: 48%|████████████████████████████████████████████████████████▋ | 200/413 [26:34<27:03, 7.62s/it][A + mmlu_da: 49%|████████████████████████████████████████████████████████▉ | 201/413 [26:42<26:55, 7.62s/it][A + mmlu_da: 49%|█████████████████████████████████████████████████████████▏ | 202/413 [26:50<27:42, 7.88s/it][A + mmlu_da: 49%|█████████████████████████████████████████████████████████▌ | 203/413 [26:59<28:33, 8.16s/it][A + mmlu_da: 49%|█████████████████████████████████████████████████████████▊ | 204/413 [27:07<28:55, 8.30s/it][A + mmlu_da: 50%|██████████████████████████████████████████████████████████ | 205/413 [27:15<27:55, 8.06s/it][A + mmlu_da: 50%|██████████████████████████████████████████████████████████▎ | 206/413 [27:22<26:45, 7.76s/it][A + mmlu_da: 50%|██████████████████████████████████████████████████████████▋ | 207/413 [27:31<27:26, 7.99s/it][A + mmlu_da: 50%|██████████████████████████████████████████████████████████▉ | 208/413 [27:38<26:52, 7.87s/it][A + mmlu_da: 51%|███████████████████████████████████████████████████████████▏ | 209/413 [27:46<27:09, 7.99s/it][A + mmlu_da: 51%|███████████████████████████████████████████████████████████▍ | 210/413 [27:54<27:06, 8.01s/it][A + mmlu_da: 51%|███████████████████████████████████████████████████████████▊ | 211/413 [28:02<26:23, 7.84s/it][A + mmlu_da: 51%|████████████████████████████████████████████████████████████ | 212/413 [28:09<26:00, 7.77s/it][A + mmlu_da: 52%|████████████████████████████████████████████████████████████▎ | 213/413 [28:16<25:03, 7.52s/it][A + mmlu_da: 52%|████████████████████████████████████████████████████████████▌ | 214/413 [28:24<24:46, 7.47s/it][A + mmlu_da: 52%|████████████████████████████████████████████████████████████▉ | 215/413 [28:31<24:38, 7.47s/it][A + mmlu_da: 52%|█████████████████████████████████████████████████████████████▏ | 216/413 [28:39<24:28, 7.45s/it][A + mmlu_da: 53%|█████████████████████████████████████████████████████████████▍ | 217/413 [28:46<23:49, 7.29s/it][A + mmlu_da: 53%|█████████████████████████████████████████████████████████████▊ | 218/413 [28:54<24:56, 7.67s/it][A + mmlu_da: 53%|██████████████████████████████████████████████████████████████ | 219/413 [29:02<24:45, 7.66s/it][A + mmlu_da: 53%|██████████████████████████████████████████████████████████████▎ | 220/413 [29:10<25:01, 7.78s/it][A + mmlu_da: 54%|██████████████████████████████████████████████████████████████▌ | 221/413 [29:19<25:48, 8.07s/it][A + mmlu_da: 54%|██████████████████████████████████████████████████████████████▉ | 222/413 [29:26<25:12, 7.92s/it][A + mmlu_da: 54%|███████████████████████████████████████████████████████████████▏ | 223/413 [29:33<23:51, 7.53s/it][A + mmlu_da: 54%|███████████████████████████████████████████████████████████████▍ | 224/413 [29:40<23:24, 7.43s/it][A + mmlu_da: 54%|███████████████████████████████████████████████████████████████▋ | 225/413 [29:48<23:55, 7.63s/it][A + mmlu_da: 55%|████████████████████████████████████████████████████████████████ | 226/413 [29:56<23:45, 7.62s/it][A + mmlu_da: 55%|████████████████████████████████████████████████████████████████▎ | 227/413 [30:03<23:23, 7.54s/it][A + mmlu_da: 55%|████████████████████████████████████████████████████████████████▌ | 228/413 [30:10<22:28, 7.29s/it][A + mmlu_da: 55%|████████████████████████████████████████████████████████████████▊ | 229/413 [30:18<23:18, 7.60s/it][A + mmlu_da: 56%|█████████████████████████████████████████████████████████████████▏ | 230/413 [30:26<23:41, 7.77s/it][A + mmlu_da: 56%|█████████████████████████████████████████████████████████████████▍ | 231/413 [30:33<23:02, 7.60s/it][A + mmlu_da: 56%|█████████████████████████████████████████████████████████████████▋ | 232/413 [30:42<23:26, 7.77s/it][A + mmlu_da: 56%|██████████████████████████████████████████████████████████████████ | 233/413 [30:50<24:15, 8.09s/it][A + mmlu_da: 57%|██████████████████████████████████████████████████████████████████▎ | 234/413 [30:58<23:55, 8.02s/it][A + mmlu_da: 57%|██████████████████████████████████████████████████████████████████▌ | 235/413 [31:06<23:55, 8.06s/it][A + mmlu_da: 57%|██████████████████████████████████████████████████████████████████▊ | 236/413 [31:15<24:03, 8.15s/it][A + mmlu_da: 57%|███████████████████████████████████████████████████████████████████▏ | 237/413 [31:23<23:48, 8.12s/it][A + mmlu_da: 58%|███████████████████████████████████████████████████████████████████▍ | 238/413 [31:31<23:56, 8.21s/it][A + mmlu_da: 58%|███████████████████████████████████████████████████████████████████▋ | 239/413 [31:40<23:52, 8.23s/it][A + mmlu_da: 58%|███████████████████████████████████████████████████████████████████▉ | 240/413 [31:47<23:30, 8.15s/it][A + mmlu_da: 58%|████████████████████████████████████████████████████████████████████▎ | 241/413 [31:55<23:01, 8.03s/it][A + mmlu_da: 59%|████████████████████████████████████████████████████████████████████▌ | 242/413 [32:04<23:18, 8.18s/it][A + mmlu_da: 59%|████████████████████████████████████████████████████████████████████▊ | 243/413 [32:13<23:39, 8.35s/it][A + mmlu_da: 59%|█████████████████████████████████████████████████████████████████████ | 244/413 [32:21<23:38, 8.40s/it][A + mmlu_da: 59%|█████████████████████████████████████████████████████████████████████▍ | 245/413 [32:30<23:44, 8.48s/it][A + mmlu_da: 60%|█████████████████████████████████████████████████████████████████████▋ | 246/413 [32:38<23:43, 8.52s/it][A + mmlu_da: 60%|█████████████████████████████████████████████████████████████████████▉ | 247/413 [32:47<23:53, 8.64s/it][A + mmlu_da: 60%|██████████████████████████████████████████████████████████████████████▎ | 248/413 [32:55<23:26, 8.52s/it][A + mmlu_da: 60%|██████████████████████████████████████████████████████████████████████▌ | 249/413 [33:03<22:39, 8.29s/it][A + mmlu_da: 61%|██████████████████████████████████████████████████████████████████████▊ | 250/413 [33:11<22:25, 8.26s/it][A + mmlu_da: 61%|███████████████████████████████████████████████████████████████████████ | 251/413 [33:19<21:30, 7.96s/it][A + mmlu_da: 61%|███████████████████████████████████████████████████████████████████████▍ | 252/413 [33:26<20:34, 7.66s/it][A + mmlu_da: 61%|███████████████████████████████████████████████████████████████████████▋ | 253/413 [33:34<21:07, 7.92s/it][A + mmlu_da: 62%|███████████████████████████████████████████████████████████████████████▉ | 254/413 [33:41<20:29, 7.74s/it][A + mmlu_da: 62%|████████████████████████████████████████████████████████████████████████▏ | 255/413 [33:50<21:21, 8.11s/it][A + mmlu_da: 62%|████████████████████████████████████████████████████████████████████████▌ | 256/413 [33:58<20:40, 7.90s/it][A + mmlu_da: 62%|████████████████████████████████████████████████████████████████████████▊ | 257/413 [34:06<20:21, 7.83s/it][A + mmlu_da: 62%|█████████████████████████████████████████████████████████████████████████ | 258/413 [34:14<20:27, 7.92s/it][A + mmlu_da: 63%|█████████████████████████████████████████████████████████████████████████▎ | 259/413 [34:21<20:13, 7.88s/it][A + mmlu_da: 63%|█████████████████████████████████████████████████████████████████████████▋ | 260/413 [34:30<20:25, 8.01s/it][A + mmlu_da: 63%|█████████████████████████████████████████████████████████████████████████▉ | 261/413 [34:37<20:02, 7.91s/it][A + mmlu_da: 63%|██████████████████████████████████████████████████████████████████████████▏ | 262/413 [34:45<19:44, 7.84s/it][A + mmlu_da: 64%|██████████████████████████████████████████████████████████████████████████▌ | 263/413 [34:53<19:34, 7.83s/it][A + mmlu_da: 64%|██████████████████████████████████████████████████████████████████████████▊ | 264/413 [35:02<20:14, 8.15s/it][A + mmlu_da: 64%|███████████████████████████████████████████████████████████████████████████ | 265/413 [35:10<19:51, 8.05s/it][A + mmlu_da: 64%|███████████████████████████████████████████████████████████████████████████▎ | 266/413 [35:19<20:22, 8.32s/it][A + mmlu_da: 65%|███████████████████████████████████████████████████████████████████████████▋ | 267/413 [35:27<20:09, 8.28s/it][A + mmlu_da: 65%|███████████████████████████████████████████████████████████████████████████▉ | 268/413 [35:34<19:18, 7.99s/it][A + mmlu_da: 65%|████████████████████████████████████████████████████████████████████████████▏ | 269/413 [35:42<19:24, 8.09s/it][A + mmlu_da: 65%|████████████████████████████████████████████████████████████████████████████▍ | 270/413 [35:50<19:12, 8.06s/it][A + mmlu_da: 66%|████████████████████████████████████████████████████████████████████████████▊ | 271/413 [35:59<19:38, 8.30s/it][A + mmlu_da: 66%|█████████████████████████████████████████████████████████████████████████████ | 272/413 [36:07<19:10, 8.16s/it][A + mmlu_da: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 273/413 [36:16<19:16, 8.26s/it][A + mmlu_da: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 274/413 [36:23<18:24, 7.94s/it][A + mmlu_da: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 275/413 [36:31<18:28, 8.03s/it][A + mmlu_da: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 276/413 [36:39<18:27, 8.08s/it][A + mmlu_da: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 277/413 [36:47<17:54, 7.90s/it][A + mmlu_da: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 278/413 [36:56<18:54, 8.41s/it][A + mmlu_da: 68%|███████████████████████████████████████████████████████████████████████████████ | 279/413 [37:04<18:17, 8.19s/it][A + mmlu_da: 68%|███████████████████████████████████████████████████████████████████████████████▎ | 280/413 [37:13<18:42, 8.44s/it][A + mmlu_da: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 281/413 [37:20<17:49, 8.10s/it][A + mmlu_da: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 282/413 [37:28<17:43, 8.12s/it][A + mmlu_da: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 283/413 [37:36<17:03, 7.87s/it][A + mmlu_da: 69%|████████████████████████████████████████████████████████████████████████████████▍ | 284/413 [37:43<16:41, 7.77s/it][A + mmlu_da: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 285/413 [37:51<16:43, 7.84s/it][A + mmlu_da: 69%|█████████████████████████████████████████████████████████████████████████████████ | 286/413 [37:58<16:04, 7.60s/it][A + mmlu_da: 69%|█████████████████████████████████████████████████████████████████████████████████▎ | 287/413 [38:06<16:15, 7.75s/it][A + mmlu_da: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 288/413 [38:14<16:01, 7.69s/it][A + mmlu_da: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 289/413 [38:23<16:46, 8.12s/it][A + mmlu_da: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 290/413 [38:33<17:55, 8.74s/it][A + mmlu_da: 70%|██████████████████████████████████████████████████████████████████████████████████▍ | 291/413 [38:41<16:56, 8.33s/it][A + mmlu_da: 71%|██████████████████████████████████████████████████████████████████████████████████▋ | 292/413 [38:49<16:35, 8.23s/it][A + mmlu_da: 71%|███████████████████████████████████████████████████████████████████████████████████ | 293/413 [38:57<16:47, 8.39s/it][A + mmlu_da: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 294/413 [39:05<16:11, 8.16s/it][A + mmlu_da: 71%|███████████████████████████████████████████████████████████████████████████████████▌ | 295/413 [39:14<16:18, 8.29s/it][A + mmlu_da: 72%|███████████████████████████████████████████████████████████████████████████████████▊ | 296/413 [39:21<15:28, 7.94s/it][A + mmlu_da: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 297/413 [39:29<15:31, 8.03s/it][A + mmlu_da: 72%|████████████████████████████████████████████████████████████████████████████████████▍ | 298/413 [39:36<15:04, 7.87s/it][A + mmlu_da: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 299/413 [39:45<15:01, 7.91s/it][A + mmlu_da: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 300/413 [39:53<15:08, 8.04s/it][A + mmlu_da: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 301/413 [40:00<14:21, 7.70s/it][A + mmlu_da: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 302/413 [40:09<15:01, 8.12s/it][A + mmlu_da: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 303/413 [40:16<14:15, 7.78s/it][A + mmlu_da: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 304/413 [40:25<14:52, 8.18s/it][A + mmlu_da: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 305/413 [40:33<14:39, 8.14s/it][A + mmlu_da: 74%|██████████████████████████████████████████████████████████████████████████████████████▋ | 306/413 [40:41<14:39, 8.22s/it][A + mmlu_da: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 307/413 [40:49<14:05, 7.98s/it][A + mmlu_da: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 308/413 [40:56<13:33, 7.75s/it][A + mmlu_da: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 309/413 [41:04<13:32, 7.81s/it][A + mmlu_da: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 310/413 [41:11<13:12, 7.70s/it][A + mmlu_da: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 311/413 [41:19<13:07, 7.72s/it][A + mmlu_da: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 312/413 [41:29<13:57, 8.29s/it][A + mmlu_da: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 313/413 [41:37<13:46, 8.26s/it][A + mmlu_da: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 314/413 [41:44<13:04, 7.93s/it][A + mmlu_da: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 315/413 [41:53<13:28, 8.25s/it][A + mmlu_da: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 316/413 [42:02<13:34, 8.39s/it][A + mmlu_da: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 317/413 [42:11<13:52, 8.67s/it][A + mmlu_da: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 318/413 [42:20<13:34, 8.57s/it][A + mmlu_da: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 319/413 [42:27<13:02, 8.32s/it][A + mmlu_da: 77%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 320/413 [42:36<12:57, 8.36s/it][A + mmlu_da: 78%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 321/413 [42:43<12:24, 8.09s/it][A + mmlu_da: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 322/413 [42:52<12:24, 8.18s/it][A + mmlu_da: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 323/413 [42:59<12:03, 8.04s/it][A + mmlu_da: 78%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 324/413 [43:08<12:17, 8.29s/it][A + mmlu_da: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 325/413 [43:17<12:19, 8.41s/it][A + mmlu_da: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 326/413 [43:25<12:02, 8.30s/it][A + mmlu_da: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 327/413 [43:33<11:42, 8.17s/it][A + mmlu_da: 79%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 328/413 [43:41<11:25, 8.06s/it][A + mmlu_da: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 329/413 [43:50<11:40, 8.34s/it][A + mmlu_da: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 330/413 [43:57<11:08, 8.05s/it][A + mmlu_da: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 331/413 [44:05<11:10, 8.18s/it][A + mmlu_da: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 332/413 [44:14<11:17, 8.37s/it][A + mmlu_da: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 333/413 [44:23<11:07, 8.34s/it][A + mmlu_da: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 334/413 [44:31<10:55, 8.30s/it][A + mmlu_da: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 335/413 [44:38<10:29, 8.07s/it][A + mmlu_da: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 336/413 [44:45<09:55, 7.74s/it][A + mmlu_da: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 337/413 [44:53<09:58, 7.87s/it][A + mmlu_da: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 338/413 [45:01<09:45, 7.80s/it][A + mmlu_da: 82%|████████████████████████████████████████████████████████████████████████████████████████████████ | 339/413 [45:09<09:35, 7.78s/it][A + mmlu_da: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 340/413 [45:17<09:42, 7.99s/it][A + mmlu_da: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 341/413 [45:26<09:42, 8.09s/it][A + mmlu_da: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 342/413 [45:33<09:12, 7.79s/it][A + mmlu_da: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 343/413 [45:41<09:06, 7.80s/it][A + mmlu_da: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 344/413 [45:50<09:34, 8.33s/it][A + mmlu_da: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 345/413 [45:58<09:09, 8.08s/it][A + mmlu_da: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 346/413 [46:06<09:00, 8.07s/it][A + mmlu_da: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 347/413 [46:14<08:54, 8.10s/it][A + mmlu_da: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 348/413 [46:22<08:43, 8.06s/it][A + mmlu_da: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 349/413 [46:32<09:11, 8.62s/it][A + mmlu_da: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 350/413 [46:39<08:39, 8.25s/it][A + mmlu_da: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 351/413 [46:47<08:29, 8.22s/it][A + mmlu_da: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 352/413 [46:55<08:09, 8.02s/it][A + mmlu_da: 85%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 353/413 [47:04<08:15, 8.27s/it][A + mmlu_da: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 354/413 [47:12<08:03, 8.20s/it][A + mmlu_da: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 355/413 [47:19<07:46, 8.04s/it][A + mmlu_da: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 356/413 [47:27<07:39, 8.06s/it][A + mmlu_da: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 357/413 [47:35<07:15, 7.79s/it][A + mmlu_da: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 358/413 [47:43<07:17, 7.95s/it][A + mmlu_da: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 359/413 [47:51<07:09, 7.96s/it][A + mmlu_da: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 360/413 [48:00<07:18, 8.27s/it][A + mmlu_da: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 361/413 [48:07<06:50, 7.90s/it][A + mmlu_da: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 362/413 [48:15<06:39, 7.83s/it][A + mmlu_da: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 363/413 [48:22<06:27, 7.76s/it][A + mmlu_da: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 364/413 [48:31<06:39, 8.15s/it][A + mmlu_da: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 365/413 [48:39<06:23, 8.00s/it][A + mmlu_da: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 366/413 [48:48<06:38, 8.48s/it][A + mmlu_da: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 367/413 [48:56<06:13, 8.12s/it][A + mmlu_da: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 368/413 [49:03<05:53, 7.85s/it][A + mmlu_da: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 369/413 [49:11<05:48, 7.91s/it][A + mmlu_da: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 370/413 [49:19<05:36, 7.83s/it][A + mmlu_da: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 371/413 [49:26<05:24, 7.71s/it][A + mmlu_da: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 372/413 [49:34<05:16, 7.71s/it][A + mmlu_da: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 373/413 [49:42<05:19, 8.00s/it][A + mmlu_da: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 374/413 [49:51<05:16, 8.11s/it][A + mmlu_da: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 375/413 [49:58<05:02, 7.95s/it][A + mmlu_da: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 376/413 [50:07<05:00, 8.11s/it][A + mmlu_da: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 377/413 [50:14<04:44, 7.89s/it][A + mmlu_da: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 378/413 [50:22<04:30, 7.74s/it][A + mmlu_da: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 379/413 [50:31<04:37, 8.16s/it][A + mmlu_da: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 380/413 [50:38<04:19, 7.86s/it][A + mmlu_da: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 381/413 [50:46<04:10, 7.83s/it][A + mmlu_da: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 382/413 [50:53<03:58, 7.69s/it][A + mmlu_da: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 383/413 [51:01<03:56, 7.89s/it][A + mmlu_da: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 384/413 [51:10<03:52, 8.02s/it][A + mmlu_da: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 385/413 [51:18<03:48, 8.15s/it][A + mmlu_da: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 386/413 [51:27<03:47, 8.42s/it][A + mmlu_da: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 387/413 [51:36<03:44, 8.62s/it][A + mmlu_da: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 388/413 [51:45<03:39, 8.76s/it][A + mmlu_da: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 389/413 [51:54<03:30, 8.78s/it][A + mmlu_da: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 390/413 [52:02<03:17, 8.58s/it][A + mmlu_da: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 391/413 [52:10<03:01, 8.23s/it][A + mmlu_da: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 392/413 [52:18<02:54, 8.32s/it][A + mmlu_da: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 393/413 [52:27<02:48, 8.44s/it][A + mmlu_da: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 394/413 [52:35<02:35, 8.19s/it][A + mmlu_da: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 395/413 [52:43<02:28, 8.25s/it][A + mmlu_da: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 396/413 [52:52<02:22, 8.41s/it][A + mmlu_da: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 397/413 [52:59<02:08, 8.03s/it][A + mmlu_da: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 398/413 [53:07<01:58, 7.88s/it][A + mmlu_da: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 399/413 [53:15<01:51, 7.97s/it][A + mmlu_da: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 400/413 [53:23<01:45, 8.14s/it][A + mmlu_da: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 401/413 [53:32<01:40, 8.38s/it][A + mmlu_da: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 402/413 [53:40<01:31, 8.36s/it][A + mmlu_da: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 403/413 [53:49<01:25, 8.54s/it][A + mmlu_da: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 404/413 [53:57<01:14, 8.29s/it][A + mmlu_da: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 405/413 [54:05<01:06, 8.26s/it][A + mmlu_da: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 406/413 [54:13<00:56, 8.12s/it][A + mmlu_da: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 407/413 [54:22<00:49, 8.29s/it][A + mmlu_da: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 408/413 [54:30<00:41, 8.26s/it][A + mmlu_da: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 409/413 [54:38<00:33, 8.29s/it][A + mmlu_da: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 410/413 [54:47<00:25, 8.44s/it][A + mmlu_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 411/413 [54:55<00:16, 8.20s/it][A + mmlu_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 412/413 [55:03<00:08, 8.12s/it][A + mmlu_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 413/413 [55:10<00:00, 7.76s/it][A mmlu_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 413/413 [55:10<00:00, 8.01s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_da_acc 0.3568075117370892 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_da_acc_norm 0.3345449038315917 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 19:47:04,042 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 19:47:04,042 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:04,164 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 19:47:04,164 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:04,286 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 19:47:04,286 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:04,407 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 19:47:04,408 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 19:47:04,408 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 19:47:04,531 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 19:47:04,531 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_da_acc'} +2024-05-30 19:47:04,593 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 19:47:04,593 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1209, 'value': 0.3568075117370892} +2024-05-30 19:47:04,655 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 19:47:05,313 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 19:47:05,313 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:05,443 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 19:47:05,443 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:05,574 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 19:47:05,574 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:05,704 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 19:47:05,704 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 19:47:05,704 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 19:47:05,836 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 19:47:05,836 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_da_acc_norm'} +2024-05-30 19:47:05,902 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 19:47:05,902 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1210, 'value': 0.3345449038315917} +2024-05-30 19:47:05,968 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 53%|█████████████████████████████████████████████████████████▍ | 66/124 [36:59:35<64:09:43, 3982.48s/it]['mmlu_de'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 19:47:06,590 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 19:47:06,590 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:06,711 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 19:47:06,712 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:06,833 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 19:47:06,833 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 19:47:06,954 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 19:47:06,955 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 19:47:06,955 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_de'} +2024-05-30 19:47:07,077 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_de task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1760 examples [00:00, 16851.21 examples/s][A + Generating test split: 5106 examples [00:00, 26440.09 examples/s][A + Generating test split: 8649 examples [00:00, 30500.21 examples/s][A + Generating test split: 12017 examples [00:00, 31744.60 examples/s][A Generating test split: 13258 examples [00:00, 29749.97 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 277 examples [00:00, 27488.99 examples/s] +Running loglikelihood requests + + mmlu_de: 0%| | 0/415 [00:00<?, ?it/s][A + mmlu_de: 0%|▎ | 1/415 [00:07<50:50, 7.37s/it][A + mmlu_de: 0%|▌ | 2/415 [00:14<49:47, 7.23s/it][A + mmlu_de: 1%|▊ | 3/415 [00:21<49:36, 7.23s/it][A + mmlu_de: 1%|█▏ | 4/415 [00:29<51:53, 7.57s/it][A + mmlu_de: 1%|█▍ | 5/415 [00:36<50:13, 7.35s/it][A + mmlu_de: 1%|█▋ | 6/415 [00:44<51:11, 7.51s/it][A + mmlu_de: 2%|██ | 7/415 [00:51<50:25, 7.42s/it][A + mmlu_de: 2%|██▎ | 8/415 [00:58<48:14, 7.11s/it][A + mmlu_de: 2%|██▌ | 9/415 [01:05<49:12, 7.27s/it][A + mmlu_de: 2%|██▊ | 10/415 [01:14<51:26, 7.62s/it][A + mmlu_de: 3%|███▏ | 11/415 [01:20<48:42, 7.23s/it][A + mmlu_de: 3%|███▍ | 12/415 [01:27<48:25, 7.21s/it][A + mmlu_de: 3%|███▋ | 13/415 [01:35<49:34, 7.40s/it][A + mmlu_de: 3%|███▉ | 14/415 [01:43<49:53, 7.46s/it][A + mmlu_de: 4%|████▎ | 15/415 [01:50<50:15, 7.54s/it][A + mmlu_de: 4%|████▌ | 16/415 [01:58<49:47, 7.49s/it][A + mmlu_de: 4%|████▊ | 17/415 [02:05<49:03, 7.40s/it][A + mmlu_de: 4%|█████ | 18/415 [02:13<49:43, 7.52s/it][A + mmlu_de: 5%|█████▍ | 19/415 [02:21<50:27, 7.64s/it][A + mmlu_de: 5%|█████▋ | 20/415 [02:29<51:33, 7.83s/it][A + mmlu_de: 5%|█████▉ | 21/415 [02:38<52:50, 8.05s/it][A + mmlu_de: 5%|██████▎ | 22/415 [02:46<52:34, 8.03s/it][A + mmlu_de: 6%|██████▌ | 23/415 [02:53<51:42, 7.92s/it][A + mmlu_de: 6%|██████▊ | 24/415 [03:01<50:42, 7.78s/it][A + mmlu_de: 6%|███████ | 25/415 [03:09<52:11, 8.03s/it][A + mmlu_de: 6%|███████▍ | 26/415 [03:17<51:12, 7.90s/it][A + mmlu_de: 7%|███████▋ | 27/415 [03:25<51:11, 7.92s/it][A + mmlu_de: 7%|███████▉ | 28/415 [03:32<49:39, 7.70s/it][A + mmlu_de: 7%|████████▏ | 29/415 [03:39<48:36, 7.55s/it][A + mmlu_de: 7%|████████▌ | 30/415 [03:46<47:11, 7.36s/it][A + mmlu_de: 7%|████████▊ | 31/415 [03:53<46:20, 7.24s/it][A + mmlu_de: 8%|█████████ | 32/415 [04:00<45:57, 7.20s/it][A + mmlu_de: 8%|█████████▍ | 33/415 [04:08<46:59, 7.38s/it][A + mmlu_de: 8%|█████████▋ | 34/415 [04:15<46:01, 7.25s/it][A + mmlu_de: 8%|█████████▉ | 35/415 [04:23<46:44, 7.38s/it][A + mmlu_de: 9%|██████████▏ | 36/415 [04:30<46:51, 7.42s/it][A + mmlu_de: 9%|██████████▌ | 37/415 [04:38<47:52, 7.60s/it][A + mmlu_de: 9%|██████████▊ | 38/415 [04:45<46:24, 7.39s/it][A + mmlu_de: 9%|███████████ | 39/415 [04:52<45:25, 7.25s/it][A + mmlu_de: 10%|███████████▎ | 40/415 [05:00<47:23, 7.58s/it][A + mmlu_de: 10%|███████████▋ | 41/415 [05:08<46:27, 7.45s/it][A + mmlu_de: 10%|███████████▉ | 42/415 [05:16<47:41, 7.67s/it][A + mmlu_de: 10%|████████████▏ | 43/415 [05:23<46:02, 7.43s/it][A + mmlu_de: 11%|████████████▌ | 44/415 [05:30<46:40, 7.55s/it][A + mmlu_de: 11%|████████████▊ | 45/415 [05:38<47:10, 7.65s/it][A + mmlu_de: 11%|█████████████ | 46/415 [05:47<49:12, 8.00s/it][A + mmlu_de: 11%|█████████████▎ | 47/415 [05:55<48:44, 7.95s/it][A + mmlu_de: 12%|█████████████▋ | 48/415 [06:02<47:07, 7.70s/it][A + mmlu_de: 12%|█████████████▉ | 49/415 [06:09<45:55, 7.53s/it][A + mmlu_de: 12%|██████████████▏ | 50/415 [06:16<44:29, 7.31s/it][A + mmlu_de: 12%|██████████████▌ | 51/415 [06:23<44:20, 7.31s/it][A + mmlu_de: 13%|██████████████▊ | 52/415 [06:31<44:04, 7.28s/it][A + mmlu_de: 13%|███████████████ | 53/415 [06:38<43:56, 7.28s/it][A + mmlu_de: 13%|███████████████▎ | 54/415 [06:45<44:00, 7.32s/it][A + mmlu_de: 13%|███████████████▋ | 55/415 [06:52<42:49, 7.14s/it][A + mmlu_de: 13%|███████████████▉ | 56/415 [06:59<42:28, 7.10s/it][A + mmlu_de: 14%|████████████████▏ | 57/415 [07:06<42:06, 7.06s/it][A + mmlu_de: 14%|████████████████▍ | 58/415 [07:13<41:24, 6.96s/it][A + mmlu_de: 14%|████████████████▊ | 59/415 [07:20<41:34, 7.01s/it][A + mmlu_de: 14%|█████████████████ | 60/415 [07:27<42:39, 7.21s/it][A + mmlu_de: 15%|█████████████████▎ | 61/415 [07:34<42:10, 7.15s/it][A + mmlu_de: 15%|█████████████████▋ | 62/415 [07:42<42:04, 7.15s/it][A + mmlu_de: 15%|█████████████████▉ | 63/415 [07:49<43:07, 7.35s/it][A + mmlu_de: 15%|██████████████████▏ | 64/415 [07:57<43:22, 7.41s/it][A + mmlu_de: 16%|██████████████████▍ | 65/415 [08:05<44:24, 7.61s/it][A + mmlu_de: 16%|██████████████████▊ | 66/415 [08:13<45:34, 7.84s/it][A + mmlu_de: 16%|███████████████████ | 67/415 [08:21<44:43, 7.71s/it][A + mmlu_de: 16%|███████████████████▎ | 68/415 [08:28<44:07, 7.63s/it][A + mmlu_de: 17%|███████████████████▌ | 69/415 [08:36<43:41, 7.58s/it][A + mmlu_de: 17%|███████████████████▉ | 70/415 [08:43<42:19, 7.36s/it][A + mmlu_de: 17%|████████████████████▏ | 71/415 [08:51<43:51, 7.65s/it][A + mmlu_de: 17%|████████████████████▍ | 72/415 [08:58<43:36, 7.63s/it][A + mmlu_de: 18%|████████████████████▊ | 73/415 [09:06<43:21, 7.61s/it][A + mmlu_de: 18%|█████████████████████ | 74/415 [09:14<43:52, 7.72s/it][A + mmlu_de: 18%|█████████████████████▎ | 75/415 [09:22<43:25, 7.66s/it][A + mmlu_de: 18%|█████████████████████▌ | 76/415 [09:29<42:39, 7.55s/it][A + mmlu_de: 19%|█████████████████████▉ | 77/415 [09:36<41:36, 7.39s/it][A + mmlu_de: 19%|██████████████████████▏ | 78/415 [09:43<40:52, 7.28s/it][A + mmlu_de: 19%|██████████████████████▍ | 79/415 [09:51<41:39, 7.44s/it][A + mmlu_de: 19%|██████████████████████▋ | 80/415 [09:58<40:46, 7.30s/it][A + mmlu_de: 20%|███████████████████████ | 81/415 [10:06<42:01, 7.55s/it][A + mmlu_de: 20%|███████████████████████▎ | 82/415 [10:14<42:13, 7.61s/it][A + mmlu_de: 20%|███████████████████████▌ | 83/415 [10:21<42:19, 7.65s/it][A + mmlu_de: 20%|███████████████████████▉ | 84/415 [10:28<41:00, 7.43s/it][A + mmlu_de: 20%|████████████████████████▏ | 85/415 [10:35<40:38, 7.39s/it][A + mmlu_de: 21%|████████████████████████▍ | 86/415 [10:43<40:12, 7.33s/it][A + mmlu_de: 21%|████████████████████████▋ | 87/415 [10:50<39:47, 7.28s/it][A + mmlu_de: 21%|█████████████████████████ | 88/415 [10:57<39:33, 7.26s/it][A + mmlu_de: 21%|█████████████████████████▎ | 89/415 [11:05<40:13, 7.40s/it][A + mmlu_de: 22%|█████████████████████████▌ | 90/415 [11:12<40:03, 7.40s/it][A + mmlu_de: 22%|█████████████████████████▊ | 91/415 [11:20<40:31, 7.50s/it][A + mmlu_de: 22%|██████████████████████████▏ | 92/415 [11:28<41:22, 7.69s/it][A + mmlu_de: 22%|██████████████████████████▍ | 93/415 [11:36<40:58, 7.63s/it][A + mmlu_de: 23%|██████████████████████████▋ | 94/415 [11:43<40:01, 7.48s/it][A + mmlu_de: 23%|███████████████████████████ | 95/415 [11:50<40:13, 7.54s/it][A + mmlu_de: 23%|███████████████████████████▎ | 96/415 [11:58<40:51, 7.68s/it][A + mmlu_de: 23%|███████████████████████████▌ | 97/415 [12:06<40:12, 7.59s/it][A + mmlu_de: 24%|███████████████████████████▊ | 98/415 [12:13<39:33, 7.49s/it][A + mmlu_de: 24%|████████████████████████████▏ | 99/415 [12:21<40:02, 7.60s/it][A + mmlu_de: 24%|████████████████████████████▏ | 100/415 [12:29<40:17, 7.67s/it][A + mmlu_de: 24%|████████████████████████████▍ | 101/415 [12:36<39:38, 7.57s/it][A + mmlu_de: 25%|████████████████████████████▊ | 102/415 [12:45<41:05, 7.88s/it][A + mmlu_de: 25%|█████████████████████████████ | 103/415 [12:53<40:58, 7.88s/it][A + mmlu_de: 25%|█████████████████████████████▎ | 104/415 [13:00<40:44, 7.86s/it][A + mmlu_de: 25%|█████████████████████████████▌ | 105/415 [13:07<39:01, 7.55s/it][A + mmlu_de: 26%|█████████████████████████████▉ | 106/415 [13:15<38:43, 7.52s/it][A + mmlu_de: 26%|██████████████████████████████▏ | 107/415 [13:22<38:34, 7.51s/it][A + mmlu_de: 26%|██████████████████████████████▍ | 108/415 [13:30<39:08, 7.65s/it][A + mmlu_de: 26%|██████████████████████████████▋ | 109/415 [13:37<37:52, 7.43s/it][A + mmlu_de: 27%|███████████████████████████████ | 110/415 [13:44<37:20, 7.34s/it][A + mmlu_de: 27%|███████████████████████████████▎ | 111/415 [13:53<38:56, 7.69s/it][A + mmlu_de: 27%|███████████████████████████████▌ | 112/415 [14:02<41:11, 8.16s/it][A + mmlu_de: 27%|███████████████████████████████▊ | 113/415 [14:10<41:44, 8.29s/it][A + mmlu_de: 27%|████████████████████████████████▏ | 114/415 [14:18<40:11, 8.01s/it][A + mmlu_de: 28%|████████████████████████████████▍ | 115/415 [14:26<40:21, 8.07s/it][A + mmlu_de: 28%|████████████████████████████████▋ | 116/415 [14:33<39:12, 7.87s/it][A + mmlu_de: 28%|████████████████████████████████▉ | 117/415 [14:40<37:47, 7.61s/it][A + mmlu_de: 28%|█████████████████████████████████▎ | 118/415 [14:48<37:46, 7.63s/it][A + mmlu_de: 29%|█████████████████████████████████▌ | 119/415 [14:55<36:54, 7.48s/it][A + mmlu_de: 29%|█████████████████████████████████▊ | 120/415 [15:02<35:19, 7.18s/it][A + mmlu_de: 29%|██████████████████████████████████ | 121/415 [15:09<35:45, 7.30s/it][A + mmlu_de: 29%|██████████████████████████████████▍ | 122/415 [15:17<35:34, 7.29s/it][A + mmlu_de: 30%|██████████████████████████████████▋ | 123/415 [15:24<35:46, 7.35s/it][A + mmlu_de: 30%|██████████████████████████████████▉ | 124/415 [15:32<36:03, 7.43s/it][A + mmlu_de: 30%|███████████████████████████████████▏ | 125/415 [15:39<36:09, 7.48s/it][A + mmlu_de: 30%|███████████████████████████████████▌ | 126/415 [15:47<36:15, 7.53s/it][A + mmlu_de: 31%|███████████████████████████████████▊ | 127/415 [15:54<36:11, 7.54s/it][A + mmlu_de: 31%|████████████████████████████████████ | 128/415 [16:02<35:54, 7.51s/it][A + mmlu_de: 31%|████████████████████████████████████▎ | 129/415 [16:09<35:21, 7.42s/it][A + mmlu_de: 31%|████████████████████████████████████▋ | 130/415 [16:17<35:33, 7.49s/it][A + mmlu_de: 32%|████████████████████████████████████▉ | 131/415 [16:26<37:18, 7.88s/it][A + mmlu_de: 32%|█████████████████████████████████████▏ | 132/415 [16:33<36:19, 7.70s/it][A + mmlu_de: 32%|█████████████████████████████████████▍ | 133/415 [16:40<34:42, 7.39s/it][A + mmlu_de: 32%|█████████████████████████████████████▊ | 134/415 [16:46<34:00, 7.26s/it][A + mmlu_de: 33%|██████████████████████████████████████ | 135/415 [16:54<34:26, 7.38s/it][A + mmlu_de: 33%|██████████████████████████████████████▎ | 136/415 [17:01<33:52, 7.28s/it][A + mmlu_de: 33%|██████████████████████████████████████▌ | 137/415 [17:09<34:28, 7.44s/it][A + mmlu_de: 33%|██████████████████████████████████████▉ | 138/415 [17:18<35:51, 7.77s/it][A + mmlu_de: 33%|███████████████████████████████████████▏ | 139/415 [17:24<34:32, 7.51s/it][A + mmlu_de: 34%|███████████████████████████████████████▍ | 140/415 [17:32<34:43, 7.58s/it][A + mmlu_de: 34%|███████████████████████████████████████▊ | 141/415 [17:40<35:25, 7.76s/it][A + mmlu_de: 34%|████████████████████████████████████████ | 142/415 [17:47<34:18, 7.54s/it][A + mmlu_de: 34%|████████████████████████████████████████▎ | 143/415 [17:55<34:51, 7.69s/it][A + mmlu_de: 35%|████████████████████████████████████████▌ | 144/415 [18:03<34:53, 7.72s/it][A + mmlu_de: 35%|████████████████████████████████████████▉ | 145/415 [18:11<35:14, 7.83s/it][A + mmlu_de: 35%|█████████████████████████████████████████▏ | 146/415 [18:20<35:36, 7.94s/it][A + mmlu_de: 35%|█████████████████████████████████████████▍ | 147/415 [18:27<34:55, 7.82s/it][A + mmlu_de: 36%|█████████████████████████████████████████▋ | 148/415 [18:35<34:27, 7.74s/it][A + mmlu_de: 36%|██████████████████████████████████████████ | 149/415 [18:42<33:53, 7.65s/it][A + mmlu_de: 36%|██████████████████████████████████████████▎ | 150/415 [18:50<34:23, 7.79s/it][A + mmlu_de: 36%|██████████████████████████████████████████▌ | 151/415 [18:58<33:47, 7.68s/it][A + mmlu_de: 37%|██████████████████████████████████████████▊ | 152/415 [19:05<33:54, 7.74s/it][A + mmlu_de: 37%|███████████████████████████████████████████▏ | 153/415 [19:13<32:59, 7.56s/it][A + mmlu_de: 37%|███████████████████████████████████████████▍ | 154/415 [19:20<32:07, 7.38s/it][A + mmlu_de: 37%|███████████████████████████████████████████▋ | 155/415 [19:27<31:28, 7.26s/it][A + mmlu_de: 38%|███████████████████████████████████████████▉ | 156/415 [19:35<32:47, 7.59s/it][A + mmlu_de: 38%|████████████████████████████████████████████▎ | 157/415 [19:43<33:30, 7.79s/it][A + mmlu_de: 38%|████████████████████████████████████████████▌ | 158/415 [19:50<32:01, 7.48s/it][A + mmlu_de: 38%|████████████████████████████████████████████▊ | 159/415 [19:58<32:30, 7.62s/it][A + mmlu_de: 39%|█████████████████████████████████████████████ | 160/415 [20:05<31:56, 7.52s/it][A + mmlu_de: 39%|█████████████████████████████████████████████▍ | 161/415 [20:13<31:46, 7.51s/it][A + mmlu_de: 39%|█████████████████████████████████████████████▋ | 162/415 [20:21<32:21, 7.67s/it][A + mmlu_de: 39%|█████████████████████████████████████████████▉ | 163/415 [20:28<31:58, 7.61s/it][A + mmlu_de: 40%|██████████████████████████████████████████████▏ | 164/415 [20:37<32:46, 7.83s/it][A + mmlu_de: 40%|██████████████████████████████████████████████▌ | 165/415 [20:43<31:16, 7.51s/it][A + mmlu_de: 40%|██████████████████████████████████████████████▊ | 166/415 [20:51<31:12, 7.52s/it][A + mmlu_de: 40%|███████████████████████████████████████████████ | 167/415 [20:59<31:41, 7.67s/it][A + mmlu_de: 40%|███████████████████████████████████████████████▎ | 168/415 [21:06<31:22, 7.62s/it][A + mmlu_de: 41%|███████████████████████████████████████████████▋ | 169/415 [21:14<31:36, 7.71s/it][A + mmlu_de: 41%|███████████████████████████████████████████████▉ | 170/415 [21:21<30:52, 7.56s/it][A + mmlu_de: 41%|████████████████████████████████████████████████▏ | 171/415 [21:28<29:58, 7.37s/it][A + mmlu_de: 41%|████████████████████████████████████████████████▍ | 172/415 [21:37<31:46, 7.84s/it][A + mmlu_de: 42%|████████████████████████████████████████████████▊ | 173/415 [21:45<31:15, 7.75s/it][A + mmlu_de: 42%|█████████████████████████████████████████████████ | 174/415 [21:53<31:38, 7.88s/it][A + mmlu_de: 42%|█████████████████████████████████████████████████▎ | 175/415 [22:00<30:44, 7.69s/it][A + mmlu_de: 42%|█████████████████████████████████████████████████▌ | 176/415 [22:07<29:39, 7.45s/it][A + mmlu_de: 43%|█████████████████████████████████████████████████▉ | 177/415 [22:14<29:02, 7.32s/it][A + mmlu_de: 43%|██████████████████████████████████████████████████▏ | 178/415 [22:23<30:53, 7.82s/it][A + mmlu_de: 43%|██████████████████████████████████████████████████▍ | 179/415 [22:31<30:14, 7.69s/it][A + mmlu_de: 43%|██████████████████████████████████████████████████▋ | 180/415 [22:38<29:59, 7.66s/it][A + mmlu_de: 44%|███████████████████████████████████████████████████ | 181/415 [22:46<29:30, 7.57s/it][A + mmlu_de: 44%|███████████████████████████████████████████████████▎ | 182/415 [22:55<31:11, 8.03s/it][A + mmlu_de: 44%|███████████████████████████████████████████████████▌ | 183/415 [23:02<30:19, 7.84s/it][A + mmlu_de: 44%|███████████████████████████████████████████████████▊ | 184/415 [23:10<30:05, 7.82s/it][A + mmlu_de: 45%|████████████████████████████████████████████████████▏ | 185/415 [23:17<29:13, 7.63s/it][A + mmlu_de: 45%|████████████████████████████████████████████████████▍ | 186/415 [23:24<28:25, 7.45s/it][A + mmlu_de: 45%|████████████████████████████████████████████████████▋ | 187/415 [23:32<28:42, 7.56s/it][A + mmlu_de: 45%|█████████████████████████████████████████████████████ | 188/415 [23:38<27:20, 7.23s/it][A + mmlu_de: 46%|█████████████████████████████████████████████████████▎ | 189/415 [23:46<28:01, 7.44s/it][A + mmlu_de: 46%|█████████████████████████████████████████████████████▌ | 190/415 [23:54<28:43, 7.66s/it][A + mmlu_de: 46%|█████████████████████████████████████████████████████▊ | 191/415 [24:02<28:44, 7.70s/it][A + mmlu_de: 46%|██████████████████████████████████████████████████████▏ | 192/415 [24:10<28:35, 7.69s/it][A + mmlu_de: 47%|██████████████████████████████████████████████████████▍ | 193/415 [24:18<28:41, 7.76s/it][A + mmlu_de: 47%|██████████████████████████████████████████████████████▋ | 194/415 [24:25<27:46, 7.54s/it][A + mmlu_de: 47%|██████████████████████████████████████████████████████▉ | 195/415 [24:32<27:02, 7.38s/it][A + mmlu_de: 47%|███████████████████████████████████████████████████████▎ | 196/415 [24:39<26:48, 7.34s/it][A + mmlu_de: 47%|███████████████████████████████████████████████████████▌ | 197/415 [24:46<26:12, 7.21s/it][A + mmlu_de: 48%|███████████████████████████████████████████████████████▊ | 198/415 [24:53<26:25, 7.31s/it][A + mmlu_de: 48%|████████████████████████████████████████████████████████ | 199/415 [25:01<26:04, 7.24s/it][A + mmlu_de: 48%|████████████████████████████████████████████████████████▍ | 200/415 [25:08<26:27, 7.39s/it][A + mmlu_de: 48%|████████████████████████████████████████████████████████▋ | 201/415 [25:17<27:18, 7.65s/it][A + mmlu_de: 49%|████████████████████████████████████████████████████████▉ | 202/415 [25:26<28:39, 8.07s/it][A + mmlu_de: 49%|█████████████████████████████████████████████████████████▏ | 203/415 [25:33<27:24, 7.76s/it][A + mmlu_de: 49%|█████████████████████████████████████████████████████████▌ | 204/415 [25:40<26:23, 7.51s/it][A + mmlu_de: 49%|█████████████████████████████████████████████████████████▊ | 205/415 [25:48<27:10, 7.77s/it][A + mmlu_de: 50%|██████████████████████████████████████████████████████████ | 206/415 [25:57<27:57, 8.03s/it][A + mmlu_de: 50%|██████████████████████████████████████████████████████████▎ | 207/415 [26:05<27:45, 8.01s/it][A + mmlu_de: 50%|██████████████████████████████████████████████████████████▋ | 208/415 [26:13<27:50, 8.07s/it][A + mmlu_de: 50%|██████████████████████████████████████████████████████████▉ | 209/415 [26:20<26:55, 7.84s/it][A + mmlu_de: 51%|███████████████████████████████████████████████████████████▏ | 210/415 [26:27<25:58, 7.60s/it][A + mmlu_de: 51%|███████████████████████████████████████████████████████████▍ | 211/415 [26:34<25:00, 7.35s/it][A + mmlu_de: 51%|███████████████████████████████████████████████████████████▊ | 212/415 [26:42<25:34, 7.56s/it][A + mmlu_de: 51%|████████████████████████████████████████████████████████████ | 213/415 [26:49<24:55, 7.40s/it][A + mmlu_de: 52%|████████████████████████████████████████████████████████████▎ | 214/415 [26:57<25:46, 7.69s/it][A + mmlu_de: 52%|████████████████████████████████████████████████████████████▌ | 215/415 [27:04<24:58, 7.49s/it][A + mmlu_de: 52%|████████████████████████████████████████████████████████████▉ | 216/415 [27:12<25:02, 7.55s/it][A + mmlu_de: 52%|█████████████████████████████████████████████████████████████▏ | 217/415 [27:19<24:17, 7.36s/it][A + mmlu_de: 53%|█████████████████████████████████████████████████████████████▍ | 218/415 [27:26<24:05, 7.34s/it][A + mmlu_de: 53%|█████████████████████████████████████████████████████████████▋ | 219/415 [27:35<25:37, 7.85s/it][A + mmlu_de: 53%|██████████████████████████████████████████████████████████████ | 220/415 [27:42<24:50, 7.64s/it][A + mmlu_de: 53%|██████████████████████████████████████████████████████████████▎ | 221/415 [27:50<24:39, 7.62s/it][A + mmlu_de: 53%|██████████████████████████████████████████████████████████████▌ | 222/415 [27:57<24:06, 7.49s/it][A + mmlu_de: 54%|██████████████████████████████████████████████████████████████▊ | 223/415 [28:04<23:08, 7.23s/it][A + mmlu_de: 54%|███████████████████████████████████████████████████████████████▏ | 224/415 [28:11<23:24, 7.36s/it][A + mmlu_de: 54%|███████████████████████████████████████████████████████████████▍ | 225/415 [28:20<23:58, 7.57s/it][A + mmlu_de: 54%|███████████████████████████████████████████████████████████████▋ | 226/415 [28:27<24:00, 7.62s/it][A + mmlu_de: 55%|███████████████████████████████████████████████████████████████▉ | 227/415 [28:35<24:21, 7.78s/it][A + mmlu_de: 55%|████████████████████████████████████████████████████████████████▎ | 228/415 [28:43<23:46, 7.63s/it][A + mmlu_de: 55%|████████████████████████████████████████████████████████████████▌ | 229/415 [28:50<23:38, 7.63s/it][A + mmlu_de: 55%|████████████████████████████████████████████████████████████████▊ | 230/415 [28:58<23:08, 7.51s/it][A + mmlu_de: 56%|█████████████████████████████████████████████████████████████████▏ | 231/415 [29:05<22:53, 7.46s/it][A + mmlu_de: 56%|█████████████████████████████████████████████████████████████████▍ | 232/415 [29:13<22:53, 7.51s/it][A + mmlu_de: 56%|█████████████████████████████████████████████████████████████████▋ | 233/415 [29:20<23:07, 7.62s/it][A + mmlu_de: 56%|█████████████████████████████████████████████████████████████████▉ | 234/415 [29:28<22:53, 7.59s/it][A + mmlu_de: 57%|██████████████████████████████████████████████████████████████████▎ | 235/415 [29:35<22:36, 7.53s/it][A + mmlu_de: 57%|██████████████████████████████████████████████████████████████████▌ | 236/415 [29:44<23:18, 7.81s/it][A + mmlu_de: 57%|██████████████████████████████████████████████████████████████████▊ | 237/415 [29:53<24:09, 8.14s/it][A + mmlu_de: 57%|███████████████████████████████████████████████████████████████████ | 238/415 [30:01<23:42, 8.04s/it][A + mmlu_de: 58%|███████████████████████████████████████████████████████████████████▍ | 239/415 [30:08<22:47, 7.77s/it][A + mmlu_de: 58%|███████████████████████████████████████████████████████████████████▋ | 240/415 [30:16<22:43, 7.79s/it][A + mmlu_de: 58%|███████████████████████████████████████████████████████████████████▉ | 241/415 [30:23<22:13, 7.66s/it][A + mmlu_de: 58%|████████████████████████████████████████████████████████████████████▏ | 242/415 [30:30<21:18, 7.39s/it][A + mmlu_de: 59%|████████████████████████████████████████████████████████████████████▌ | 243/415 [30:37<20:59, 7.32s/it][A + mmlu_de: 59%|████████████████████████████████████████████████████████████████████▊ | 244/415 [30:45<21:38, 7.59s/it][A + mmlu_de: 59%|█████████████████████████████████████████████████████████████████████ | 245/415 [30:53<21:28, 7.58s/it][A + mmlu_de: 59%|█████████████████████████████████████████████████████████████████████▎ | 246/415 [30:59<20:39, 7.34s/it][A + mmlu_de: 60%|█████████████████████████████████████████████████████████████████████▋ | 247/415 [31:07<20:41, 7.39s/it][A + mmlu_de: 60%|█████████████████████████████████████████████████████████████████████▉ | 248/415 [31:14<20:03, 7.21s/it][A + mmlu_de: 60%|██████████████████████████████████████████████████████████████████████▏ | 249/415 [31:22<20:47, 7.51s/it][A + mmlu_de: 60%|██████████████████████████████████████████████████████████████████████▍ | 250/415 [31:30<21:02, 7.65s/it][A + mmlu_de: 60%|██████████████████████████████████████████████████████████████████████▊ | 251/415 [31:38<21:04, 7.71s/it][A + mmlu_de: 61%|███████████████████████████████████████████████████████████████████████ | 252/415 [31:45<20:59, 7.73s/it][A + mmlu_de: 61%|███████████████████████████████████████████████████████████████████████▎ | 253/415 [31:53<20:39, 7.65s/it][A + mmlu_de: 61%|███████████████████████████████████████████████████████████████████████▌ | 254/415 [32:00<19:59, 7.45s/it][A + mmlu_de: 61%|███████████████████████████████████████████████████████████████████████▉ | 255/415 [32:07<19:53, 7.46s/it][A + mmlu_de: 62%|████████████████████████████████████████████████████████████████████████▏ | 256/415 [32:15<19:39, 7.42s/it][A + mmlu_de: 62%|████████████████████████████████████████████████████████████████████████▍ | 257/415 [32:22<19:18, 7.33s/it][A + mmlu_de: 62%|████████████████████████████████████████████████████████████████████████▋ | 258/415 [32:29<19:26, 7.43s/it][A + mmlu_de: 62%|█████████████████████████████████████████████████████████████████████████ | 259/415 [32:37<19:23, 7.46s/it][A + mmlu_de: 63%|█████████████████████████████████████████████████████████████████████████▎ | 260/415 [32:44<19:02, 7.37s/it][A + mmlu_de: 63%|█████████████████████████████████████████████████████████████████████████▌ | 261/415 [32:51<18:46, 7.31s/it][A + mmlu_de: 63%|█████████████████████████████████████████████████████████████████████████▊ | 262/415 [32:58<18:29, 7.25s/it][A + mmlu_de: 63%|██████████████████████████████████████████████████████████████████████████▏ | 263/415 [33:06<18:57, 7.48s/it][A + mmlu_de: 64%|██████████████████████████████████████████████████████████████████████████▍ | 264/415 [33:15<19:42, 7.83s/it][A + mmlu_de: 64%|██████████████████████████████████████████████████████████████████████████▋ | 265/415 [33:22<19:03, 7.62s/it][A + mmlu_de: 64%|██████████████████████████████████████████████████████████████████████████▉ | 266/415 [33:29<18:35, 7.48s/it][A + mmlu_de: 64%|███████████████████████████████████████████████████████████████████████████▎ | 267/415 [33:37<18:52, 7.65s/it][A + mmlu_de: 65%|███████████████████████████████████████████████████████████████████████████▌ | 268/415 [33:46<19:13, 7.85s/it][A + mmlu_de: 65%|███████████████████████████████████████████████████████████████████████████▊ | 269/415 [33:53<18:34, 7.64s/it][A + mmlu_de: 65%|████████████████████████████████████████████████████████████████████████████ | 270/415 [34:01<18:32, 7.67s/it][A + mmlu_de: 65%|████████████████████████████████████████████████████████████████████████████▍ | 271/415 [34:08<17:59, 7.50s/it][A + mmlu_de: 66%|████████████████████████████████████████████████████████████████████████████▋ | 272/415 [34:15<17:48, 7.47s/it][A + mmlu_de: 66%|████████████████████████████████████████████████████████████████████████████▉ | 273/415 [34:22<17:26, 7.37s/it][A + mmlu_de: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 274/415 [34:30<17:45, 7.56s/it][A + mmlu_de: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 275/415 [34:37<17:18, 7.42s/it][A + mmlu_de: 67%|█████████████████████████████████████████████████████████████████████████████▊ | 276/415 [34:44<16:52, 7.29s/it][A + mmlu_de: 67%|██████████████████████████████████████████████████████████████████████████████ | 277/415 [34:51<16:33, 7.20s/it][A + mmlu_de: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 278/415 [35:00<17:43, 7.76s/it][A + mmlu_de: 67%|██████████████████████████████████████████████████████████████████████████████▋ | 279/415 [35:08<17:15, 7.61s/it][A + mmlu_de: 67%|██████████████████████████████████████████████████████████████████████████████▉ | 280/415 [35:16<17:27, 7.76s/it][A + mmlu_de: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 281/415 [35:23<16:55, 7.58s/it][A + mmlu_de: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 282/415 [35:31<17:12, 7.76s/it][A + mmlu_de: 68%|███████████████████████████████████████████████████████████████████████████████▊ | 283/415 [35:39<17:19, 7.87s/it][A + mmlu_de: 68%|████████████████████████████████████████████████████████████████████████████████ | 284/415 [35:47<17:15, 7.90s/it][A + mmlu_de: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 285/415 [35:54<16:38, 7.68s/it][A + mmlu_de: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 286/415 [36:02<16:43, 7.78s/it][A + mmlu_de: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 287/415 [36:09<15:45, 7.39s/it][A + mmlu_de: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 288/415 [36:16<15:29, 7.32s/it][A + mmlu_de: 70%|█████████████████████████████████████████████████████████████████████████████████▍ | 289/415 [36:24<15:40, 7.46s/it][A + mmlu_de: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 290/415 [36:31<15:33, 7.47s/it][A + mmlu_de: 70%|██████████████████████████████████████████████████████████████████████████████████ | 291/415 [36:39<15:45, 7.62s/it][A + mmlu_de: 70%|██████████████████████████████████████████████████████████████████████████████████▎ | 292/415 [36:48<15:58, 7.79s/it][A + mmlu_de: 71%|██████████████████████████████████████████████████████████████████████████████████▌ | 293/415 [36:54<15:18, 7.53s/it][A + mmlu_de: 71%|██████████████████████████████████████████████████████████████████████████████████▉ | 294/415 [37:02<15:15, 7.57s/it][A + mmlu_de: 71%|███████████████████████████████████████████████████████████████████████████████████▏ | 295/415 [37:09<14:51, 7.43s/it][A + mmlu_de: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 296/415 [37:17<14:47, 7.45s/it][A + mmlu_de: 72%|███████████████████████████████████████████████████████████████████████████████████▋ | 297/415 [37:24<14:35, 7.42s/it][A + mmlu_de: 72%|████████████████████████████████████████████████████████████████████████████████████ | 298/415 [37:32<14:41, 7.54s/it][A + mmlu_de: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 299/415 [37:39<14:24, 7.45s/it][A + mmlu_de: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 300/415 [37:47<14:26, 7.54s/it][A + mmlu_de: 73%|████████████████████████████████████████████████████████████████████████████████████▊ | 301/415 [37:55<14:55, 7.86s/it][A + mmlu_de: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 302/415 [38:02<14:08, 7.51s/it][A + mmlu_de: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 303/415 [38:11<14:29, 7.77s/it][A + mmlu_de: 73%|█████████████████████████████████████████████████████████████████████████████████████▋ | 304/415 [38:19<14:49, 8.01s/it][A + mmlu_de: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 305/415 [38:26<14:09, 7.72s/it][A + mmlu_de: 74%|██████████████████████████████████████████████████████████████████████████████████████▎ | 306/415 [38:33<13:23, 7.37s/it][A + mmlu_de: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 307/415 [38:40<13:18, 7.39s/it][A + mmlu_de: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 308/415 [38:47<12:55, 7.25s/it][A + mmlu_de: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 309/415 [38:54<12:48, 7.25s/it][A + mmlu_de: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 310/415 [39:01<12:29, 7.14s/it][A + mmlu_de: 75%|███████████████████████████████████████████████████████████████████████████████████████▋ | 311/415 [39:08<12:07, 6.99s/it][A + mmlu_de: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 312/415 [39:16<12:31, 7.30s/it][A + mmlu_de: 75%|████████████████████████████████████████████████████████████████████████████████████████▏ | 313/415 [39:25<13:18, 7.83s/it][A + mmlu_de: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 314/415 [39:32<12:52, 7.65s/it][A + mmlu_de: 76%|████████████████████████████████████████████████████████████████████████████████████████▊ | 315/415 [39:40<12:37, 7.58s/it][A + mmlu_de: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 316/415 [39:47<12:39, 7.67s/it][A + mmlu_de: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 317/415 [39:54<11:58, 7.33s/it][A + mmlu_de: 77%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 318/415 [40:01<11:55, 7.38s/it][A + mmlu_de: 77%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 319/415 [40:09<11:51, 7.41s/it][A + mmlu_de: 77%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 320/415 [40:16<11:39, 7.36s/it][A + mmlu_de: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 321/415 [40:24<11:31, 7.35s/it][A + mmlu_de: 78%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 322/415 [40:32<11:56, 7.71s/it][A + mmlu_de: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 323/415 [40:40<11:52, 7.75s/it][A + mmlu_de: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 324/415 [40:48<11:57, 7.89s/it][A + mmlu_de: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 325/415 [40:56<11:40, 7.78s/it][A + mmlu_de: 79%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 326/415 [41:03<11:18, 7.62s/it][A + mmlu_de: 79%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 327/415 [41:10<10:53, 7.42s/it][A + mmlu_de: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 328/415 [41:19<11:20, 7.82s/it][A + mmlu_de: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 329/415 [41:26<11:02, 7.70s/it][A + mmlu_de: 80%|█████████████████████████████████████████████████████████████████████████████████████████████ | 330/415 [41:33<10:32, 7.44s/it][A + mmlu_de: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 331/415 [41:41<10:35, 7.56s/it][A + mmlu_de: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 332/415 [41:50<11:12, 8.10s/it][A + mmlu_de: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 333/415 [41:57<10:45, 7.88s/it][A + mmlu_de: 80%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 334/415 [42:05<10:27, 7.74s/it][A + mmlu_de: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 335/415 [42:12<10:04, 7.55s/it][A + mmlu_de: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 336/415 [42:19<09:45, 7.41s/it][A + mmlu_de: 81%|███████████████████████████████████████████████████████████████████████████████████████████████ | 337/415 [42:27<10:01, 7.71s/it][A + mmlu_de: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 338/415 [42:35<09:48, 7.65s/it][A + mmlu_de: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 339/415 [42:42<09:26, 7.46s/it][A + mmlu_de: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 340/415 [42:51<09:47, 7.84s/it][A + mmlu_de: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 341/415 [42:58<09:31, 7.73s/it][A + mmlu_de: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 342/415 [43:06<09:31, 7.82s/it][A + mmlu_de: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 343/415 [43:14<09:13, 7.68s/it][A + mmlu_de: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 344/415 [43:22<09:14, 7.81s/it][A + mmlu_de: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 345/415 [43:29<09:05, 7.80s/it][A + mmlu_de: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 346/415 [43:37<09:01, 7.84s/it][A + mmlu_de: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 347/415 [43:44<08:29, 7.49s/it][A + mmlu_de: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 348/415 [43:51<08:15, 7.40s/it][A + mmlu_de: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 349/415 [43:59<08:09, 7.42s/it][A + mmlu_de: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 350/415 [44:06<07:58, 7.36s/it][A + mmlu_de: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 351/415 [44:15<08:24, 7.89s/it][A + mmlu_de: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 352/415 [44:23<08:25, 8.03s/it][A + mmlu_de: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 353/415 [44:32<08:19, 8.06s/it][A + mmlu_de: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 354/415 [44:40<08:12, 8.08s/it][A + mmlu_de: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 355/415 [44:48<08:11, 8.19s/it][A + mmlu_de: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 356/415 [44:55<07:40, 7.80s/it][A + mmlu_de: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 357/415 [45:02<07:26, 7.71s/it][A + mmlu_de: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 358/415 [45:11<07:24, 7.80s/it][A + mmlu_de: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 359/415 [45:18<07:19, 7.85s/it][A + mmlu_de: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 360/415 [45:27<07:18, 7.96s/it][A + mmlu_de: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 361/415 [45:34<07:02, 7.82s/it][A + mmlu_de: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 362/415 [45:42<07:01, 7.95s/it][A + mmlu_de: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 363/415 [45:49<06:37, 7.65s/it][A + mmlu_de: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 364/415 [45:57<06:36, 7.78s/it][A + mmlu_de: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 365/415 [46:05<06:28, 7.77s/it][A + mmlu_de: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 366/415 [46:12<06:11, 7.58s/it][A + mmlu_de: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 367/415 [46:21<06:12, 7.76s/it][A + mmlu_de: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 368/415 [46:28<06:07, 7.81s/it][A + mmlu_de: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 369/415 [46:36<05:49, 7.59s/it][A + mmlu_de: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 370/415 [46:43<05:39, 7.54s/it][A + mmlu_de: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 371/415 [46:51<05:34, 7.60s/it][A + mmlu_de: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 372/415 [46:58<05:23, 7.52s/it][A + mmlu_de: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 373/415 [47:07<05:40, 8.10s/it][A + mmlu_de: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 374/415 [47:15<05:25, 7.94s/it][A + mmlu_de: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 375/415 [47:24<05:27, 8.19s/it][A + mmlu_de: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 376/415 [47:31<05:04, 7.81s/it][A + mmlu_de: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 377/415 [47:39<04:56, 7.81s/it][A + mmlu_de: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 378/415 [47:47<04:51, 7.89s/it][A + mmlu_de: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 379/415 [47:54<04:42, 7.85s/it][A + mmlu_de: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 380/415 [48:03<04:43, 8.11s/it][A + mmlu_de: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 381/415 [48:11<04:30, 7.96s/it][A + mmlu_de: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 382/415 [48:18<04:17, 7.79s/it][A + mmlu_de: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 383/415 [48:25<04:04, 7.65s/it][A + mmlu_de: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 384/415 [48:33<03:51, 7.48s/it][A + mmlu_de: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 385/415 [48:40<03:46, 7.55s/it][A + mmlu_de: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 386/415 [48:47<03:34, 7.41s/it][A + mmlu_de: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 387/415 [48:55<03:26, 7.38s/it][A + mmlu_de: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 388/415 [49:02<03:15, 7.25s/it][A + mmlu_de: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 389/415 [49:10<03:18, 7.62s/it][A + mmlu_de: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 390/415 [49:19<03:19, 7.97s/it][A + mmlu_de: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 391/415 [49:26<03:07, 7.83s/it][A + mmlu_de: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 392/415 [49:34<02:58, 7.75s/it][A + mmlu_de: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 393/415 [49:41<02:47, 7.62s/it][A + mmlu_de: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 394/415 [49:49<02:39, 7.59s/it][A + mmlu_de: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 395/415 [49:57<02:34, 7.73s/it][A + mmlu_de: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 396/415 [50:04<02:23, 7.55s/it][A + mmlu_de: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 397/415 [50:12<02:18, 7.70s/it][A + mmlu_de: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 398/415 [50:20<02:14, 7.93s/it][A + mmlu_de: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 399/415 [50:28<02:02, 7.68s/it][A + mmlu_de: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 400/415 [50:35<01:53, 7.59s/it][A + mmlu_de: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 401/415 [50:43<01:49, 7.81s/it][A + mmlu_de: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 402/415 [50:52<01:45, 8.12s/it][A + mmlu_de: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 403/415 [50:59<01:33, 7.82s/it][A + mmlu_de: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 404/415 [51:06<01:23, 7.63s/it][A + mmlu_de: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 405/415 [51:14<01:15, 7.60s/it][A + mmlu_de: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 406/415 [51:22<01:09, 7.67s/it][A + mmlu_de: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 407/415 [51:29<01:00, 7.55s/it][A + mmlu_de: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 408/415 [51:37<00:52, 7.53s/it][A + mmlu_de: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 409/415 [51:44<00:45, 7.65s/it][A + mmlu_de: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 410/415 [51:52<00:37, 7.56s/it][A + mmlu_de: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 411/415 [52:00<00:31, 7.79s/it][A + mmlu_de: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 412/415 [52:07<00:22, 7.56s/it][A + mmlu_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 413/415 [52:15<00:15, 7.52s/it][A + mmlu_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 414/415 [52:22<00:07, 7.40s/it][A + mmlu_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 415/415 [52:27<00:00, 6.79s/it][A mmlu_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 415/415 [52:27<00:00, 7.58s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_de_acc 0.38210891537185093 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_de_acc_norm 0.3462060642630864 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 20:39:37,427 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 20:39:37,427 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:37,555 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 20:39:37,555 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:37,683 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 20:39:37,683 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:37,811 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 20:39:37,812 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 20:39:37,812 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 20:39:37,941 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 20:39:37,941 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_de_acc'} +2024-05-30 20:39:38,006 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 20:39:38,006 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1211, 'value': 0.38210891537185093} +2024-05-30 20:39:38,072 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 20:39:38,723 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 20:39:38,723 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:38,852 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 20:39:38,852 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:38,980 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 20:39:38,980 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:39,109 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 20:39:39,109 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 20:39:39,109 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 20:39:39,239 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 20:39:39,239 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'mmlu_de_acc_norm'} +2024-05-30 20:39:39,304 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 20:39:39,304 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1212, 'value': 0.3462060642630864} +2024-05-30 20:39:39,369 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 54%|██████████████████████████████████████████████████████████▎ | 67/124 [37:52:08<59:07:04, 3733.76s/it]['mmlu_es'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 20:39:40,020 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 20:39:40,020 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:40,150 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 20:39:40,150 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:40,278 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 20:39:40,278 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 20:39:40,406 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 20:39:40,406 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 20:39:40,406 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_es'} +2024-05-30 20:39:40,535 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_es task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1757 examples [00:00, 16521.74 examples/s][A + Generating test split: 5097 examples [00:00, 26193.89 examples/s][A + Generating test split: 8612 examples [00:00, 30223.62 examples/s][A + Generating test split: 12000 examples [00:00, 31481.41 examples/s][A Generating test split: 13334 examples [00:00, 29482.17 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 272 examples [00:00, 27320.53 examples/s] +Running loglikelihood requests + + mmlu_es: 0%| | 0/417 [00:00<?, ?it/s][A + mmlu_es: 0%|▎ | 1/417 [00:06<46:09, 6.66s/it][A + mmlu_es: 0%|▌ | 2/417 [00:13<45:10, 6.53s/it][A + mmlu_es: 1%|▊ | 3/417 [00:19<44:49, 6.50s/it][A + mmlu_es: 1%|█▏ | 4/417 [00:25<44:28, 6.46s/it][A + mmlu_es: 1%|█▍ | 5/417 [00:31<42:24, 6.18s/it][A + mmlu_es: 1%|█▋ | 6/417 [00:38<42:46, 6.25s/it][A + mmlu_es: 2%|█▉ | 7/417 [00:44<43:59, 6.44s/it][A + mmlu_es: 2%|██▎ | 8/417 [00:50<43:09, 6.33s/it][A + mmlu_es: 2%|██▌ | 9/417 [00:57<42:48, 6.30s/it][A + mmlu_es: 2%|██▊ | 10/417 [01:03<42:12, 6.22s/it][A + mmlu_es: 3%|███ | 11/417 [01:09<42:01, 6.21s/it][A + mmlu_es: 3%|███▍ | 12/417 [01:15<41:06, 6.09s/it][A + mmlu_es: 3%|███▋ | 13/417 [01:21<41:29, 6.16s/it][A + mmlu_es: 3%|███▉ | 14/417 [01:28<43:26, 6.47s/it][A + mmlu_es: 4%|████▏ | 15/417 [01:35<43:57, 6.56s/it][A + mmlu_es: 4%|████▌ | 16/417 [01:42<43:49, 6.56s/it][A + mmlu_es: 4%|████▊ | 17/417 [01:47<40:32, 6.08s/it][A + mmlu_es: 4%|█████ | 18/417 [01:52<39:48, 5.99s/it][A + mmlu_es: 5%|█████▍ | 19/417 [01:58<40:02, 6.04s/it][A + mmlu_es: 5%|█████▋ | 20/417 [02:06<42:38, 6.44s/it][A + mmlu_es: 5%|█████▉ | 21/417 [02:11<40:47, 6.18s/it][A + mmlu_es: 5%|██████▏ | 22/417 [02:18<41:52, 6.36s/it][A + mmlu_es: 6%|██████▌ | 23/417 [02:24<40:01, 6.09s/it][A + mmlu_es: 6%|██████▊ | 24/417 [02:30<40:32, 6.19s/it][A + mmlu_es: 6%|███████ | 25/417 [02:36<40:54, 6.26s/it][A + mmlu_es: 6%|███████▎ | 26/417 [02:43<41:18, 6.34s/it][A + mmlu_es: 6%|███████▋ | 27/417 [02:49<40:52, 6.29s/it][A + mmlu_es: 7%|███████▉ | 28/417 [02:56<41:04, 6.34s/it][A + mmlu_es: 7%|████████▏ | 29/417 [03:02<40:28, 6.26s/it][A + mmlu_es: 7%|████████▍ | 30/417 [03:08<40:54, 6.34s/it][A + mmlu_es: 7%|████████▊ | 31/417 [03:15<40:46, 6.34s/it][A + mmlu_es: 8%|█████████ | 32/417 [03:21<40:00, 6.24s/it][A + mmlu_es: 8%|█████████▎ | 33/417 [03:26<38:30, 6.02s/it][A + mmlu_es: 8%|█████████▌ | 34/417 [03:33<39:50, 6.24s/it][A + mmlu_es: 8%|█████████▉ | 35/417 [03:39<39:20, 6.18s/it][A + mmlu_es: 9%|██████████▏ | 36/417 [03:45<39:27, 6.22s/it][A + mmlu_es: 9%|██████████▍ | 37/417 [03:52<40:23, 6.38s/it][A + mmlu_es: 9%|██████████▊ | 38/417 [03:58<38:55, 6.16s/it][A + mmlu_es: 9%|███████████ | 39/417 [04:04<38:53, 6.17s/it][A + mmlu_es: 10%|███████████▎ | 40/417 [04:11<40:11, 6.40s/it][A + mmlu_es: 10%|███████████▌ | 41/417 [04:17<39:28, 6.30s/it][A + mmlu_es: 10%|███████████▉ | 42/417 [04:23<39:28, 6.32s/it][A + mmlu_es: 10%|████████████▏ | 43/417 [04:30<40:45, 6.54s/it][A + mmlu_es: 11%|████████████▍ | 44/417 [04:37<41:18, 6.64s/it][A + mmlu_es: 11%|████████████▋ | 45/417 [04:44<42:11, 6.81s/it][A + mmlu_es: 11%|█████████████ | 46/417 [04:50<39:59, 6.47s/it][A + mmlu_es: 11%|█████████████▎ | 47/417 [04:56<39:42, 6.44s/it][A + mmlu_es: 12%|█████████████▌ | 48/417 [05:02<38:58, 6.34s/it][A + mmlu_es: 12%|█████████████▊ | 49/417 [05:09<38:28, 6.27s/it][A + mmlu_es: 12%|██████████████▏ | 50/417 [05:15<37:57, 6.21s/it][A + mmlu_es: 12%|██████████████▍ | 51/417 [05:21<38:06, 6.25s/it][A + mmlu_es: 12%|██████████████▋ | 52/417 [05:27<37:06, 6.10s/it][A + mmlu_es: 13%|██████████████▉ | 53/417 [05:33<37:12, 6.13s/it][A + mmlu_es: 13%|███████████████▎ | 54/417 [05:40<38:38, 6.39s/it][A + mmlu_es: 13%|███████████████▌ | 55/417 [05:46<37:41, 6.25s/it][A + mmlu_es: 13%|███████████████▊ | 56/417 [05:52<38:01, 6.32s/it][A + mmlu_es: 14%|████████████████▏ | 57/417 [05:58<36:54, 6.15s/it][A + mmlu_es: 14%|████████████████▍ | 58/417 [06:04<36:55, 6.17s/it][A + mmlu_es: 14%|████████████████▋ | 59/417 [06:10<36:50, 6.17s/it][A + mmlu_es: 14%|████████████████▉ | 60/417 [06:16<35:56, 6.04s/it][A + mmlu_es: 15%|█████████████████▎ | 61/417 [06:23<37:16, 6.28s/it][A + mmlu_es: 15%|█████████████████▌ | 62/417 [06:29<37:14, 6.30s/it][A + mmlu_es: 15%|█████████████████▊ | 63/417 [06:36<38:22, 6.50s/it][A + mmlu_es: 15%|██████████████████ | 64/417 [06:43<39:15, 6.67s/it][A + mmlu_es: 16%|██████████████████▍ | 65/417 [06:50<38:11, 6.51s/it][A + mmlu_es: 16%|██████████████████▋ | 66/417 [06:56<37:54, 6.48s/it][A + mmlu_es: 16%|██████████████████▉ | 67/417 [07:02<36:19, 6.23s/it][A + mmlu_es: 16%|███████████████████▏ | 68/417 [07:09<37:45, 6.49s/it][A + mmlu_es: 17%|███████████████████▌ | 69/417 [07:15<38:01, 6.56s/it][A + mmlu_es: 17%|███████████████████▊ | 70/417 [07:21<37:02, 6.41s/it][A + mmlu_es: 17%|████████████████████ | 71/417 [07:28<36:38, 6.35s/it][A + mmlu_es: 17%|████████████████████▎ | 72/417 [07:35<37:41, 6.56s/it][A + mmlu_es: 18%|████████████████████▋ | 73/417 [07:41<36:29, 6.36s/it][A + mmlu_es: 18%|████████████████████▉ | 74/417 [07:48<37:37, 6.58s/it][A + mmlu_es: 18%|█████████████████████▏ | 75/417 [07:54<37:03, 6.50s/it][A + mmlu_es: 18%|█████████████████████▌ | 76/417 [08:01<37:33, 6.61s/it][A + mmlu_es: 18%|█████████████████████▊ | 77/417 [08:08<37:41, 6.65s/it][A + mmlu_es: 19%|██████████████████████ | 78/417 [08:14<37:16, 6.60s/it][A + mmlu_es: 19%|██████████████████████▎ | 79/417 [08:20<36:36, 6.50s/it][A + mmlu_es: 19%|██████████████████████▋ | 80/417 [08:27<35:57, 6.40s/it][A + mmlu_es: 19%|██████████████████████▉ | 81/417 [08:33<35:11, 6.28s/it][A + mmlu_es: 20%|███████████████████████▏ | 82/417 [08:39<35:52, 6.43s/it][A + mmlu_es: 20%|███████████████████████▍ | 83/417 [08:46<35:33, 6.39s/it][A + mmlu_es: 20%|███████████████████████▊ | 84/417 [08:51<34:28, 6.21s/it][A + mmlu_es: 20%|████████████████████████ | 85/417 [08:57<33:44, 6.10s/it][A + mmlu_es: 21%|████████████████████████▎ | 86/417 [09:04<34:33, 6.26s/it][A + mmlu_es: 21%|████████████████████████▌ | 87/417 [09:11<35:03, 6.38s/it][A + mmlu_es: 21%|████████████████████████▉ | 88/417 [09:17<35:16, 6.43s/it][A + mmlu_es: 21%|█████████████████████████▏ | 89/417 [09:23<35:04, 6.42s/it][A + mmlu_es: 22%|█████████████████████████▍ | 90/417 [09:30<34:29, 6.33s/it][A + mmlu_es: 22%|█████████████████████████▊ | 91/417 [09:36<34:01, 6.26s/it][A + mmlu_es: 22%|██████████████████████████ | 92/417 [09:43<34:50, 6.43s/it][A + mmlu_es: 22%|██████████████████████████▎ | 93/417 [09:50<35:42, 6.61s/it][A + mmlu_es: 23%|██████████████████████████▌ | 94/417 [09:56<35:13, 6.54s/it][A + mmlu_es: 23%|██████████████████████████▉ | 95/417 [10:03<35:19, 6.58s/it][A + mmlu_es: 23%|███████████████████████████▏ | 96/417 [10:09<34:39, 6.48s/it][A + mmlu_es: 23%|███████████████████████████▍ | 97/417 [10:15<34:38, 6.50s/it][A + mmlu_es: 24%|███████████████████████████▋ | 98/417 [10:22<35:07, 6.61s/it][A + mmlu_es: 24%|████████████████████████████ | 99/417 [10:29<35:34, 6.71s/it][A + mmlu_es: 24%|████████████████████████████ | 100/417 [10:35<34:13, 6.48s/it][A + mmlu_es: 24%|████████████████████████████▎ | 101/417 [10:42<35:04, 6.66s/it][A + mmlu_es: 24%|████████████████████████████▌ | 102/417 [10:48<34:08, 6.50s/it][A + mmlu_es: 25%|████████████████████████████▉ | 103/417 [10:55<34:07, 6.52s/it][A + mmlu_es: 25%|█████████████████████████████▏ | 104/417 [11:01<33:21, 6.39s/it][A + mmlu_es: 25%|█████████████████████████████▍ | 105/417 [11:07<33:03, 6.36s/it][A + mmlu_es: 25%|█████████████████████████████▋ | 106/417 [11:14<33:19, 6.43s/it][A + mmlu_es: 26%|██████████████████████████████ | 107/417 [11:21<34:08, 6.61s/it][A + mmlu_es: 26%|██████████████████████████████▎ | 108/417 [11:27<33:08, 6.43s/it][A + mmlu_es: 26%|██████████████████████████████▌ | 109/417 [11:34<33:27, 6.52s/it][A + mmlu_es: 26%|██████████████████████████████▊ | 110/417 [11:40<33:25, 6.53s/it][A + mmlu_es: 27%|███████████████████████████████▏ | 111/417 [11:46<32:45, 6.42s/it][A + mmlu_es: 27%|███████████████████████████████▍ | 112/417 [11:53<32:35, 6.41s/it][A + mmlu_es: 27%|███████████████████████████████▋ | 113/417 [12:00<33:53, 6.69s/it][A + mmlu_es: 27%|███████████████████████████████▉ | 114/417 [12:07<33:33, 6.64s/it][A + mmlu_es: 28%|████████████████████████████████▎ | 115/417 [12:13<32:57, 6.55s/it][A + mmlu_es: 28%|████████████████████████████████▌ | 116/417 [12:19<32:14, 6.43s/it][A + mmlu_es: 28%|████████████████████████████████▊ | 117/417 [12:25<31:18, 6.26s/it][A + mmlu_es: 28%|█████████████████████████████████ | 118/417 [12:32<32:32, 6.53s/it][A + mmlu_es: 29%|█████████████████████████████████▍ | 119/417 [12:39<32:42, 6.58s/it][A + mmlu_es: 29%|█████████████████████████████████▋ | 120/417 [12:45<32:35, 6.58s/it][A + mmlu_es: 29%|█████████████████████████████████▉ | 121/417 [12:52<32:15, 6.54s/it][A + mmlu_es: 29%|██████████████████████████████████▏ | 122/417 [12:58<31:59, 6.51s/it][A + mmlu_es: 29%|██████████████████████████████████▌ | 123/417 [13:04<31:17, 6.38s/it][A + mmlu_es: 30%|██████████████████████████████████▊ | 124/417 [13:11<31:02, 6.36s/it][A + mmlu_es: 30%|███████████████████████████████████ | 125/417 [13:17<30:49, 6.34s/it][A + mmlu_es: 30%|███████████████████████████████████▎ | 126/417 [13:24<31:06, 6.42s/it][A + mmlu_es: 30%|███████████████████████████████████▋ | 127/417 [13:30<31:15, 6.47s/it][A + mmlu_es: 31%|███████████████████████████████████▉ | 128/417 [13:37<32:12, 6.69s/it][A + mmlu_es: 31%|████████████████████████████████████▏ | 129/417 [13:44<31:36, 6.58s/it][A + mmlu_es: 31%|████████████████████████████████████▍ | 130/417 [13:51<31:52, 6.66s/it][A + mmlu_es: 31%|████████████████████████████████████▊ | 131/417 [13:57<31:39, 6.64s/it][A + mmlu_es: 32%|█████████████████████████████████████ | 132/417 [14:03<30:45, 6.48s/it][A + mmlu_es: 32%|█████████████████████████████████████▎ | 133/417 [14:10<30:26, 6.43s/it][A + mmlu_es: 32%|█████████████████████████████████████▌ | 134/417 [14:16<30:30, 6.47s/it][A + mmlu_es: 32%|█████████████████████████████████████▉ | 135/417 [14:23<30:32, 6.50s/it][A + mmlu_es: 33%|██████████████████████████████████████▏ | 136/417 [14:29<30:30, 6.51s/it][A + mmlu_es: 33%|██████████████████████████████████████▍ | 137/417 [14:36<30:09, 6.46s/it][A + mmlu_es: 33%|██████████████████████████████████████▋ | 138/417 [14:42<29:42, 6.39s/it][A + mmlu_es: 33%|███████████████████████████████████████ | 139/417 [14:48<29:28, 6.36s/it][A + mmlu_es: 34%|███████████████████████████████████████▎ | 140/417 [14:54<28:57, 6.27s/it][A + mmlu_es: 34%|███████████████████████████████████████▌ | 141/417 [15:01<29:49, 6.49s/it][A + mmlu_es: 34%|███████████████████████████████████████▊ | 142/417 [15:07<29:21, 6.41s/it][A + mmlu_es: 34%|████████████████████████████████████████ | 143/417 [15:14<29:14, 6.40s/it][A + mmlu_es: 35%|████████████████████████████████████████▍ | 144/417 [15:20<29:21, 6.45s/it][A + mmlu_es: 35%|████████████████████████████████████████▋ | 145/417 [15:26<28:31, 6.29s/it][A + mmlu_es: 35%|████████████████████████████████████████▉ | 146/417 [15:32<27:34, 6.10s/it][A + mmlu_es: 35%|█████████████████████████████████████████▏ | 147/417 [15:38<27:53, 6.20s/it][A + mmlu_es: 35%|█████████████████████████████████████████▌ | 148/417 [15:46<29:06, 6.49s/it][A + mmlu_es: 36%|█████████████████████████████████████████▊ | 149/417 [15:52<28:36, 6.41s/it][A + mmlu_es: 36%|██████████████████████████████████████████ | 150/417 [15:59<29:08, 6.55s/it][A + mmlu_es: 36%|██████████████████████████████████████████▎ | 151/417 [16:05<29:05, 6.56s/it][A + mmlu_es: 36%|██████████████████████████████████████████▋ | 152/417 [16:12<29:49, 6.75s/it][A + mmlu_es: 37%|██████████████████████████████████████████▉ | 153/417 [16:19<29:34, 6.72s/it][A + mmlu_es: 37%|███████████████████████████████████████████▏ | 154/417 [16:25<27:56, 6.37s/it][A + mmlu_es: 37%|███████████████████████████████████████████▍ | 155/417 [16:31<27:27, 6.29s/it][A + mmlu_es: 37%|███████████████████████████████████████████▊ | 156/417 [16:37<27:10, 6.25s/it][A + mmlu_es: 38%|████████████████████████████████████████████ | 157/417 [16:44<28:34, 6.59s/it][A + mmlu_es: 38%|████████████████████████████████████████████▎ | 158/417 [16:51<28:09, 6.52s/it][A + mmlu_es: 38%|████████████████████████████████████████████▌ | 159/417 [16:58<28:54, 6.72s/it][A + mmlu_es: 38%|████████████████████████████████████████████▉ | 160/417 [17:04<27:49, 6.50s/it][A + mmlu_es: 39%|█████████████████████████████████████████████▏ | 161/417 [17:11<28:08, 6.60s/it][A + mmlu_es: 39%|█████████████████████████████████████████████▍ | 162/417 [17:17<28:04, 6.61s/it][A + mmlu_es: 39%|█████████████████████████████████████████████▋ | 163/417 [17:24<27:42, 6.54s/it][A + mmlu_es: 39%|██████████████████████████████████████████████ | 164/417 [17:30<27:35, 6.55s/it][A + mmlu_es: 40%|██████████████████████████████████████████████▎ | 165/417 [17:36<27:03, 6.44s/it][A + mmlu_es: 40%|██████████████████████████████████████████████▌ | 166/417 [17:43<27:04, 6.47s/it][A + mmlu_es: 40%|██████████████████████████████████████████████▊ | 167/417 [17:50<27:14, 6.54s/it][A + mmlu_es: 40%|███████████████████████████████████████████████▏ | 168/417 [17:56<27:12, 6.56s/it][A + mmlu_es: 41%|███████████████████████████████████████████████▍ | 169/417 [18:03<26:57, 6.52s/it][A + mmlu_es: 41%|███████████████████████████████████████████████▋ | 170/417 [18:09<26:54, 6.54s/it][A + mmlu_es: 41%|███████████████████████████████████████████████▉ | 171/417 [18:15<25:43, 6.27s/it][A + mmlu_es: 41%|████████████████████████████████████████████████▎ | 172/417 [18:21<26:00, 6.37s/it][A + mmlu_es: 41%|████████████████████████████████████████████████▌ | 173/417 [18:27<25:05, 6.17s/it][A + mmlu_es: 42%|████████████████████████████████████████████████▊ | 174/417 [18:33<24:38, 6.08s/it][A + mmlu_es: 42%|█████████████████████████████████████████████████ | 175/417 [18:39<24:51, 6.16s/it][A + mmlu_es: 42%|█████████████████████████████████████████████████▍ | 176/417 [18:46<24:57, 6.21s/it][A + mmlu_es: 42%|█████████████████████████████████████████████████▋ | 177/417 [18:52<25:10, 6.29s/it][A + mmlu_es: 43%|█████████████████████████████████████████████████▉ | 178/417 [18:58<24:58, 6.27s/it][A + mmlu_es: 43%|██████████████████████████████████████████████████▏ | 179/417 [19:05<25:01, 6.31s/it][A + mmlu_es: 43%|██████████████████████████████████████████████████▌ | 180/417 [19:12<25:21, 6.42s/it][A + mmlu_es: 43%|██████████████████████████████████████████████████▊ | 181/417 [19:18<25:32, 6.49s/it][A + mmlu_es: 44%|███████████████████████████████████████████████████ | 182/417 [19:24<24:33, 6.27s/it][A + mmlu_es: 44%|███████████████████████████████████████████████████▎ | 183/417 [19:29<23:36, 6.06s/it][A + mmlu_es: 44%|███████████████████████████████████████████████████▋ | 184/417 [19:36<23:56, 6.17s/it][A + mmlu_es: 44%|███████████████████████████████████████████████████▉ | 185/417 [19:42<23:53, 6.18s/it][A + mmlu_es: 45%|████████████████████████████████████████████████████▏ | 186/417 [19:48<23:35, 6.13s/it][A + mmlu_es: 45%|████████████████████████████████████████████████████▍ | 187/417 [19:55<24:13, 6.32s/it][A + mmlu_es: 45%|████████████████████████████████████████████████████▋ | 188/417 [20:01<24:13, 6.35s/it][A + mmlu_es: 45%|█████████████████████████████████████████████████████ | 189/417 [20:08<24:54, 6.55s/it][A + mmlu_es: 46%|█████████████████████████████████████████████████████▎ | 190/417 [20:15<24:44, 6.54s/it][A + mmlu_es: 46%|█████████████████████████████████████████████████████▌ | 191/417 [20:21<24:32, 6.52s/it][A + mmlu_es: 46%|█████████████████████████████████████████████████████▊ | 192/417 [20:27<23:59, 6.40s/it][A + mmlu_es: 46%|██████████████████████████████████████████████████████▏ | 193/417 [20:33<23:18, 6.25s/it][A + mmlu_es: 47%|██████████████████████████████████████████████████████▍ | 194/417 [20:39<22:52, 6.15s/it][A + mmlu_es: 47%|██████████████████████████████████████████████████████▋ | 195/417 [20:46<23:24, 6.33s/it][A + mmlu_es: 47%|██████████████████████████████████████████████████████▉ | 196/417 [20:52<23:27, 6.37s/it][A + mmlu_es: 47%|███████████████████████████████████████████████████████▎ | 197/417 [20:58<22:42, 6.19s/it][A + mmlu_es: 47%|███████████████████████████████████████████████████████▌ | 198/417 [21:04<22:31, 6.17s/it][A + mmlu_es: 48%|███████████████████████████████████████████████████████▊ | 199/417 [21:11<22:49, 6.28s/it][A + mmlu_es: 48%|████████████████████████████████████████████████████████ | 200/417 [21:17<22:13, 6.15s/it][A + mmlu_es: 48%|████████████████████████████████████████████████████████▍ | 201/417 [21:23<22:10, 6.16s/it][A + mmlu_es: 48%|████████████████████████████████████████████████████████▋ | 202/417 [21:30<22:48, 6.36s/it][A + mmlu_es: 49%|████████████████████████████████████████████████████████▉ | 203/417 [21:36<22:48, 6.39s/it][A + mmlu_es: 49%|█████████████████████████████████████████████████████████▏ | 204/417 [21:43<23:01, 6.49s/it][A + mmlu_es: 49%|█████████████████████████████████████████████████████████▌ | 205/417 [21:49<22:57, 6.50s/it][A + mmlu_es: 49%|█████████████████████████████████████████████████████████▊ | 206/417 [21:56<23:11, 6.59s/it][A + mmlu_es: 50%|██████████████████████████████████████████████████████████ | 207/417 [22:03<22:43, 6.49s/it][A + mmlu_es: 50%|██████████████████████████████████████████████████████████▎ | 208/417 [22:09<22:19, 6.41s/it][A + mmlu_es: 50%|██████████████████████████████████████████████████████████▋ | 209/417 [22:15<22:09, 6.39s/it][A + mmlu_es: 50%|██████████████████████████████████████████████████████████▉ | 210/417 [22:21<21:58, 6.37s/it][A + mmlu_es: 51%|███████████████████████████████████████████████████████████▏ | 211/417 [22:27<21:27, 6.25s/it][A + mmlu_es: 51%|███████████████████████████████████████████████████████████▍ | 212/417 [22:34<21:17, 6.23s/it][A + mmlu_es: 51%|███████████████████████████████████████████████████████████▊ | 213/417 [22:40<21:08, 6.22s/it][A + mmlu_es: 51%|████████████████████████████████████████████████████████████ | 214/417 [22:46<21:09, 6.25s/it][A + mmlu_es: 52%|████████████████████████████████████████████████████████████▎ | 215/417 [22:52<20:36, 6.12s/it][A + mmlu_es: 52%|████████████████████████████████████████████████████████████▌ | 216/417 [22:58<20:38, 6.16s/it][A + mmlu_es: 52%|████████████████████████████████████████████████████████████▉ | 217/417 [23:05<20:47, 6.24s/it][A + mmlu_es: 52%|█████████████████████████████████████████████████████████████▏ | 218/417 [23:10<19:57, 6.02s/it][A + mmlu_es: 53%|█████████████████████████████████████████████████████████████▍ | 219/417 [23:17<21:05, 6.39s/it][A + mmlu_es: 53%|█████████████████████████████████████████████████████████████▋ | 220/417 [23:24<20:49, 6.34s/it][A + mmlu_es: 53%|██████████████████████████████████████████████████████████████ | 221/417 [23:29<19:58, 6.12s/it][A + mmlu_es: 53%|██████████████████████████████████████████████████████████████▎ | 222/417 [23:36<20:34, 6.33s/it][A + mmlu_es: 53%|██████████████████████████████████████████████████████████████▌ | 223/417 [23:42<20:16, 6.27s/it][A + mmlu_es: 54%|██████████████████████████████████████████████████████████████▊ | 224/417 [23:48<20:09, 6.27s/it][A + mmlu_es: 54%|███████████████████████████████████████████████████████████████▏ | 225/417 [23:55<20:24, 6.38s/it][A + mmlu_es: 54%|███████████████████████████████████████████████████████████████▍ | 226/417 [24:01<20:04, 6.31s/it][A + mmlu_es: 54%|███████████████████████████████████████████████████████████████▋ | 227/417 [24:07<19:39, 6.21s/it][A + mmlu_es: 55%|███████████████████████████████████████████████████████████████▉ | 228/417 [24:13<19:13, 6.10s/it][A + mmlu_es: 55%|████████████████████████████████████████████████████████████████▎ | 229/417 [24:19<19:10, 6.12s/it][A + mmlu_es: 55%|████████████████████████████████████████████████████████████████▌ | 230/417 [24:25<19:14, 6.17s/it][A + mmlu_es: 55%|████████████████████████████████████████████████████████████████▊ | 231/417 [24:32<19:24, 6.26s/it][A + mmlu_es: 56%|█████████████████████████████████████████████████████████████████ | 232/417 [24:38<19:22, 6.29s/it][A + mmlu_es: 56%|█████████████████████████████████████████████████████████████████▎ | 233/417 [24:45<19:48, 6.46s/it][A + mmlu_es: 56%|█████████████████████████████████████████████████████████████████▋ | 234/417 [24:51<19:13, 6.31s/it][A + mmlu_es: 56%|█████████████████████████████████████████████████████████████████▉ | 235/417 [24:57<19:06, 6.30s/it][A + mmlu_es: 57%|██████████████████████████████████████████████████████████████████▏ | 236/417 [25:04<18:52, 6.26s/it][A + mmlu_es: 57%|██████████████████████████████████████████████████████████████████▍ | 237/417 [25:10<18:58, 6.33s/it][A + mmlu_es: 57%|██████████████████████████████████████████████████████████████████▊ | 238/417 [25:17<19:46, 6.63s/it][A + mmlu_es: 57%|███████████████████████████████████████████████████████████████████ | 239/417 [25:24<19:35, 6.60s/it][A + mmlu_es: 58%|███████████████████████████████████████████████████████████████████▎ | 240/417 [25:30<18:36, 6.31s/it][A + mmlu_es: 58%|███████████████████████████████████████████████████████████████████▌ | 241/417 [25:36<18:50, 6.42s/it][A + mmlu_es: 58%|███████████████████████████████████████████████████████████████████▉ | 242/417 [25:43<18:52, 6.47s/it][A + mmlu_es: 58%|████████████████████████████████████████████████████████████████████▏ | 243/417 [25:50<19:28, 6.72s/it][A + mmlu_es: 59%|████████████████████████████████████████████████████████████████████▍ | 244/417 [25:56<18:57, 6.58s/it][A + mmlu_es: 59%|████████████████████████████████████████████████████████████████████▋ | 245/417 [26:03<19:18, 6.74s/it][A + mmlu_es: 59%|█████████████████████████████████████████████████████████████████████ | 246/417 [26:10<18:55, 6.64s/it][A + mmlu_es: 59%|█████████████████████████████████████████████████████████████████████▎ | 247/417 [26:16<18:36, 6.57s/it][A + mmlu_es: 59%|█████████████████████████████████████████████████████████████████████▌ | 248/417 [26:24<19:24, 6.89s/it][A + mmlu_es: 60%|█████████████████████████████████████████████████████████████████████▊ | 249/417 [26:30<18:46, 6.70s/it][A + mmlu_es: 60%|██████████████████████████████████████████████████████████████████████▏ | 250/417 [26:37<18:22, 6.60s/it][A + mmlu_es: 60%|██████████████████████████████████████████████████████████████████████▍ | 251/417 [26:43<18:02, 6.52s/it][A + mmlu_es: 60%|██████████████████████████████████████████████████████████████████████▋ | 252/417 [26:49<17:33, 6.39s/it][A + mmlu_es: 61%|██████████████████████████████████████████████████████████████████████▉ | 253/417 [26:56<17:43, 6.48s/it][A + mmlu_es: 61%|███████████████████████████████████████████████████████████████████████▎ | 254/417 [27:02<17:28, 6.44s/it][A + mmlu_es: 61%|███████████████████████████████████████████████████████████████████████▌ | 255/417 [27:09<17:55, 6.64s/it][A + mmlu_es: 61%|███████████████████████████████████████████████████████████████████████▊ | 256/417 [27:15<17:29, 6.52s/it][A + mmlu_es: 62%|████████████████████████████████████████████████████████████████████████ | 257/417 [27:22<17:22, 6.52s/it][A + mmlu_es: 62%|████████████████████████████████████████████████████████████████████████▍ | 258/417 [27:28<17:18, 6.53s/it][A + mmlu_es: 62%|████████████████████████████████████████████████████████████████████████▋ | 259/417 [27:35<17:25, 6.61s/it][A + mmlu_es: 62%|████████████████████████████████████████████████████████████████████████▉ | 260/417 [27:42<17:23, 6.64s/it][A + mmlu_es: 63%|█████████████████████████████████████████████████████████████████████████▏ | 261/417 [27:49<17:28, 6.72s/it][A + mmlu_es: 63%|█████████████████████████████████████████████████████████████████████████▌ | 262/417 [27:55<17:11, 6.66s/it][A + mmlu_es: 63%|█████████████████████████████████████████████████████████████████████████▊ | 263/417 [28:01<16:20, 6.37s/it][A + mmlu_es: 63%|██████████████████████████████████████████████████████████████████████████ | 264/417 [28:07<16:02, 6.29s/it][A + mmlu_es: 64%|██████████████████████████████████████████████████████████████████████████▎ | 265/417 [28:14<16:05, 6.36s/it][A + mmlu_es: 64%|██████████████████████████████████████████████████████████████████████████▋ | 266/417 [28:19<15:17, 6.08s/it][A + mmlu_es: 64%|██████████████████████████████████████████████████████████████████████████▉ | 267/417 [28:26<15:29, 6.19s/it][A + mmlu_es: 64%|███████████████████████████████████████████████████████████████████████████▏ | 268/417 [28:32<15:51, 6.39s/it][A + mmlu_es: 65%|███████████████████████████████████████████████████████████████████████████▍ | 269/417 [28:39<15:53, 6.44s/it][A + mmlu_es: 65%|███████████████████████████████████████████████████████████████████████████▊ | 270/417 [28:46<15:53, 6.48s/it][A + mmlu_es: 65%|████████████████████████████████████████████████████████████████████████████ | 271/417 [28:52<15:44, 6.47s/it][A + mmlu_es: 65%|████████████████████████████████████████████████████████████████████████████▎ | 272/417 [28:57<14:54, 6.17s/it][A + mmlu_es: 65%|████████████████████████████████████████████████████████████████████████████▌ | 273/417 [29:04<14:59, 6.25s/it][A + mmlu_es: 66%|████████████████████████████████████████████████████████████████████████████▉ | 274/417 [29:10<14:54, 6.26s/it][A + mmlu_es: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 275/417 [29:17<15:15, 6.45s/it][A + mmlu_es: 66%|█████████████████████████████████████████████████████████████████████████████▍ | 276/417 [29:24<15:47, 6.72s/it][A + mmlu_es: 66%|█████████████████████████████████████████████████████████████████████████████▋ | 277/417 [29:32<16:17, 6.98s/it][A + mmlu_es: 67%|██████████████████████████████████████████████████████████████████████████████ | 278/417 [29:39<15:58, 6.90s/it][A + mmlu_es: 67%|██████████████████████████████████████████████████████████████████████████████▎ | 279/417 [29:45<15:17, 6.65s/it][A + mmlu_es: 67%|██████████████████████████████████████████████████████████████████████████████▌ | 280/417 [29:51<14:46, 6.47s/it][A + mmlu_es: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 281/417 [29:57<14:20, 6.33s/it][A + mmlu_es: 68%|███████████████████████████████████████████████████████████████████████████████ | 282/417 [30:03<14:13, 6.32s/it][A + mmlu_es: 68%|███████████████████████████████████████████████████████████████████████████████▍ | 283/417 [30:09<14:00, 6.27s/it][A + mmlu_es: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 284/417 [30:16<13:59, 6.31s/it][A + mmlu_es: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 285/417 [30:22<14:01, 6.38s/it][A + mmlu_es: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 286/417 [30:28<13:47, 6.32s/it][A + mmlu_es: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 287/417 [30:35<13:36, 6.28s/it][A + mmlu_es: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 288/417 [30:41<13:34, 6.31s/it][A + mmlu_es: 69%|█████████████████████████████████████████████████████████████████████████████████ | 289/417 [30:47<13:13, 6.20s/it][A + mmlu_es: 70%|█████████████████████████████████████████████████████████████████████████████████▎ | 290/417 [30:53<13:22, 6.32s/it][A + mmlu_es: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 291/417 [30:59<13:04, 6.23s/it][A + mmlu_es: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 292/417 [31:06<13:12, 6.34s/it][A + mmlu_es: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 293/417 [31:12<12:50, 6.22s/it][A + mmlu_es: 71%|██████████████████████████████████████████████████████████████████████████████████▍ | 294/417 [31:19<13:00, 6.35s/it][A + mmlu_es: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 295/417 [31:25<12:53, 6.34s/it][A + mmlu_es: 71%|███████████████████████████████████████████████████████████████████████████████████ | 296/417 [31:31<12:47, 6.34s/it][A + mmlu_es: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 297/417 [31:38<12:47, 6.39s/it][A + mmlu_es: 71%|███████████████████████████████████████████████████████████████████████████████████▌ | 298/417 [31:44<12:27, 6.29s/it][A + mmlu_es: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 299/417 [31:50<12:24, 6.31s/it][A + mmlu_es: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 300/417 [31:56<12:11, 6.25s/it][A + mmlu_es: 72%|████████████████████████████████████████████████████████████████████████████████████▍ | 301/417 [32:03<12:07, 6.27s/it][A + mmlu_es: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 302/417 [32:10<12:37, 6.59s/it][A + mmlu_es: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 303/417 [32:16<12:22, 6.51s/it][A + mmlu_es: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 304/417 [32:22<12:00, 6.38s/it][A + mmlu_es: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 305/417 [32:28<11:30, 6.17s/it][A + mmlu_es: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 306/417 [32:35<11:39, 6.30s/it][A + mmlu_es: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 307/417 [32:40<11:06, 6.05s/it][A + mmlu_es: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 308/417 [32:47<11:20, 6.24s/it][A + mmlu_es: 74%|██████████████████████████████████████████████████████████████████████████████████████▋ | 309/417 [32:54<11:41, 6.50s/it][A + mmlu_es: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 310/417 [33:01<11:39, 6.54s/it][A + mmlu_es: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 311/417 [33:07<11:27, 6.48s/it][A + mmlu_es: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 312/417 [33:13<11:15, 6.43s/it][A + mmlu_es: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 313/417 [33:20<11:30, 6.64s/it][A + mmlu_es: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 314/417 [33:28<11:45, 6.85s/it][A + mmlu_es: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 315/417 [33:35<11:45, 6.92s/it][A + mmlu_es: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 316/417 [33:42<11:41, 6.94s/it][A + mmlu_es: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 317/417 [33:48<11:21, 6.81s/it][A + mmlu_es: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 318/417 [33:55<11:00, 6.67s/it][A + mmlu_es: 76%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 319/417 [34:01<10:57, 6.71s/it][A + mmlu_es: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 320/417 [34:07<10:23, 6.43s/it][A + mmlu_es: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 321/417 [34:13<10:03, 6.29s/it][A + mmlu_es: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 322/417 [34:19<09:46, 6.17s/it][A + mmlu_es: 77%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 323/417 [34:26<09:55, 6.33s/it][A + mmlu_es: 78%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 324/417 [34:33<10:00, 6.46s/it][A + mmlu_es: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 325/417 [34:38<09:27, 6.17s/it][A + mmlu_es: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 326/417 [34:44<09:04, 5.98s/it][A + mmlu_es: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 327/417 [34:50<09:03, 6.03s/it][A + mmlu_es: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 328/417 [34:57<09:16, 6.26s/it][A + mmlu_es: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 329/417 [35:02<08:59, 6.13s/it][A + mmlu_es: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 330/417 [35:09<09:12, 6.35s/it][A + mmlu_es: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 331/417 [35:15<08:50, 6.17s/it][A + mmlu_es: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 332/417 [35:20<08:25, 5.95s/it][A + mmlu_es: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 333/417 [35:28<08:51, 6.33s/it][A + mmlu_es: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 334/417 [35:34<08:48, 6.36s/it][A + mmlu_es: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 335/417 [35:41<08:49, 6.46s/it][A + mmlu_es: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 336/417 [35:47<08:38, 6.41s/it][A + mmlu_es: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 337/417 [35:54<08:35, 6.45s/it][A + mmlu_es: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 338/417 [36:00<08:33, 6.50s/it][A + mmlu_es: 81%|███████████████████████████████████████████████████████████████████████████████████████████████ | 339/417 [36:06<08:14, 6.34s/it][A + mmlu_es: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 340/417 [36:13<08:13, 6.41s/it][A + mmlu_es: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 341/417 [36:19<08:02, 6.35s/it][A + mmlu_es: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 342/417 [36:25<07:57, 6.36s/it][A + mmlu_es: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 343/417 [36:32<07:57, 6.45s/it][A + mmlu_es: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 344/417 [36:39<07:56, 6.52s/it][A + mmlu_es: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 345/417 [36:46<08:00, 6.68s/it][A + mmlu_es: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 346/417 [36:53<08:00, 6.77s/it][A + mmlu_es: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 347/417 [36:58<07:33, 6.48s/it][A + mmlu_es: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 348/417 [37:05<07:23, 6.43s/it][A + mmlu_es: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 349/417 [37:11<07:04, 6.24s/it][A + mmlu_es: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 350/417 [37:18<07:11, 6.44s/it][A + mmlu_es: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 351/417 [37:25<07:24, 6.73s/it][A + mmlu_es: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 352/417 [37:31<07:06, 6.57s/it][A + mmlu_es: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 353/417 [37:38<07:15, 6.81s/it][A + mmlu_es: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 354/417 [37:45<07:09, 6.81s/it][A + mmlu_es: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 355/417 [37:52<06:55, 6.70s/it][A + mmlu_es: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 356/417 [37:58<06:42, 6.59s/it][A + mmlu_es: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 357/417 [38:05<06:32, 6.55s/it][A + mmlu_es: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 358/417 [38:11<06:27, 6.57s/it][A + mmlu_es: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 359/417 [38:17<06:05, 6.31s/it][A + mmlu_es: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 360/417 [38:23<05:56, 6.25s/it][A + mmlu_es: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 361/417 [38:29<05:50, 6.25s/it][A + mmlu_es: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 362/417 [38:36<05:50, 6.38s/it][A + mmlu_es: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 363/417 [38:43<05:50, 6.50s/it][A + mmlu_es: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 364/417 [38:49<05:39, 6.40s/it][A + mmlu_es: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 365/417 [38:56<05:38, 6.51s/it][A + mmlu_es: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 366/417 [39:02<05:23, 6.35s/it][A + mmlu_es: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 367/417 [39:08<05:11, 6.24s/it][A + mmlu_es: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 368/417 [39:14<05:11, 6.36s/it][A + mmlu_es: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 369/417 [39:21<05:05, 6.36s/it][A + mmlu_es: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 370/417 [39:27<04:56, 6.30s/it][A + mmlu_es: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 371/417 [39:33<04:44, 6.19s/it][A + mmlu_es: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 372/417 [39:39<04:42, 6.27s/it][A + mmlu_es: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 373/417 [39:47<05:01, 6.84s/it][A + mmlu_es: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 374/417 [39:53<04:41, 6.56s/it][A + mmlu_es: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 375/417 [40:00<04:42, 6.72s/it][A + mmlu_es: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 376/417 [40:07<04:34, 6.69s/it][A + mmlu_es: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 377/417 [40:13<04:15, 6.38s/it][A + mmlu_es: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 378/417 [40:19<04:07, 6.35s/it][A + mmlu_es: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 379/417 [40:25<04:00, 6.34s/it][A + mmlu_es: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 380/417 [40:32<03:55, 6.35s/it][A + mmlu_es: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 381/417 [40:38<03:50, 6.39s/it][A + mmlu_es: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 382/417 [40:45<03:53, 6.66s/it][A + mmlu_es: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 383/417 [40:51<03:36, 6.36s/it][A + mmlu_es: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 384/417 [40:57<03:28, 6.31s/it][A + mmlu_es: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 385/417 [41:04<03:23, 6.36s/it][A + mmlu_es: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 386/417 [41:10<03:19, 6.42s/it][A + mmlu_es: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 387/417 [41:16<03:09, 6.33s/it][A + mmlu_es: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 388/417 [41:24<03:14, 6.70s/it][A + mmlu_es: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 389/417 [41:30<03:05, 6.64s/it][A + mmlu_es: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 390/417 [41:37<02:59, 6.66s/it][A + mmlu_es: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 391/417 [41:44<02:55, 6.76s/it][A + mmlu_es: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 392/417 [41:51<02:51, 6.84s/it][A + mmlu_es: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 393/417 [41:57<02:40, 6.69s/it][A + mmlu_es: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 394/417 [42:03<02:29, 6.48s/it][A + mmlu_es: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 395/417 [42:09<02:18, 6.31s/it][A + mmlu_es: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 396/417 [42:16<02:13, 6.35s/it][A + mmlu_es: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 397/417 [42:22<02:06, 6.31s/it][A + mmlu_es: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 398/417 [42:28<01:59, 6.28s/it][A + mmlu_es: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 399/417 [42:35<01:53, 6.32s/it][A + mmlu_es: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 400/417 [42:41<01:48, 6.39s/it][A + mmlu_es: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 401/417 [42:47<01:41, 6.34s/it][A + mmlu_es: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 402/417 [42:54<01:34, 6.33s/it][A + mmlu_es: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 403/417 [43:00<01:30, 6.44s/it][A + mmlu_es: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 404/417 [43:07<01:22, 6.32s/it][A + mmlu_es: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 405/417 [43:13<01:15, 6.32s/it][A + mmlu_es: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 406/417 [43:19<01:09, 6.36s/it][A + mmlu_es: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 407/417 [43:26<01:05, 6.54s/it][A + mmlu_es: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 408/417 [43:32<00:56, 6.28s/it][A + mmlu_es: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 409/417 [43:39<00:52, 6.50s/it][A + mmlu_es: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 410/417 [43:46<00:45, 6.55s/it][A + mmlu_es: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 411/417 [43:52<00:38, 6.48s/it][A + mmlu_es: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 412/417 [43:58<00:32, 6.45s/it][A + mmlu_es: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 413/417 [44:05<00:25, 6.49s/it][A + mmlu_es: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 414/417 [44:11<00:19, 6.46s/it][A + mmlu_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 415/417 [44:18<00:13, 6.57s/it][A + mmlu_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 416/417 [44:24<00:06, 6.52s/it][A + mmlu_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [44:30<00:00, 6.29s/it][A mmlu_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [44:30<00:00, 6.40s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_es_acc 0.38023098845057746 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_es_acc_norm 0.3491075446227689 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 21:24:13,658 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 21:24:13,658 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:13,782 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 21:24:13,782 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:13,905 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 21:24:13,905 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:14,028 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 21:24:14,029 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 21:24:14,029 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 21:24:14,154 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 21:24:14,154 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_es_acc'} +2024-05-30 21:24:14,217 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 21:24:14,217 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1213, 'value': 0.38023098845057746} +2024-05-30 21:24:14,280 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 21:24:14,927 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 21:24:14,927 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:15,055 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 21:24:15,055 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:15,183 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 21:24:15,183 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:15,310 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 21:24:15,311 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 21:24:15,311 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 21:24:15,440 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 21:24:15,440 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_es_acc_norm'} +2024-05-30 21:24:15,505 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 21:24:15,505 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1214, 'value': 0.3491075446227689} +2024-05-30 21:24:15,570 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 55%|███████████████████████████████████████████████████████████▏ | 68/124 [38:36:44<53:08:43, 3416.49s/it]['mmlu_eu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 21:24:16,168 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 21:24:16,168 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:16,284 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 21:24:16,284 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:16,400 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 21:24:16,401 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 21:24:16,517 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 21:24:16,517 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 21:24:16,518 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_eu'} +2024-05-30 21:24:16,635 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_eu task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1958 examples [00:00, 19543.86 examples/s][A + Generating test split: 5468 examples [00:00, 28685.65 examples/s][A + Generating test split: 9002 examples [00:00, 31718.36 examples/s][A Generating test split: 12237 examples [00:00, 31137.13 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 269 examples [00:00, 28357.70 examples/s] +Running loglikelihood requests + + mmlu_eu: 0%| | 0/383 [00:00<?, ?it/s][A + mmlu_eu: 0%|▎ | 1/383 [00:07<48:46, 7.66s/it][A + mmlu_eu: 1%|▌ | 2/383 [00:14<45:57, 7.24s/it][A + mmlu_eu: 1%|▉ | 3/383 [00:21<45:42, 7.22s/it][A + mmlu_eu: 1%|█▏ | 4/383 [00:28<44:27, 7.04s/it][A + mmlu_eu: 1%|█▌ | 5/383 [00:36<46:27, 7.38s/it][A + mmlu_eu: 2%|█▊ | 6/383 [00:42<43:51, 6.98s/it][A + mmlu_eu: 2%|██▏ | 7/383 [00:50<45:15, 7.22s/it][A + mmlu_eu: 2%|██▍ | 8/383 [00:57<45:09, 7.23s/it][A + mmlu_eu: 2%|██▊ | 9/383 [01:04<45:01, 7.22s/it][A + mmlu_eu: 3%|███ | 10/383 [01:12<44:50, 7.21s/it][A + mmlu_eu: 3%|███▍ | 11/383 [01:19<45:30, 7.34s/it][A + mmlu_eu: 3%|███▋ | 12/383 [01:26<44:46, 7.24s/it][A + mmlu_eu: 3%|████ | 13/383 [01:33<43:16, 7.02s/it][A + mmlu_eu: 4%|████▎ | 14/383 [01:41<45:31, 7.40s/it][A + mmlu_eu: 4%|████▌ | 15/383 [01:48<44:56, 7.33s/it][A + mmlu_eu: 4%|████▉ | 16/383 [01:55<44:39, 7.30s/it][A + mmlu_eu: 4%|█████▏ | 17/383 [02:02<43:38, 7.16s/it][A + mmlu_eu: 5%|█████▌ | 18/383 [02:10<45:26, 7.47s/it][A + mmlu_eu: 5%|█████▊ | 19/383 [02:18<44:51, 7.39s/it][A + mmlu_eu: 5%|██████▏ | 20/383 [02:26<45:36, 7.54s/it][A + mmlu_eu: 5%|██████▍ | 21/383 [02:33<44:28, 7.37s/it][A + mmlu_eu: 6%|██████▊ | 22/383 [02:40<44:55, 7.47s/it][A + mmlu_eu: 6%|███████ | 23/383 [02:48<45:05, 7.51s/it][A + mmlu_eu: 6%|███████▍ | 24/383 [02:55<43:45, 7.31s/it][A + mmlu_eu: 7%|███████▋ | 25/383 [03:03<44:39, 7.48s/it][A + mmlu_eu: 7%|████████ | 26/383 [03:10<44:16, 7.44s/it][A + mmlu_eu: 7%|████████▎ | 27/383 [03:17<43:20, 7.31s/it][A + mmlu_eu: 7%|████████▋ | 28/383 [03:23<41:54, 7.08s/it][A + mmlu_eu: 8%|████████▉ | 29/383 [03:30<40:08, 6.80s/it][A + mmlu_eu: 8%|█████████▏ | 30/383 [03:38<42:27, 7.22s/it][A + mmlu_eu: 8%|█████████▌ | 31/383 [03:46<43:32, 7.42s/it][A + mmlu_eu: 8%|█████████▊ | 32/383 [03:54<45:01, 7.70s/it][A + mmlu_eu: 9%|██████████▏ | 33/383 [04:03<46:23, 7.95s/it][A + mmlu_eu: 9%|██████████▍ | 34/383 [04:11<46:12, 7.94s/it][A + mmlu_eu: 9%|██████████▊ | 35/383 [04:18<44:46, 7.72s/it][A + mmlu_eu: 9%|███████████ | 36/383 [04:25<43:25, 7.51s/it][A + mmlu_eu: 10%|███████████▍ | 37/383 [04:32<42:22, 7.35s/it][A + mmlu_eu: 10%|███████████▋ | 38/383 [04:39<41:44, 7.26s/it][A + mmlu_eu: 10%|████████████ | 39/383 [04:45<40:28, 7.06s/it][A + mmlu_eu: 10%|████████████▎ | 40/383 [04:53<41:32, 7.27s/it][A + mmlu_eu: 11%|████████████▋ | 41/383 [05:00<41:25, 7.27s/it][A + mmlu_eu: 11%|████████████▉ | 42/383 [05:08<41:46, 7.35s/it][A + mmlu_eu: 11%|█████████████▏ | 43/383 [05:14<39:56, 7.05s/it][A + mmlu_eu: 11%|█████████████▌ | 44/383 [05:22<40:59, 7.26s/it][A + mmlu_eu: 12%|█████████████▊ | 45/383 [05:29<39:36, 7.03s/it][A + mmlu_eu: 12%|██████████████▏ | 46/383 [05:35<39:14, 6.99s/it][A + mmlu_eu: 12%|██████████████▍ | 47/383 [05:44<41:14, 7.36s/it][A + mmlu_eu: 13%|██████████████▊ | 48/383 [05:50<39:27, 7.07s/it][A + mmlu_eu: 13%|███████████████ | 49/383 [05:57<39:32, 7.10s/it][A + mmlu_eu: 13%|███████████████▍ | 50/383 [06:05<39:56, 7.20s/it][A + mmlu_eu: 13%|███████████████▋ | 51/383 [06:12<39:38, 7.16s/it][A + mmlu_eu: 14%|████████████████ | 52/383 [06:19<39:42, 7.20s/it][A + mmlu_eu: 14%|████████████████▎ | 53/383 [06:26<38:56, 7.08s/it][A + mmlu_eu: 14%|████████████████▋ | 54/383 [06:32<38:08, 6.96s/it][A + mmlu_eu: 14%|████████████████▉ | 55/383 [06:40<38:28, 7.04s/it][A + mmlu_eu: 15%|█████████████████▎ | 56/383 [06:47<38:10, 7.01s/it][A + mmlu_eu: 15%|█████████████████▌ | 57/383 [06:53<37:31, 6.91s/it][A + mmlu_eu: 15%|█████████████████▊ | 58/383 [07:00<37:02, 6.84s/it][A + mmlu_eu: 15%|██████████████████▏ | 59/383 [07:07<36:58, 6.85s/it][A + mmlu_eu: 16%|██████████████████▍ | 60/383 [07:13<36:32, 6.79s/it][A + mmlu_eu: 16%|██████████████████▊ | 61/383 [07:21<36:51, 6.87s/it][A + mmlu_eu: 16%|███████████████████ | 62/383 [07:29<38:38, 7.22s/it][A + mmlu_eu: 16%|███████████████████▍ | 63/383 [07:37<40:09, 7.53s/it][A + mmlu_eu: 17%|███████████████████▋ | 64/383 [07:44<39:09, 7.37s/it][A + mmlu_eu: 17%|████████████████████ | 65/383 [07:50<37:54, 7.15s/it][A + mmlu_eu: 17%|████████████████████▎ | 66/383 [07:59<39:29, 7.48s/it][A + mmlu_eu: 17%|████████████████████▋ | 67/383 [08:05<37:58, 7.21s/it][A + mmlu_eu: 18%|████████████████████▉ | 68/383 [08:12<37:32, 7.15s/it][A + mmlu_eu: 18%|█████████████████████▎ | 69/383 [08:20<37:44, 7.21s/it][A + mmlu_eu: 18%|█████████████████████▌ | 70/383 [08:27<37:49, 7.25s/it][A + mmlu_eu: 19%|█████████████████████▊ | 71/383 [08:34<37:11, 7.15s/it][A + mmlu_eu: 19%|██████████████████████▏ | 72/383 [08:42<38:22, 7.40s/it][A + mmlu_eu: 19%|██████████████████████▍ | 73/383 [08:51<40:27, 7.83s/it][A + mmlu_eu: 19%|██████████████████████▊ | 74/383 [08:59<40:29, 7.86s/it][A + mmlu_eu: 20%|███████████████████████ | 75/383 [09:07<40:30, 7.89s/it][A + mmlu_eu: 20%|███████████████████████▍ | 76/383 [09:13<38:46, 7.58s/it][A + mmlu_eu: 20%|███████████████████████▋ | 77/383 [09:21<38:29, 7.55s/it][A + mmlu_eu: 20%|████████████████████████ | 78/383 [09:28<37:31, 7.38s/it][A + mmlu_eu: 21%|████████████████████████▎ | 79/383 [09:36<38:47, 7.66s/it][A + mmlu_eu: 21%|████████████████████████▋ | 80/383 [09:43<37:16, 7.38s/it][A + mmlu_eu: 21%|████████████████████████▉ | 81/383 [09:50<37:18, 7.41s/it][A + mmlu_eu: 21%|█████████████████████████▎ | 82/383 [09:57<36:15, 7.23s/it][A + mmlu_eu: 22%|█████████████████████████▌ | 83/383 [10:04<36:04, 7.21s/it][A + mmlu_eu: 22%|█████████████████████████▉ | 84/383 [10:11<35:29, 7.12s/it][A + mmlu_eu: 22%|██████████████████████████▏ | 85/383 [10:19<35:34, 7.16s/it][A + mmlu_eu: 22%|██████████████████████████▍ | 86/383 [10:26<35:06, 7.09s/it][A + mmlu_eu: 23%|██████████████████████████▊ | 87/383 [10:33<35:38, 7.23s/it][A + mmlu_eu: 23%|███████████████████████████ | 88/383 [10:41<36:08, 7.35s/it][A + mmlu_eu: 23%|███████████████████████████▍ | 89/383 [10:48<35:19, 7.21s/it][A + mmlu_eu: 23%|███████████████████████████▋ | 90/383 [10:56<36:40, 7.51s/it][A + mmlu_eu: 24%|████████████████████████████ | 91/383 [11:05<38:21, 7.88s/it][A + mmlu_eu: 24%|████████████████████████████▎ | 92/383 [11:13<38:30, 7.94s/it][A + mmlu_eu: 24%|████████████████████████████▋ | 93/383 [11:20<37:25, 7.74s/it][A + mmlu_eu: 25%|████████████████████████████▉ | 94/383 [11:26<35:11, 7.31s/it][A + mmlu_eu: 25%|█████████████████████████████▎ | 95/383 [11:33<34:29, 7.19s/it][A + mmlu_eu: 25%|█████████████████████████████▌ | 96/383 [11:41<34:41, 7.25s/it][A + mmlu_eu: 25%|█████████████████████████████▉ | 97/383 [11:47<34:02, 7.14s/it][A + mmlu_eu: 26%|██████████████████████████████▏ | 98/383 [11:55<34:31, 7.27s/it][A + mmlu_eu: 26%|██████████████████████████████▌ | 99/383 [12:02<33:43, 7.13s/it][A + mmlu_eu: 26%|██████████████████████████████▌ | 100/383 [12:08<33:01, 7.00s/it][A + mmlu_eu: 26%|██████████████████████████████▊ | 101/383 [12:15<32:18, 6.88s/it][A + mmlu_eu: 27%|███████████████████████████████▏ | 102/383 [12:22<32:39, 6.97s/it][A + mmlu_eu: 27%|███████████████████████████████▍ | 103/383 [12:30<32:56, 7.06s/it][A + mmlu_eu: 27%|███████████████████████████████▊ | 104/383 [12:36<32:00, 6.88s/it][A + mmlu_eu: 27%|████████████████████████████████ | 105/383 [12:43<32:41, 7.06s/it][A + mmlu_eu: 28%|████████████████████████████████▍ | 106/383 [12:50<31:54, 6.91s/it][A + mmlu_eu: 28%|████████████████████████████████▋ | 107/383 [12:57<31:23, 6.82s/it][A + mmlu_eu: 28%|████████████████████████████████▉ | 108/383 [13:03<30:56, 6.75s/it][A + mmlu_eu: 28%|█████████████████████████████████▎ | 109/383 [13:10<31:21, 6.87s/it][A + mmlu_eu: 29%|█████████████████████████████████▌ | 110/383 [13:17<30:55, 6.80s/it][A + mmlu_eu: 29%|█████████████████████████████████▉ | 111/383 [13:23<30:08, 6.65s/it][A + mmlu_eu: 29%|██████████████████████████████████▏ | 112/383 [13:31<31:18, 6.93s/it][A + mmlu_eu: 30%|██████████████████████████████████▌ | 113/383 [13:38<31:04, 6.90s/it][A + mmlu_eu: 30%|██████████████████████████████████▊ | 114/383 [13:45<30:56, 6.90s/it][A + mmlu_eu: 30%|███████████████████████████████████▏ | 115/383 [13:52<31:02, 6.95s/it][A + mmlu_eu: 30%|███████████████████████████████████▍ | 116/383 [13:59<31:10, 7.01s/it][A + mmlu_eu: 31%|███████████████████████████████████▋ | 117/383 [14:05<30:31, 6.89s/it][A + mmlu_eu: 31%|████████████████████████████████████ | 118/383 [14:13<31:06, 7.04s/it][A + mmlu_eu: 31%|████████████████████████████████████▎ | 119/383 [14:20<30:58, 7.04s/it][A + mmlu_eu: 31%|████████████████████████████████████▋ | 120/383 [14:26<30:15, 6.90s/it][A + mmlu_eu: 32%|████████████████████████████████████▉ | 121/383 [14:34<30:57, 7.09s/it][A + mmlu_eu: 32%|█████████████████████████████████████▎ | 122/383 [14:42<31:45, 7.30s/it][A + mmlu_eu: 32%|█████████████████████████████████████▌ | 123/383 [14:48<30:09, 6.96s/it][A + mmlu_eu: 32%|█████████████████████████████████████▉ | 124/383 [14:56<31:19, 7.26s/it][A + mmlu_eu: 33%|██████████████████████████████████████▏ | 125/383 [15:02<30:13, 7.03s/it][A + mmlu_eu: 33%|██████████████████████████████████████▍ | 126/383 [15:09<29:37, 6.92s/it][A + mmlu_eu: 33%|██████████████████████████████████████▊ | 127/383 [15:16<29:48, 6.99s/it][A + mmlu_eu: 33%|███████████████████████████████████████ | 128/383 [15:22<28:41, 6.75s/it][A + mmlu_eu: 34%|███████████████████████████████████████▍ | 129/383 [15:29<28:54, 6.83s/it][A + mmlu_eu: 34%|███████████████████████████████████████▋ | 130/383 [15:37<29:51, 7.08s/it][A + mmlu_eu: 34%|████████████████████████████████████████ | 131/383 [15:45<30:52, 7.35s/it][A + mmlu_eu: 34%|████████████████████████████████████████▎ | 132/383 [15:53<31:18, 7.48s/it][A + mmlu_eu: 35%|████████████████████████████████████████▋ | 133/383 [16:01<32:12, 7.73s/it][A + mmlu_eu: 35%|████████████████████████████████████████▉ | 134/383 [16:09<31:50, 7.67s/it][A + mmlu_eu: 35%|█████████████████████████████████████████▏ | 135/383 [16:15<30:23, 7.35s/it][A + mmlu_eu: 36%|█████████████████████████████████████████▌ | 136/383 [16:22<29:58, 7.28s/it][A + mmlu_eu: 36%|█████████████████████████████████████████▊ | 137/383 [16:30<30:46, 7.51s/it][A + mmlu_eu: 36%|██████████████████████████████████████████▏ | 138/383 [16:37<29:47, 7.29s/it][A + mmlu_eu: 36%|██████████████████████████████████████████▍ | 139/383 [16:44<29:07, 7.16s/it][A + mmlu_eu: 37%|██████████████████████████████████████████▊ | 140/383 [16:52<29:37, 7.32s/it][A + mmlu_eu: 37%|███████████████████████████████████████████ | 141/383 [16:59<29:59, 7.44s/it][A + mmlu_eu: 37%|███████████████████████████████████████████▍ | 142/383 [17:07<30:22, 7.56s/it][A + mmlu_eu: 37%|███████████████████████████████████████████▋ | 143/383 [17:15<29:58, 7.49s/it][A + mmlu_eu: 38%|███████████████████████████████████████████▉ | 144/383 [17:22<29:34, 7.42s/it][A + mmlu_eu: 38%|████████████████████████████████████████████▎ | 145/383 [17:29<28:48, 7.26s/it][A + mmlu_eu: 38%|████████████████████████████████████████████▌ | 146/383 [17:37<29:16, 7.41s/it][A + mmlu_eu: 38%|████████████████████████████████████████████▉ | 147/383 [17:45<29:46, 7.57s/it][A + mmlu_eu: 39%|█████████████████████████████████████████████▏ | 148/383 [17:52<29:56, 7.65s/it][A + mmlu_eu: 39%|█████████████████████████████████████████████▌ | 149/383 [18:00<29:55, 7.67s/it][A + mmlu_eu: 39%|█████████████████████████████████████████████▊ | 150/383 [18:07<28:41, 7.39s/it][A + mmlu_eu: 39%|██████████████████████████████████████████████▏ | 151/383 [18:15<29:17, 7.58s/it][A + mmlu_eu: 40%|██████████████████████████████████████████████▍ | 152/383 [18:22<28:58, 7.53s/it][A + mmlu_eu: 40%|██████████████████████████████████████████████▋ | 153/383 [18:29<27:59, 7.30s/it][A + mmlu_eu: 40%|███████████████████████████████████████████████ | 154/383 [18:36<27:46, 7.28s/it][A + mmlu_eu: 40%|███████████████████████████████████████████████▎ | 155/383 [18:44<28:36, 7.53s/it][A + mmlu_eu: 41%|███████████████████████████████████████████████▋ | 156/383 [18:52<28:55, 7.65s/it][A + mmlu_eu: 41%|███████████████████████████████████████████████▉ | 157/383 [19:00<28:28, 7.56s/it][A + mmlu_eu: 41%|████████████████████████████████████████████████▎ | 158/383 [19:06<27:23, 7.31s/it][A + mmlu_eu: 42%|████████████████████████████████████████████████▌ | 159/383 [19:14<28:08, 7.54s/it][A + mmlu_eu: 42%|████████████████████████████████████████████████▉ | 160/383 [19:20<26:06, 7.03s/it][A + mmlu_eu: 42%|█████████████████████████████████████████████████▏ | 161/383 [19:27<25:32, 6.90s/it][A + mmlu_eu: 42%|█████████████████████████████████████████████████▍ | 162/383 [19:34<25:29, 6.92s/it][A + mmlu_eu: 43%|█████████████████████████████████████████████████▊ | 163/383 [19:41<25:26, 6.94s/it][A + mmlu_eu: 43%|██████████████████████████████████████████████████ | 164/383 [19:48<25:28, 6.98s/it][A + mmlu_eu: 43%|██████████████████████████████████████████████████▍ | 165/383 [19:56<26:49, 7.38s/it][A + mmlu_eu: 43%|██████████████████████████████████████████████████▋ | 166/383 [20:03<26:02, 7.20s/it][A + mmlu_eu: 44%|███████████████████████████████████████████████████ | 167/383 [20:10<25:20, 7.04s/it][A + mmlu_eu: 44%|███████████████████████████████████████████████████▎ | 168/383 [20:17<25:32, 7.13s/it][A + mmlu_eu: 44%|███████████████████████████████████████████████████▋ | 169/383 [20:24<25:32, 7.16s/it][A + mmlu_eu: 44%|███████████████████████████████████████████████████▉ | 170/383 [20:32<25:35, 7.21s/it][A + mmlu_eu: 45%|████████████████████████████████████████████████████▏ | 171/383 [20:39<25:12, 7.14s/it][A + mmlu_eu: 45%|████████████████████████████████████████████████████▌ | 172/383 [20:45<24:33, 6.98s/it][A + mmlu_eu: 45%|████████████████████████████████████████████████████▊ | 173/383 [20:53<25:31, 7.29s/it][A + mmlu_eu: 45%|█████████████████████████████████████████████████████▏ | 174/383 [21:01<25:51, 7.42s/it][A + mmlu_eu: 46%|█████████████████████████████████████████████████████▍ | 175/383 [21:09<26:43, 7.71s/it][A + mmlu_eu: 46%|█████████████████████████████████████████████████████▊ | 176/383 [21:17<26:48, 7.77s/it][A + mmlu_eu: 46%|██████████████████████████████████████████████████████ | 177/383 [21:24<25:50, 7.53s/it][A + mmlu_eu: 46%|██████████████████████████████████████████████████████▍ | 178/383 [21:32<25:54, 7.58s/it][A + mmlu_eu: 47%|██████████████████████████████████████████████████████▋ | 179/383 [21:39<25:33, 7.52s/it][A + mmlu_eu: 47%|██████████████████████████████████████████████████████▉ | 180/383 [21:47<25:32, 7.55s/it][A + mmlu_eu: 47%|███████████████████████████████████████████████████████▎ | 181/383 [21:53<24:20, 7.23s/it][A + mmlu_eu: 48%|███████████████████████████████████████████████████████▌ | 182/383 [22:00<24:09, 7.21s/it][A + mmlu_eu: 48%|███████████████████████████████████████████████████████▉ | 183/383 [22:08<24:25, 7.33s/it][A + mmlu_eu: 48%|████████████████████████████████████████████████████████▏ | 184/383 [22:16<25:02, 7.55s/it][A + mmlu_eu: 48%|████████████████████████████████████████████████████████▌ | 185/383 [22:24<25:04, 7.60s/it][A + mmlu_eu: 49%|████████████████████████████████████████████████████████▊ | 186/383 [22:31<24:17, 7.40s/it][A + mmlu_eu: 49%|█████████████████████████████████████████████████████████▏ | 187/383 [22:37<23:14, 7.12s/it][A + mmlu_eu: 49%|█████████████████████████████████████████████████████████▍ | 188/383 [22:43<21:58, 6.76s/it][A + mmlu_eu: 49%|█████████████████████████████████████████████████████████▋ | 189/383 [22:50<22:06, 6.84s/it][A + mmlu_eu: 50%|██████████████████████████████████████████████████████████ | 190/383 [22:58<22:41, 7.05s/it][A + mmlu_eu: 50%|██████████████████████████████████████████████████████████▎ | 191/383 [23:04<22:13, 6.95s/it][A + mmlu_eu: 50%|██████████████████████████████████████████████████████████▋ | 192/383 [23:12<22:32, 7.08s/it][A + mmlu_eu: 50%|██████████████████████████████████████████████████████████▉ | 193/383 [23:19<22:40, 7.16s/it][A + mmlu_eu: 51%|███████████████████████████████████████████████████████████▎ | 194/383 [23:27<23:05, 7.33s/it][A + mmlu_eu: 51%|███████████████████████████████████████████████████████████▌ | 195/383 [23:34<22:44, 7.26s/it][A + mmlu_eu: 51%|███████████████████████████████████████████████████████████▊ | 196/383 [23:41<22:28, 7.21s/it][A + mmlu_eu: 51%|████████████████████████████████████████████████████████████▏ | 197/383 [23:48<21:56, 7.08s/it][A + mmlu_eu: 52%|████████████████████████████████████████████████████████████▍ | 198/383 [23:55<22:10, 7.19s/it][A + mmlu_eu: 52%|████████████████████████████████████████████████████████████▊ | 199/383 [24:02<22:00, 7.18s/it][A + mmlu_eu: 52%|█████████████████████████████████████████████████████████████ | 200/383 [24:09<21:03, 6.91s/it][A + mmlu_eu: 52%|█████████████████████████████████████████████████████████████▍ | 201/383 [24:17<22:20, 7.37s/it][A + mmlu_eu: 53%|█████████████████████████████████████████████████████████████▋ | 202/383 [24:25<22:36, 7.49s/it][A + mmlu_eu: 53%|██████████████████████████████████████████████████████████████ | 203/383 [24:32<22:05, 7.37s/it][A + mmlu_eu: 53%|██████████████████████████████████████████████████████████████▎ | 204/383 [24:39<21:35, 7.24s/it][A + mmlu_eu: 54%|██████████████████████████████████████████████████████████████▌ | 205/383 [24:46<20:56, 7.06s/it][A + mmlu_eu: 54%|██████████████████████████████████████████████████████████████▉ | 206/383 [24:53<20:58, 7.11s/it][A + mmlu_eu: 54%|███████████████████████████████████████████████████████████████▏ | 207/383 [25:00<21:02, 7.17s/it][A + mmlu_eu: 54%|███████████████████████████████████████████████████████████████▌ | 208/383 [25:07<20:44, 7.11s/it][A + mmlu_eu: 55%|███████████████████████████████████████████████████████████████▊ | 209/383 [25:14<20:15, 6.99s/it][A + mmlu_eu: 55%|████████████████████████████████████████████████████████████████▏ | 210/383 [25:20<19:47, 6.86s/it][A + mmlu_eu: 55%|████████████████████████████████████████████████████████████████▍ | 211/383 [25:27<19:38, 6.85s/it][A + mmlu_eu: 55%|████████████████████████████████████████████████████████████████▊ | 212/383 [25:34<19:34, 6.87s/it][A + mmlu_eu: 56%|█████████████████████████████████████████████████████████████████ | 213/383 [25:41<19:04, 6.73s/it][A + mmlu_eu: 56%|█████████████████████████████████████████████████████████████████▎ | 214/383 [25:47<18:43, 6.65s/it][A + mmlu_eu: 56%|█████████████████████████████████████████████████████████████████▋ | 215/383 [25:54<18:41, 6.68s/it][A + mmlu_eu: 56%|█████████████████████████████████████████████████████████████████▉ | 216/383 [26:01<18:50, 6.77s/it][A + mmlu_eu: 57%|██████████████████████████████████████████████████████████████████▎ | 217/383 [26:08<19:00, 6.87s/it][A + mmlu_eu: 57%|██████████████████████████████████████████████████████████████████▌ | 218/383 [26:15<19:10, 6.97s/it][A + mmlu_eu: 57%|██████████████████████████████████████████████████████████████████▉ | 219/383 [26:22<19:07, 6.99s/it][A + mmlu_eu: 57%|███████████████████████████████████████████████████████████████████▏ | 220/383 [26:30<19:22, 7.13s/it][A + mmlu_eu: 58%|███████████████████████████████████████████████████████████████████▌ | 221/383 [26:36<18:57, 7.02s/it][A + mmlu_eu: 58%|███████████████████████████████████████████████████████████████████▊ | 222/383 [26:43<18:42, 6.97s/it][A + mmlu_eu: 58%|████████████████████████████████████████████████████████████████████ | 223/383 [26:50<18:36, 6.98s/it][A + mmlu_eu: 58%|████████████████████████████████████████████████████████████████████▍ | 224/383 [26:58<19:15, 7.27s/it][A + mmlu_eu: 59%|████████████████████████████████████████████████████████████████████▋ | 225/383 [27:06<19:15, 7.31s/it][A + mmlu_eu: 59%|█████████████████████████████████████████████████████████████████████ | 226/383 [27:13<19:38, 7.51s/it][A + mmlu_eu: 59%|█████████████████████████████████████████████████████████████████████▎ | 227/383 [27:20<18:56, 7.28s/it][A + mmlu_eu: 60%|█████████████████████████████████████████████████████████████████████▋ | 228/383 [27:27<18:28, 7.15s/it][A + mmlu_eu: 60%|█████████████████████████████████████████████████████████████████████▉ | 229/383 [27:34<18:23, 7.17s/it][A + mmlu_eu: 60%|██████████████████████████████████████████████████████████████████████▎ | 230/383 [27:42<18:31, 7.26s/it][A + mmlu_eu: 60%|██████████████████████████████████████████████████████████████████████▌ | 231/383 [27:48<17:46, 7.02s/it][A + mmlu_eu: 61%|██████████████████████████████████████████████████████████████████████▊ | 232/383 [27:54<17:02, 6.77s/it][A + mmlu_eu: 61%|███████████████████████████████████████████████████████████████████████▏ | 233/383 [28:01<17:01, 6.81s/it][A + mmlu_eu: 61%|███████████████████████████████████████████████████████████████████████▍ | 234/383 [28:08<17:01, 6.86s/it][A + mmlu_eu: 61%|███████████████████████████████████████████████████████████████████████▊ | 235/383 [28:15<16:33, 6.71s/it][A + mmlu_eu: 62%|████████████████████████████████████████████████████████████████████████ | 236/383 [28:21<16:15, 6.63s/it][A + mmlu_eu: 62%|████████████████████████████████████████████████████████████████████████▍ | 237/383 [28:29<17:09, 7.05s/it][A + mmlu_eu: 62%|████████████████████████████████████████████████████████████████████████▋ | 238/383 [28:37<17:53, 7.40s/it][A + mmlu_eu: 62%|█████████████████████████████████████████████████████████████████████████ | 239/383 [28:44<17:28, 7.28s/it][A + mmlu_eu: 63%|█████████████████████████████████████████████████████████████████████████▎ | 240/383 [28:51<16:45, 7.03s/it][A + mmlu_eu: 63%|█████████████████████████████████████████████████████████████████████████▌ | 241/383 [28:58<16:44, 7.07s/it][A + mmlu_eu: 63%|█████████████████████████████████████████████████████████████████████████▉ | 242/383 [29:05<16:42, 7.11s/it][A + mmlu_eu: 63%|██████████████████████████████████████████████████████████████████████████▏ | 243/383 [29:13<16:58, 7.28s/it][A + mmlu_eu: 64%|██████████████████████████████████████████████████████████████████████████▌ | 244/383 [29:20<17:01, 7.35s/it][A + mmlu_eu: 64%|██████████████████████████████████████████████████████████████████████████▊ | 245/383 [29:27<16:37, 7.23s/it][A + mmlu_eu: 64%|███████████████████████████████████████████████████████████████████████████▏ | 246/383 [29:34<16:14, 7.11s/it][A + mmlu_eu: 64%|███████████████████████████████████████████████████████████████████████████▍ | 247/383 [29:42<16:34, 7.31s/it][A + mmlu_eu: 65%|███████████████████████████████████████████████████████████████████████████▊ | 248/383 [29:49<16:28, 7.32s/it][A + mmlu_eu: 65%|████████████████████████████████████████████████████████████████████████████ | 249/383 [29:57<16:30, 7.40s/it][A + mmlu_eu: 65%|████████████████████████████████████████████████████████████████████████████▎ | 250/383 [30:04<16:17, 7.35s/it][A + mmlu_eu: 66%|████████████████████████████████████████████████████████████████████████████▋ | 251/383 [30:11<15:46, 7.17s/it][A + mmlu_eu: 66%|████████████████████████████████████████████████████████████████████████████▉ | 252/383 [30:17<15:08, 6.93s/it][A + mmlu_eu: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 253/383 [30:25<15:20, 7.08s/it][A + mmlu_eu: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 254/383 [30:31<15:01, 6.99s/it][A + mmlu_eu: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 255/383 [30:38<14:46, 6.93s/it][A + mmlu_eu: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 256/383 [30:45<14:38, 6.91s/it][A + mmlu_eu: 67%|██████████████████████████████████████████████████████████████████████████████▌ | 257/383 [30:52<14:26, 6.88s/it][A + mmlu_eu: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 258/383 [30:58<14:06, 6.77s/it][A + mmlu_eu: 68%|███████████████████████████████████████████████████████████████████████████████ | 259/383 [31:05<13:57, 6.76s/it][A + mmlu_eu: 68%|███████████████████████████████████████████████████████████████████████████████▍ | 260/383 [31:13<14:21, 7.01s/it][A + mmlu_eu: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 261/383 [31:20<14:28, 7.12s/it][A + mmlu_eu: 68%|████████████████████████████████████████████████████████████████████████████████ | 262/383 [31:28<14:32, 7.21s/it][A + mmlu_eu: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 263/383 [31:34<13:54, 6.95s/it][A + mmlu_eu: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 264/383 [31:41<13:49, 6.97s/it][A + mmlu_eu: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 265/383 [31:48<13:44, 6.99s/it][A + mmlu_eu: 69%|█████████████████████████████████████████████████████████████████████████████████▎ | 266/383 [31:55<13:48, 7.08s/it][A + mmlu_eu: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 267/383 [32:03<14:23, 7.44s/it][A + mmlu_eu: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 268/383 [32:12<14:50, 7.74s/it][A + mmlu_eu: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 269/383 [32:19<14:35, 7.68s/it][A + mmlu_eu: 70%|██████████████████████████████████████████████████████████████████████████████████▍ | 270/383 [32:27<14:08, 7.51s/it][A + mmlu_eu: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 271/383 [32:35<14:34, 7.81s/it][A + mmlu_eu: 71%|███████████████████████████████████████████████████████████████████████████████████ | 272/383 [32:42<13:48, 7.47s/it][A + mmlu_eu: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 273/383 [32:48<13:14, 7.23s/it][A + mmlu_eu: 72%|███████████████████████████████████████████████████████████████████████████████████▋ | 274/383 [32:56<13:30, 7.43s/it][A + mmlu_eu: 72%|████████████████████████████████████████████████████████████████████████████████████ | 275/383 [33:02<12:40, 7.04s/it][A + mmlu_eu: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 276/383 [33:09<12:24, 6.96s/it][A + mmlu_eu: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 277/383 [33:17<12:33, 7.10s/it][A + mmlu_eu: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 278/383 [33:25<12:52, 7.35s/it][A + mmlu_eu: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 279/383 [33:32<12:37, 7.29s/it][A + mmlu_eu: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 280/383 [33:39<12:23, 7.22s/it][A + mmlu_eu: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 281/383 [33:47<12:45, 7.50s/it][A + mmlu_eu: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 282/383 [33:54<12:08, 7.22s/it][A + mmlu_eu: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 283/383 [34:02<12:33, 7.53s/it][A + mmlu_eu: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 284/383 [34:09<12:10, 7.37s/it][A + mmlu_eu: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 285/383 [34:15<11:33, 7.07s/it][A + mmlu_eu: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 286/383 [34:22<11:08, 6.90s/it][A + mmlu_eu: 75%|███████████████████████████████████████████████████████████████████████████████████████▋ | 287/383 [34:29<11:23, 7.12s/it][A + mmlu_eu: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 288/383 [34:36<11:12, 7.08s/it][A + mmlu_eu: 75%|████████████████████████████████████████████████████████████████████████████████████████▎ | 289/383 [34:44<11:25, 7.29s/it][A + mmlu_eu: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 290/383 [34:52<11:26, 7.38s/it][A + mmlu_eu: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 291/383 [34:59<11:10, 7.29s/it][A + mmlu_eu: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 292/383 [35:06<10:56, 7.21s/it][A + mmlu_eu: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 293/383 [35:13<10:59, 7.33s/it][A + mmlu_eu: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 294/383 [35:20<10:42, 7.22s/it][A + mmlu_eu: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 295/383 [35:28<10:41, 7.30s/it][A + mmlu_eu: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 296/383 [35:34<10:17, 7.10s/it][A + mmlu_eu: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 297/383 [35:42<10:18, 7.19s/it][A + mmlu_eu: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 298/383 [35:49<10:12, 7.21s/it][A + mmlu_eu: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 299/383 [35:56<10:05, 7.21s/it][A + mmlu_eu: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 300/383 [36:04<10:00, 7.23s/it][A + mmlu_eu: 79%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 301/383 [36:11<10:05, 7.39s/it][A + mmlu_eu: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 302/383 [36:19<10:07, 7.50s/it][A + mmlu_eu: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 303/383 [36:28<10:36, 7.96s/it][A + mmlu_eu: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 304/383 [36:35<09:55, 7.54s/it][A + mmlu_eu: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 305/383 [36:42<09:40, 7.45s/it][A + mmlu_eu: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 306/383 [36:49<09:23, 7.32s/it][A + mmlu_eu: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 307/383 [36:57<09:33, 7.55s/it][A + mmlu_eu: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 308/383 [37:04<09:04, 7.25s/it][A + mmlu_eu: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 309/383 [37:12<09:17, 7.54s/it][A + mmlu_eu: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 310/383 [37:21<09:45, 8.03s/it][A + mmlu_eu: 81%|███████████████████████████████████████████████████████████████████████████████████████████████ | 311/383 [37:28<09:06, 7.59s/it][A + mmlu_eu: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 312/383 [37:34<08:41, 7.34s/it][A + mmlu_eu: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 313/383 [37:42<08:45, 7.51s/it][A + mmlu_eu: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 314/383 [37:49<08:27, 7.36s/it][A + mmlu_eu: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 315/383 [37:56<08:03, 7.10s/it][A + mmlu_eu: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 316/383 [38:03<08:03, 7.22s/it][A + mmlu_eu: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 317/383 [38:11<08:11, 7.45s/it][A + mmlu_eu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 318/383 [38:18<07:53, 7.29s/it][A + mmlu_eu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 319/383 [38:24<07:28, 7.00s/it][A + mmlu_eu: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 320/383 [38:30<07:03, 6.72s/it][A + mmlu_eu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 321/383 [38:39<07:22, 7.13s/it][A + mmlu_eu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 322/383 [38:47<07:31, 7.41s/it][A + mmlu_eu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 323/383 [38:54<07:23, 7.40s/it][A + mmlu_eu: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 324/383 [39:02<07:19, 7.45s/it][A + mmlu_eu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 325/383 [39:09<07:12, 7.46s/it][A + mmlu_eu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 326/383 [39:17<07:11, 7.57s/it][A + mmlu_eu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 327/383 [39:24<06:58, 7.47s/it][A + mmlu_eu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 328/383 [39:31<06:41, 7.30s/it][A + mmlu_eu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 329/383 [39:38<06:29, 7.21s/it][A + mmlu_eu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 330/383 [39:46<06:32, 7.41s/it][A + mmlu_eu: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 331/383 [39:53<06:25, 7.41s/it][A + mmlu_eu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 332/383 [40:00<06:12, 7.30s/it][A + mmlu_eu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 333/383 [40:08<06:09, 7.39s/it][A + mmlu_eu: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 334/383 [40:15<05:58, 7.32s/it][A + mmlu_eu: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 335/383 [40:22<05:45, 7.19s/it][A + mmlu_eu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 336/383 [40:30<05:54, 7.54s/it][A + mmlu_eu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 337/383 [40:37<05:35, 7.30s/it][A + mmlu_eu: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 338/383 [40:44<05:22, 7.16s/it][A + mmlu_eu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 339/383 [40:50<05:07, 6.99s/it][A + mmlu_eu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 340/383 [40:57<04:58, 6.95s/it][A + mmlu_eu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 341/383 [41:04<04:52, 6.95s/it][A + mmlu_eu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 342/383 [41:11<04:45, 6.97s/it][A + mmlu_eu: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 343/383 [41:18<04:30, 6.77s/it][A + mmlu_eu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 344/383 [41:25<04:26, 6.83s/it][A + mmlu_eu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 345/383 [41:32<04:31, 7.14s/it][A + mmlu_eu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 346/383 [41:39<04:22, 7.08s/it][A + mmlu_eu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 347/383 [41:46<04:08, 6.91s/it][A + mmlu_eu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 348/383 [41:53<04:02, 6.93s/it][A + mmlu_eu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 349/383 [42:01<04:06, 7.25s/it][A + mmlu_eu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 350/383 [42:08<04:00, 7.28s/it][A + mmlu_eu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 351/383 [42:16<03:55, 7.37s/it][A + mmlu_eu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 352/383 [42:23<03:48, 7.36s/it][A + mmlu_eu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 353/383 [42:31<03:43, 7.46s/it][A + mmlu_eu: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 354/383 [42:37<03:25, 7.09s/it][A + mmlu_eu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 355/383 [42:45<03:29, 7.47s/it][A + mmlu_eu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 356/383 [42:52<03:16, 7.27s/it][A + mmlu_eu: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 357/383 [43:00<03:11, 7.37s/it][A + mmlu_eu: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 358/383 [43:07<03:00, 7.21s/it][A + mmlu_eu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 359/383 [43:15<02:59, 7.48s/it][A + mmlu_eu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 360/383 [43:22<02:52, 7.51s/it][A + mmlu_eu: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 361/383 [43:30<02:44, 7.49s/it][A + mmlu_eu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 362/383 [43:38<02:40, 7.66s/it][A + mmlu_eu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 363/383 [43:46<02:33, 7.67s/it][A + mmlu_eu: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 364/383 [43:53<02:24, 7.59s/it][A + mmlu_eu: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 365/383 [44:00<02:15, 7.53s/it][A + mmlu_eu: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 366/383 [44:07<02:04, 7.32s/it][A + mmlu_eu: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 367/383 [44:15<01:57, 7.37s/it][A + mmlu_eu: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 368/383 [44:23<01:54, 7.64s/it][A + mmlu_eu: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 369/383 [44:31<01:48, 7.75s/it][A + mmlu_eu: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/383 [44:39<01:40, 7.72s/it][A + mmlu_eu: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 371/383 [44:46<01:30, 7.54s/it][A + mmlu_eu: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 372/383 [44:53<01:23, 7.60s/it][A + mmlu_eu: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/383 [45:01<01:15, 7.54s/it][A + mmlu_eu: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 374/383 [45:08<01:05, 7.29s/it][A + mmlu_eu: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 375/383 [45:14<00:56, 7.10s/it][A + mmlu_eu: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 376/383 [45:22<00:50, 7.24s/it][A + mmlu_eu: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 377/383 [45:29<00:42, 7.12s/it][A + mmlu_eu: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 378/383 [45:36<00:36, 7.26s/it][A + mmlu_eu: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 379/383 [45:44<00:29, 7.27s/it][A + mmlu_eu: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 380/383 [45:51<00:22, 7.35s/it][A + mmlu_eu: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 381/383 [45:58<00:14, 7.24s/it][A + mmlu_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 382/383 [46:05<00:07, 7.03s/it][A + mmlu_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [46:11<00:00, 6.78s/it][A mmlu_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [46:11<00:00, 7.24s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_eu_acc 0.2665686034158699 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_eu_acc_norm 0.28471030481327125 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 22:10:29,830 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 22:10:29,830 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:29,959 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 22:10:29,960 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:30,092 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 22:10:30,092 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:30,221 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 22:10:30,222 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 22:10:30,222 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 22:10:30,353 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 22:10:30,353 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_eu_acc'} +2024-05-30 22:10:30,418 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 22:10:30,418 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1215, 'value': 0.2665686034158699} +2024-05-30 22:10:30,484 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 22:10:31,102 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 22:10:31,102 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:31,223 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 22:10:31,223 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:31,343 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 22:10:31,343 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:31,464 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 22:10:31,465 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 22:10:31,465 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 22:10:31,586 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 22:10:31,586 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_eu_acc_norm'} +2024-05-30 22:10:31,648 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 22:10:31,648 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1216, 'value': 0.28471030481327125} +2024-05-30 22:10:31,709 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 56%|████████████████████████████████████████████████████████████ | 69/124 [39:23:01<49:15:41, 3224.38s/it]['mmlu_fr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 22:10:32,338 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 22:10:32,338 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:32,462 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 22:10:32,462 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:32,585 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 22:10:32,586 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:10:32,709 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 22:10:32,710 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 22:10:32,710 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'mmlu_fr'} +2024-05-30 22:10:32,835 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_fr task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1754 examples [00:00, 16711.70 examples/s][A + Generating test split: 5078 examples [00:00, 26236.54 examples/s][A + Generating test split: 8575 examples [00:00, 30176.99 examples/s][A + Generating test split: 12000 examples [00:00, 31519.93 examples/s][A Generating test split: 13091 examples [00:00, 29422.46 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 270 examples [00:00, 27367.38 examples/s] +Running loglikelihood requests + + mmlu_fr: 0%| | 0/410 [00:00<?, ?it/s][A + mmlu_fr: 0%|▎ | 1/410 [00:07<52:43, 7.73s/it][A + mmlu_fr: 0%|▌ | 2/410 [00:15<52:47, 7.76s/it][A + mmlu_fr: 1%|▊ | 3/410 [00:22<49:19, 7.27s/it][A + mmlu_fr: 1%|█▏ | 4/410 [00:28<47:18, 6.99s/it][A + mmlu_fr: 1%|█▍ | 5/410 [00:36<48:45, 7.22s/it][A + mmlu_fr: 1%|█▋ | 6/410 [00:43<47:30, 7.06s/it][A + mmlu_fr: 2%|██ | 7/410 [00:50<48:43, 7.25s/it][A + mmlu_fr: 2%|██▎ | 8/410 [00:56<46:09, 6.89s/it][A + mmlu_fr: 2%|██▌ | 9/410 [01:03<45:45, 6.85s/it][A + mmlu_fr: 2%|██▉ | 10/410 [01:11<46:45, 7.01s/it][A + mmlu_fr: 3%|███▏ | 11/410 [01:18<46:41, 7.02s/it][A + mmlu_fr: 3%|███▍ | 12/410 [01:25<47:01, 7.09s/it][A + mmlu_fr: 3%|███▋ | 13/410 [01:31<46:03, 6.96s/it][A + mmlu_fr: 3%|████ | 14/410 [01:38<45:44, 6.93s/it][A + mmlu_fr: 4%|████▎ | 15/410 [01:47<49:47, 7.56s/it][A + mmlu_fr: 4%|████▌ | 16/410 [01:54<48:13, 7.34s/it][A + mmlu_fr: 4%|████▉ | 17/410 [02:01<47:50, 7.30s/it][A + mmlu_fr: 4%|█████▏ | 18/410 [02:08<47:05, 7.21s/it][A + mmlu_fr: 5%|█████▍ | 19/410 [02:15<46:09, 7.08s/it][A + mmlu_fr: 5%|█████▊ | 20/410 [02:22<45:47, 7.04s/it][A + mmlu_fr: 5%|██████ | 21/410 [02:30<47:25, 7.32s/it][A + mmlu_fr: 5%|██████▎ | 22/410 [02:38<48:22, 7.48s/it][A + mmlu_fr: 6%|██████▌ | 23/410 [02:45<46:53, 7.27s/it][A + mmlu_fr: 6%|██████▉ | 24/410 [02:52<47:11, 7.34s/it][A + mmlu_fr: 6%|███████▏ | 25/410 [03:00<46:59, 7.32s/it][A + mmlu_fr: 6%|███████▍ | 26/410 [03:06<45:48, 7.16s/it][A + mmlu_fr: 7%|███████▊ | 27/410 [03:13<45:16, 7.09s/it][A + mmlu_fr: 7%|████████ | 28/410 [03:21<46:43, 7.34s/it][A + mmlu_fr: 7%|████████▎ | 29/410 [03:28<45:19, 7.14s/it][A + mmlu_fr: 7%|████████▋ | 30/410 [03:35<45:56, 7.25s/it][A + mmlu_fr: 8%|████████▉ | 31/410 [03:43<47:11, 7.47s/it][A + mmlu_fr: 8%|█████████▏ | 32/410 [03:51<46:36, 7.40s/it][A + mmlu_fr: 8%|█████████▍ | 33/410 [03:57<44:52, 7.14s/it][A + mmlu_fr: 8%|█████████▊ | 34/410 [04:04<44:43, 7.14s/it][A + mmlu_fr: 9%|██████████ | 35/410 [04:11<43:31, 6.96s/it][A + mmlu_fr: 9%|██████████▎ | 36/410 [04:18<43:26, 6.97s/it][A + mmlu_fr: 9%|██████████▋ | 37/410 [04:25<43:44, 7.04s/it][A + mmlu_fr: 9%|██████████▉ | 38/410 [04:32<42:55, 6.92s/it][A + mmlu_fr: 10%|███████████▏ | 39/410 [04:38<42:43, 6.91s/it][A + mmlu_fr: 10%|███████████▌ | 40/410 [04:46<43:44, 7.09s/it][A + mmlu_fr: 10%|███████████▊ | 41/410 [04:53<42:30, 6.91s/it][A + mmlu_fr: 10%|████████████ | 42/410 [05:00<43:17, 7.06s/it][A + mmlu_fr: 10%|████████████▍ | 43/410 [05:07<43:08, 7.05s/it][A + mmlu_fr: 11%|████████████▋ | 44/410 [05:14<43:55, 7.20s/it][A + mmlu_fr: 11%|████████████▉ | 45/410 [05:21<42:55, 7.06s/it][A + mmlu_fr: 11%|█████████████▏ | 46/410 [05:28<43:12, 7.12s/it][A + mmlu_fr: 11%|█████████████▌ | 47/410 [05:35<42:49, 7.08s/it][A + mmlu_fr: 12%|█████████████▊ | 48/410 [05:43<43:18, 7.18s/it][A + mmlu_fr: 12%|██████████████ | 49/410 [05:50<43:41, 7.26s/it][A + mmlu_fr: 12%|██████████████▍ | 50/410 [05:58<43:28, 7.25s/it][A + mmlu_fr: 12%|██████████████▋ | 51/410 [06:04<42:39, 7.13s/it][A + mmlu_fr: 13%|██████████████▉ | 52/410 [06:11<42:02, 7.05s/it][A + mmlu_fr: 13%|███████████████▎ | 53/410 [06:19<42:28, 7.14s/it][A + mmlu_fr: 13%|███████████████▌ | 54/410 [06:26<42:06, 7.10s/it][A + mmlu_fr: 13%|███████████████▊ | 55/410 [06:32<40:21, 6.82s/it][A + mmlu_fr: 14%|████████████████ | 56/410 [06:39<40:37, 6.88s/it][A + mmlu_fr: 14%|████████████████▍ | 57/410 [06:46<40:37, 6.91s/it][A + mmlu_fr: 14%|████████████████▋ | 58/410 [06:53<40:18, 6.87s/it][A + mmlu_fr: 14%|████████████████▉ | 59/410 [06:59<39:08, 6.69s/it][A + mmlu_fr: 15%|█████████████████▎ | 60/410 [07:06<39:04, 6.70s/it][A + mmlu_fr: 15%|█████████████████▌ | 61/410 [07:13<40:54, 7.03s/it][A + mmlu_fr: 15%|█████████████████▊ | 62/410 [07:21<41:07, 7.09s/it][A + mmlu_fr: 15%|██████████████████▏ | 63/410 [07:27<39:57, 6.91s/it][A + mmlu_fr: 16%|██████████████████▍ | 64/410 [07:34<39:34, 6.86s/it][A + mmlu_fr: 16%|██████████████████▋ | 65/410 [07:41<39:18, 6.84s/it][A + mmlu_fr: 16%|██████████████████▉ | 66/410 [07:47<38:47, 6.76s/it][A + mmlu_fr: 16%|███████████████████▎ | 67/410 [07:54<39:07, 6.84s/it][A + mmlu_fr: 17%|███████████████████▌ | 68/410 [08:02<40:42, 7.14s/it][A + mmlu_fr: 17%|███████████████████▊ | 69/410 [08:09<40:50, 7.19s/it][A + mmlu_fr: 17%|████████████████████▏ | 70/410 [08:16<40:14, 7.10s/it][A + mmlu_fr: 17%|████████████████████▍ | 71/410 [08:24<40:27, 7.16s/it][A + mmlu_fr: 18%|████████████████████▋ | 72/410 [08:31<40:26, 7.18s/it][A + mmlu_fr: 18%|█████████████████████ | 73/410 [08:38<40:09, 7.15s/it][A + mmlu_fr: 18%|█████████████████████▎ | 74/410 [08:45<40:06, 7.16s/it][A + mmlu_fr: 18%|█████████████████████▌ | 75/410 [08:53<41:14, 7.39s/it][A + mmlu_fr: 19%|█████████████████████▊ | 76/410 [09:00<39:46, 7.15s/it][A + mmlu_fr: 19%|██████████████████████▏ | 77/410 [09:06<38:55, 7.01s/it][A + mmlu_fr: 19%|██████████████████████▍ | 78/410 [09:13<38:08, 6.89s/it][A + mmlu_fr: 19%|██████████████████████▋ | 79/410 [09:20<38:08, 6.91s/it][A + mmlu_fr: 20%|███████████████████████ | 80/410 [09:27<38:35, 7.02s/it][A + mmlu_fr: 20%|███████████████████████▎ | 81/410 [09:35<39:36, 7.22s/it][A + mmlu_fr: 20%|███████████████████████▌ | 82/410 [09:41<38:20, 7.01s/it][A + mmlu_fr: 20%|███████████████████████▉ | 83/410 [09:49<38:38, 7.09s/it][A + mmlu_fr: 20%|████████████████████████▏ | 84/410 [09:56<38:33, 7.10s/it][A + mmlu_fr: 21%|████████████████████████▍ | 85/410 [10:03<38:57, 7.19s/it][A + mmlu_fr: 21%|████████████████████████▊ | 86/410 [10:10<37:40, 6.98s/it][A + mmlu_fr: 21%|█████████████████████████ | 87/410 [10:17<38:02, 7.07s/it][A + mmlu_fr: 21%|█████████████████████████▎ | 88/410 [10:24<38:30, 7.18s/it][A + mmlu_fr: 22%|█████████████████████████▌ | 89/410 [10:31<37:46, 7.06s/it][A + mmlu_fr: 22%|█████████████████████████▉ | 90/410 [10:38<37:23, 7.01s/it][A + mmlu_fr: 22%|██████████████████████████▏ | 91/410 [10:45<36:42, 6.91s/it][A + mmlu_fr: 22%|██████████████████████████▍ | 92/410 [10:51<36:23, 6.87s/it][A + mmlu_fr: 23%|██████████████████████████▊ | 93/410 [10:59<37:25, 7.08s/it][A + mmlu_fr: 23%|███████████████████████████ | 94/410 [11:06<37:07, 7.05s/it][A + mmlu_fr: 23%|███████████████████████████▎ | 95/410 [11:13<36:20, 6.92s/it][A + mmlu_fr: 23%|███████████████████████████▋ | 96/410 [11:19<36:08, 6.91s/it][A + mmlu_fr: 24%|███████████████████████████▉ | 97/410 [11:27<36:55, 7.08s/it][A + mmlu_fr: 24%|████████████████████████████▏ | 98/410 [11:34<36:00, 6.92s/it][A + mmlu_fr: 24%|████████████████████████████▍ | 99/410 [11:40<35:17, 6.81s/it][A + mmlu_fr: 24%|████████████████████████████▌ | 100/410 [11:47<35:23, 6.85s/it][A + mmlu_fr: 25%|████████████████████████████▊ | 101/410 [11:54<35:38, 6.92s/it][A + mmlu_fr: 25%|█████████████████████████████ | 102/410 [12:02<37:12, 7.25s/it][A + mmlu_fr: 25%|█████████████████████████████▍ | 103/410 [12:09<37:08, 7.26s/it][A + mmlu_fr: 25%|█████████████████████████████▋ | 104/410 [12:17<36:56, 7.24s/it][A + mmlu_fr: 26%|█████████████████████████████▉ | 105/410 [12:24<36:29, 7.18s/it][A + mmlu_fr: 26%|██████████████████████████████▏ | 106/410 [12:31<36:25, 7.19s/it][A + mmlu_fr: 26%|██████████████████████████████▌ | 107/410 [12:38<35:49, 7.09s/it][A + mmlu_fr: 26%|██████████████████████████████▊ | 108/410 [12:45<35:26, 7.04s/it][A + mmlu_fr: 27%|███████████████████████████████ | 109/410 [12:51<34:25, 6.86s/it][A + mmlu_fr: 27%|███████████████████████████████▍ | 110/410 [12:58<34:17, 6.86s/it][A + mmlu_fr: 27%|███████████████████████████████▋ | 111/410 [13:05<34:27, 6.92s/it][A + mmlu_fr: 27%|███████████████████████████████▉ | 112/410 [13:12<34:33, 6.96s/it][A + mmlu_fr: 28%|████████████████████████████████▏ | 113/410 [13:19<34:44, 7.02s/it][A + mmlu_fr: 28%|████████████████████████████████▌ | 114/410 [13:26<34:30, 6.99s/it][A + mmlu_fr: 28%|████████████████████████████████▊ | 115/410 [13:33<33:57, 6.91s/it][A + mmlu_fr: 28%|█████████████████████████████████ | 116/410 [13:40<34:20, 7.01s/it][A + mmlu_fr: 29%|█████████████████████████████████▍ | 117/410 [13:46<32:56, 6.74s/it][A + mmlu_fr: 29%|█████████████████████████████████▋ | 118/410 [13:54<33:44, 6.93s/it][A + mmlu_fr: 29%|█████████████████████████████████▉ | 119/410 [14:02<35:19, 7.28s/it][A + mmlu_fr: 29%|██████████████████████████████████▏ | 120/410 [14:09<35:28, 7.34s/it][A + mmlu_fr: 30%|██████████████████████████████████▌ | 121/410 [14:17<35:29, 7.37s/it][A + mmlu_fr: 30%|██████████████████████████████████▊ | 122/410 [14:24<35:34, 7.41s/it][A + mmlu_fr: 30%|███████████████████████████████████ | 123/410 [14:31<34:24, 7.19s/it][A + mmlu_fr: 30%|███████████████████████████████████▍ | 124/410 [14:39<35:10, 7.38s/it][A + mmlu_fr: 30%|███████████████████████████████████▋ | 125/410 [14:45<33:56, 7.15s/it][A + mmlu_fr: 31%|███████████████████████████████████▉ | 126/410 [14:51<32:15, 6.81s/it][A + mmlu_fr: 31%|████████████████████████████████████▏ | 127/410 [14:59<33:19, 7.07s/it][A + mmlu_fr: 31%|████████████████████████████████████▌ | 128/410 [15:06<33:55, 7.22s/it][A + mmlu_fr: 31%|████████████████████████████████████▊ | 129/410 [15:14<33:41, 7.20s/it][A + mmlu_fr: 32%|█████████████████████████████████████ | 130/410 [15:21<33:18, 7.14s/it][A + mmlu_fr: 32%|█████████████████████████████████████▍ | 131/410 [15:28<33:58, 7.31s/it][A + mmlu_fr: 32%|█████████████████████████████████████▋ | 132/410 [15:35<33:10, 7.16s/it][A + mmlu_fr: 32%|█████████████████████████████████████▉ | 133/410 [15:42<32:32, 7.05s/it][A + mmlu_fr: 33%|██████████████████████████████████████▏ | 134/410 [15:49<32:02, 6.96s/it][A + mmlu_fr: 33%|██████████████████████████████████████▌ | 135/410 [15:56<32:24, 7.07s/it][A + mmlu_fr: 33%|██████████████████████████████████████▊ | 136/410 [16:03<31:45, 6.95s/it][A + mmlu_fr: 33%|███████████████████████████████████████ | 137/410 [16:11<32:53, 7.23s/it][A + mmlu_fr: 34%|███████████████████████████████████████▍ | 138/410 [16:17<31:26, 6.94s/it][A + mmlu_fr: 34%|███████████████████████████████████████▋ | 139/410 [16:24<32:09, 7.12s/it][A + mmlu_fr: 34%|███████████████████████████████████████▉ | 140/410 [16:31<31:36, 7.03s/it][A + mmlu_fr: 34%|████████████████████████████████████████▏ | 141/410 [16:38<31:17, 6.98s/it][A + mmlu_fr: 35%|████████████████████████████████████████▌ | 142/410 [16:46<31:50, 7.13s/it][A + mmlu_fr: 35%|████████████████████████████████████████▊ | 143/410 [16:53<31:37, 7.11s/it][A + mmlu_fr: 35%|█████████████████████████████████████████ | 144/410 [17:00<31:48, 7.17s/it][A + mmlu_fr: 35%|█████████████████████████████████████████▍ | 145/410 [17:07<31:42, 7.18s/it][A + mmlu_fr: 36%|█████████████████████████████████████████▋ | 146/410 [17:14<31:03, 7.06s/it][A + mmlu_fr: 36%|█████████████████████████████████████████▉ | 147/410 [17:21<30:49, 7.03s/it][A + mmlu_fr: 36%|██████████████████████████████████████████▏ | 148/410 [17:27<30:05, 6.89s/it][A + mmlu_fr: 36%|██████████████████████████████████████████▌ | 149/410 [17:34<29:46, 6.84s/it][A + mmlu_fr: 37%|██████████████████████████████████████████▊ | 150/410 [17:42<30:36, 7.06s/it][A + mmlu_fr: 37%|███████████████████████████████████████████ | 151/410 [17:49<30:46, 7.13s/it][A + mmlu_fr: 37%|███████████████████████████████████████████▍ | 152/410 [17:56<30:05, 7.00s/it][A + mmlu_fr: 37%|███████████████████████████████████████████▋ | 153/410 [18:04<31:37, 7.38s/it][A + mmlu_fr: 38%|███████████████████████████████████████████▉ | 154/410 [18:11<31:39, 7.42s/it][A + mmlu_fr: 38%|████████████████████████████████████████████▏ | 155/410 [18:18<30:37, 7.21s/it][A + mmlu_fr: 38%|████████████████████████████████████████████▌ | 156/410 [18:26<31:11, 7.37s/it][A + mmlu_fr: 38%|████████████████████████████████████████████▊ | 157/410 [18:33<30:22, 7.20s/it][A + mmlu_fr: 39%|█████████████████████████████████████████████ | 158/410 [18:40<30:45, 7.32s/it][A + mmlu_fr: 39%|█████████████████████████████████████████████▎ | 159/410 [18:47<30:06, 7.20s/it][A + mmlu_fr: 39%|█████████████████████████████████████████████▋ | 160/410 [18:56<31:29, 7.56s/it][A + mmlu_fr: 39%|█████████████████████████████████████████████▉ | 161/410 [19:03<30:40, 7.39s/it][A + mmlu_fr: 40%|██████████████████████████████████████████████▏ | 162/410 [19:11<31:17, 7.57s/it][A + mmlu_fr: 40%|██████████████████████████████████████████████▌ | 163/410 [19:17<30:06, 7.32s/it][A + mmlu_fr: 40%|██████████████████████████████████████████████▊ | 164/410 [19:25<29:49, 7.27s/it][A + mmlu_fr: 40%|███████████████████████████████████████████████ | 165/410 [19:31<28:58, 7.10s/it][A + mmlu_fr: 40%|███████████████████████████████████████████████▎ | 166/410 [19:38<28:15, 6.95s/it][A + mmlu_fr: 41%|███████████████████████████████████████████████▋ | 167/410 [19:45<28:51, 7.13s/it][A + mmlu_fr: 41%|███████████████████████████████████████████████▉ | 168/410 [19:52<28:10, 6.99s/it][A + mmlu_fr: 41%|████████████████████████████████████████████████▏ | 169/410 [19:59<28:12, 7.02s/it][A + mmlu_fr: 41%|████████████████████████████████████████████████▌ | 170/410 [20:06<27:46, 6.95s/it][A + mmlu_fr: 42%|████████████████████████████████████████████████▊ | 171/410 [20:13<28:01, 7.03s/it][A + mmlu_fr: 42%|█████████████████████████████████████████████████ | 172/410 [20:20<27:36, 6.96s/it][A + mmlu_fr: 42%|█████████████████████████████████████████████████▎ | 173/410 [20:27<27:34, 6.98s/it][A + mmlu_fr: 42%|█████████████████████████████████████████████████▋ | 174/410 [20:34<27:16, 6.94s/it][A + mmlu_fr: 43%|█████████████████████████████████████████████████▉ | 175/410 [20:41<27:16, 6.96s/it][A + mmlu_fr: 43%|██████████████████████████████████████████████████▏ | 176/410 [20:48<27:49, 7.14s/it][A + mmlu_fr: 43%|██████████████████████████████████████████████████▌ | 177/410 [20:56<27:47, 7.16s/it][A + mmlu_fr: 43%|██████████████████████████████████████████████████▊ | 178/410 [21:04<28:37, 7.40s/it][A + mmlu_fr: 44%|███████████████████████████████████████████████████ | 179/410 [21:10<27:22, 7.11s/it][A + mmlu_fr: 44%|███████████████████████████████████████████████████▎ | 180/410 [21:17<27:43, 7.23s/it][A + mmlu_fr: 44%|███████████████████████████████████████████████████▋ | 181/410 [21:25<27:45, 7.27s/it][A + mmlu_fr: 44%|███████████████████████████████████████████████████▉ | 182/410 [21:32<27:24, 7.21s/it][A + mmlu_fr: 45%|████████████████████████████████████████████████████▏ | 183/410 [21:39<26:44, 7.07s/it][A + mmlu_fr: 45%|████████████████████████████████████████████████████▌ | 184/410 [21:46<26:56, 7.15s/it][A + mmlu_fr: 45%|████████████████████████████████████████████████████▊ | 185/410 [21:53<26:49, 7.15s/it][A + mmlu_fr: 45%|█████████████████████████████████████████████████████ | 186/410 [22:00<26:08, 7.00s/it][A + mmlu_fr: 46%|█████████████████████████████████████████████████████▎ | 187/410 [22:07<25:58, 6.99s/it][A + mmlu_fr: 46%|█████████████████████████████████████████████████████▋ | 188/410 [22:13<25:22, 6.86s/it][A + mmlu_fr: 46%|█████████████████████████████████████████████████████▉ | 189/410 [22:20<24:44, 6.72s/it][A + mmlu_fr: 46%|██████████████████████████████████████████████████████▏ | 190/410 [22:27<25:11, 6.87s/it][A + mmlu_fr: 47%|██████████████████████████████████████████████████████▌ | 191/410 [22:34<25:31, 6.99s/it][A + mmlu_fr: 47%|██████████████████████████████████████████████████████▊ | 192/410 [22:41<25:22, 6.98s/it][A + mmlu_fr: 47%|███████████████████████████████████████████████████████ | 193/410 [22:48<24:51, 6.87s/it][A + mmlu_fr: 47%|███████████████████████████████████████████████████████▎ | 194/410 [22:55<24:47, 6.89s/it][A + mmlu_fr: 48%|███████████████████████████████████████████████████████▋ | 195/410 [23:01<24:32, 6.85s/it][A + mmlu_fr: 48%|███████████████████████████████████████████████████████▉ | 196/410 [23:09<24:48, 6.96s/it][A + mmlu_fr: 48%|████████████████████████████████████████████████████████▏ | 197/410 [23:15<23:52, 6.72s/it][A + mmlu_fr: 48%|████████████████████████████████████████████████████████▌ | 198/410 [23:21<23:38, 6.69s/it][A + mmlu_fr: 49%|████████████████████████████████████████████████████████▊ | 199/410 [23:28<23:43, 6.75s/it][A + mmlu_fr: 49%|█████████████████████████████████████████████████████████ | 200/410 [23:34<22:49, 6.52s/it][A + mmlu_fr: 49%|█████████████████████████████████████████████████████████▎ | 201/410 [23:41<23:07, 6.64s/it][A + mmlu_fr: 49%|█████████████████████████████████████████████████████████▋ | 202/410 [23:48<22:38, 6.53s/it][A + mmlu_fr: 50%|█████████████████████████████████████████████████████████▉ | 203/410 [23:54<22:49, 6.61s/it][A + mmlu_fr: 50%|██████████████████████████████████████████████████████████▏ | 204/410 [24:01<23:04, 6.72s/it][A + mmlu_fr: 50%|██████████████████████████████████████████████████████████▌ | 205/410 [24:08<22:36, 6.62s/it][A + mmlu_fr: 50%|██████████████████████████████████████████████████████████▊ | 206/410 [24:15<23:18, 6.85s/it][A + mmlu_fr: 50%|███████████████████████████████████████████████████████████ | 207/410 [24:21<22:19, 6.60s/it][A + mmlu_fr: 51%|███████████████████████████████████████████████████████████▎ | 208/410 [24:28<22:58, 6.82s/it][A + mmlu_fr: 51%|███████████████████████████████████████████████████████████▋ | 209/410 [24:36<23:36, 7.05s/it][A + mmlu_fr: 51%|███████████████████████████████████████████████████████████▉ | 210/410 [24:43<23:12, 6.96s/it][A + mmlu_fr: 51%|████████████████████████████████████████████████████████████▏ | 211/410 [24:50<22:52, 6.90s/it][A + mmlu_fr: 52%|████████████████████████████████████████████████████████████▍ | 212/410 [24:57<23:05, 7.00s/it][A + mmlu_fr: 52%|████████████████████████████████████████████████████████████▊ | 213/410 [25:04<23:00, 7.01s/it][A + mmlu_fr: 52%|█████████████████████████████████████████████████████████████ | 214/410 [25:12<23:37, 7.23s/it][A + mmlu_fr: 52%|█████████████████████████████████████████████████████████████▎ | 215/410 [25:19<23:22, 7.19s/it][A + mmlu_fr: 53%|█████████████████████████████████████████████████████████████▋ | 216/410 [25:25<22:33, 6.98s/it][A + mmlu_fr: 53%|█████████████████████████████████████████████████████████████▉ | 217/410 [25:32<22:07, 6.88s/it][A + mmlu_fr: 53%|██████████████████████████████████████████████████████████████▏ | 218/410 [25:39<22:33, 7.05s/it][A + mmlu_fr: 53%|██████████████████████████████████████████████████████████████▍ | 219/410 [25:46<22:14, 6.99s/it][A + mmlu_fr: 54%|██████████████████████████████████████████████████████████████▊ | 220/410 [25:52<21:34, 6.81s/it][A + mmlu_fr: 54%|███████████████████████████████████████████████████████████████ | 221/410 [25:59<21:36, 6.86s/it][A + mmlu_fr: 54%|███████████████████████████████████████████████████████████████▎ | 222/410 [26:06<21:26, 6.84s/it][A + mmlu_fr: 54%|███████████████████████████████████████████████████████████████▋ | 223/410 [26:13<21:15, 6.82s/it][A + mmlu_fr: 55%|███████████████████████████████████████████████████████████████▉ | 224/410 [26:21<21:56, 7.08s/it][A + mmlu_fr: 55%|████████████████████████████████████████████████████████████████▏ | 225/410 [26:27<21:33, 6.99s/it][A + mmlu_fr: 55%|████████████████████████████████████████████████████████████████▍ | 226/410 [26:34<21:13, 6.92s/it][A + mmlu_fr: 55%|████████████████████████████████████████████████████████████████▊ | 227/410 [26:41<21:18, 6.99s/it][A + mmlu_fr: 56%|█████████████████████████████████████████████████████████████████ | 228/410 [26:48<20:54, 6.89s/it][A + mmlu_fr: 56%|█████████████████████████████████████████████████████████████████▎ | 229/410 [26:55<20:28, 6.79s/it][A + mmlu_fr: 56%|█████████████████████████████████████████████████████████████████▋ | 230/410 [27:04<22:17, 7.43s/it][A + mmlu_fr: 56%|█████████████████████████████████████████████████████████████████▉ | 231/410 [27:11<22:16, 7.47s/it][A + mmlu_fr: 57%|██████████████████████████████████████████████████████████████████▏ | 232/410 [27:18<21:48, 7.35s/it][A + mmlu_fr: 57%|██████████████████████████████████████████████████████████████████▍ | 233/410 [27:25<21:19, 7.23s/it][A + mmlu_fr: 57%|██████████████████████████████████████████████████████████████████▊ | 234/410 [27:34<22:15, 7.59s/it][A + mmlu_fr: 57%|███████████████████████████████████████████████████████████████████ | 235/410 [27:40<21:01, 7.21s/it][A + mmlu_fr: 58%|███████████████████████████████████████████████████████████████████▎ | 236/410 [27:47<20:35, 7.10s/it][A + mmlu_fr: 58%|███████████████████████████████████████████████████████████████████▋ | 237/410 [27:53<20:13, 7.01s/it][A + mmlu_fr: 58%|███████████████████████████████████████████████████████████████████▉ | 238/410 [28:00<19:33, 6.82s/it][A + mmlu_fr: 58%|████████████████████████████████████████████████████████████████████▏ | 239/410 [28:07<19:24, 6.81s/it][A + mmlu_fr: 59%|████████████████████████████████████████████████████████████████████▍ | 240/410 [28:14<19:32, 6.90s/it][A + mmlu_fr: 59%|████████████████████████████████████████████████████████████████████▊ | 241/410 [28:21<19:25, 6.90s/it][A + mmlu_fr: 59%|█████████████████████████████████████████████████████████████████████ | 242/410 [28:28<19:46, 7.06s/it][A + mmlu_fr: 59%|█████████████████████████████████████████████████████████████████████▎ | 243/410 [28:36<20:05, 7.22s/it][A + mmlu_fr: 60%|█████████████████████████████████████████████████████████████████████▋ | 244/410 [28:43<20:15, 7.32s/it][A + mmlu_fr: 60%|█████████████████████████████████████████████████████████████████████▉ | 245/410 [28:50<20:04, 7.30s/it][A + mmlu_fr: 60%|██████████████████████████████████████████████████████████████████████▏ | 246/410 [28:58<20:23, 7.46s/it][A + mmlu_fr: 60%|██████████████████████████████████████████████████████████████████████▍ | 247/410 [29:04<19:08, 7.05s/it][A + mmlu_fr: 60%|██████████████████████████████████████████████████████████████████████▊ | 248/410 [29:11<18:35, 6.89s/it][A + mmlu_fr: 61%|███████████████████████████████████████████████████████████████████████ | 249/410 [29:19<19:17, 7.19s/it][A + mmlu_fr: 61%|███████████████████████████████████████████████████████████████████████▎ | 250/410 [29:25<18:16, 6.85s/it][A + mmlu_fr: 61%|███████████████████████████████████████████████████████████████████████▋ | 251/410 [29:32<17:59, 6.79s/it][A + mmlu_fr: 61%|███████████████████████████████████████████████████████████████████████▉ | 252/410 [29:38<17:52, 6.79s/it][A + mmlu_fr: 62%|████████████████████████████████████████████████████████████████████████▏ | 253/410 [29:45<17:27, 6.67s/it][A + mmlu_fr: 62%|████████████████████████████████████████████████████████████████████████▍ | 254/410 [29:51<17:17, 6.65s/it][A + mmlu_fr: 62%|████████████████████████████████████████████████████████████████████████▊ | 255/410 [29:58<17:07, 6.63s/it][A + mmlu_fr: 62%|█████████████████████████████████████████████████████████████████████████ | 256/410 [30:05<17:37, 6.87s/it][A + mmlu_fr: 63%|█████████████████████████████████████████████████████████████████████████▎ | 257/410 [30:12<17:36, 6.90s/it][A + mmlu_fr: 63%|█████████████████████████████████████████████████████████████████████████▌ | 258/410 [30:20<17:43, 7.00s/it][A + mmlu_fr: 63%|█████████████████████████████████████████████████████████████████████████▉ | 259/410 [30:27<17:51, 7.10s/it][A + mmlu_fr: 63%|██████████████████████████████████████████████████████████████████████████▏ | 260/410 [30:34<17:25, 6.97s/it][A + mmlu_fr: 64%|██████████████████████████████████████████████████████████████████████████▍ | 261/410 [30:40<17:17, 6.96s/it][A + mmlu_fr: 64%|██████████████████████████████████████████████████████████████████████████▊ | 262/410 [30:47<17:07, 6.94s/it][A + mmlu_fr: 64%|███████████████████████████████████████████████████████████████████████████ | 263/410 [30:54<16:51, 6.88s/it][A + mmlu_fr: 64%|███████████████████████████████████████████████████████████████████████████▎ | 264/410 [31:01<17:05, 7.02s/it][A + mmlu_fr: 65%|███████████████████████████████████████████████████████████████████████████▌ | 265/410 [31:09<17:03, 7.06s/it][A + mmlu_fr: 65%|███████████████████████████████████████████████████████████████████████████▉ | 266/410 [31:15<16:35, 6.92s/it][A + mmlu_fr: 65%|████████████████████████████████████████████████████████████████████████████▏ | 267/410 [31:22<16:11, 6.79s/it][A + mmlu_fr: 65%|████████████████████████████████████████████████████████████████████████████▍ | 268/410 [31:28<15:57, 6.74s/it][A + mmlu_fr: 66%|████████████████████████████████████████████████████████████████████████████▊ | 269/410 [31:36<16:10, 6.88s/it][A + mmlu_fr: 66%|█████████████████████████████████████████████████████████████████████████████ | 270/410 [31:43<16:24, 7.03s/it][A + mmlu_fr: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 271/410 [31:50<16:06, 6.95s/it][A + mmlu_fr: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 272/410 [31:56<15:49, 6.88s/it][A + mmlu_fr: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 273/410 [32:03<15:29, 6.79s/it][A + mmlu_fr: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 274/410 [32:11<15:57, 7.04s/it][A + mmlu_fr: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 275/410 [32:17<15:40, 6.97s/it][A + mmlu_fr: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 276/410 [32:24<15:32, 6.96s/it][A + mmlu_fr: 68%|███████████████████████████████████████████████████████████████████████████████ | 277/410 [32:33<16:31, 7.46s/it][A + mmlu_fr: 68%|███████████████████████████████████████████████████████████████████████████████▎ | 278/410 [32:40<16:22, 7.44s/it][A + mmlu_fr: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 279/410 [32:48<16:07, 7.38s/it][A + mmlu_fr: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 280/410 [32:55<16:10, 7.46s/it][A + mmlu_fr: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 281/410 [33:01<15:15, 7.09s/it][A + mmlu_fr: 69%|████████████████████████████████████████████████████████████████████████████████▍ | 282/410 [33:08<14:52, 6.98s/it][A + mmlu_fr: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 283/410 [33:15<14:33, 6.87s/it][A + mmlu_fr: 69%|█████████████████████████████████████████████████████████████████████████████████ | 284/410 [33:21<14:17, 6.81s/it][A + mmlu_fr: 70%|█████████████████████████████████████████████████████████████████████████████████▎ | 285/410 [33:27<13:33, 6.51s/it][A + mmlu_fr: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 286/410 [33:34<13:48, 6.68s/it][A + mmlu_fr: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 287/410 [33:41<13:30, 6.59s/it][A + mmlu_fr: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 288/410 [33:48<13:56, 6.85s/it][A + mmlu_fr: 70%|██████████████████████████████████████████████████████████████████████████████████▍ | 289/410 [33:55<13:52, 6.88s/it][A + mmlu_fr: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 290/410 [34:01<13:03, 6.53s/it][A + mmlu_fr: 71%|███████████████████████████████████████████████████████████████████████████████████ | 291/410 [34:08<13:15, 6.69s/it][A + mmlu_fr: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 292/410 [34:16<13:52, 7.06s/it][A + mmlu_fr: 71%|███████████████████████████████████████████████████████████████████████████████████▌ | 293/410 [34:22<13:12, 6.78s/it][A + mmlu_fr: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 294/410 [34:29<13:19, 6.89s/it][A + mmlu_fr: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 295/410 [34:36<13:17, 6.93s/it][A + mmlu_fr: 72%|████████████████████████████████████████████████████████████████████████████████████▍ | 296/410 [34:42<12:40, 6.67s/it][A + mmlu_fr: 72%|████████████████████████████████████████████████████████████████████████████████████▊ | 297/410 [34:49<12:26, 6.61s/it][A + mmlu_fr: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 298/410 [34:56<12:39, 6.78s/it][A + mmlu_fr: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 299/410 [35:03<12:55, 6.99s/it][A + mmlu_fr: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 300/410 [35:10<12:36, 6.88s/it][A + mmlu_fr: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 301/410 [35:17<12:29, 6.88s/it][A + mmlu_fr: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 302/410 [35:24<12:30, 6.95s/it][A + mmlu_fr: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 303/410 [35:31<12:16, 6.89s/it][A + mmlu_fr: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 304/410 [35:39<12:47, 7.24s/it][A + mmlu_fr: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 305/410 [35:45<12:09, 6.95s/it][A + mmlu_fr: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 306/410 [35:52<12:09, 7.01s/it][A + mmlu_fr: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 307/410 [35:59<11:54, 6.94s/it][A + mmlu_fr: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 308/410 [36:06<11:39, 6.86s/it][A + mmlu_fr: 75%|████████████████████████████████████████████████████████████████████████████████████████▏ | 309/410 [36:13<12:03, 7.16s/it][A + mmlu_fr: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 310/410 [36:22<12:23, 7.43s/it][A + mmlu_fr: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 311/410 [36:28<11:51, 7.18s/it][A + mmlu_fr: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 312/410 [36:35<11:38, 7.13s/it][A + mmlu_fr: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 313/410 [36:43<11:40, 7.22s/it][A + mmlu_fr: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 314/410 [36:51<12:06, 7.57s/it][A + mmlu_fr: 77%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 315/410 [36:58<11:41, 7.38s/it][A + mmlu_fr: 77%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 316/410 [37:07<12:12, 7.79s/it][A + mmlu_fr: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 317/410 [37:13<11:19, 7.30s/it][A + mmlu_fr: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 318/410 [37:20<11:06, 7.24s/it][A + mmlu_fr: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 319/410 [37:27<11:02, 7.28s/it][A + mmlu_fr: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 320/410 [37:34<10:47, 7.19s/it][A + mmlu_fr: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 321/410 [37:41<10:18, 6.94s/it][A + mmlu_fr: 79%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 322/410 [37:47<10:06, 6.90s/it][A + mmlu_fr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 323/410 [37:55<10:16, 7.09s/it][A + mmlu_fr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 324/410 [38:02<10:20, 7.21s/it][A + mmlu_fr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 325/410 [38:09<09:57, 7.03s/it][A + mmlu_fr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████ | 326/410 [38:16<09:46, 6.99s/it][A + mmlu_fr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 327/410 [38:23<09:36, 6.95s/it][A + mmlu_fr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 328/410 [38:30<09:37, 7.05s/it][A + mmlu_fr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/410 [38:37<09:37, 7.13s/it][A + mmlu_fr: 80%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 330/410 [38:44<09:26, 7.08s/it][A + mmlu_fr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 331/410 [38:52<09:21, 7.10s/it][A + mmlu_fr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 332/410 [38:58<09:07, 7.02s/it][A + mmlu_fr: 81%|███████████████████████████████████████████████████████████████████████████████████████████████ | 333/410 [39:06<09:06, 7.09s/it][A + mmlu_fr: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 334/410 [39:12<08:48, 6.95s/it][A + mmlu_fr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 335/410 [39:19<08:30, 6.81s/it][A + mmlu_fr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 336/410 [39:26<08:27, 6.86s/it][A + mmlu_fr: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 337/410 [39:32<08:17, 6.82s/it][A + mmlu_fr: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 338/410 [39:40<08:27, 7.04s/it][A + mmlu_fr: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 339/410 [39:47<08:21, 7.07s/it][A + mmlu_fr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 340/410 [39:54<08:14, 7.06s/it][A + mmlu_fr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 341/410 [40:01<08:00, 6.96s/it][A + mmlu_fr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 342/410 [40:08<07:54, 6.97s/it][A + mmlu_fr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 343/410 [40:15<07:43, 6.91s/it][A + mmlu_fr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 344/410 [40:21<07:34, 6.89s/it][A + mmlu_fr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 345/410 [40:28<07:20, 6.78s/it][A + mmlu_fr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 346/410 [40:35<07:24, 6.94s/it][A + mmlu_fr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 347/410 [40:42<07:12, 6.86s/it][A + mmlu_fr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 348/410 [40:49<07:04, 6.85s/it][A + mmlu_fr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 349/410 [40:55<06:54, 6.80s/it][A + mmlu_fr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 350/410 [41:03<07:06, 7.11s/it][A + mmlu_fr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 351/410 [41:10<06:52, 6.99s/it][A + mmlu_fr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 352/410 [41:17<06:37, 6.85s/it][A + mmlu_fr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 353/410 [41:24<06:47, 7.16s/it][A + mmlu_fr: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 354/410 [41:31<06:30, 6.98s/it][A + mmlu_fr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 355/410 [41:38<06:16, 6.85s/it][A + mmlu_fr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 356/410 [41:45<06:21, 7.06s/it][A + mmlu_fr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 357/410 [41:52<06:14, 7.06s/it][A + mmlu_fr: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 358/410 [41:59<05:56, 6.85s/it][A + mmlu_fr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/410 [42:05<05:47, 6.81s/it][A + mmlu_fr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/410 [42:12<05:43, 6.88s/it][A + mmlu_fr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/410 [42:20<05:44, 7.03s/it][A + mmlu_fr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 362/410 [42:27<05:44, 7.17s/it][A + mmlu_fr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 363/410 [42:34<05:35, 7.13s/it][A + mmlu_fr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 364/410 [42:41<05:19, 6.94s/it][A + mmlu_fr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 365/410 [42:47<05:08, 6.87s/it][A + mmlu_fr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 366/410 [42:56<05:28, 7.46s/it][A + mmlu_fr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 367/410 [43:04<05:27, 7.62s/it][A + mmlu_fr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 368/410 [43:12<05:25, 7.75s/it][A + mmlu_fr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 369/410 [43:20<05:19, 7.79s/it][A + mmlu_fr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 370/410 [43:27<04:58, 7.47s/it][A + mmlu_fr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 371/410 [43:34<04:43, 7.28s/it][A + mmlu_fr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 372/410 [43:41<04:31, 7.15s/it][A + mmlu_fr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 373/410 [43:47<04:19, 7.00s/it][A + mmlu_fr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 374/410 [43:55<04:19, 7.21s/it][A + mmlu_fr: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 375/410 [44:03<04:19, 7.42s/it][A + mmlu_fr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 376/410 [44:10<04:05, 7.22s/it][A + mmlu_fr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 377/410 [44:17<04:01, 7.32s/it][A + mmlu_fr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 378/410 [44:24<03:54, 7.32s/it][A + mmlu_fr: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 379/410 [44:32<03:49, 7.42s/it][A + mmlu_fr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 380/410 [44:39<03:41, 7.38s/it][A + mmlu_fr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 381/410 [44:46<03:30, 7.26s/it][A + mmlu_fr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 382/410 [44:54<03:23, 7.26s/it][A + mmlu_fr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 383/410 [45:01<03:13, 7.16s/it][A + mmlu_fr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/410 [45:07<03:04, 7.09s/it][A + mmlu_fr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/410 [45:14<02:56, 7.05s/it][A + mmlu_fr: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 386/410 [45:21<02:47, 6.99s/it][A + mmlu_fr: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 387/410 [45:29<02:47, 7.30s/it][A + mmlu_fr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 388/410 [45:36<02:38, 7.22s/it][A + mmlu_fr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 389/410 [45:43<02:30, 7.15s/it][A + mmlu_fr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 390/410 [45:50<02:20, 7.02s/it][A + mmlu_fr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 391/410 [45:57<02:11, 6.93s/it][A + mmlu_fr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 392/410 [46:04<02:05, 6.97s/it][A + mmlu_fr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 393/410 [46:11<01:57, 6.90s/it][A + mmlu_fr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 394/410 [46:18<01:53, 7.09s/it][A + mmlu_fr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 395/410 [46:25<01:47, 7.14s/it][A + mmlu_fr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 396/410 [46:32<01:38, 7.04s/it][A + mmlu_fr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 397/410 [46:40<01:36, 7.42s/it][A + mmlu_fr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 398/410 [46:48<01:29, 7.45s/it][A + mmlu_fr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 399/410 [46:55<01:19, 7.20s/it][A + mmlu_fr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 400/410 [47:01<01:10, 7.10s/it][A + mmlu_fr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 401/410 [47:10<01:07, 7.52s/it][A + mmlu_fr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 402/410 [47:17<00:58, 7.36s/it][A + mmlu_fr: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 403/410 [47:24<00:50, 7.20s/it][A + mmlu_fr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 404/410 [47:32<00:44, 7.36s/it][A + mmlu_fr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 405/410 [47:39<00:37, 7.47s/it][A + mmlu_fr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 406/410 [47:46<00:29, 7.26s/it][A + mmlu_fr: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 407/410 [47:53<00:21, 7.06s/it][A + mmlu_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 408/410 [48:00<00:14, 7.17s/it][A + mmlu_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 409/410 [48:07<00:07, 7.01s/it][A + mmlu_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [48:11<00:00, 6.32s/it][A mmlu_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [48:11<00:00, 7.05s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_fr_acc 0.39439309449239934 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_fr_acc_norm 0.34886563287754946 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 22:58:47,010 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 22:58:47,010 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:47,133 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 22:58:47,133 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:47,254 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 22:58:47,254 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:47,375 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 22:58:47,376 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 22:58:47,376 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 22:58:47,499 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 22:58:47,499 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_fr_acc'} +2024-05-30 22:58:47,561 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 22:58:47,561 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1217, 'value': 0.39439309449239934} +2024-05-30 22:58:47,623 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 22:58:48,240 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 22:58:48,240 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:48,362 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 22:58:48,362 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:48,483 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 22:58:48,483 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:48,604 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 22:58:48,605 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-30 22:58:48,605 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-30 22:58:48,727 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-30 22:58:48,727 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_fr_acc_norm'} +2024-05-30 22:58:48,789 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-30 22:58:48,789 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1218, 'value': 0.34886563287754946} +2024-05-30 22:58:48,850 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 56%|████████████████████████████████████████████████████████████▉ | 70/124 [40:11:18<46:53:35, 3126.21s/it]['mmlu_gu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-30 22:58:49,503 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-30 22:58:49,503 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:49,632 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-30 22:58:49,632 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:49,761 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-30 22:58:49,761 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-30 22:58:49,890 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-30 22:58:49,891 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-30 22:58:49,891 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_gu'} +2024-05-30 22:58:50,021 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_gu task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 9.98 examples/s][A + Generating test split: 3283 examples [00:00, 19293.22 examples/s][A + Generating test split: 6789 examples [00:00, 26071.31 examples/s][A + Generating test split: 10000 examples [00:00, 28287.22 examples/s][A Generating test split: 11635 examples [00:00, 25243.56 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 243 examples [00:00, 25559.63 examples/s] +Running loglikelihood requests + + mmlu_gu: 0%| | 0/364 [00:00<?, ?it/s][A + mmlu_gu: 0%|▎ | 1/364 [00:21<2:10:48, 21.62s/it][A + mmlu_gu: 1%|▋ | 2/364 [00:40<1:59:17, 19.77s/it][A + mmlu_gu: 1%|▉ | 3/364 [01:04<2:10:49, 21.74s/it][A + mmlu_gu: 1%|█▎ | 4/364 [01:19<1:55:52, 19.31s/it][A + mmlu_gu: 1%|█▌ | 5/364 [01:53<2:25:42, 24.35s/it][A + mmlu_gu: 2%|█▉ | 6/364 [02:09<2:09:44, 21.74s/it][A + mmlu_gu: 2%|██▎ | 7/364 [02:28<2:04:08, 20.86s/it][A + mmlu_gu: 2%|██▌ | 8/364 [02:50<2:05:29, 21.15s/it][A + mmlu_gu: 2%|██▉ | 9/364 [03:12<2:07:04, 21.48s/it][A + mmlu_gu: 3%|███▏ | 10/364 [03:37<2:12:23, 22.44s/it][A + mmlu_gu: 3%|███▌ | 11/364 [03:56<2:06:50, 21.56s/it][A + mmlu_gu: 3%|███▊ | 12/364 [04:26<2:21:18, 24.09s/it][A + mmlu_gu: 4%|████▏ | 13/364 [04:48<2:15:49, 23.22s/it][A + mmlu_gu: 4%|████▍ | 14/364 [05:08<2:10:41, 22.40s/it][A + mmlu_gu: 4%|████▊ | 15/364 [05:27<2:04:16, 21.37s/it][A + mmlu_gu: 4%|█████ | 16/364 [05:46<1:59:11, 20.55s/it][A + mmlu_gu: 5%|█████▍ | 17/364 [06:06<1:58:20, 20.46s/it][A + mmlu_gu: 5%|█████▋ | 18/364 [06:30<2:04:43, 21.63s/it][A + mmlu_gu: 5%|██████ | 19/364 [06:53<2:05:58, 21.91s/it][A + mmlu_gu: 5%|██████▎ | 20/364 [07:14<2:03:54, 21.61s/it][A + mmlu_gu: 6%|██████▋ | 21/364 [07:39<2:10:01, 22.75s/it][A + mmlu_gu: 6%|███████ | 22/364 [08:02<2:10:06, 22.83s/it][A + mmlu_gu: 6%|███████▎ | 23/364 [08:21<2:02:38, 21.58s/it][A + mmlu_gu: 7%|███████▋ | 24/364 [08:38<1:54:38, 20.23s/it][A + mmlu_gu: 7%|███████▉ | 25/364 [08:56<1:50:56, 19.64s/it][A + mmlu_gu: 7%|████████▎ | 26/364 [09:22<2:00:41, 21.42s/it][A + mmlu_gu: 7%|████████▌ | 27/364 [09:39<1:53:52, 20.28s/it][A + mmlu_gu: 8%|████████▉ | 28/364 [10:01<1:56:28, 20.80s/it][A + mmlu_gu: 8%|█████████▏ | 29/364 [10:22<1:56:10, 20.81s/it][A + mmlu_gu: 8%|█████████▌ | 30/364 [10:41<1:51:59, 20.12s/it][A + mmlu_gu: 9%|█████████▉ | 31/364 [11:09<2:05:02, 22.53s/it][A + mmlu_gu: 9%|██████████▏ | 32/364 [11:30<2:01:58, 22.04s/it][A + mmlu_gu: 9%|██████████▌ | 33/364 [11:50<1:57:56, 21.38s/it][A + mmlu_gu: 9%|██████████▊ | 34/364 [12:09<1:54:36, 20.84s/it][A + mmlu_gu: 10%|███████████▏ | 35/364 [12:26<1:48:20, 19.76s/it][A + mmlu_gu: 10%|███████████▍ | 36/364 [12:53<1:59:38, 21.88s/it][A + mmlu_gu: 10%|███████████▊ | 37/364 [13:15<1:58:27, 21.73s/it][A + mmlu_gu: 10%|████████████ | 38/364 [13:35<1:56:20, 21.41s/it][A + mmlu_gu: 11%|████████████▍ | 39/364 [13:57<1:56:46, 21.56s/it][A + mmlu_gu: 11%|████████████▋ | 40/364 [14:19<1:56:14, 21.52s/it][A + mmlu_gu: 11%|█████████████ | 41/364 [14:37<1:51:19, 20.68s/it][A + mmlu_gu: 12%|█████████████▍ | 42/364 [15:02<1:58:03, 22.00s/it][A + mmlu_gu: 12%|█████████████▋ | 43/364 [15:27<2:01:29, 22.71s/it][A + mmlu_gu: 12%|██████████████ | 44/364 [15:46<1:55:50, 21.72s/it][A + mmlu_gu: 12%|██████████████▎ | 45/364 [16:04<1:50:01, 20.69s/it][A + mmlu_gu: 13%|██████████████▋ | 46/364 [16:37<2:08:21, 24.22s/it][A + mmlu_gu: 13%|██████████████▉ | 47/364 [17:02<2:08:42, 24.36s/it][A + mmlu_gu: 13%|███████████████▎ | 48/364 [17:28<2:11:21, 24.94s/it][A + mmlu_gu: 13%|███████████████▌ | 49/364 [17:49<2:04:39, 23.75s/it][A + mmlu_gu: 14%|███████████████▉ | 50/364 [18:11<2:02:11, 23.35s/it][A + mmlu_gu: 14%|████████████████▎ | 51/364 [18:38<2:07:34, 24.46s/it][A + mmlu_gu: 14%|████████████████▌ | 52/364 [19:00<2:02:15, 23.51s/it][A + mmlu_gu: 15%|████████████████▉ | 53/364 [19:18<1:53:05, 21.82s/it][A + mmlu_gu: 15%|█████████████████▏ | 54/364 [19:37<1:49:10, 21.13s/it][A + mmlu_gu: 15%|█████████████████▌ | 55/364 [20:07<2:02:43, 23.83s/it][A + mmlu_gu: 15%|█████████████████▊ | 56/364 [20:31<2:02:07, 23.79s/it][A + mmlu_gu: 16%|██████████████████▏ | 57/364 [20:53<1:59:00, 23.26s/it][A + mmlu_gu: 16%|██████████████████▍ | 58/364 [21:13<1:53:31, 22.26s/it][A + mmlu_gu: 16%|██████████████████▊ | 59/364 [21:35<1:52:56, 22.22s/it][A + mmlu_gu: 16%|███████████████████ | 60/364 [22:01<1:58:21, 23.36s/it][A + mmlu_gu: 17%|███████████████████▍ | 61/364 [22:21<1:52:58, 22.37s/it][A + mmlu_gu: 17%|███████████████████▊ | 62/364 [22:41<1:48:13, 21.50s/it][A + mmlu_gu: 17%|████████████████████ | 63/364 [22:58<1:42:30, 20.43s/it][A + mmlu_gu: 18%|████████████████████▍ | 64/364 [23:25<1:50:39, 22.13s/it][A + mmlu_gu: 18%|████████████████████▋ | 65/364 [23:49<1:53:29, 22.77s/it][A + mmlu_gu: 18%|█████████████████████ | 66/364 [24:15<1:58:16, 23.81s/it][A + mmlu_gu: 18%|█████████████████████▎ | 67/364 [24:34<1:50:27, 22.32s/it][A + mmlu_gu: 19%|█████████████████████▋ | 68/364 [24:51<1:42:59, 20.88s/it][A + mmlu_gu: 19%|█████████████████████▉ | 69/364 [25:06<1:33:34, 19.03s/it][A + mmlu_gu: 19%|██████████████████████▎ | 70/364 [25:28<1:37:03, 19.81s/it][A + mmlu_gu: 20%|██████████████████████▋ | 71/364 [25:53<1:45:11, 21.54s/it][A + mmlu_gu: 20%|██████████████████████▉ | 72/364 [26:20<1:53:01, 23.22s/it][A + mmlu_gu: 20%|███████████████████████▎ | 73/364 [26:40<1:47:21, 22.13s/it][A + mmlu_gu: 20%|███████████████████████▌ | 74/364 [27:04<1:49:31, 22.66s/it][A + mmlu_gu: 21%|███████████████████████▉ | 75/364 [27:24<1:46:05, 22.02s/it][A + mmlu_gu: 21%|████████████████████████▏ | 76/364 [27:46<1:45:09, 21.91s/it][A + mmlu_gu: 21%|████████████████████████▌ | 77/364 [28:11<1:48:36, 22.71s/it][A + mmlu_gu: 21%|████████████████████████▊ | 78/364 [28:27<1:38:40, 20.70s/it][A + mmlu_gu: 22%|█████████████████████████▏ | 79/364 [28:46<1:35:37, 20.13s/it][A + mmlu_gu: 22%|█████████████████████████▍ | 80/364 [29:03<1:31:33, 19.34s/it][A + mmlu_gu: 22%|█████████████████████████▊ | 81/364 [29:25<1:35:34, 20.26s/it][A + mmlu_gu: 23%|██████████████████████████▏ | 82/364 [29:48<1:39:06, 21.09s/it][A + mmlu_gu: 23%|██████████████████████████▍ | 83/364 [30:08<1:36:29, 20.60s/it][A + mmlu_gu: 23%|██████████████████████████▊ | 84/364 [30:25<1:31:45, 19.66s/it][A + mmlu_gu: 23%|███████████████████████████ | 85/364 [30:43<1:29:14, 19.19s/it][A + mmlu_gu: 24%|███████████████████████████▍ | 86/364 [31:05<1:32:49, 20.03s/it][A + mmlu_gu: 24%|███████████████████████████▋ | 87/364 [31:27<1:35:02, 20.59s/it][A + mmlu_gu: 24%|████████████████████████████ | 88/364 [31:51<1:38:40, 21.45s/it][A + mmlu_gu: 24%|████████████████████████████▎ | 89/364 [32:10<1:35:19, 20.80s/it][A + mmlu_gu: 25%|████████████████████████████▋ | 90/364 [32:28<1:31:22, 20.01s/it][A + mmlu_gu: 25%|█████████████████████████████ | 91/364 [32:51<1:34:46, 20.83s/it][A + mmlu_gu: 25%|█████████████████████████████▎ | 92/364 [33:19<1:43:39, 22.87s/it][A + mmlu_gu: 26%|█████████████████████████████▋ | 93/364 [33:44<1:46:54, 23.67s/it][A + mmlu_gu: 26%|█████████████████████████████▉ | 94/364 [34:02<1:39:05, 22.02s/it][A + mmlu_gu: 26%|██████████████████████████████▎ | 95/364 [34:27<1:42:39, 22.90s/it][A + mmlu_gu: 26%|██████████████████████████████▌ | 96/364 [34:45<1:35:07, 21.30s/it][A + mmlu_gu: 27%|██████████████████████████████▉ | 97/364 [35:05<1:33:21, 20.98s/it][A + mmlu_gu: 27%|███████████████████████████████▏ | 98/364 [35:27<1:34:12, 21.25s/it][A + mmlu_gu: 27%|███████████████████████████████▌ | 99/364 [35:47<1:32:10, 20.87s/it][A + mmlu_gu: 27%|███████████████████████████████▌ | 100/364 [36:06<1:29:07, 20.26s/it][A + mmlu_gu: 28%|███████████████████████████████▉ | 101/364 [36:22<1:23:24, 19.03s/it][A + mmlu_gu: 28%|████████████████████████████████▏ | 102/364 [36:51<1:36:22, 22.07s/it][A + mmlu_gu: 28%|████████████████████████████████▌ | 103/364 [37:18<1:41:42, 23.38s/it][A + mmlu_gu: 29%|████████████████████████████████▊ | 104/364 [37:44<1:44:47, 24.18s/it][A + mmlu_gu: 29%|█████████████████████████████████▏ | 105/364 [38:05<1:40:43, 23.34s/it][A + mmlu_gu: 29%|█████████████████████████████████▍ | 106/364 [38:25<1:36:43, 22.49s/it][A + mmlu_gu: 29%|█████████████████████████████████▊ | 107/364 [38:49<1:37:25, 22.75s/it][A + mmlu_gu: 30%|██████████████████████████████████ | 108/364 [39:08<1:32:15, 21.62s/it][A + mmlu_gu: 30%|██████████████████████████████████▍ | 109/364 [39:35<1:38:39, 23.21s/it][A + mmlu_gu: 30%|██████████████████████████████████▊ | 110/364 [40:00<1:41:03, 23.87s/it][A + mmlu_gu: 30%|███████████████████████████████████ | 111/364 [40:30<1:47:35, 25.51s/it][A + mmlu_gu: 31%|███████████████████████████████████▍ | 112/364 [40:50<1:41:10, 24.09s/it][A + mmlu_gu: 31%|███████████████████████████████████▋ | 113/364 [41:09<1:33:39, 22.39s/it][A + mmlu_gu: 31%|████████████████████████████████████ | 114/364 [41:32<1:34:33, 22.69s/it][A + mmlu_gu: 32%|████████████████████████████████████▎ | 115/364 [41:50<1:28:36, 21.35s/it][A + mmlu_gu: 32%|████████████████████████████████████▋ | 116/364 [42:10<1:25:44, 20.74s/it][A + mmlu_gu: 32%|████████████████████████████████████▉ | 117/364 [42:32<1:27:40, 21.30s/it][A + mmlu_gu: 32%|█████████████████████████████████████▎ | 118/364 [42:58<1:32:24, 22.54s/it][A + mmlu_gu: 33%|█████████████████████████████████████▌ | 119/364 [43:17<1:27:30, 21.43s/it][A + mmlu_gu: 33%|█████████████████████████████████████▉ | 120/364 [43:41<1:30:47, 22.33s/it][A + mmlu_gu: 33%|██████████████████████████████████████▏ | 121/364 [44:05<1:32:21, 22.80s/it][A + mmlu_gu: 34%|██████████████████████████████████████▌ | 122/364 [44:26<1:29:26, 22.18s/it][A + mmlu_gu: 34%|██████████████████████████████████████▊ | 123/364 [44:48<1:29:00, 22.16s/it][A + mmlu_gu: 34%|███████████████████████████████████████▏ | 124/364 [45:06<1:24:16, 21.07s/it][A + mmlu_gu: 34%|███████████████████████████████████████▍ | 125/364 [45:31<1:27:51, 22.06s/it][A + mmlu_gu: 35%|███████████████████████████████████████▊ | 126/364 [45:49<1:23:20, 21.01s/it][A + mmlu_gu: 35%|████████████████████████████████████████ | 127/364 [46:09<1:22:06, 20.79s/it][A + mmlu_gu: 35%|████████████████████████████████████████▍ | 128/364 [46:30<1:21:31, 20.73s/it][A + mmlu_gu: 35%|████████████████████████████████████████▊ | 129/364 [46:56<1:27:55, 22.45s/it][A + mmlu_gu: 36%|█████████████████████████████████████████ | 130/364 [47:13<1:20:31, 20.65s/it][A + mmlu_gu: 36%|█████████████████████████████████████████▍ | 131/364 [47:37<1:24:15, 21.70s/it][A + mmlu_gu: 36%|█████████████████████████████████████████▋ | 132/364 [48:00<1:25:45, 22.18s/it][A + mmlu_gu: 37%|██████████████████████████████████████████ | 133/364 [48:22<1:24:37, 21.98s/it][A + mmlu_gu: 37%|██████████████████████████████████████████▎ | 134/364 [48:38<1:17:47, 20.29s/it][A + mmlu_gu: 37%|██████████████████████████████████████████▋ | 135/364 [48:58<1:16:58, 20.17s/it][A + mmlu_gu: 37%|██████████████████████████████████████████▉ | 136/364 [49:20<1:19:10, 20.83s/it][A + mmlu_gu: 38%|███████████████████████████████████████████▎ | 137/364 [49:39<1:15:37, 19.99s/it][A + mmlu_gu: 38%|███████████████████████████████████████████▌ | 138/364 [49:59<1:15:50, 20.13s/it][A + mmlu_gu: 38%|███████████████████████████████████████████▉ | 139/364 [50:21<1:17:32, 20.68s/it][A + mmlu_gu: 38%|████████████████████████████████████████████▏ | 140/364 [50:36<1:10:53, 18.99s/it][A + mmlu_gu: 39%|████████████████████████████████████████████▌ | 141/364 [50:55<1:10:07, 18.87s/it][A + mmlu_gu: 39%|████████████████████████████████████████████▊ | 142/364 [51:16<1:13:01, 19.73s/it][A + mmlu_gu: 39%|█████████████████████████████████████████████▏ | 143/364 [51:43<1:20:41, 21.91s/it][A + mmlu_gu: 40%|█████████████████████████████████████████████▍ | 144/364 [52:08<1:23:07, 22.67s/it][A + mmlu_gu: 40%|█████████████████████████████████████████████▊ | 145/364 [52:27<1:18:41, 21.56s/it][A + mmlu_gu: 40%|██████████████████████████████████████████████▏ | 146/364 [52:48<1:17:29, 21.33s/it][A + mmlu_gu: 40%|██████████████████████████████████████████████▍ | 147/364 [53:10<1:18:51, 21.80s/it][A + mmlu_gu: 41%|██████████████████████████████████████████████▊ | 148/364 [53:34<1:20:31, 22.37s/it][A + mmlu_gu: 41%|███████████████████████████████████████████████ | 149/364 [53:57<1:21:08, 22.64s/it][A + mmlu_gu: 41%|███████████████████████████████████████████████▍ | 150/364 [54:16<1:16:22, 21.41s/it][A + mmlu_gu: 41%|███████████████████████████████████████████████▋ | 151/364 [54:33<1:10:52, 19.96s/it][A + mmlu_gu: 42%|████████████████████████████████████████████████ | 152/364 [54:50<1:07:23, 19.07s/it][A + mmlu_gu: 42%|████████████████████████████████████████████████▎ | 153/364 [55:08<1:06:04, 18.79s/it][A + mmlu_gu: 42%|████████████████████████████████████████████████▋ | 154/364 [55:31<1:10:44, 20.21s/it][A + mmlu_gu: 43%|████████████████████████████████████████████████▉ | 155/364 [55:53<1:12:07, 20.70s/it][A + mmlu_gu: 43%|█████████████████████████████████████████████████▎ | 156/364 [56:14<1:12:34, 20.93s/it][A + mmlu_gu: 43%|█████████████████████████████████████████████████▌ | 157/364 [56:35<1:12:12, 20.93s/it][A + mmlu_gu: 43%|█████████████████████████████████████████████████▉ | 158/364 [57:01<1:16:37, 22.32s/it][A + mmlu_gu: 44%|██████████████████████████████████████████████████▏ | 159/364 [57:21<1:14:19, 21.75s/it][A + mmlu_gu: 44%|██████████████████████████████████████████████████▌ | 160/364 [57:46<1:16:41, 22.56s/it][A + mmlu_gu: 44%|██████████████████████████████████████████████████▊ | 161/364 [58:07<1:14:31, 22.03s/it][A + mmlu_gu: 45%|███████████████████████████████████████████████████▏ | 162/364 [58:28<1:13:26, 21.82s/it][A + mmlu_gu: 45%|███████████████████████████████████████████████████▍ | 163/364 [58:48<1:11:43, 21.41s/it][A + mmlu_gu: 45%|███████████████████████████████████████████████████▊ | 164/364 [59:06<1:07:38, 20.29s/it][A + mmlu_gu: 45%|████████████████████████████████████████████████████▏ | 165/364 [59:33<1:13:35, 22.19s/it][A + mmlu_gu: 46%|████████████████████████████████████████████████████▍ | 166/364 [59:50<1:08:29, 20.76s/it][A + mmlu_gu: 46%|███████████████████████████████████████████████████▊ | 167/364 [1:00:11<1:07:47, 20.65s/it][A + mmlu_gu: 46%|████████████████████████████████████████████████████▏ | 168/364 [1:00:35<1:10:58, 21.73s/it][A + mmlu_gu: 46%|████████████████████████████████████████████████████▍ | 169/364 [1:00:59<1:12:51, 22.42s/it][A + mmlu_gu: 47%|████████████████████████████████████████████████████▊ | 170/364 [1:01:20<1:10:50, 21.91s/it][A + mmlu_gu: 47%|█████████████████████████████████████████████████████ | 171/364 [1:01:37<1:06:10, 20.57s/it][A + mmlu_gu: 47%|█████████████████████████████████████████████████████▍ | 172/364 [1:01:56<1:04:07, 20.04s/it][A + mmlu_gu: 48%|█████████████████████████████████████████████████████▋ | 173/364 [1:02:13<1:00:45, 19.09s/it][A + mmlu_gu: 48%|██████████████████████████████████████████████████████▉ | 174/364 [1:02:30<58:25, 18.45s/it][A + mmlu_gu: 48%|██████████████████████████████████████████████████████▎ | 175/364 [1:02:52<1:01:41, 19.58s/it][A + mmlu_gu: 48%|███████████████████████████████████████████████████████▌ | 176/364 [1:03:08<58:26, 18.65s/it][A + mmlu_gu: 49%|███████████████████████████████████████████████████████▉ | 177/364 [1:03:24<55:32, 17.82s/it][A + mmlu_gu: 49%|███████████████████████████████████████████████████████▎ | 178/364 [1:03:50<1:02:19, 20.11s/it][A + mmlu_gu: 49%|███████████████████████████████████████████████████████▌ | 179/364 [1:04:12<1:04:10, 20.81s/it][A + mmlu_gu: 49%|███████████████████████████████████████████████████████▉ | 180/364 [1:04:33<1:03:49, 20.81s/it][A + mmlu_gu: 50%|████████████████████████████████████████████████████████▏ | 181/364 [1:04:55<1:04:46, 21.24s/it][A + mmlu_gu: 50%|████████████████████████████████████████████████████████▌ | 182/364 [1:05:17<1:04:50, 21.38s/it][A + mmlu_gu: 50%|████████████████████████████████████████████████████████▊ | 183/364 [1:05:38<1:04:00, 21.22s/it][A + mmlu_gu: 51%|█████████████████████████████████████████████████████████ | 184/364 [1:05:57<1:02:22, 20.79s/it][A + mmlu_gu: 51%|█████████████████████████████████████████████████████████▍ | 185/364 [1:06:21<1:04:35, 21.65s/it][A + mmlu_gu: 51%|█████████████████████████████████████████████████████████▋ | 186/364 [1:06:39<1:01:14, 20.64s/it][A + mmlu_gu: 51%|██████████████████████████████████████████████████████████ | 187/364 [1:07:00<1:01:16, 20.77s/it][A + mmlu_gu: 52%|██████████████████████████████████████████████████████████▎ | 188/364 [1:07:21<1:00:20, 20.57s/it][A + mmlu_gu: 52%|██████████████████████████████████████████████████████████▋ | 189/364 [1:07:47<1:05:09, 22.34s/it][A + mmlu_gu: 52%|██████████████████████████████████████████████████████████▉ | 190/364 [1:08:08<1:03:56, 22.05s/it][A + mmlu_gu: 52%|███████████████████████████████████████████████████████████▎ | 191/364 [1:08:32<1:04:43, 22.45s/it][A + mmlu_gu: 53%|███████████████████████████████████████████████████████████▌ | 192/364 [1:08:52<1:02:13, 21.71s/it][A + mmlu_gu: 53%|███████████████████████████████████████████████████████████▉ | 193/364 [1:09:14<1:02:10, 21.82s/it][A + mmlu_gu: 53%|████████████████████████████████████████████████████████████▏ | 194/364 [1:09:38<1:04:10, 22.65s/it][A + mmlu_gu: 54%|████████████████████████████████████████████████████████████▌ | 195/364 [1:09:58<1:01:29, 21.83s/it][A + mmlu_gu: 54%|████████████████████████████████████████████████████████████▊ | 196/364 [1:10:22<1:02:57, 22.49s/it][A + mmlu_gu: 54%|█████████████████████████████████████████████████████████████▏ | 197/364 [1:10:44<1:02:10, 22.34s/it][A + mmlu_gu: 54%|█████████████████████████████████████████████████████████████▍ | 198/364 [1:11:08<1:02:37, 22.64s/it][A + mmlu_gu: 55%|█████████████████████████████████████████████████████████████▊ | 199/364 [1:11:28<1:00:15, 21.91s/it][A + mmlu_gu: 55%|███████████████████████████████████████████████████████████████▏ | 200/364 [1:11:47<57:57, 21.21s/it][A + mmlu_gu: 55%|██████████████████████████████████████████████████████████████▍ | 201/364 [1:12:12<1:00:04, 22.11s/it][A + mmlu_gu: 55%|███████████████████████████████████████████████████████████████▊ | 202/364 [1:12:31<57:12, 21.19s/it][A + mmlu_gu: 56%|████████████████████████████████████████████████████████████████▏ | 203/364 [1:12:55<59:40, 22.24s/it][A + mmlu_gu: 56%|████████████████████████████████████████████████████████████████▍ | 204/364 [1:13:16<57:59, 21.75s/it][A + mmlu_gu: 56%|████████████████████████████████████████████████████████████████▊ | 205/364 [1:13:35<55:47, 21.06s/it][A + mmlu_gu: 57%|█████████████████████████████████████████████████████████████████ | 206/364 [1:13:55<54:09, 20.57s/it][A + mmlu_gu: 57%|█████████████████████████████████████████████████████████████████▍ | 207/364 [1:14:15<53:31, 20.46s/it][A + mmlu_gu: 57%|█████████████████████████████████████████████████████████████████▋ | 208/364 [1:14:35<52:34, 20.22s/it][A + mmlu_gu: 57%|██████████████████████████████████████████████████████████████████ | 209/364 [1:14:53<50:57, 19.73s/it][A + mmlu_gu: 58%|██████████████████████████████████████████████████████████████████▎ | 210/364 [1:15:14<51:24, 20.03s/it][A + mmlu_gu: 58%|██████████████████████████████████████████████████████████████████▋ | 211/364 [1:15:35<52:01, 20.40s/it][A + mmlu_gu: 58%|██████████████████████████████████████████████████████████████████▉ | 212/364 [1:15:52<48:44, 19.24s/it][A + mmlu_gu: 59%|███████████████████████████████████████████████████████████████████▎ | 213/364 [1:16:10<47:47, 18.99s/it][A + mmlu_gu: 59%|███████████████████████████████████████████████████████████████████▌ | 214/364 [1:16:31<48:41, 19.47s/it][A + mmlu_gu: 59%|███████████████████████████████████████████████████████████████████▉ | 215/364 [1:16:57<52:57, 21.32s/it][A + mmlu_gu: 59%|████████████████████████████████████████████████████████████████████▏ | 216/364 [1:17:22<55:50, 22.64s/it][A + mmlu_gu: 60%|████████████████████████████████████████████████████████████████████▌ | 217/364 [1:17:41<52:45, 21.53s/it][A + mmlu_gu: 60%|████████████████████████████████████████████████████████████████████▊ | 218/364 [1:18:02<51:49, 21.30s/it][A + mmlu_gu: 60%|█████████████████████████████████████████████████████████████████████▏ | 219/364 [1:18:23<50:58, 21.09s/it][A + mmlu_gu: 60%|█████████████████████████████████████████████████████████████████████▌ | 220/364 [1:18:46<52:13, 21.76s/it][A + mmlu_gu: 61%|█████████████████████████████████████████████████████████████████████▊ | 221/364 [1:19:06<50:55, 21.37s/it][A + mmlu_gu: 61%|██████████████████████████████████████████████████████████████████████▏ | 222/364 [1:19:25<48:22, 20.44s/it][A + mmlu_gu: 61%|██████████████████████████████████████████████████████████████████████▍ | 223/364 [1:19:45<48:02, 20.44s/it][A + mmlu_gu: 62%|██████████████████████████████████████████████████████████████████████▊ | 224/364 [1:20:04<46:33, 19.95s/it][A + mmlu_gu: 62%|███████████████████████████████████████████████████████████████████████ | 225/364 [1:20:20<43:32, 18.79s/it][A + mmlu_gu: 62%|███████████████████████████████████████████████████████████████████████▍ | 226/364 [1:20:41<44:35, 19.39s/it][A + mmlu_gu: 62%|███████████████████████████████████████████████████████████████████████▋ | 227/364 [1:21:07<48:58, 21.45s/it][A + mmlu_gu: 63%|████████████████████████████████████████████████████████████████████████ | 228/364 [1:21:28<48:28, 21.39s/it][A + mmlu_gu: 63%|████████████████████████████████████████████████████████████████████████▎ | 229/364 [1:21:50<48:02, 21.36s/it][A + mmlu_gu: 63%|████████████████████████████████████████████████████████████████████████▋ | 230/364 [1:22:12<48:38, 21.78s/it][A + mmlu_gu: 63%|████████████████████████████████████████████████████████████████████████▉ | 231/364 [1:22:30<45:31, 20.54s/it][A + mmlu_gu: 64%|█████████████████████████████████████████████████████████████████████████▎ | 232/364 [1:22:49<43:58, 19.99s/it][A + mmlu_gu: 64%|█████████████████████████████████████████████████████████████████████████▌ | 233/364 [1:23:12<45:42, 20.94s/it][A + mmlu_gu: 64%|█████████████████████████████████████████████████████████████████████████▉ | 234/364 [1:23:34<46:31, 21.47s/it][A + mmlu_gu: 65%|██████████████████████████████████████████████████████████████████████████▏ | 235/364 [1:24:01<49:39, 23.09s/it][A + mmlu_gu: 65%|██████████████████████████████████████████████████████████████████████████▌ | 236/364 [1:24:27<50:36, 23.72s/it][A + mmlu_gu: 65%|██████████████████████████████████████████████████████████████████████████▉ | 237/364 [1:24:48<48:27, 22.90s/it][A + mmlu_gu: 65%|███████████████████████████████████████████████████████████████████████████▏ | 238/364 [1:25:09<47:26, 22.59s/it][A + mmlu_gu: 66%|███████████████████████████████████████████████████████████████████████████▌ | 239/364 [1:25:31<46:16, 22.21s/it][A + mmlu_gu: 66%|███████████████████████████████████████████████████████████████████████████▊ | 240/364 [1:25:48<43:04, 20.84s/it][A + mmlu_gu: 66%|████████████████████████████████████████████████████████████████████████████▏ | 241/364 [1:26:12<44:24, 21.66s/it][A + mmlu_gu: 66%|████████████████████████████████████████████████████████████████████████████▍ | 242/364 [1:26:31<42:26, 20.87s/it][A + mmlu_gu: 67%|████████████████████████████████████████████████████████████████████████████▊ | 243/364 [1:26:55<43:54, 21.77s/it][A + mmlu_gu: 67%|█████████████████████████████████████████████████████████████████████████████ | 244/364 [1:27:16<43:06, 21.55s/it][A + mmlu_gu: 67%|█████████████████████████████████████████████████████████████████████████████▍ | 245/364 [1:27:41<45:05, 22.73s/it][A + mmlu_gu: 68%|█████████████████████████████████████████████████████████████████████████████▋ | 246/364 [1:28:03<43:47, 22.27s/it][A + mmlu_gu: 68%|██████████████████████████████████████████████████████████████████████████████ | 247/364 [1:28:29<45:56, 23.56s/it][A + mmlu_gu: 68%|██████████████████████████████████████████████████████████████████████████████▎ | 248/364 [1:28:47<42:22, 21.92s/it][A + mmlu_gu: 68%|██████████████████████████████████████████████████████████████████████████████▋ | 249/364 [1:29:07<40:32, 21.15s/it][A + mmlu_gu: 69%|██████████████████████████████████████████████████████████████████████████████▉ | 250/364 [1:29:30<41:28, 21.83s/it][A + mmlu_gu: 69%|███████████████████████████████████████████████████████████████████████████████▎ | 251/364 [1:29:52<41:11, 21.87s/it][A + mmlu_gu: 69%|███████████████████████████████████████████████████████████████████████████████▌ | 252/364 [1:30:14<41:05, 22.01s/it][A + mmlu_gu: 70%|███████████████████████████████████████████████████████████████████████████████▉ | 253/364 [1:30:36<40:42, 22.00s/it][A + mmlu_gu: 70%|████████████████████████████████████████████████████████████████████████████████▏ | 254/364 [1:30:54<38:08, 20.81s/it][A + mmlu_gu: 70%|████████████████████████████████████████████████████████████████████████████████▌ | 255/364 [1:31:15<37:42, 20.76s/it][A + mmlu_gu: 70%|████████████████████████████████████████████████████████████████████████████████▉ | 256/364 [1:31:36<37:42, 20.95s/it][A + mmlu_gu: 71%|█████████████████████████████████████████████████████████████████████████████████▏ | 257/364 [1:31:54<35:30, 19.91s/it][A + mmlu_gu: 71%|█████████████████████████████████████████████████████████████████████████████████▌ | 258/364 [1:32:19<37:47, 21.39s/it][A + mmlu_gu: 71%|█████████████████████████████████████████████████████████████████████████████████▊ | 259/364 [1:32:46<40:20, 23.05s/it][A + mmlu_gu: 71%|██████████████████████████████████████████████████████████████████████████████████▏ | 260/364 [1:33:02<36:31, 21.07s/it][A + mmlu_gu: 72%|██████████████████████████████████████████████████████████████████████████████████▍ | 261/364 [1:33:22<35:40, 20.78s/it][A + mmlu_gu: 72%|██████████████████████████████████████████████████████████████████████████████████▊ | 262/364 [1:33:45<36:36, 21.53s/it][A + mmlu_gu: 72%|███████████████████████████████████████████████████████████████████████████████████ | 263/364 [1:34:08<36:34, 21.73s/it][A + mmlu_gu: 73%|███████████████████████████████████████████████████████████████████████████████████▍ | 264/364 [1:34:30<36:43, 22.03s/it][A + mmlu_gu: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 265/364 [1:34:51<35:41, 21.63s/it][A + mmlu_gu: 73%|████████████████████████████████████████████████████████████████████████████████████ | 266/364 [1:35:11<34:44, 21.27s/it][A + mmlu_gu: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 267/364 [1:35:31<33:24, 20.66s/it][A + mmlu_gu: 74%|████████████████████████████████████████████████████████████████████████████████████▋ | 268/364 [1:35:50<32:18, 20.19s/it][A + mmlu_gu: 74%|████████████████████████████████████████████████████████████████████████████████████▉ | 269/364 [1:36:10<32:12, 20.34s/it][A + mmlu_gu: 74%|█████████████████████████████████████████████████████████████████████████████████████▎ | 270/364 [1:36:35<33:57, 21.67s/it][A + mmlu_gu: 74%|█████████████████████████████████████████████████████████████████████████████████████▌ | 271/364 [1:36:55<32:38, 21.06s/it][A + mmlu_gu: 75%|█████████████████████████████████████████████████████████████████████████████████████▉ | 272/364 [1:37:19<33:49, 22.06s/it][A + mmlu_gu: 75%|██████████████████████████████████████████████████████████████████████████████████████▎ | 273/364 [1:37:42<33:36, 22.16s/it][A + mmlu_gu: 75%|██████████████████████████████████████████████████████████████████████████████████████▌ | 274/364 [1:38:06<34:23, 22.92s/it][A + mmlu_gu: 76%|██████████████████████████████████████████████████████████████████████████████████████▉ | 275/364 [1:38:26<32:25, 21.85s/it][A + mmlu_gu: 76%|███████████████████████████████████████████████████████████████████████████████████████▏ | 276/364 [1:38:48<32:02, 21.85s/it][A + mmlu_gu: 76%|███████████████████████████████████████████████████████████████████████████████████████▌ | 277/364 [1:39:08<31:10, 21.50s/it][A + mmlu_gu: 76%|███████████████████████████████████████████████████████████████████████████████████████▊ | 278/364 [1:39:27<29:46, 20.77s/it][A + mmlu_gu: 77%|████████████████████████████████████████████████████████████████████████████████████████▏ | 279/364 [1:39:49<29:36, 20.90s/it][A + mmlu_gu: 77%|████████████████████████████████████████████████████████████████████████████████████████▍ | 280/364 [1:40:08<28:42, 20.50s/it][A + mmlu_gu: 77%|████████████████████████████████████████████████████████████████████████████████████████▊ | 281/364 [1:40:35<30:50, 22.29s/it][A + mmlu_gu: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 282/364 [1:40:58<30:52, 22.59s/it][A + mmlu_gu: 78%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 283/364 [1:41:17<28:56, 21.44s/it][A + mmlu_gu: 78%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 284/364 [1:41:41<29:36, 22.20s/it][A + mmlu_gu: 78%|██████████████████████████████████████████████████████████████████████████████████████████ | 285/364 [1:42:00<28:00, 21.27s/it][A + mmlu_gu: 79%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 286/364 [1:42:21<27:36, 21.24s/it][A + mmlu_gu: 79%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 287/364 [1:42:49<29:49, 23.25s/it][A + mmlu_gu: 79%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 288/364 [1:43:14<30:08, 23.79s/it][A + mmlu_gu: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 289/364 [1:43:32<27:47, 22.23s/it][A + mmlu_gu: 80%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 290/364 [1:43:50<25:39, 20.81s/it][A + mmlu_gu: 80%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 291/364 [1:44:16<27:16, 22.41s/it][A + mmlu_gu: 80%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 292/364 [1:44:38<26:42, 22.26s/it][A + mmlu_gu: 80%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 293/364 [1:45:02<26:55, 22.76s/it][A + mmlu_gu: 81%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 294/364 [1:45:24<26:12, 22.47s/it][A + mmlu_gu: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 295/364 [1:45:41<23:52, 20.77s/it][A + mmlu_gu: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 296/364 [1:46:03<24:10, 21.33s/it][A + mmlu_gu: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 297/364 [1:46:31<25:51, 23.16s/it][A + mmlu_gu: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 298/364 [1:46:53<25:14, 22.94s/it][A + mmlu_gu: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 299/364 [1:47:13<23:48, 21.97s/it][A + mmlu_gu: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 300/364 [1:47:33<22:56, 21.51s/it][A + mmlu_gu: 83%|███████████████████████████████████████████████████████████████████████████████████████████████ | 301/364 [1:47:56<22:53, 21.80s/it][A + mmlu_gu: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 302/364 [1:48:18<22:37, 21.89s/it][A + mmlu_gu: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 303/364 [1:48:37<21:33, 21.21s/it][A + mmlu_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████████ | 304/364 [1:49:00<21:43, 21.73s/it][A + mmlu_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 305/364 [1:49:25<22:18, 22.69s/it][A + mmlu_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 306/364 [1:49:44<20:45, 21.47s/it][A + mmlu_gu: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 307/364 [1:50:04<20:04, 21.14s/it][A + mmlu_gu: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 308/364 [1:50:24<19:14, 20.61s/it][A + mmlu_gu: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 309/364 [1:50:44<18:51, 20.56s/it][A + mmlu_gu: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 310/364 [1:51:02<17:53, 19.89s/it][A + mmlu_gu: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 311/364 [1:51:20<16:58, 19.21s/it][A + mmlu_gu: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 312/364 [1:51:42<17:16, 19.93s/it][A + mmlu_gu: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 313/364 [1:51:58<15:57, 18.78s/it][A + mmlu_gu: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 314/364 [1:52:17<15:53, 19.06s/it][A + mmlu_gu: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 315/364 [1:52:39<16:14, 19.88s/it][A + mmlu_gu: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 316/364 [1:53:01<16:24, 20.51s/it][A + mmlu_gu: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 317/364 [1:53:19<15:29, 19.78s/it][A + mmlu_gu: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 318/364 [1:53:41<15:34, 20.30s/it][A + mmlu_gu: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 319/364 [1:54:08<16:49, 22.43s/it][A + mmlu_gu: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 320/364 [1:54:28<15:57, 21.77s/it][A + mmlu_gu: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 321/364 [1:54:49<15:17, 21.35s/it][A + mmlu_gu: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 322/364 [1:55:10<14:57, 21.37s/it][A + mmlu_gu: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 323/364 [1:55:28<13:47, 20.18s/it][A + mmlu_gu: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 324/364 [1:55:46<13:09, 19.74s/it][A + mmlu_gu: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 325/364 [1:56:08<13:17, 20.46s/it][A + mmlu_gu: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 326/364 [1:56:28<12:41, 20.04s/it][A + mmlu_gu: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 327/364 [1:56:45<11:54, 19.32s/it][A + mmlu_gu: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 328/364 [1:57:04<11:32, 19.22s/it][A + mmlu_gu: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/364 [1:57:28<11:58, 20.51s/it][A + mmlu_gu: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 330/364 [1:57:50<11:52, 20.95s/it][A + mmlu_gu: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 331/364 [1:58:17<12:36, 22.92s/it][A + mmlu_gu: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 332/364 [1:58:37<11:46, 22.08s/it][A + mmlu_gu: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 333/364 [1:59:01<11:38, 22.55s/it][A + mmlu_gu: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 334/364 [1:59:22<11:06, 22.23s/it][A + mmlu_gu: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 335/364 [1:59:43<10:30, 21.76s/it][A + mmlu_gu: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 336/364 [2:00:03<09:50, 21.10s/it][A + mmlu_gu: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 337/364 [2:00:17<08:39, 19.23s/it][A + mmlu_gu: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 338/364 [2:00:37<08:18, 19.16s/it][A + mmlu_gu: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 339/364 [2:01:00<08:32, 20.49s/it][A + mmlu_gu: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 340/364 [2:01:22<08:20, 20.84s/it][A + mmlu_gu: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 341/364 [2:01:37<07:23, 19.27s/it][A + mmlu_gu: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 342/364 [2:02:03<07:44, 21.10s/it][A + mmlu_gu: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 343/364 [2:02:26<07:37, 21.76s/it][A + mmlu_gu: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 344/364 [2:02:50<07:30, 22.52s/it][A + mmlu_gu: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 345/364 [2:03:11<06:58, 22.04s/it][A + mmlu_gu: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 346/364 [2:03:30<06:18, 21.01s/it][A + mmlu_gu: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 347/364 [2:03:50<05:50, 20.60s/it][A + mmlu_gu: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 348/364 [2:04:12<05:37, 21.10s/it][A + mmlu_gu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 349/364 [2:04:35<05:26, 21.74s/it][A + mmlu_gu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 350/364 [2:05:00<05:16, 22.62s/it][A + mmlu_gu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 351/364 [2:05:23<04:58, 22.95s/it][A + mmlu_gu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 352/364 [2:05:44<04:26, 22.23s/it][A + mmlu_gu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 353/364 [2:06:07<04:07, 22.48s/it][A + mmlu_gu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 354/364 [2:06:26<03:35, 21.51s/it][A + mmlu_gu: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 355/364 [2:06:52<03:25, 22.87s/it][A + mmlu_gu: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 356/364 [2:07:14<03:01, 22.64s/it][A + mmlu_gu: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 357/364 [2:07:35<02:33, 21.95s/it][A + mmlu_gu: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 358/364 [2:07:56<02:11, 21.86s/it][A + mmlu_gu: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/364 [2:08:22<01:55, 23.03s/it][A + mmlu_gu: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/364 [2:08:42<01:28, 22.03s/it][A + mmlu_gu: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/364 [2:09:02<01:04, 21.51s/it][A + mmlu_gu: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 362/364 [2:09:23<00:42, 21.27s/it][A + mmlu_gu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 363/364 [2:09:47<00:22, 22.02s/it][A + mmlu_gu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 364/364 [2:10:02<00:00, 19.89s/it][A mmlu_gu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 364/364 [2:10:02<00:00, 21.43s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_gu_acc 0.25612376450365276 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_gu_acc_norm 0.2795015040825097 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 01:08:54,367 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 01:08:54,367 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:54,494 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 01:08:54,494 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:54,621 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 01:08:54,621 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:54,747 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 01:08:54,748 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 01:08:54,748 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 01:08:54,876 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 01:08:54,876 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_gu_acc'} +2024-05-31 01:08:54,941 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 01:08:54,941 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1219, 'value': 0.25612376450365276} +2024-05-31 01:08:55,005 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 01:08:55,639 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 01:08:55,639 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:55,764 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 01:08:55,764 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:55,888 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 01:08:55,889 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:56,013 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 01:08:56,014 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 01:08:56,014 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 01:08:56,139 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 01:08:56,139 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_gu_acc_norm'} +2024-05-31 01:08:56,203 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 01:08:56,203 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1220, 'value': 0.2795015040825097} +2024-05-31 01:08:56,266 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 57%|█████████████████████████████████████████████████████████████▊ | 71/124 [42:21:25<66:42:00, 4530.57s/it]['mmlu_hi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 01:08:56,920 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 01:08:56,920 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:57,049 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 01:08:57,049 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:57,178 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 01:08:57,179 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 01:08:57,308 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 01:08:57,308 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 01:08:57,308 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_hi'} +2024-05-31 01:08:57,438 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_hi task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1656 examples [00:00, 13266.45 examples/s][A + Generating test split: 4960 examples [00:00, 23815.29 examples/s][A + Generating test split: 8062 examples [00:00, 26926.93 examples/s][A + Generating test split: 11400 examples [00:00, 29389.48 examples/s][A Generating test split: 12437 examples [00:00, 26675.80 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 235 examples [00:00, 26435.87 examples/s] +Running loglikelihood requests + + mmlu_hi: 0%| | 0/389 [00:00<?, ?it/s][A + mmlu_hi: 0%|▎ | 1/389 [00:14<1:30:45, 14.04s/it][A + mmlu_hi: 1%|▌ | 2/389 [00:28<1:33:35, 14.51s/it][A + mmlu_hi: 1%|▉ | 3/389 [00:47<1:45:52, 16.46s/it][A + mmlu_hi: 1%|█▏ | 4/389 [01:03<1:44:55, 16.35s/it][A + mmlu_hi: 1%|█▌ | 5/389 [01:21<1:46:51, 16.70s/it][A + mmlu_hi: 2%|█▊ | 6/389 [01:36<1:44:37, 16.39s/it][A + mmlu_hi: 2%|██ | 7/389 [01:53<1:44:03, 16.35s/it][A + mmlu_hi: 2%|██▍ | 8/389 [02:06<1:36:55, 15.26s/it][A + mmlu_hi: 2%|██▋ | 9/389 [02:20<1:34:02, 14.85s/it][A + mmlu_hi: 3%|██▉ | 10/389 [02:39<1:42:41, 16.26s/it][A + mmlu_hi: 3%|███▎ | 11/389 [02:56<1:43:57, 16.50s/it][A + mmlu_hi: 3%|███▌ | 12/389 [03:11<1:40:52, 16.05s/it][A + mmlu_hi: 3%|███▉ | 13/389 [03:25<1:37:06, 15.50s/it][A + mmlu_hi: 4%|████▏ | 14/389 [03:44<1:43:18, 16.53s/it][A + mmlu_hi: 4%|████▍ | 15/389 [03:59<1:40:23, 16.10s/it][A + mmlu_hi: 4%|████▊ | 16/389 [04:13<1:35:49, 15.41s/it][A + mmlu_hi: 4%|█████ | 17/389 [04:33<1:43:19, 16.67s/it][A + mmlu_hi: 5%|█████▎ | 18/389 [04:51<1:45:11, 17.01s/it][A + mmlu_hi: 5%|█████▋ | 19/389 [05:05<1:39:22, 16.12s/it][A + mmlu_hi: 5%|█████▉ | 20/389 [05:20<1:38:38, 16.04s/it][A + mmlu_hi: 5%|██████▎ | 21/389 [05:37<1:39:10, 16.17s/it][A + mmlu_hi: 6%|██████▌ | 22/389 [05:52<1:36:42, 15.81s/it][A + mmlu_hi: 6%|██████▊ | 23/389 [06:08<1:37:50, 16.04s/it][A + mmlu_hi: 6%|███████▏ | 24/389 [06:23<1:34:42, 15.57s/it][A + mmlu_hi: 6%|███████▍ | 25/389 [06:38<1:33:27, 15.40s/it][A + mmlu_hi: 7%|███████▊ | 26/389 [06:56<1:38:08, 16.22s/it][A + mmlu_hi: 7%|████████ | 27/389 [07:13<1:38:36, 16.34s/it][A + mmlu_hi: 7%|████████▎ | 28/389 [07:28<1:35:35, 15.89s/it][A + mmlu_hi: 7%|████████▋ | 29/389 [07:45<1:37:33, 16.26s/it][A + mmlu_hi: 8%|████████▉ | 30/389 [07:59<1:34:38, 15.82s/it][A + mmlu_hi: 8%|█████████▏ | 31/389 [08:15<1:34:13, 15.79s/it][A + mmlu_hi: 8%|█████████▌ | 32/389 [08:33<1:37:19, 16.36s/it][A + mmlu_hi: 8%|█████████▊ | 33/389 [08:50<1:38:04, 16.53s/it][A + mmlu_hi: 9%|██████████▏ | 34/389 [09:06<1:37:38, 16.50s/it][A + mmlu_hi: 9%|██████████▍ | 35/389 [09:24<1:38:59, 16.78s/it][A + mmlu_hi: 9%|██████████▋ | 36/389 [09:36<1:30:52, 15.45s/it][A + mmlu_hi: 10%|███████████ | 37/389 [09:52<1:31:28, 15.59s/it][A + mmlu_hi: 10%|███████████▎ | 38/389 [10:07<1:29:35, 15.31s/it][A + mmlu_hi: 10%|███████████▋ | 39/389 [10:22<1:29:33, 15.35s/it][A + mmlu_hi: 10%|███████████▉ | 40/389 [10:40<1:34:14, 16.20s/it][A + mmlu_hi: 11%|████████████▏ | 41/389 [10:57<1:34:56, 16.37s/it][A + mmlu_hi: 11%|████████████▌ | 42/389 [11:12<1:33:01, 16.08s/it][A + mmlu_hi: 11%|████████████▊ | 43/389 [11:27<1:30:46, 15.74s/it][A + mmlu_hi: 11%|█████████████ | 44/389 [11:46<1:35:06, 16.54s/it][A + mmlu_hi: 12%|█████████████▍ | 45/389 [12:01<1:32:10, 16.08s/it][A + mmlu_hi: 12%|█████████████▋ | 46/389 [12:19<1:35:04, 16.63s/it][A + mmlu_hi: 12%|██████████████ | 47/389 [12:36<1:35:47, 16.80s/it][A + mmlu_hi: 12%|██████████████▎ | 48/389 [12:52<1:35:14, 16.76s/it][A + mmlu_hi: 13%|██████████████▌ | 49/389 [13:09<1:34:40, 16.71s/it][A + mmlu_hi: 13%|██████████████▉ | 50/389 [13:23<1:29:37, 15.86s/it][A + mmlu_hi: 13%|███████████████▏ | 51/389 [13:37<1:26:37, 15.38s/it][A + mmlu_hi: 13%|███████████████▌ | 52/389 [13:51<1:23:19, 14.83s/it][A + mmlu_hi: 14%|███████████████▊ | 53/389 [14:08<1:27:47, 15.68s/it][A + mmlu_hi: 14%|████████████████ | 54/389 [14:25<1:29:44, 16.07s/it][A + mmlu_hi: 14%|████████████████▍ | 55/389 [14:41<1:28:53, 15.97s/it][A + mmlu_hi: 14%|████████████████▋ | 56/389 [14:57<1:28:34, 15.96s/it][A + mmlu_hi: 15%|████████████████▉ | 57/389 [15:12<1:27:14, 15.77s/it][A + mmlu_hi: 15%|█████████████████▎ | 58/389 [15:27<1:25:49, 15.56s/it][A + mmlu_hi: 15%|█████████████████▌ | 59/389 [15:43<1:25:28, 15.54s/it][A + mmlu_hi: 15%|█████████████████▉ | 60/389 [15:58<1:23:34, 15.24s/it][A + mmlu_hi: 16%|██████████████████▏ | 61/389 [16:11<1:21:08, 14.84s/it][A + mmlu_hi: 16%|██████████████████▍ | 62/389 [16:23<1:15:09, 13.79s/it][A + mmlu_hi: 16%|██████████████████▊ | 63/389 [16:37<1:16:17, 14.04s/it][A + mmlu_hi: 16%|███████████████████ | 64/389 [16:52<1:16:24, 14.11s/it][A + mmlu_hi: 17%|███████████████████▍ | 65/389 [17:08<1:19:03, 14.64s/it][A + mmlu_hi: 17%|███████████████████▋ | 66/389 [17:21<1:17:36, 14.42s/it][A + mmlu_hi: 17%|███████████████████▉ | 67/389 [17:37<1:19:55, 14.89s/it][A + mmlu_hi: 17%|████████████████████▎ | 68/389 [17:53<1:21:15, 15.19s/it][A + mmlu_hi: 18%|████████████████████▌ | 69/389 [18:07<1:19:10, 14.85s/it][A + mmlu_hi: 18%|████████████████████▊ | 70/389 [18:22<1:19:21, 14.93s/it][A + mmlu_hi: 18%|█████████████████████▏ | 71/389 [18:38<1:19:59, 15.09s/it][A + mmlu_hi: 19%|█████████████████████▍ | 72/389 [18:53<1:19:14, 15.00s/it][A + mmlu_hi: 19%|█████████████████████▊ | 73/389 [19:08<1:19:31, 15.10s/it][A + mmlu_hi: 19%|██████████████████████ | 74/389 [19:25<1:22:08, 15.65s/it][A + mmlu_hi: 19%|██████████████████████▎ | 75/389 [19:40<1:21:15, 15.53s/it][A + mmlu_hi: 20%|██████████████████████▋ | 76/389 [19:56<1:21:55, 15.71s/it][A + mmlu_hi: 20%|██████████████████████▉ | 77/389 [20:12<1:22:10, 15.80s/it][A + mmlu_hi: 20%|███████████████████████▎ | 78/389 [20:29<1:23:55, 16.19s/it][A + mmlu_hi: 20%|███████████████████████▌ | 79/389 [20:43<1:20:15, 15.53s/it][A + mmlu_hi: 21%|███████████████████████▊ | 80/389 [20:59<1:20:38, 15.66s/it][A + mmlu_hi: 21%|████████████████████████▏ | 81/389 [21:17<1:23:34, 16.28s/it][A + mmlu_hi: 21%|████████████████████████▍ | 82/389 [21:36<1:27:41, 17.14s/it][A + mmlu_hi: 21%|████████████████████████▊ | 83/389 [21:52<1:25:01, 16.67s/it][A + mmlu_hi: 22%|█████████████████████████ | 84/389 [22:07<1:23:07, 16.35s/it][A + mmlu_hi: 22%|█████████████████████████▎ | 85/389 [22:23<1:22:09, 16.21s/it][A + mmlu_hi: 22%|█████████████████████████▋ | 86/389 [22:40<1:23:07, 16.46s/it][A + mmlu_hi: 22%|█████████████████████████▉ | 87/389 [22:54<1:17:51, 15.47s/it][A + mmlu_hi: 23%|██████████████████████████▏ | 88/389 [23:11<1:20:09, 15.98s/it][A + mmlu_hi: 23%|██████████████████████████▌ | 89/389 [23:27<1:20:30, 16.10s/it][A + mmlu_hi: 23%|██████████████████████████▊ | 90/389 [23:41<1:16:10, 15.29s/it][A + mmlu_hi: 23%|███████████████████████████▏ | 91/389 [23:57<1:17:28, 15.60s/it][A + mmlu_hi: 24%|███████████████████████████▍ | 92/389 [24:17<1:24:28, 17.07s/it][A + mmlu_hi: 24%|███████████████████████████▋ | 93/389 [24:33<1:22:29, 16.72s/it][A + mmlu_hi: 24%|████████████████████████████ | 94/389 [24:50<1:22:14, 16.73s/it][A + mmlu_hi: 24%|████████████████████████████▎ | 95/389 [25:08<1:23:06, 16.96s/it][A + mmlu_hi: 25%|████████████████████████████▋ | 96/389 [25:22<1:18:57, 16.17s/it][A + mmlu_hi: 25%|████████████████████████████▉ | 97/389 [25:36<1:15:26, 15.50s/it][A + mmlu_hi: 25%|█████████████████████████████▏ | 98/389 [25:52<1:15:41, 15.61s/it][A + mmlu_hi: 25%|█████████████████████████████▌ | 99/389 [26:07<1:15:35, 15.64s/it][A + mmlu_hi: 26%|█████████████████████████████▌ | 100/389 [26:24<1:17:09, 16.02s/it][A + mmlu_hi: 26%|█████████████████████████████▊ | 101/389 [26:40<1:16:37, 15.96s/it][A + mmlu_hi: 26%|██████████████████████████████▏ | 102/389 [26:54<1:13:51, 15.44s/it][A + mmlu_hi: 26%|██████████████████████████████▍ | 103/389 [27:08<1:11:29, 15.00s/it][A + mmlu_hi: 27%|██████████████████████████████▋ | 104/389 [27:23<1:10:57, 14.94s/it][A + mmlu_hi: 27%|███████████████████████████████ | 105/389 [27:37<1:09:02, 14.59s/it][A + mmlu_hi: 27%|███████████████████████████████▎ | 106/389 [27:57<1:16:07, 16.14s/it][A + mmlu_hi: 28%|███████████████████████████████▋ | 107/389 [28:13<1:15:56, 16.16s/it][A + mmlu_hi: 28%|███████████████████████████████▉ | 108/389 [28:29<1:15:25, 16.11s/it][A + mmlu_hi: 28%|████████████████████████████████▏ | 109/389 [28:42<1:11:00, 15.22s/it][A + mmlu_hi: 28%|████████████████████████████████▌ | 110/389 [28:55<1:08:23, 14.71s/it][A + mmlu_hi: 29%|████████████████████████████████▊ | 111/389 [29:10<1:08:03, 14.69s/it][A + mmlu_hi: 29%|█████████████████████████████████ | 112/389 [29:24<1:06:25, 14.39s/it][A + mmlu_hi: 29%|█████████████████████████████████▍ | 113/389 [29:42<1:11:29, 15.54s/it][A + mmlu_hi: 29%|█████████████████████████████████▋ | 114/389 [30:00<1:14:34, 16.27s/it][A + mmlu_hi: 30%|█████████████████████████████████▉ | 115/389 [30:16<1:14:28, 16.31s/it][A + mmlu_hi: 30%|██████████████████████████████████▎ | 116/389 [30:32<1:12:44, 15.99s/it][A + mmlu_hi: 30%|██████████████████████████████████▌ | 117/389 [30:46<1:10:53, 15.64s/it][A + mmlu_hi: 30%|██████████████████████████████████▉ | 118/389 [31:03<1:11:42, 15.88s/it][A + mmlu_hi: 31%|███████████████████████████████████▏ | 119/389 [31:21<1:14:02, 16.46s/it][A + mmlu_hi: 31%|███████████████████████████████████▍ | 120/389 [31:37<1:13:34, 16.41s/it][A + mmlu_hi: 31%|███████████████████████████████████▊ | 121/389 [31:51<1:09:50, 15.64s/it][A + mmlu_hi: 31%|████████████████████████████████████ | 122/389 [32:04<1:06:40, 14.98s/it][A + mmlu_hi: 32%|████████████████████████████████████▎ | 123/389 [32:20<1:07:48, 15.29s/it][A + mmlu_hi: 32%|████████████████████████████████████▋ | 124/389 [32:38<1:11:14, 16.13s/it][A + mmlu_hi: 32%|████████████████████████████████████▉ | 125/389 [32:50<1:05:21, 14.85s/it][A + mmlu_hi: 32%|█████████████████████████████████████▏ | 126/389 [33:07<1:07:28, 15.40s/it][A + mmlu_hi: 33%|█████████████████████████████████████▌ | 127/389 [33:22<1:06:12, 15.16s/it][A + mmlu_hi: 33%|█████████████████████████████████████▊ | 128/389 [33:38<1:07:13, 15.45s/it][A + mmlu_hi: 33%|██████████████████████████████████████▏ | 129/389 [33:52<1:05:50, 15.19s/it][A + mmlu_hi: 33%|██████████████████████████████████████▍ | 130/389 [34:08<1:06:30, 15.41s/it][A + mmlu_hi: 34%|██████████████████████████████████████▋ | 131/389 [34:23<1:05:42, 15.28s/it][A + mmlu_hi: 34%|███████████████████████████████████████ | 132/389 [34:39<1:06:51, 15.61s/it][A + mmlu_hi: 34%|███████████████████████████████████████▎ | 133/389 [34:55<1:07:01, 15.71s/it][A + mmlu_hi: 34%|███████████████████████████████████████▌ | 134/389 [35:11<1:06:16, 15.59s/it][A + mmlu_hi: 35%|███████████████████████████████████████▉ | 135/389 [35:29<1:08:48, 16.26s/it][A + mmlu_hi: 35%|████████████████████████████████████████▏ | 136/389 [35:44<1:07:25, 15.99s/it][A + mmlu_hi: 35%|████████████████████████████████████████▌ | 137/389 [36:03<1:10:42, 16.83s/it][A + mmlu_hi: 35%|████████████████████████████████████████▊ | 138/389 [36:19<1:09:57, 16.72s/it][A + mmlu_hi: 36%|█████████████████████████████████████████ | 139/389 [36:36<1:09:56, 16.79s/it][A + mmlu_hi: 36%|█████████████████████████████████████████▍ | 140/389 [36:52<1:08:43, 16.56s/it][A + mmlu_hi: 36%|█████████████████████████████████████████▋ | 141/389 [37:08<1:07:41, 16.38s/it][A + mmlu_hi: 37%|█████████████████████████████████████████▉ | 142/389 [37:24<1:06:32, 16.16s/it][A + mmlu_hi: 37%|██████████████████████████████████████████▎ | 143/389 [37:39<1:05:33, 15.99s/it][A + mmlu_hi: 37%|██████████████████████████████████████████▌ | 144/389 [37:55<1:04:30, 15.80s/it][A + mmlu_hi: 37%|██████████████████████████████████████████▊ | 145/389 [38:11<1:04:57, 15.97s/it][A + mmlu_hi: 38%|███████████████████████████████████████████▏ | 146/389 [38:28<1:06:05, 16.32s/it][A + mmlu_hi: 38%|███████████████████████████████████████████▍ | 147/389 [38:43<1:03:58, 15.86s/it][A + mmlu_hi: 38%|███████████████████████████████████████████▊ | 148/389 [38:57<1:01:56, 15.42s/it][A + mmlu_hi: 38%|████████████████████████████████████████████ | 149/389 [39:14<1:03:04, 15.77s/it][A + mmlu_hi: 39%|████████████████████████████████████████████▎ | 150/389 [39:30<1:03:01, 15.82s/it][A + mmlu_hi: 39%|████████████████████████████████████████████▋ | 151/389 [39:44<1:00:08, 15.16s/it][A + mmlu_hi: 39%|████████████████████████████████████████████▉ | 152/389 [39:59<1:00:41, 15.37s/it][A + mmlu_hi: 39%|██████████████████████████████████████████████ | 153/389 [40:13<58:52, 14.97s/it][A + mmlu_hi: 40%|█████████████████████████████████████████████▌ | 154/389 [40:31<1:01:39, 15.74s/it][A + mmlu_hi: 40%|█████████████████████████████████████████████▊ | 155/389 [40:47<1:01:40, 15.81s/it][A + mmlu_hi: 40%|██████████████████████████████████████████████ | 156/389 [41:04<1:02:56, 16.21s/it][A + mmlu_hi: 40%|██████████████████████████████████████████████▍ | 157/389 [41:21<1:03:47, 16.50s/it][A + mmlu_hi: 41%|██████████████████████████████████████████████▋ | 158/389 [41:39<1:04:33, 16.77s/it][A + mmlu_hi: 41%|███████████████████████████████████████████████ | 159/389 [41:57<1:06:35, 17.37s/it][A + mmlu_hi: 41%|███████████████████████████████████████████████▎ | 160/389 [42:14<1:05:01, 17.04s/it][A + mmlu_hi: 41%|███████████████████████████████████████████████▌ | 161/389 [42:36<1:10:54, 18.66s/it][A + mmlu_hi: 42%|███████████████████████████████████████████████▉ | 162/389 [42:53<1:08:17, 18.05s/it][A + mmlu_hi: 42%|████████████████████████████████████████████████▏ | 163/389 [43:10<1:07:33, 17.94s/it][A + mmlu_hi: 42%|████████████████████████████████████████████████▍ | 164/389 [43:29<1:07:25, 17.98s/it][A + mmlu_hi: 42%|████████████████████████████████████████████████▊ | 165/389 [43:43<1:02:54, 16.85s/it][A + mmlu_hi: 43%|█████████████████████████████████████████████████ | 166/389 [43:58<1:00:54, 16.39s/it][A + mmlu_hi: 43%|█████████████████████████████████████████████████▎ | 167/389 [44:15<1:01:46, 16.70s/it][A + mmlu_hi: 43%|██████████████████████████████████████████████████▌ | 168/389 [44:31<59:57, 16.28s/it][A + mmlu_hi: 43%|██████████████████████████████████████████████████▊ | 169/389 [44:45<57:16, 15.62s/it][A + mmlu_hi: 44%|███████████████████████████████████████████████████▏ | 170/389 [45:01<57:57, 15.88s/it][A + mmlu_hi: 44%|███████████████████████████████████████████████████▍ | 171/389 [45:18<58:26, 16.08s/it][A + mmlu_hi: 44%|███████████████████████████████████████████████████▋ | 172/389 [45:35<59:05, 16.34s/it][A + mmlu_hi: 44%|████████████████████████████████████████████████████ | 173/389 [45:50<57:23, 15.94s/it][A + mmlu_hi: 45%|████████████████████████████████████████████████████▎ | 174/389 [46:05<56:06, 15.66s/it][A + mmlu_hi: 45%|████████████████████████████████████████████████████▋ | 175/389 [46:21<55:57, 15.69s/it][A + mmlu_hi: 45%|████████████████████████████████████████████████████▉ | 176/389 [46:37<55:58, 15.77s/it][A + mmlu_hi: 46%|█████████████████████████████████████████████████████▏ | 177/389 [46:53<55:58, 15.84s/it][A + mmlu_hi: 46%|█████████████████████████████████████████████████████▌ | 178/389 [47:09<56:22, 16.03s/it][A + mmlu_hi: 46%|█████████████████████████████████████████████████████▊ | 179/389 [47:22<53:22, 15.25s/it][A + mmlu_hi: 46%|██████████████████████████████████████████████████████▏ | 180/389 [47:37<52:08, 14.97s/it][A + mmlu_hi: 47%|██████████████████████████████████████████████████████▍ | 181/389 [47:53<52:50, 15.24s/it][A + mmlu_hi: 47%|██████████████████████████████████████████████████████▋ | 182/389 [48:08<52:29, 15.22s/it][A + mmlu_hi: 47%|███████████████████████████████████████████████████████ | 183/389 [48:23<52:37, 15.33s/it][A + mmlu_hi: 47%|███████████████████████████████████████████████████████▎ | 184/389 [48:42<55:35, 16.27s/it][A + mmlu_hi: 48%|███████████████████████████████████████████████████████▋ | 185/389 [48:56<52:50, 15.54s/it][A + mmlu_hi: 48%|███████████████████████████████████████████████████████▉ | 186/389 [49:10<51:09, 15.12s/it][A + mmlu_hi: 48%|████████████████████████████████████████████████████████▏ | 187/389 [49:23<48:36, 14.44s/it][A + mmlu_hi: 48%|████████████████████████████████████████████████████████▌ | 188/389 [49:38<49:24, 14.75s/it][A + mmlu_hi: 49%|████████████████████████████████████████████████████████▊ | 189/389 [49:55<50:50, 15.25s/it][A + mmlu_hi: 49%|█████████████████████████████████████████████████████████▏ | 190/389 [50:11<52:03, 15.70s/it][A + mmlu_hi: 49%|█████████████████████████████████████████████████████████▍ | 191/389 [50:28<52:15, 15.84s/it][A + mmlu_hi: 49%|█████████████████████████████████████████████████████████▋ | 192/389 [50:41<49:47, 15.17s/it][A + mmlu_hi: 50%|██████████████████████████████████████████████████████████ | 193/389 [50:59<52:41, 16.13s/it][A + mmlu_hi: 50%|██████████████████████████████████████████████████████████▎ | 194/389 [51:14<50:31, 15.55s/it][A + mmlu_hi: 50%|██████████████████████████████████████████████████████████▋ | 195/389 [51:29<49:38, 15.35s/it][A + mmlu_hi: 50%|██████████████████████████████████████████████████████████▉ | 196/389 [51:42<47:52, 14.88s/it][A + mmlu_hi: 51%|███████████████████████████████████████████████████████████▎ | 197/389 [51:58<48:26, 15.14s/it][A + mmlu_hi: 51%|███████████████████████████████████████████████████████████▌ | 198/389 [52:15<50:00, 15.71s/it][A + mmlu_hi: 51%|███████████████████████████████████████████████████████████▊ | 199/389 [52:32<51:10, 16.16s/it][A + mmlu_hi: 51%|████████████████████████████████████████████████████████████▏ | 200/389 [52:49<51:10, 16.25s/it][A + mmlu_hi: 52%|████████████████████████████████████████████████████████████▍ | 201/389 [53:04<49:55, 15.94s/it][A + mmlu_hi: 52%|████████████████████████████████████████████████████████████▊ | 202/389 [53:17<47:18, 15.18s/it][A + mmlu_hi: 52%|█████████████████████████████████████████████████████████████ | 203/389 [53:34<47:59, 15.48s/it][A + mmlu_hi: 52%|█████████████████████████████████████████████████████████████▎ | 204/389 [53:51<49:28, 16.04s/it][A + mmlu_hi: 53%|█████████████████████████████████████████████████████████████▋ | 205/389 [54:06<48:11, 15.71s/it][A + mmlu_hi: 53%|█████████████████████████████████████████████████████████████▉ | 206/389 [54:23<48:54, 16.04s/it][A + mmlu_hi: 53%|██████████████████████████████████████████████████████████████▎ | 207/389 [54:37<46:55, 15.47s/it][A + mmlu_hi: 53%|██████████████████████████████████████████████████████████████▌ | 208/389 [54:54<48:15, 16.00s/it][A + mmlu_hi: 54%|██████████████████████████████████████████████████████████████▊ | 209/389 [55:07<45:29, 15.16s/it][A + mmlu_hi: 54%|███████████████████████████████████████████████████████████████▏ | 210/389 [55:22<44:38, 14.96s/it][A + mmlu_hi: 54%|███████████████████████████████████████████████████████████████▍ | 211/389 [55:39<46:35, 15.70s/it][A + mmlu_hi: 54%|███████████████████████████████████████████████████████████████▊ | 212/389 [55:54<45:26, 15.41s/it][A + mmlu_hi: 55%|████████████████████████████████████████████████████████████████ | 213/389 [56:09<44:44, 15.25s/it][A + mmlu_hi: 55%|████████████████████████████████████████████████████████████████▎ | 214/389 [56:29<48:44, 16.71s/it][A + mmlu_hi: 55%|████████████████████████████████████████████████████████████████▋ | 215/389 [56:46<48:41, 16.79s/it][A + mmlu_hi: 56%|████████████████████████████████████████████████████████████████▉ | 216/389 [57:03<48:22, 16.78s/it][A + mmlu_hi: 56%|█████████████████████████████████████████████████████████████████▎ | 217/389 [57:17<46:13, 16.12s/it][A + mmlu_hi: 56%|█████████████████████████████████████████████████████████████████▌ | 218/389 [57:36<48:19, 16.96s/it][A + mmlu_hi: 56%|█████████████████████████████████████████████████████████████████▊ | 219/389 [57:50<45:45, 16.15s/it][A + mmlu_hi: 57%|██████████████████████████████████████████████████████████████████▏ | 220/389 [58:06<44:45, 15.89s/it][A + mmlu_hi: 57%|██████████████████████████████████████████████████████████████████▍ | 221/389 [58:22<44:31, 15.90s/it][A + mmlu_hi: 57%|██████████████████████████████████████████████████████████████████▊ | 222/389 [58:37<43:44, 15.71s/it][A + mmlu_hi: 57%|███████████████████████████████████████████████████████████████████ | 223/389 [58:53<43:53, 15.87s/it][A + mmlu_hi: 58%|███████████████████████████████████████████████████████████████████▎ | 224/389 [59:07<42:22, 15.41s/it][A + mmlu_hi: 58%|███████████████████████████████████████████████████████████████████▋ | 225/389 [59:23<42:15, 15.46s/it][A + mmlu_hi: 58%|███████████████████████████████████████████████████████████████████▉ | 226/389 [59:39<42:32, 15.66s/it][A + mmlu_hi: 58%|████████████████████████████████████████████████████████████████████▎ | 227/389 [59:55<42:08, 15.61s/it][A + mmlu_hi: 59%|███████████████████████████████████████████████████████████████████▍ | 228/389 [1:00:08<40:09, 14.97s/it][A + mmlu_hi: 59%|███████████████████████████████████████████████████████████████████▋ | 229/389 [1:00:24<40:21, 15.14s/it][A + mmlu_hi: 59%|███████████████████████████████████████████████████████████████████▉ | 230/389 [1:00:42<42:45, 16.13s/it][A + mmlu_hi: 59%|████████████████████████████████████████████████████████████████████▎ | 231/389 [1:00:59<42:49, 16.26s/it][A + mmlu_hi: 60%|████████████████████████████████████████████████████████████████████▌ | 232/389 [1:01:18<44:40, 17.07s/it][A + mmlu_hi: 60%|████████████████████████████████████████████████████████████████████▉ | 233/389 [1:01:32<42:22, 16.30s/it][A + mmlu_hi: 60%|█████████████████████████████████████████████████████████████████████▏ | 234/389 [1:01:50<43:38, 16.89s/it][A + mmlu_hi: 60%|█████████████████████████████████████████████████████████████████████▍ | 235/389 [1:02:07<42:47, 16.67s/it][A + mmlu_hi: 61%|█████████████████████████████████████████████████████████████████████▊ | 236/389 [1:02:20<40:16, 15.79s/it][A + mmlu_hi: 61%|██████████████████████████████████████████████████████████████████████ | 237/389 [1:02:36<39:57, 15.77s/it][A + mmlu_hi: 61%|██████████████████████████████████████████████████████████████████████▎ | 238/389 [1:02:49<37:28, 14.89s/it][A + mmlu_hi: 61%|██████████████████████████████████████████████████████████████████████▋ | 239/389 [1:03:08<40:29, 16.19s/it][A + mmlu_hi: 62%|██████████████████████████████████████████████████████████████████████▉ | 240/389 [1:03:23<39:15, 15.81s/it][A + mmlu_hi: 62%|███████████████████████████████████████████████████████████████████████▏ | 241/389 [1:03:41<40:35, 16.45s/it][A + mmlu_hi: 62%|███████████████████████████████████████████████████████████████████████▌ | 242/389 [1:03:57<40:09, 16.39s/it][A + mmlu_hi: 62%|███████████████████████████████████████████████████████████████████████▊ | 243/389 [1:04:10<36:53, 15.16s/it][A + mmlu_hi: 63%|████████████████████████████████████████████████████████████████████████▏ | 244/389 [1:04:28<38:45, 16.04s/it][A + mmlu_hi: 63%|████████████████████████████████████████████████████████████████████████▍ | 245/389 [1:04:46<40:08, 16.72s/it][A + mmlu_hi: 63%|████████████████████████████████████████████████████████████████████████▋ | 246/389 [1:05:04<40:48, 17.12s/it][A + mmlu_hi: 63%|█████████████████████████████████████████████████████████████████████████ | 247/389 [1:05:19<39:01, 16.49s/it][A + mmlu_hi: 64%|█████████████████████████████████████████████████████████████████████████▎ | 248/389 [1:05:38<40:14, 17.13s/it][A + mmlu_hi: 64%|█████████████████████████████████████████████████████████████████████████▌ | 249/389 [1:05:51<37:14, 15.96s/it][A + mmlu_hi: 64%|█████████████████████████████████████████████████████████████████████████▉ | 250/389 [1:06:08<37:38, 16.25s/it][A + mmlu_hi: 65%|██████████████████████████████████████████████████████████████████████████▏ | 251/389 [1:06:23<36:59, 16.09s/it][A + mmlu_hi: 65%|██████████████████████████████████████████████████████████████████████████▍ | 252/389 [1:06:38<35:55, 15.74s/it][A + mmlu_hi: 65%|██████████████████████████████████████████████████████████████████████████▊ | 253/389 [1:06:56<37:12, 16.41s/it][A + mmlu_hi: 65%|███████████████████████████████████████████████████████████████████████████ | 254/389 [1:07:15<38:14, 16.99s/it][A + mmlu_hi: 66%|███████████████████████████████████████████████████████████████████████████▍ | 255/389 [1:07:32<37:59, 17.01s/it][A + mmlu_hi: 66%|███████████████████████████████████████████████████████████████████████████▋ | 256/389 [1:07:46<35:38, 16.08s/it][A + mmlu_hi: 66%|███████████████████████████████████████████████████████████████████████████▉ | 257/389 [1:08:00<34:30, 15.68s/it][A + mmlu_hi: 66%|████████████████████████████████████████████████████████████████████████████▎ | 258/389 [1:08:16<33:53, 15.52s/it][A + mmlu_hi: 67%|████████████████████████████████████████████████████████████████████████████▌ | 259/389 [1:08:32<34:23, 15.87s/it][A + mmlu_hi: 67%|████████████████████████████████████████████████████████████████████████████▊ | 260/389 [1:08:50<35:32, 16.53s/it][A + mmlu_hi: 67%|█████████████████████████████████████████████████████████████████████████████▏ | 261/389 [1:09:04<33:09, 15.54s/it][A + mmlu_hi: 67%|█████████████████████████████████████████████████████████████████████████████▍ | 262/389 [1:09:19<32:53, 15.54s/it][A + mmlu_hi: 68%|█████████████████████████████████████████████████████████████████████████████▊ | 263/389 [1:09:35<32:42, 15.57s/it][A + mmlu_hi: 68%|██████████████████████████████████████████████████████████████████████████████ | 264/389 [1:09:47<30:31, 14.65s/it][A + mmlu_hi: 68%|██████████████████████████████████████████████████████████████████████████████▎ | 265/389 [1:09:59<28:15, 13.68s/it][A + mmlu_hi: 68%|██████████████████████████████████████████████████████████████████████████████▋ | 266/389 [1:10:13<28:27, 13.88s/it][A + mmlu_hi: 69%|██████████████████████████████████████████████████████████████████████████████▉ | 267/389 [1:10:31<30:28, 14.99s/it][A + mmlu_hi: 69%|███████████████████████████████████████████████████████████████████████████████▏ | 268/389 [1:10:46<30:38, 15.19s/it][A + mmlu_hi: 69%|███████████████████████████████████████████████████████████████████████████████▌ | 269/389 [1:11:04<31:59, 16.00s/it][A + mmlu_hi: 69%|███████████████████████████████████████████████████████████████████████████████▊ | 270/389 [1:11:19<30:47, 15.52s/it][A + mmlu_hi: 70%|████████████████████████████████████████████████████████████████████████████████ | 271/389 [1:11:34<30:25, 15.47s/it][A + mmlu_hi: 70%|████████████████████████████████████████████████████████████████████████████████▍ | 272/389 [1:11:48<29:32, 15.15s/it][A + mmlu_hi: 70%|████████████████████████████████████████████████████████████████████████████████▋ | 273/389 [1:12:06<30:44, 15.90s/it][A + mmlu_hi: 70%|█████████████████████████████████████████████████████████████████████████████████ | 274/389 [1:12:20<29:26, 15.36s/it][A + mmlu_hi: 71%|█████████████████████████████████████████████████████████████████████████████████▎ | 275/389 [1:12:35<28:58, 15.25s/it][A + mmlu_hi: 71%|█████████████████████████████████████████████████████████████████████████████████▌ | 276/389 [1:12:51<29:16, 15.55s/it][A + mmlu_hi: 71%|█████████████████████████████████████████████████████████████████████████████████▉ | 277/389 [1:13:06<28:47, 15.42s/it][A + mmlu_hi: 71%|██████████████████████████████████████████████████████████████████████████████████▏ | 278/389 [1:13:22<28:28, 15.39s/it][A + mmlu_hi: 72%|██████████████████████████████████████████████████████████████████████████████████▍ | 279/389 [1:13:36<27:48, 15.17s/it][A + mmlu_hi: 72%|██████████████████████████████████████████████████████████████████████████████████▊ | 280/389 [1:13:54<28:47, 15.85s/it][A + mmlu_hi: 72%|███████████████████████████████████████████████████████████████████████████████████ | 281/389 [1:14:08<27:33, 15.31s/it][A + mmlu_hi: 72%|███████████████████████████████████████████████████████████████████████████████████▎ | 282/389 [1:14:21<26:14, 14.72s/it][A + mmlu_hi: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 283/389 [1:14:40<28:02, 15.87s/it][A + mmlu_hi: 73%|███████████████████████████████████████████████████████████████████████████████████▉ | 284/389 [1:14:56<27:42, 15.84s/it][A + mmlu_hi: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 285/389 [1:15:12<27:56, 16.12s/it][A + mmlu_hi: 74%|████████████████████████████████████████████████████████████████████████████████████▌ | 286/389 [1:15:31<29:05, 16.95s/it][A + mmlu_hi: 74%|████████████████████████████████████████████████████████████████████████████████████▊ | 287/389 [1:15:48<28:42, 16.88s/it][A + mmlu_hi: 74%|█████████████████████████████████████████████████████████████████████████████████████▏ | 288/389 [1:16:03<27:20, 16.24s/it][A + mmlu_hi: 74%|█████████████████████████████████████████████████████████████████████████████████████▍ | 289/389 [1:16:19<26:59, 16.19s/it][A + mmlu_hi: 75%|█████████████████████████████████████████████████████████████████████████████████████▋ | 290/389 [1:16:35<26:46, 16.22s/it][A + mmlu_hi: 75%|██████████████████████████████████████████████████████████████████████████████████████ | 291/389 [1:16:50<25:52, 15.84s/it][A + mmlu_hi: 75%|██████████████████████████████████████████████████████████████████████████████████████▎ | 292/389 [1:17:10<27:45, 17.17s/it][A + mmlu_hi: 75%|██████████████████████████████████████████████████████████████████████████████████████▌ | 293/389 [1:17:27<27:09, 16.97s/it][A + mmlu_hi: 76%|██████████████████████████████████████████████████████████████████████████████████████▉ | 294/389 [1:17:40<25:09, 15.89s/it][A + mmlu_hi: 76%|███████████████████████████████████████████████████████████████████████████████████████▏ | 295/389 [1:17:55<24:28, 15.63s/it][A + mmlu_hi: 76%|███████████████████████████████████████████████████████████████████████████████████████▌ | 296/389 [1:18:09<23:21, 15.07s/it][A + mmlu_hi: 76%|███████████████████████████████████████████████████████████████████████████████████████▊ | 297/389 [1:18:23<22:48, 14.88s/it][A + mmlu_hi: 77%|████████████████████████████████████████████████████████████████████████████████████████ | 298/389 [1:18:39<23:07, 15.24s/it][A + mmlu_hi: 77%|████████████████████████████████████████████████████████████████████████████████████████▍ | 299/389 [1:18:55<23:03, 15.37s/it][A + mmlu_hi: 77%|████████████████████████████████████████████████████████████████████████████████████████▋ | 300/389 [1:19:08<21:49, 14.72s/it][A + mmlu_hi: 77%|████████████████████████████████████████████████████████████████████████████████████████▉ | 301/389 [1:19:22<20:55, 14.26s/it][A + mmlu_hi: 78%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 302/389 [1:19:37<21:11, 14.62s/it][A + mmlu_hi: 78%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 303/389 [1:19:51<20:41, 14.44s/it][A + mmlu_hi: 78%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 304/389 [1:20:06<20:37, 14.56s/it][A + mmlu_hi: 78%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 305/389 [1:20:24<21:43, 15.52s/it][A + mmlu_hi: 79%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 306/389 [1:20:39<21:16, 15.38s/it][A + mmlu_hi: 79%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 307/389 [1:20:54<21:06, 15.45s/it][A + mmlu_hi: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 308/389 [1:21:12<21:41, 16.07s/it][A + mmlu_hi: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 309/389 [1:21:27<20:53, 15.67s/it][A + mmlu_hi: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 310/389 [1:21:41<20:19, 15.44s/it][A + mmlu_hi: 80%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 311/389 [1:21:56<19:49, 15.25s/it][A + mmlu_hi: 80%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 312/389 [1:22:13<20:15, 15.79s/it][A + mmlu_hi: 80%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 313/389 [1:22:28<19:32, 15.43s/it][A + mmlu_hi: 81%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 314/389 [1:22:42<18:58, 15.18s/it][A + mmlu_hi: 81%|█████████████████████████████████████████████████████████████████████████████████████████████ | 315/389 [1:22:58<19:00, 15.42s/it][A + mmlu_hi: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 316/389 [1:23:12<18:15, 15.01s/it][A + mmlu_hi: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 317/389 [1:23:33<19:56, 16.62s/it][A + mmlu_hi: 82%|██████████████████████████████████████████████████████████████████████████████████████████████ | 318/389 [1:23:48<19:01, 16.07s/it][A + mmlu_hi: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 319/389 [1:24:04<18:51, 16.16s/it][A + mmlu_hi: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 320/389 [1:24:18<17:46, 15.45s/it][A + mmlu_hi: 83%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 321/389 [1:24:35<18:12, 16.07s/it][A + mmlu_hi: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 322/389 [1:24:51<17:42, 15.86s/it][A + mmlu_hi: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 323/389 [1:25:09<18:12, 16.55s/it][A + mmlu_hi: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 324/389 [1:25:25<17:54, 16.53s/it][A + mmlu_hi: 84%|████████████████████████████████████████████████████████████████████████████████████████████████ | 325/389 [1:25:43<18:03, 16.93s/it][A + mmlu_hi: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 326/389 [1:26:00<17:42, 16.87s/it][A + mmlu_hi: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 327/389 [1:26:21<18:34, 17.98s/it][A + mmlu_hi: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 328/389 [1:26:36<17:34, 17.29s/it][A + mmlu_hi: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 329/389 [1:26:53<17:12, 17.20s/it][A + mmlu_hi: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 330/389 [1:27:12<17:16, 17.56s/it][A + mmlu_hi: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 331/389 [1:27:27<16:12, 16.77s/it][A + mmlu_hi: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 332/389 [1:27:45<16:28, 17.35s/it][A + mmlu_hi: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 333/389 [1:28:01<15:40, 16.80s/it][A + mmlu_hi: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 334/389 [1:28:22<16:41, 18.22s/it][A + mmlu_hi: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 335/389 [1:28:35<14:57, 16.61s/it][A + mmlu_hi: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 336/389 [1:28:52<14:45, 16.70s/it][A + mmlu_hi: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/389 [1:29:11<14:57, 17.26s/it][A + mmlu_hi: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/389 [1:29:27<14:23, 16.92s/it][A + mmlu_hi: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 339/389 [1:29:44<14:10, 17.02s/it][A + mmlu_hi: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 340/389 [1:30:01<13:57, 17.10s/it][A + mmlu_hi: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 341/389 [1:30:18<13:32, 16.93s/it][A + mmlu_hi: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 342/389 [1:30:34<13:00, 16.61s/it][A + mmlu_hi: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 343/389 [1:30:49<12:21, 16.12s/it][A + mmlu_hi: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 344/389 [1:31:06<12:16, 16.36s/it][A + mmlu_hi: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 345/389 [1:31:22<11:59, 16.34s/it][A + mmlu_hi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 346/389 [1:31:36<11:18, 15.77s/it][A + mmlu_hi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 347/389 [1:31:51<10:46, 15.39s/it][A + mmlu_hi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 348/389 [1:32:13<11:53, 17.40s/it][A + mmlu_hi: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 349/389 [1:32:26<10:49, 16.24s/it][A + mmlu_hi: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 350/389 [1:32:46<11:16, 17.35s/it][A + mmlu_hi: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 351/389 [1:33:03<10:53, 17.19s/it][A + mmlu_hi: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 352/389 [1:33:19<10:19, 16.75s/it][A + mmlu_hi: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 353/389 [1:33:33<09:31, 15.88s/it][A + mmlu_hi: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 354/389 [1:33:46<08:50, 15.15s/it][A + mmlu_hi: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 355/389 [1:34:04<08:59, 15.86s/it][A + mmlu_hi: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 356/389 [1:34:17<08:22, 15.23s/it][A + mmlu_hi: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 357/389 [1:34:32<07:59, 14.97s/it][A + mmlu_hi: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 358/389 [1:34:45<07:26, 14.39s/it][A + mmlu_hi: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 359/389 [1:35:02<07:34, 15.15s/it][A + mmlu_hi: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 360/389 [1:35:16<07:12, 14.91s/it][A + mmlu_hi: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 361/389 [1:35:32<07:09, 15.34s/it][A + mmlu_hi: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 362/389 [1:35:48<06:58, 15.48s/it][A + mmlu_hi: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 363/389 [1:36:05<06:51, 15.83s/it][A + mmlu_hi: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 364/389 [1:36:20<06:27, 15.51s/it][A + mmlu_hi: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 365/389 [1:36:38<06:34, 16.45s/it][A + mmlu_hi: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 366/389 [1:36:54<06:12, 16.18s/it][A + mmlu_hi: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 367/389 [1:37:09<05:50, 15.91s/it][A + mmlu_hi: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 368/389 [1:37:25<05:34, 15.95s/it][A + mmlu_hi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 369/389 [1:37:39<05:03, 15.19s/it][A + mmlu_hi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 370/389 [1:37:54<04:52, 15.38s/it][A + mmlu_hi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 371/389 [1:38:10<04:36, 15.38s/it][A + mmlu_hi: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 372/389 [1:38:25<04:21, 15.36s/it][A + mmlu_hi: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 373/389 [1:38:40<04:00, 15.06s/it][A + mmlu_hi: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 374/389 [1:38:54<03:43, 14.90s/it][A + mmlu_hi: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 375/389 [1:39:11<03:37, 15.50s/it][A + mmlu_hi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 376/389 [1:39:27<03:22, 15.55s/it][A + mmlu_hi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 377/389 [1:39:45<03:18, 16.54s/it][A + mmlu_hi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 378/389 [1:40:02<03:01, 16.49s/it][A + mmlu_hi: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 379/389 [1:40:16<02:37, 15.76s/it][A + mmlu_hi: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 380/389 [1:40:32<02:23, 15.93s/it][A + mmlu_hi: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 381/389 [1:40:48<02:06, 15.81s/it][A + mmlu_hi: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 382/389 [1:41:02<01:47, 15.39s/it][A + mmlu_hi: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 383/389 [1:41:18<01:32, 15.39s/it][A + mmlu_hi: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/389 [1:41:35<01:19, 15.95s/it][A + mmlu_hi: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/389 [1:41:50<01:02, 15.58s/it][A + mmlu_hi: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 386/389 [1:42:04<00:45, 15.24s/it][A + mmlu_hi: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 387/389 [1:42:25<00:33, 16.89s/it][A + mmlu_hi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 388/389 [1:42:40<00:16, 16.28s/it][A + mmlu_hi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 389/389 [1:42:53<00:00, 15.33s/it][A mmlu_hi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 389/389 [1:42:53<00:00, 15.87s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hi_acc 0.2652568947495377 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hi_acc_norm 0.2859210420519418 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 02:51:52,982 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 02:51:52,982 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:53,112 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 02:51:53,112 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:53,243 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 02:51:53,243 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:53,373 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 02:51:53,374 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 02:51:53,374 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 02:51:53,506 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 02:51:53,506 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_hi_acc'} +2024-05-31 02:51:53,572 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 02:51:53,572 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'checkpoint_id': 14266, 'metric_id': 1221, 'value': 0.2652568947495377} +2024-05-31 02:51:53,638 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 02:51:54,305 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 02:51:54,305 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:54,435 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 02:51:54,435 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:54,565 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 02:51:54,565 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:54,695 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 02:51:54,695 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 02:51:54,696 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 02:51:54,827 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 02:51:54,827 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_hi_acc_norm'} +2024-05-31 02:51:54,893 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 02:51:54,893 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1222, 'value': 0.2859210420519418} +2024-05-31 02:51:54,958 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 58%|██████████████████████████████████████████████████████████████▋ | 72/124 [44:04:24<72:35:00, 5025.01s/it]['mmlu_hr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 02:51:55,613 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 02:51:55,613 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:55,741 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 02:51:55,741 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:55,869 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 02:51:55,869 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 02:51:55,997 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 02:51:55,998 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 02:51:55,998 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_hr'} +2024-05-31 02:51:56,127 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_hr task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1763 examples [00:00, 15430.47 examples/s][A + Generating test split: 5113 examples [00:00, 25463.89 examples/s][A + Generating test split: 8608 examples [00:00, 29657.39 examples/s][A + Generating test split: 12000 examples [00:00, 31118.65 examples/s][A Generating test split: 13148 examples [00:00, 28876.83 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 280 examples [00:00, 26572.66 examples/s] +Running loglikelihood requests + + mmlu_hr: 0%| | 0/411 [00:00<?, ?it/s][A + mmlu_hr: 0%|▎ | 1/411 [00:07<54:32, 7.98s/it][A + mmlu_hr: 0%|▌ | 2/411 [00:15<54:01, 7.93s/it][A + mmlu_hr: 1%|▊ | 3/411 [00:26<1:01:32, 9.05s/it][A + mmlu_hr: 1%|█▏ | 4/411 [00:34<59:32, 8.78s/it][A + mmlu_hr: 1%|█▍ | 5/411 [00:43<1:00:23, 8.93s/it][A + mmlu_hr: 1%|█▋ | 6/411 [00:53<1:02:46, 9.30s/it][A + mmlu_hr: 2%|█▉ | 7/411 [01:02<1:01:03, 9.07s/it][A + mmlu_hr: 2%|██▎ | 8/411 [01:12<1:02:57, 9.37s/it][A + mmlu_hr: 2%|██▌ | 9/411 [01:21<1:02:35, 9.34s/it][A + mmlu_hr: 2%|██▊ | 10/411 [01:30<1:00:41, 9.08s/it][A + mmlu_hr: 3%|███▏ | 11/411 [01:38<59:36, 8.94s/it][A + mmlu_hr: 3%|███▍ | 12/411 [01:46<57:07, 8.59s/it][A + mmlu_hr: 3%|███▋ | 13/411 [01:55<57:47, 8.71s/it][A + mmlu_hr: 3%|████ | 14/411 [02:03<56:28, 8.54s/it][A + mmlu_hr: 4%|████▎ | 15/411 [02:12<57:25, 8.70s/it][A + mmlu_hr: 4%|████▌ | 16/411 [02:21<58:09, 8.83s/it][A + mmlu_hr: 4%|████▉ | 17/411 [02:30<57:25, 8.74s/it][A + mmlu_hr: 4%|█████▏ | 18/411 [02:40<59:32, 9.09s/it][A + mmlu_hr: 5%|█████▍ | 19/411 [02:48<57:06, 8.74s/it][A + mmlu_hr: 5%|█████▋ | 20/411 [02:55<54:13, 8.32s/it][A + mmlu_hr: 5%|██████ | 21/411 [03:04<55:16, 8.50s/it][A + mmlu_hr: 5%|██████▎ | 22/411 [03:13<55:02, 8.49s/it][A + mmlu_hr: 6%|██████▌ | 23/411 [03:21<55:19, 8.56s/it][A + mmlu_hr: 6%|██████▉ | 24/411 [03:30<54:52, 8.51s/it][A + mmlu_hr: 6%|███████▏ | 25/411 [03:39<56:18, 8.75s/it][A + mmlu_hr: 6%|███████▍ | 26/411 [03:47<54:24, 8.48s/it][A + mmlu_hr: 7%|███████▊ | 27/411 [03:56<55:52, 8.73s/it][A + mmlu_hr: 7%|████████ | 28/411 [04:06<57:56, 9.08s/it][A + mmlu_hr: 7%|████████▎ | 29/411 [04:15<57:04, 8.96s/it][A + mmlu_hr: 7%|████████▌ | 30/411 [04:23<55:19, 8.71s/it][A + mmlu_hr: 8%|████████▉ | 31/411 [04:31<54:43, 8.64s/it][A + mmlu_hr: 8%|█████████▏ | 32/411 [04:40<54:16, 8.59s/it][A + mmlu_hr: 8%|█████████▍ | 33/411 [04:48<53:40, 8.52s/it][A + mmlu_hr: 8%|█████████▊ | 34/411 [04:57<54:05, 8.61s/it][A + mmlu_hr: 9%|██████████ | 35/411 [05:05<52:00, 8.30s/it][A + mmlu_hr: 9%|██████████▎ | 36/411 [05:14<54:28, 8.72s/it][A + mmlu_hr: 9%|██████████▌ | 37/411 [05:24<55:32, 8.91s/it][A + mmlu_hr: 9%|██████████▉ | 38/411 [05:32<54:42, 8.80s/it][A + mmlu_hr: 9%|███████████▏ | 39/411 [05:41<53:56, 8.70s/it][A + mmlu_hr: 10%|███████████▍ | 40/411 [05:50<55:04, 8.91s/it][A + mmlu_hr: 10%|███████████▊ | 41/411 [05:58<52:47, 8.56s/it][A + mmlu_hr: 10%|████████████ | 42/411 [06:08<55:05, 8.96s/it][A + mmlu_hr: 10%|████████████▎ | 43/411 [06:17<55:31, 9.05s/it][A + mmlu_hr: 11%|████████████▋ | 44/411 [06:26<55:56, 9.14s/it][A + mmlu_hr: 11%|████████████▉ | 45/411 [06:34<53:58, 8.85s/it][A + mmlu_hr: 11%|█████████████▏ | 46/411 [06:43<54:00, 8.88s/it][A + mmlu_hr: 11%|█████████████▍ | 47/411 [06:51<52:26, 8.64s/it][A + mmlu_hr: 12%|█████████████▊ | 48/411 [07:01<53:18, 8.81s/it][A + mmlu_hr: 12%|██████████████ | 49/411 [07:09<51:27, 8.53s/it][A + mmlu_hr: 12%|██████████████▎ | 50/411 [07:17<51:24, 8.54s/it][A + mmlu_hr: 12%|██████████████▋ | 51/411 [07:26<50:59, 8.50s/it][A + mmlu_hr: 13%|██████████████▉ | 52/411 [07:36<53:50, 9.00s/it][A + mmlu_hr: 13%|███████████████▏ | 53/411 [07:44<53:16, 8.93s/it][A + mmlu_hr: 13%|███████████████▌ | 54/411 [07:53<53:14, 8.95s/it][A + mmlu_hr: 13%|███████████████▊ | 55/411 [08:02<52:22, 8.83s/it][A + mmlu_hr: 14%|████████████████ | 56/411 [08:11<51:53, 8.77s/it][A + mmlu_hr: 14%|████████████████▎ | 57/411 [08:19<51:10, 8.67s/it][A + mmlu_hr: 14%|████████████████▋ | 58/411 [08:28<50:40, 8.61s/it][A + mmlu_hr: 14%|████████████████▉ | 59/411 [08:35<48:38, 8.29s/it][A + mmlu_hr: 15%|█████████████████▏ | 60/411 [08:44<50:06, 8.57s/it][A + mmlu_hr: 15%|█████████████████▌ | 61/411 [08:53<49:52, 8.55s/it][A + mmlu_hr: 15%|█████████████████▊ | 62/411 [09:02<50:40, 8.71s/it][A + mmlu_hr: 15%|██████████████████ | 63/411 [09:11<51:25, 8.87s/it][A + mmlu_hr: 16%|██████████████████▎ | 64/411 [09:21<52:11, 9.02s/it][A + mmlu_hr: 16%|██████████████████▋ | 65/411 [09:29<50:57, 8.84s/it][A + mmlu_hr: 16%|██████████████████▉ | 66/411 [09:38<51:42, 8.99s/it][A + mmlu_hr: 16%|███████████████████▏ | 67/411 [09:47<50:51, 8.87s/it][A + mmlu_hr: 17%|███████████████████▌ | 68/411 [09:55<49:02, 8.58s/it][A + mmlu_hr: 17%|███████████████████▊ | 69/411 [10:03<48:43, 8.55s/it][A + mmlu_hr: 17%|████████████████████ | 70/411 [10:13<50:07, 8.82s/it][A + mmlu_hr: 17%|████████████████████▍ | 71/411 [10:22<50:56, 8.99s/it][A + mmlu_hr: 18%|████████████████████▋ | 72/411 [10:32<52:32, 9.30s/it][A + mmlu_hr: 18%|████████████████████▉ | 73/411 [10:40<50:49, 9.02s/it][A + mmlu_hr: 18%|█████████████████████▏ | 74/411 [10:49<49:51, 8.88s/it][A + mmlu_hr: 18%|█████████████████████▌ | 75/411 [10:59<50:56, 9.10s/it][A + mmlu_hr: 18%|█████████████████████▊ | 76/411 [11:08<50:55, 9.12s/it][A + mmlu_hr: 19%|██████████████████████ | 77/411 [11:17<50:23, 9.05s/it][A + mmlu_hr: 19%|██████████████████████▍ | 78/411 [11:24<47:51, 8.62s/it][A + mmlu_hr: 19%|██████████████████████▋ | 79/411 [11:32<46:04, 8.33s/it][A + mmlu_hr: 19%|██████████████████████▉ | 80/411 [11:40<46:04, 8.35s/it][A + mmlu_hr: 20%|███████████████████████▎ | 81/411 [11:50<47:58, 8.72s/it][A + mmlu_hr: 20%|███████████████████████▌ | 82/411 [11:59<48:41, 8.88s/it][A + mmlu_hr: 20%|███████████████████████▊ | 83/411 [12:08<48:26, 8.86s/it][A + mmlu_hr: 20%|████████████████████████ | 84/411 [12:17<48:29, 8.90s/it][A + mmlu_hr: 21%|████████████████████████▍ | 85/411 [12:27<49:37, 9.13s/it][A + mmlu_hr: 21%|████████████████████████▋ | 86/411 [12:36<49:16, 9.10s/it][A + mmlu_hr: 21%|████████████████████████▉ | 87/411 [12:44<47:14, 8.75s/it][A + mmlu_hr: 21%|█████████████████████████▎ | 88/411 [12:52<46:30, 8.64s/it][A + mmlu_hr: 22%|█████████████████████████▌ | 89/411 [13:01<46:19, 8.63s/it][A + mmlu_hr: 22%|█████████████████████████▊ | 90/411 [13:09<45:28, 8.50s/it][A + mmlu_hr: 22%|██████████████████████████▏ | 91/411 [13:17<45:04, 8.45s/it][A + mmlu_hr: 22%|██████████████████████████▍ | 92/411 [13:26<45:04, 8.48s/it][A + mmlu_hr: 23%|██████████████████████████▋ | 93/411 [13:34<45:12, 8.53s/it][A + mmlu_hr: 23%|██████████████████████████▉ | 94/411 [13:42<43:31, 8.24s/it][A + mmlu_hr: 23%|███████████████████████████▎ | 95/411 [13:50<42:54, 8.15s/it][A + mmlu_hr: 23%|███████████████████████████▌ | 96/411 [13:58<43:23, 8.27s/it][A + mmlu_hr: 24%|███████████████████████████▊ | 97/411 [14:08<45:48, 8.75s/it][A + mmlu_hr: 24%|████████████████████████████▏ | 98/411 [14:17<45:09, 8.66s/it][A + mmlu_hr: 24%|████████████████████████████▍ | 99/411 [14:25<44:49, 8.62s/it][A + mmlu_hr: 24%|████████████████████████████▍ | 100/411 [14:33<43:45, 8.44s/it][A + mmlu_hr: 25%|████████████████████████████▊ | 101/411 [14:42<43:20, 8.39s/it][A + mmlu_hr: 25%|█████████████████████████████ | 102/411 [14:51<45:20, 8.80s/it][A + mmlu_hr: 25%|█████████████████████████████▎ | 103/411 [15:00<44:58, 8.76s/it][A + mmlu_hr: 25%|█████████████████████████████▌ | 104/411 [15:08<43:42, 8.54s/it][A + mmlu_hr: 26%|█████████████████████████████▉ | 105/411 [15:16<42:52, 8.41s/it][A + mmlu_hr: 26%|██████████████████████████████▏ | 106/411 [15:25<43:49, 8.62s/it][A + mmlu_hr: 26%|██████████████████████████████▍ | 107/411 [15:35<45:10, 8.92s/it][A + mmlu_hr: 26%|██████████████████████████████▋ | 108/411 [15:44<44:58, 8.91s/it][A + mmlu_hr: 27%|███████████████████████████████ | 109/411 [15:53<46:03, 9.15s/it][A + mmlu_hr: 27%|███████████████████████████████▎ | 110/411 [16:03<45:51, 9.14s/it][A + mmlu_hr: 27%|███████████████████████████████▌ | 111/411 [16:10<43:40, 8.74s/it][A + mmlu_hr: 27%|███████████████████████████████▉ | 112/411 [16:19<43:15, 8.68s/it][A + mmlu_hr: 27%|████████████████████████████████▏ | 113/411 [16:27<42:56, 8.65s/it][A + mmlu_hr: 28%|████████████████████████████████▍ | 114/411 [16:36<42:29, 8.59s/it][A + mmlu_hr: 28%|████████████████████████████████▋ | 115/411 [16:44<41:11, 8.35s/it][A + mmlu_hr: 28%|█████████████████████████████████ | 116/411 [16:53<42:36, 8.67s/it][A + mmlu_hr: 28%|█████████████████████████████████▎ | 117/411 [17:02<42:47, 8.73s/it][A + mmlu_hr: 29%|█████████████████████████████████▌ | 118/411 [17:12<44:02, 9.02s/it][A + mmlu_hr: 29%|█████████████████████████████████▉ | 119/411 [17:22<45:11, 9.29s/it][A + mmlu_hr: 29%|██████████████████████████████████▏ | 120/411 [17:30<43:57, 9.06s/it][A + mmlu_hr: 29%|██████████████████████████████████▍ | 121/411 [17:38<42:28, 8.79s/it][A + mmlu_hr: 30%|██████████████████████████████████▋ | 122/411 [17:46<40:17, 8.37s/it][A + mmlu_hr: 30%|███████████████████████████████████ | 123/411 [17:55<40:56, 8.53s/it][A + mmlu_hr: 30%|███████████████████████████████████▎ | 124/411 [18:03<40:47, 8.53s/it][A + mmlu_hr: 30%|███████████████████████████████████▌ | 125/411 [18:12<41:31, 8.71s/it][A + mmlu_hr: 31%|███████████████████████████████████▊ | 126/411 [18:21<41:22, 8.71s/it][A + mmlu_hr: 31%|████████████████████████████████████▏ | 127/411 [18:30<41:43, 8.81s/it][A + mmlu_hr: 31%|████████████████████████████████████▍ | 128/411 [18:39<41:30, 8.80s/it][A + mmlu_hr: 31%|████████████████████████████████████▋ | 129/411 [18:48<42:30, 9.05s/it][A + mmlu_hr: 32%|█████████████████████████████████████ | 130/411 [18:57<41:27, 8.85s/it][A + mmlu_hr: 32%|█████████████████████████████████████▎ | 131/411 [19:05<39:47, 8.53s/it][A + mmlu_hr: 32%|█████████████████████████████████████▌ | 132/411 [19:14<40:35, 8.73s/it][A + mmlu_hr: 32%|█████████████████████████████████████▊ | 133/411 [19:22<39:29, 8.52s/it][A + mmlu_hr: 33%|██████████████████████████████████████▏ | 134/411 [19:31<39:52, 8.64s/it][A + mmlu_hr: 33%|██████████████████████████████████████▍ | 135/411 [19:39<39:20, 8.55s/it][A + mmlu_hr: 33%|██████████████████████████████████████▋ | 136/411 [19:47<38:22, 8.37s/it][A + mmlu_hr: 33%|███████████████████████████████████████ | 137/411 [19:56<38:38, 8.46s/it][A + mmlu_hr: 34%|███████████████████████████████████████▎ | 138/411 [20:04<38:38, 8.49s/it][A + mmlu_hr: 34%|███████████████████████████████████████▌ | 139/411 [20:13<38:34, 8.51s/it][A + mmlu_hr: 34%|███████████████████████████████████████▊ | 140/411 [20:21<37:23, 8.28s/it][A + mmlu_hr: 34%|████████████████████████████████████████▏ | 141/411 [20:29<37:16, 8.28s/it][A + mmlu_hr: 35%|████████████████████████████████████████▍ | 142/411 [20:37<36:58, 8.25s/it][A + mmlu_hr: 35%|████████████████████████████████████████▋ | 143/411 [20:45<36:59, 8.28s/it][A + mmlu_hr: 35%|████████████████████████████████████████▉ | 144/411 [20:54<36:51, 8.28s/it][A + mmlu_hr: 35%|█████████████████████████████████████████▎ | 145/411 [21:03<37:45, 8.52s/it][A + mmlu_hr: 36%|█████████████████████████████████████████▌ | 146/411 [21:11<37:58, 8.60s/it][A + mmlu_hr: 36%|█████████████████████████████████████████▊ | 147/411 [21:20<37:35, 8.54s/it][A + mmlu_hr: 36%|██████████████████████████████████████████▏ | 148/411 [21:31<40:11, 9.17s/it][A + mmlu_hr: 36%|██████████████████████████████████████████▍ | 149/411 [21:39<39:16, 8.99s/it][A + mmlu_hr: 36%|██████████████████████████████████████████▋ | 150/411 [21:49<40:29, 9.31s/it][A + mmlu_hr: 37%|██████████████████████████████████████████▉ | 151/411 [21:59<41:21, 9.54s/it][A + mmlu_hr: 37%|███████████████████████████████████████████▎ | 152/411 [22:09<41:07, 9.53s/it][A + mmlu_hr: 37%|███████████████████████████████████████████▌ | 153/411 [22:17<39:36, 9.21s/it][A + mmlu_hr: 37%|███████████████████████████████████████████▊ | 154/411 [22:26<38:31, 8.99s/it][A + mmlu_hr: 38%|████████████████████████████████████████████ | 155/411 [22:35<38:50, 9.10s/it][A + mmlu_hr: 38%|████████████████████████████████████████████▍ | 156/411 [22:43<37:42, 8.87s/it][A + mmlu_hr: 38%|████████████████████████████████████████████▋ | 157/411 [22:52<37:42, 8.91s/it][A + mmlu_hr: 38%|████████████████████████████████████████████▉ | 158/411 [23:01<36:52, 8.74s/it][A + mmlu_hr: 39%|█████████████████████████████████████████████▎ | 159/411 [23:11<38:21, 9.13s/it][A + mmlu_hr: 39%|█████████████████████████████████████████████▌ | 160/411 [23:19<37:20, 8.93s/it][A + mmlu_hr: 39%|█████████████████████████████████████████████▊ | 161/411 [23:28<36:39, 8.80s/it][A + mmlu_hr: 39%|██████████████████████████████████████████████ | 162/411 [23:37<37:02, 8.93s/it][A + mmlu_hr: 40%|██████████████████████████████████████████████▍ | 163/411 [23:46<36:32, 8.84s/it][A + mmlu_hr: 40%|██████████████████████████████████████████████▋ | 164/411 [23:55<36:59, 8.98s/it][A + mmlu_hr: 40%|██████████████████████████████████████████████▉ | 165/411 [24:04<36:57, 9.01s/it][A + mmlu_hr: 40%|███████████████████████████████████████████████▎ | 166/411 [24:12<36:09, 8.86s/it][A + mmlu_hr: 41%|███████████████████████████████████████████████▌ | 167/411 [24:21<35:30, 8.73s/it][A + mmlu_hr: 41%|███████████████████████████████████████████████▊ | 168/411 [24:30<35:14, 8.70s/it][A + mmlu_hr: 41%|████████████████████████████████████████████████ | 169/411 [24:38<35:04, 8.70s/it][A + mmlu_hr: 41%|████████████████████████████████████████████████▍ | 170/411 [24:48<35:54, 8.94s/it][A + mmlu_hr: 42%|████████████████████████████████████████████████▋ | 171/411 [24:56<34:59, 8.75s/it][A + mmlu_hr: 42%|████████████████████████████████████████████████▉ | 172/411 [25:04<34:22, 8.63s/it][A + mmlu_hr: 42%|█████████████████████████████████████████████████▏ | 173/411 [25:14<35:13, 8.88s/it][A + mmlu_hr: 42%|█████████████████████████████████████████████████▌ | 174/411 [25:22<34:16, 8.68s/it][A + mmlu_hr: 43%|█████████████████████████████████████████████████▊ | 175/411 [25:30<33:39, 8.56s/it][A + mmlu_hr: 43%|██████████████████████████████████████████████████ | 176/411 [25:39<34:12, 8.73s/it][A + mmlu_hr: 43%|██████████████████████████████████████████████████▍ | 177/411 [25:48<33:34, 8.61s/it][A + mmlu_hr: 43%|██████████████████████████████████████████████████▋ | 178/411 [25:56<33:24, 8.60s/it][A + mmlu_hr: 44%|██████████████████████████████████████████████████▉ | 179/411 [26:05<32:59, 8.53s/it][A + mmlu_hr: 44%|███████████████████████████████████████████████████▏ | 180/411 [26:14<34:02, 8.84s/it][A + mmlu_hr: 44%|███████████████████████████████████████████████████▌ | 181/411 [26:22<32:44, 8.54s/it][A + mmlu_hr: 44%|███████████████████████████████████████████████████▊ | 182/411 [26:32<33:44, 8.84s/it][A + mmlu_hr: 45%|████████████████████████████████████████████████████ | 183/411 [26:40<32:44, 8.62s/it][A + mmlu_hr: 45%|████████████████████████████████████████████████████▍ | 184/411 [26:49<32:57, 8.71s/it][A + mmlu_hr: 45%|████████████████████████████████████████████████████▋ | 185/411 [26:57<32:09, 8.54s/it][A + mmlu_hr: 45%|████████████████████████████████████████████████████▉ | 186/411 [27:05<31:07, 8.30s/it][A + mmlu_hr: 45%|█████████████████████████████████████████████████████▏ | 187/411 [27:15<33:19, 8.93s/it][A + mmlu_hr: 46%|█████████████████████████████████████████████████████▌ | 188/411 [27:24<33:04, 8.90s/it][A + mmlu_hr: 46%|█████████████████████████████████████████████████████▊ | 189/411 [27:32<31:38, 8.55s/it][A + mmlu_hr: 46%|██████████████████████████████████████████████████████ | 190/411 [27:40<31:54, 8.66s/it][A + mmlu_hr: 46%|██████████████████████████████████████████████████████▎ | 191/411 [27:50<32:31, 8.87s/it][A + mmlu_hr: 47%|██████████████████████████████████████████████████████▋ | 192/411 [27:59<33:09, 9.08s/it][A + mmlu_hr: 47%|██████████████████████████████████████████████████████▉ | 193/411 [28:09<33:24, 9.20s/it][A + mmlu_hr: 47%|███████████████████████████████████████████████████████▏ | 194/411 [28:17<32:24, 8.96s/it][A + mmlu_hr: 47%|███████████████████████████████████████████████████████▌ | 195/411 [28:27<32:33, 9.04s/it][A + mmlu_hr: 48%|███████████████████████████████████████████████████████▊ | 196/411 [28:35<32:14, 9.00s/it][A + mmlu_hr: 48%|████████████████████████████████████████████████████████ | 197/411 [28:44<31:10, 8.74s/it][A + mmlu_hr: 48%|████████████████████████████████████████████████████████▎ | 198/411 [28:52<30:28, 8.59s/it][A + mmlu_hr: 48%|████████████████████████████████████████████████████████▋ | 199/411 [29:01<30:37, 8.67s/it][A + mmlu_hr: 49%|████████████████████████████████████████████████████████▉ | 200/411 [29:09<30:07, 8.57s/it][A + mmlu_hr: 49%|█████████████████████████████████████████████████████████▏ | 201/411 [29:17<29:47, 8.51s/it][A + mmlu_hr: 49%|█████████████████████████████████████████████████████████▌ | 202/411 [29:27<31:03, 8.92s/it][A + mmlu_hr: 49%|█████████████████████████████████████████████████████████▊ | 203/411 [29:36<31:01, 8.95s/it][A + mmlu_hr: 50%|██████████████████████████████████████████████████████████ | 204/411 [29:46<31:34, 9.15s/it][A + mmlu_hr: 50%|██████████████████████████████████████████████████████████▎ | 205/411 [29:55<31:40, 9.23s/it][A + mmlu_hr: 50%|██████████████████████████████████████████████████████████▋ | 206/411 [30:04<30:55, 9.05s/it][A + mmlu_hr: 50%|██████████████████████████████████████████████████████████▉ | 207/411 [30:12<30:06, 8.86s/it][A + mmlu_hr: 51%|███████████████████████████████████████████████████████████▏ | 208/411 [30:22<30:38, 9.06s/it][A + mmlu_hr: 51%|███████████████████████████████████████████████████████████▍ | 209/411 [30:31<31:03, 9.23s/it][A + mmlu_hr: 51%|███████████████████████████████████████████████████████████▊ | 210/411 [30:40<29:43, 8.87s/it][A + mmlu_hr: 51%|████████████████████████████████████████████████████████████ | 211/411 [30:49<30:02, 9.01s/it][A + mmlu_hr: 52%|████████████████████████████████████████████████████████████▎ | 212/411 [30:57<29:19, 8.84s/it][A + mmlu_hr: 52%|████████████████████████████████████████████████████████████▋ | 213/411 [31:07<29:47, 9.03s/it][A + mmlu_hr: 52%|████████████████████████████████████████████████████████████▉ | 214/411 [31:16<30:02, 9.15s/it][A + mmlu_hr: 52%|█████████████████████████████████████████████████████████████▏ | 215/411 [31:25<29:30, 9.03s/it][A + mmlu_hr: 53%|█████████████████████████████████████████████████████████████▍ | 216/411 [31:33<28:28, 8.76s/it][A + mmlu_hr: 53%|█████████████████████████████████████████████████████████████▊ | 217/411 [31:41<27:52, 8.62s/it][A + mmlu_hr: 53%|██████████████████████████████████████████████████████████████ | 218/411 [31:49<27:12, 8.46s/it][A + mmlu_hr: 53%|██████████████████████████████████████████████████████████████▎ | 219/411 [31:58<27:37, 8.63s/it][A + mmlu_hr: 54%|██████████████████████████████████████████████████████████████▋ | 220/411 [32:09<28:52, 9.07s/it][A + mmlu_hr: 54%|██████████████████████████████████████████████████████████████▉ | 221/411 [32:18<28:43, 9.07s/it][A + mmlu_hr: 54%|███████████████████████████████████████████████████████████████▏ | 222/411 [32:27<29:14, 9.28s/it][A + mmlu_hr: 54%|███████████████████████████████████████████████████████████████▍ | 223/411 [32:37<29:03, 9.27s/it][A + mmlu_hr: 55%|███████████████████████████████████████████████████████████████▊ | 224/411 [32:45<28:17, 9.08s/it][A + mmlu_hr: 55%|████████████████████████████████████████████████████████████████ | 225/411 [32:55<28:28, 9.19s/it][A + mmlu_hr: 55%|████████████████████████████████████████████████████████████████▎ | 226/411 [33:04<28:26, 9.22s/it][A + mmlu_hr: 55%|████████████████████████████████████████████████████████████████▌ | 227/411 [33:13<27:36, 9.00s/it][A + mmlu_hr: 55%|████████████████████████████████████████████████████████████████▉ | 228/411 [33:22<27:32, 9.03s/it][A + mmlu_hr: 56%|█████████████████████████████████████████████████████████████████▏ | 229/411 [33:31<27:41, 9.13s/it][A + mmlu_hr: 56%|█████████████████████████████████████████████████████████████████▍ | 230/411 [33:39<26:37, 8.82s/it][A + mmlu_hr: 56%|█████████████████████████████████████████████████████████████████▊ | 231/411 [33:48<26:19, 8.77s/it][A + mmlu_hr: 56%|██████████████████████████████████████████████████████████████████ | 232/411 [33:57<26:48, 8.98s/it][A + mmlu_hr: 57%|██████████████████████████████████████████████████████████████████▎ | 233/411 [34:06<26:16, 8.85s/it][A + mmlu_hr: 57%|██████████████████████████████████████████████████████████████████▌ | 234/411 [34:15<26:24, 8.95s/it][A + mmlu_hr: 57%|██████████████████████████████████████████████████████████████████▉ | 235/411 [34:24<26:32, 9.05s/it][A + mmlu_hr: 57%|███████████████████████████████████████████████████████████████████▏ | 236/411 [34:34<27:10, 9.32s/it][A + mmlu_hr: 58%|███████████████████████████████████████████████████████████████████▍ | 237/411 [34:44<27:06, 9.35s/it][A + mmlu_hr: 58%|███████████████████████████████████████████████████████████████████▊ | 238/411 [34:53<26:55, 9.34s/it][A + mmlu_hr: 58%|████████████████████████████████████████████████████████████████████ | 239/411 [35:01<25:35, 8.93s/it][A + mmlu_hr: 58%|████████████████████████████████████████████████████████████████████▎ | 240/411 [35:10<25:35, 8.98s/it][A + mmlu_hr: 59%|████████████████████████████████████████████████████████████████████▌ | 241/411 [35:19<25:04, 8.85s/it][A + mmlu_hr: 59%|████████████████████████████████████████████████████████████████████▉ | 242/411 [35:27<24:29, 8.69s/it][A + mmlu_hr: 59%|█████████████████████████████████████████████████████████████████████▏ | 243/411 [35:36<24:19, 8.69s/it][A + mmlu_hr: 59%|█████████████████████████████████████████████████████████████████████▍ | 244/411 [35:45<24:36, 8.84s/it][A + mmlu_hr: 60%|█████████████████████████████████████████████████████████████████████▋ | 245/411 [35:53<24:16, 8.77s/it][A + mmlu_hr: 60%|██████████████████████████████████████████████████████████████████████ | 246/411 [36:02<24:05, 8.76s/it][A + mmlu_hr: 60%|██████████████████████████████████████████████████████████████████████▎ | 247/411 [36:10<23:02, 8.43s/it][A + mmlu_hr: 60%|██████████████████████████████████████████████████████████████████████▌ | 248/411 [36:18<22:23, 8.24s/it][A + mmlu_hr: 61%|██████████████████████████████████████████████████████████████████████▉ | 249/411 [36:27<23:32, 8.72s/it][A + mmlu_hr: 61%|███████████████████████████████████████████████████████████████████████▏ | 250/411 [36:35<22:42, 8.46s/it][A + mmlu_hr: 61%|███████████████████████████████████████████████████████████████████████▍ | 251/411 [36:45<23:14, 8.71s/it][A + mmlu_hr: 61%|███████████████████████████████████████████████████████████████████████▋ | 252/411 [36:54<23:22, 8.82s/it][A + mmlu_hr: 62%|████████████████████████████████████████████████████████████████████████ | 253/411 [37:03<23:40, 8.99s/it][A + mmlu_hr: 62%|████████████████████████████████████████████████████████████████████████▎ | 254/411 [37:12<23:15, 8.89s/it][A + mmlu_hr: 62%|████████████████████████████████████████████████████████████████████████▌ | 255/411 [37:21<23:24, 9.00s/it][A + mmlu_hr: 62%|████████████████████████████████████████████████████████████████████████▉ | 256/411 [37:30<23:14, 8.99s/it][A + mmlu_hr: 63%|█████████████████████████████████████████████████████████████████████████▏ | 257/411 [37:39<22:47, 8.88s/it][A + mmlu_hr: 63%|█████████████████████████████████████████████████████████████████████████▍ | 258/411 [37:47<22:26, 8.80s/it][A + mmlu_hr: 63%|█████████████████████████████████████████████████████████████████████████▋ | 259/411 [37:56<22:06, 8.72s/it][A + mmlu_hr: 63%|██████████████████████████████████████████████████████████████████████████ | 260/411 [38:04<21:52, 8.69s/it][A + mmlu_hr: 64%|██████████████████████████████████████████████████████████████████████████▎ | 261/411 [38:12<20:46, 8.31s/it][A + mmlu_hr: 64%|██████████████████████████████████████████████████████████████████████████▌ | 262/411 [38:22<21:53, 8.82s/it][A + mmlu_hr: 64%|██████████████████████████████████████████████████████████████████████████▊ | 263/411 [38:30<21:28, 8.71s/it][A + mmlu_hr: 64%|███████████████████████████████████████████████████████████████████████████▏ | 264/411 [38:38<20:31, 8.38s/it][A + mmlu_hr: 64%|███████████████████████████████████████████████████████████████████████████▍ | 265/411 [38:47<21:22, 8.78s/it][A + mmlu_hr: 65%|███████████████████████████████████████████████████████████████████████████▋ | 266/411 [38:55<20:22, 8.43s/it][A + mmlu_hr: 65%|████████████████████████████████████████████████████████████████████████████ | 267/411 [39:05<21:16, 8.87s/it][A + mmlu_hr: 65%|████████████████████████████████████████████████████████████████████████████▎ | 268/411 [39:14<21:22, 8.97s/it][A + mmlu_hr: 65%|████████████████████████████████████████████████████████████████████████████▌ | 269/411 [39:23<21:02, 8.89s/it][A + mmlu_hr: 66%|████████████████████████████████████████████████████████████████████████████▊ | 270/411 [39:32<20:58, 8.93s/it][A + mmlu_hr: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 271/411 [39:41<21:12, 9.09s/it][A + mmlu_hr: 66%|█████████████████████████████████████████████████████████████████████████████▍ | 272/411 [39:50<20:46, 8.97s/it][A + mmlu_hr: 66%|█████████████████████████████████████████████████████████████████████████████▋ | 273/411 [40:00<21:18, 9.27s/it][A + mmlu_hr: 67%|██████████████████████████████████████████████████████████████████████████████ | 274/411 [40:10<21:44, 9.52s/it][A + mmlu_hr: 67%|██████████████████████████████████████████████████████████████████████████████▎ | 275/411 [40:19<20:56, 9.24s/it][A + mmlu_hr: 67%|██████████████████████████████████████████████████████████████████████████████▌ | 276/411 [40:27<20:05, 8.93s/it][A + mmlu_hr: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 277/411 [40:36<19:52, 8.90s/it][A + mmlu_hr: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 278/411 [40:44<19:11, 8.66s/it][A + mmlu_hr: 68%|███████████████████████████████████████████████████████████████████████████████▍ | 279/411 [40:52<18:32, 8.42s/it][A + mmlu_hr: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 280/411 [41:02<19:39, 9.01s/it][A + mmlu_hr: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 281/411 [41:10<18:34, 8.57s/it][A + mmlu_hr: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 282/411 [41:19<18:52, 8.78s/it][A + mmlu_hr: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 283/411 [41:27<18:31, 8.68s/it][A + mmlu_hr: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 284/411 [41:36<18:16, 8.63s/it][A + mmlu_hr: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 285/411 [41:45<18:34, 8.85s/it][A + mmlu_hr: 70%|█████████████████████████████████████████████████████████████████████████████████▍ | 286/411 [41:53<18:00, 8.65s/it][A + mmlu_hr: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 287/411 [42:02<17:42, 8.57s/it][A + mmlu_hr: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 288/411 [42:11<18:02, 8.80s/it][A + mmlu_hr: 70%|██████████████████████████████████████████████████████████████████████████████████▎ | 289/411 [42:20<17:48, 8.76s/it][A + mmlu_hr: 71%|██████████████████████████████████████████████████████████████████████████████████▌ | 290/411 [42:27<16:55, 8.40s/it][A + mmlu_hr: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 291/411 [42:35<16:25, 8.21s/it][A + mmlu_hr: 71%|███████████████████████████████████████████████████████████████████████████████████ | 292/411 [42:44<16:37, 8.38s/it][A + mmlu_hr: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 293/411 [42:53<16:59, 8.64s/it][A + mmlu_hr: 72%|███████████████████████████████████████████████████████████████████████████████████▋ | 294/411 [43:02<16:52, 8.66s/it][A + mmlu_hr: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 295/411 [43:11<17:09, 8.87s/it][A + mmlu_hr: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 296/411 [43:20<16:46, 8.75s/it][A + mmlu_hr: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 297/411 [43:29<16:50, 8.86s/it][A + mmlu_hr: 73%|████████████████████████████████████████████████████████████████████████████████████▊ | 298/411 [43:38<16:44, 8.89s/it][A + mmlu_hr: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 299/411 [43:47<17:01, 9.12s/it][A + mmlu_hr: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 300/411 [43:56<16:42, 9.03s/it][A + mmlu_hr: 73%|█████████████████████████████████████████████████████████████████████████████████████▋ | 301/411 [44:05<16:09, 8.81s/it][A + mmlu_hr: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 302/411 [44:13<15:58, 8.79s/it][A + mmlu_hr: 74%|██████████████████████████████████████████████████████████████████████████████████████▎ | 303/411 [44:21<15:23, 8.55s/it][A + mmlu_hr: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 304/411 [44:30<15:24, 8.64s/it][A + mmlu_hr: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 305/411 [44:39<15:24, 8.72s/it][A + mmlu_hr: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 306/411 [44:48<15:14, 8.71s/it][A + mmlu_hr: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 307/411 [44:56<15:03, 8.69s/it][A + mmlu_hr: 75%|███████████████████████████████████████████████████████████████████████████████████████▋ | 308/411 [45:06<15:11, 8.84s/it][A + mmlu_hr: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 309/411 [45:15<15:15, 8.98s/it][A + mmlu_hr: 75%|████████████████████████████████████████████████████████████████████████████████████████▏ | 310/411 [45:26<16:03, 9.54s/it][A + mmlu_hr: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 311/411 [45:34<15:23, 9.23s/it][A + mmlu_hr: 76%|████████████████████████████████████████████████████████████████████████████████████████▊ | 312/411 [45:44<15:24, 9.34s/it][A + mmlu_hr: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 313/411 [45:53<15:11, 9.30s/it][A + mmlu_hr: 76%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 314/411 [46:01<14:36, 9.04s/it][A + mmlu_hr: 77%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 315/411 [46:10<14:17, 8.93s/it][A + mmlu_hr: 77%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 316/411 [46:18<13:50, 8.75s/it][A + mmlu_hr: 77%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 317/411 [46:27<13:44, 8.77s/it][A + mmlu_hr: 77%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 318/411 [46:36<13:42, 8.84s/it][A + mmlu_hr: 78%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 319/411 [46:45<13:22, 8.73s/it][A + mmlu_hr: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 320/411 [46:54<13:18, 8.77s/it][A + mmlu_hr: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 321/411 [47:03<13:12, 8.81s/it][A + mmlu_hr: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 322/411 [47:12<13:32, 9.13s/it][A + mmlu_hr: 79%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 323/411 [47:22<13:37, 9.29s/it][A + mmlu_hr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 324/411 [47:30<12:44, 8.78s/it][A + mmlu_hr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 325/411 [47:38<12:30, 8.72s/it][A + mmlu_hr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 326/411 [47:47<12:28, 8.80s/it][A + mmlu_hr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████ | 327/411 [47:55<12:05, 8.63s/it][A + mmlu_hr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 328/411 [48:05<12:14, 8.85s/it][A + mmlu_hr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 329/411 [48:15<12:31, 9.17s/it][A + mmlu_hr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 330/411 [48:23<12:03, 8.94s/it][A + mmlu_hr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 331/411 [48:33<12:07, 9.09s/it][A + mmlu_hr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 332/411 [48:42<12:16, 9.33s/it][A + mmlu_hr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 333/411 [48:51<11:47, 9.08s/it][A + mmlu_hr: 81%|███████████████████████████████████████████████████████████████████████████████████████████████ | 334/411 [49:00<11:47, 9.19s/it][A + mmlu_hr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 335/411 [49:09<11:29, 9.08s/it][A + mmlu_hr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 336/411 [49:17<11:00, 8.81s/it][A + mmlu_hr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 337/411 [49:27<11:17, 9.15s/it][A + mmlu_hr: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 338/411 [49:36<11:00, 9.05s/it][A + mmlu_hr: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 339/411 [49:45<10:57, 9.13s/it][A + mmlu_hr: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 340/411 [49:56<11:11, 9.46s/it][A + mmlu_hr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 341/411 [50:05<10:54, 9.35s/it][A + mmlu_hr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 342/411 [50:13<10:16, 8.93s/it][A + mmlu_hr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 343/411 [50:20<09:42, 8.57s/it][A + mmlu_hr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 344/411 [50:28<09:12, 8.25s/it][A + mmlu_hr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 345/411 [50:37<09:25, 8.57s/it][A + mmlu_hr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 346/411 [50:46<09:20, 8.62s/it][A + mmlu_hr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 347/411 [50:55<09:23, 8.81s/it][A + mmlu_hr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 348/411 [51:04<09:22, 8.93s/it][A + mmlu_hr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 349/411 [51:12<08:50, 8.56s/it][A + mmlu_hr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 350/411 [51:21<08:47, 8.65s/it][A + mmlu_hr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 351/411 [51:30<08:35, 8.60s/it][A + mmlu_hr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 352/411 [51:38<08:29, 8.64s/it][A + mmlu_hr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 353/411 [51:47<08:25, 8.72s/it][A + mmlu_hr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 354/411 [51:56<08:16, 8.72s/it][A + mmlu_hr: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 355/411 [52:04<07:56, 8.51s/it][A + mmlu_hr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 356/411 [52:13<07:51, 8.57s/it][A + mmlu_hr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 357/411 [52:20<07:28, 8.31s/it][A + mmlu_hr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 358/411 [52:29<07:25, 8.41s/it][A + mmlu_hr: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 359/411 [52:38<07:27, 8.61s/it][A + mmlu_hr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 360/411 [52:47<07:20, 8.65s/it][A + mmlu_hr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 361/411 [52:55<07:03, 8.46s/it][A + mmlu_hr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 362/411 [53:04<07:02, 8.62s/it][A + mmlu_hr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 363/411 [53:11<06:38, 8.29s/it][A + mmlu_hr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 364/411 [53:21<06:47, 8.67s/it][A + mmlu_hr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 365/411 [53:28<06:20, 8.28s/it][A + mmlu_hr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 366/411 [53:36<06:03, 8.08s/it][A + mmlu_hr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 367/411 [53:44<06:01, 8.23s/it][A + mmlu_hr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 368/411 [53:53<05:59, 8.36s/it][A + mmlu_hr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 369/411 [54:01<05:47, 8.27s/it][A + mmlu_hr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 370/411 [54:11<05:53, 8.62s/it][A + mmlu_hr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 371/411 [54:19<05:37, 8.44s/it][A + mmlu_hr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 372/411 [54:28<05:40, 8.74s/it][A + mmlu_hr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 373/411 [54:37<05:37, 8.89s/it][A + mmlu_hr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 374/411 [54:47<05:34, 9.04s/it][A + mmlu_hr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 375/411 [54:55<05:16, 8.78s/it][A + mmlu_hr: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 376/411 [55:03<04:58, 8.52s/it][A + mmlu_hr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 377/411 [55:12<04:54, 8.65s/it][A + mmlu_hr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 378/411 [55:20<04:38, 8.45s/it][A + mmlu_hr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 379/411 [55:27<04:23, 8.23s/it][A + mmlu_hr: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 380/411 [55:36<04:20, 8.41s/it][A + mmlu_hr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 381/411 [55:44<04:01, 8.06s/it][A + mmlu_hr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 382/411 [55:53<04:08, 8.57s/it][A + mmlu_hr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 383/411 [56:01<03:52, 8.29s/it][A + mmlu_hr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 384/411 [56:10<03:48, 8.48s/it][A + mmlu_hr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 385/411 [56:18<03:39, 8.42s/it][A + mmlu_hr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 386/411 [56:28<03:39, 8.78s/it][A + mmlu_hr: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 387/411 [56:36<03:29, 8.74s/it][A + mmlu_hr: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 388/411 [56:46<03:24, 8.91s/it][A + mmlu_hr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 389/411 [56:55<03:20, 9.09s/it][A + mmlu_hr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 390/411 [57:04<03:07, 8.91s/it][A + mmlu_hr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 391/411 [57:13<02:57, 8.90s/it][A + mmlu_hr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 392/411 [57:22<02:53, 9.15s/it][A + mmlu_hr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 393/411 [57:32<02:47, 9.32s/it][A + mmlu_hr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 394/411 [57:41<02:34, 9.10s/it][A + mmlu_hr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 395/411 [57:49<02:20, 8.79s/it][A + mmlu_hr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 396/411 [57:59<02:18, 9.23s/it][A + mmlu_hr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 397/411 [58:09<02:11, 9.36s/it][A + mmlu_hr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 398/411 [58:16<01:55, 8.90s/it][A + mmlu_hr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 399/411 [58:25<01:45, 8.83s/it][A + mmlu_hr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 400/411 [58:33<01:34, 8.62s/it][A + mmlu_hr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 401/411 [58:41<01:23, 8.33s/it][A + mmlu_hr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 402/411 [58:49<01:14, 8.32s/it][A + mmlu_hr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 403/411 [58:59<01:09, 8.68s/it][A + mmlu_hr: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 404/411 [59:06<00:58, 8.37s/it][A + mmlu_hr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 405/411 [59:15<00:50, 8.39s/it][A + mmlu_hr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 406/411 [59:23<00:41, 8.28s/it][A + mmlu_hr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 407/411 [59:31<00:33, 8.36s/it][A + mmlu_hr: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 408/411 [59:41<00:26, 8.78s/it][A + mmlu_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 409/411 [59:49<00:16, 8.39s/it][A + mmlu_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 410/411 [59:58<00:08, 8.62s/it][A + mmlu_hr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 411/411 [1:00:06<00:00, 8.40s/it][A mmlu_hr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 411/411 [1:00:06<00:00, 8.77s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hr_acc 0.31327958624885915 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hr_acc_norm 0.30620626711286886 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 03:52:04,640 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 03:52:04,640 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:04,765 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 03:52:04,765 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:04,891 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 03:52:04,891 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:05,017 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 03:52:05,017 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 03:52:05,018 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 03:52:05,144 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 03:52:05,145 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hr_acc'} +2024-05-31 03:52:05,208 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 03:52:05,209 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1223, 'value': 0.31327958624885915} +2024-05-31 03:52:05,273 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 03:52:05,925 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 03:52:05,925 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:06,054 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 03:52:06,054 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:06,183 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 03:52:06,183 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:06,312 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 03:52:06,312 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 03:52:06,313 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 03:52:06,442 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 03:52:06,442 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hr_acc_norm'} +2024-05-31 03:52:06,508 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 03:52:06,508 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1224, 'value': 0.30620626711286886} +2024-05-31 03:52:06,573 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 59%|███████████████████████████████████████████████████████████████▌ | 73/124 [45:04:35<65:10:50, 4600.99s/it]['mmlu_hu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 03:52:07,226 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 03:52:07,226 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:07,354 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 03:52:07,354 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:07,483 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 03:52:07,483 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 03:52:07,611 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 03:52:07,612 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 03:52:07,612 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_hu'} +2024-05-31 03:52:07,741 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_hu task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1740 examples [00:00, 14290.95 examples/s][A + Generating test split: 5004 examples [00:00, 24194.19 examples/s][A + Generating test split: 8450 examples [00:00, 28661.13 examples/s][A + Generating test split: 11893 examples [00:00, 30871.17 examples/s][A Generating test split: 13024 examples [00:00, 27952.24 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 278 examples [00:00, 26657.90 examples/s] +Running loglikelihood requests + + mmlu_hu: 0%| | 0/407 [00:00<?, ?it/s][A + mmlu_hu: 0%|▎ | 1/407 [00:08<57:41, 8.53s/it][A + mmlu_hu: 0%|▌ | 2/407 [00:16<56:58, 8.44s/it][A + mmlu_hu: 1%|▉ | 3/407 [00:25<58:48, 8.73s/it][A + mmlu_hu: 1%|█▏ | 4/407 [00:36<1:04:32, 9.61s/it][A + mmlu_hu: 1%|█▍ | 5/407 [00:46<1:03:43, 9.51s/it][A + mmlu_hu: 1%|█▋ | 6/407 [00:55<1:02:01, 9.28s/it][A + mmlu_hu: 2%|██ | 7/407 [01:03<1:00:14, 9.04s/it][A + mmlu_hu: 2%|██▎ | 8/407 [01:13<1:01:15, 9.21s/it][A + mmlu_hu: 2%|██▌ | 9/407 [01:22<1:00:54, 9.18s/it][A + mmlu_hu: 2%|██▊ | 10/407 [01:31<1:00:08, 9.09s/it][A + mmlu_hu: 3%|███▏ | 11/407 [01:38<56:54, 8.62s/it][A + mmlu_hu: 3%|███▍ | 12/407 [01:47<57:34, 8.75s/it][A + mmlu_hu: 3%|███▊ | 13/407 [01:57<58:36, 8.93s/it][A + mmlu_hu: 3%|████ | 14/407 [02:06<59:21, 9.06s/it][A + mmlu_hu: 4%|████▎ | 15/407 [02:16<1:01:15, 9.38s/it][A + mmlu_hu: 4%|████▋ | 16/407 [02:25<59:48, 9.18s/it][A + mmlu_hu: 4%|████▉ | 17/407 [02:33<58:27, 8.99s/it][A + mmlu_hu: 4%|█████▏ | 18/407 [02:43<59:49, 9.23s/it][A + mmlu_hu: 5%|█████▌ | 19/407 [02:51<57:24, 8.88s/it][A + mmlu_hu: 5%|█████▋ | 20/407 [03:02<1:00:24, 9.37s/it][A + mmlu_hu: 5%|██████ | 21/407 [03:10<58:46, 9.14s/it][A + mmlu_hu: 5%|██████▍ | 22/407 [03:20<58:55, 9.18s/it][A + mmlu_hu: 6%|██████▋ | 23/407 [03:29<59:20, 9.27s/it][A + mmlu_hu: 6%|██████▊ | 24/407 [03:40<1:02:25, 9.78s/it][A + mmlu_hu: 6%|███████▏ | 25/407 [03:49<1:01:00, 9.58s/it][A + mmlu_hu: 6%|███████▌ | 26/407 [03:58<58:49, 9.26s/it][A + mmlu_hu: 7%|███████▊ | 27/407 [04:07<58:04, 9.17s/it][A + mmlu_hu: 7%|████████ | 28/407 [04:16<57:40, 9.13s/it][A + mmlu_hu: 7%|████████▍ | 29/407 [04:25<57:04, 9.06s/it][A + mmlu_hu: 7%|████████▋ | 30/407 [04:33<56:24, 8.98s/it][A + mmlu_hu: 8%|████████▉ | 31/407 [04:42<55:16, 8.82s/it][A + mmlu_hu: 8%|█████████▎ | 32/407 [04:53<59:28, 9.52s/it][A + mmlu_hu: 8%|█████████▌ | 33/407 [05:01<56:44, 9.10s/it][A + mmlu_hu: 8%|█████████▊ | 34/407 [05:12<59:11, 9.52s/it][A + mmlu_hu: 9%|██████████▏ | 35/407 [05:21<58:23, 9.42s/it][A + mmlu_hu: 9%|██████████▍ | 36/407 [05:30<57:59, 9.38s/it][A + mmlu_hu: 9%|██████████▋ | 37/407 [05:39<56:55, 9.23s/it][A + mmlu_hu: 9%|███████████ | 38/407 [05:47<55:21, 9.00s/it][A + mmlu_hu: 10%|███████████▎ | 39/407 [05:56<54:29, 8.88s/it][A + mmlu_hu: 10%|███████████▌ | 40/407 [06:06<55:24, 9.06s/it][A + mmlu_hu: 10%|███████████▉ | 41/407 [06:15<56:54, 9.33s/it][A + mmlu_hu: 10%|████████████▏ | 42/407 [06:25<57:51, 9.51s/it][A + mmlu_hu: 11%|████████████▍ | 43/407 [06:34<56:43, 9.35s/it][A + mmlu_hu: 11%|████████████▊ | 44/407 [06:45<58:13, 9.63s/it][A + mmlu_hu: 11%|█████████████ | 45/407 [06:54<57:57, 9.61s/it][A + mmlu_hu: 11%|█████████████▎ | 46/407 [07:03<56:24, 9.38s/it][A + mmlu_hu: 12%|█████████████▋ | 47/407 [07:13<57:16, 9.55s/it][A + mmlu_hu: 12%|█████████████▉ | 48/407 [07:23<57:09, 9.55s/it][A + mmlu_hu: 12%|██████████████▏ | 49/407 [07:32<57:22, 9.62s/it][A + mmlu_hu: 12%|██████████████▍ | 50/407 [07:41<55:14, 9.28s/it][A + mmlu_hu: 13%|██████████████▊ | 51/407 [07:50<55:14, 9.31s/it][A + mmlu_hu: 13%|███████████████ | 52/407 [07:58<52:42, 8.91s/it][A + mmlu_hu: 13%|███████████████▎ | 53/407 [08:07<53:05, 9.00s/it][A + mmlu_hu: 13%|███████████████▋ | 54/407 [08:17<53:11, 9.04s/it][A + mmlu_hu: 14%|███████████████▉ | 55/407 [08:25<52:11, 8.90s/it][A + mmlu_hu: 14%|████████████████▏ | 56/407 [08:34<52:30, 8.97s/it][A + mmlu_hu: 14%|████████████████▌ | 57/407 [08:44<53:04, 9.10s/it][A + mmlu_hu: 14%|████████████████▊ | 58/407 [08:54<54:50, 9.43s/it][A + mmlu_hu: 14%|█████████████████ | 59/407 [09:05<57:55, 9.99s/it][A + mmlu_hu: 15%|█████████████████▍ | 60/407 [09:14<55:35, 9.61s/it][A + mmlu_hu: 15%|█████████████████▋ | 61/407 [09:24<55:56, 9.70s/it][A + mmlu_hu: 15%|█████████████████▉ | 62/407 [09:32<52:23, 9.11s/it][A + mmlu_hu: 15%|██████████████████▎ | 63/407 [09:41<52:51, 9.22s/it][A + mmlu_hu: 16%|██████████████████▌ | 64/407 [09:51<54:31, 9.54s/it][A + mmlu_hu: 16%|██████████████████▊ | 65/407 [10:00<53:19, 9.36s/it][A + mmlu_hu: 16%|███████████████████▏ | 66/407 [10:10<53:23, 9.40s/it][A + mmlu_hu: 16%|███████████████████▍ | 67/407 [10:18<50:55, 8.99s/it][A + mmlu_hu: 17%|███████████████████▋ | 68/407 [10:28<52:22, 9.27s/it][A + mmlu_hu: 17%|████████████████████ | 69/407 [10:38<53:13, 9.45s/it][A + mmlu_hu: 17%|████████████████████▎ | 70/407 [10:48<54:57, 9.79s/it][A + mmlu_hu: 17%|████████████████████▌ | 71/407 [10:57<53:59, 9.64s/it][A + mmlu_hu: 18%|████████████████████▊ | 72/407 [11:07<53:27, 9.57s/it][A + mmlu_hu: 18%|█████████████████████▏ | 73/407 [11:15<50:52, 9.14s/it][A + mmlu_hu: 18%|█████████████████████▍ | 74/407 [11:24<50:38, 9.12s/it][A + mmlu_hu: 18%|█████████████████████▋ | 75/407 [11:34<51:07, 9.24s/it][A + mmlu_hu: 19%|██████████████████████ | 76/407 [11:42<49:43, 9.01s/it][A + mmlu_hu: 19%|██████████████████████▎ | 77/407 [11:51<49:19, 8.97s/it][A + mmlu_hu: 19%|██████████████████████▌ | 78/407 [11:59<48:04, 8.77s/it][A + mmlu_hu: 19%|██████████████████████▉ | 79/407 [12:09<49:05, 8.98s/it][A + mmlu_hu: 20%|███████████████████████▏ | 80/407 [12:18<49:24, 9.07s/it][A + mmlu_hu: 20%|███████████████████████▍ | 81/407 [12:27<49:57, 9.20s/it][A + mmlu_hu: 20%|███████████████████████▊ | 82/407 [12:36<48:35, 8.97s/it][A + mmlu_hu: 20%|████████████████████████ | 83/407 [12:45<48:43, 9.02s/it][A + mmlu_hu: 21%|████████████████████████▎ | 84/407 [12:55<49:57, 9.28s/it][A + mmlu_hu: 21%|████████████████████████▋ | 85/407 [13:03<48:41, 9.07s/it][A + mmlu_hu: 21%|████████████████████████▉ | 86/407 [13:14<50:17, 9.40s/it][A + mmlu_hu: 21%|█████████████████████████▏ | 87/407 [13:23<49:39, 9.31s/it][A + mmlu_hu: 22%|█████████████████████████▌ | 88/407 [13:32<49:09, 9.25s/it][A + mmlu_hu: 22%|█████████████████████████▊ | 89/407 [13:41<49:36, 9.36s/it][A + mmlu_hu: 22%|██████████████████████████ | 90/407 [13:51<50:15, 9.51s/it][A + mmlu_hu: 22%|██████████████████████████▍ | 91/407 [14:00<49:03, 9.31s/it][A + mmlu_hu: 23%|██████████████████████████▋ | 92/407 [14:10<49:57, 9.52s/it][A + mmlu_hu: 23%|██████████████████████████▉ | 93/407 [14:20<49:46, 9.51s/it][A + mmlu_hu: 23%|███████████████████████████▎ | 94/407 [14:29<49:34, 9.50s/it][A + mmlu_hu: 23%|███████████████████████████▌ | 95/407 [14:39<49:55, 9.60s/it][A + mmlu_hu: 24%|███████████████████████████▊ | 96/407 [14:50<51:30, 9.94s/it][A + mmlu_hu: 24%|████████████████████████████ | 97/407 [14:58<48:40, 9.42s/it][A + mmlu_hu: 24%|████████████████████████████▍ | 98/407 [15:07<48:24, 9.40s/it][A + mmlu_hu: 24%|████████████████████████████▋ | 99/407 [15:17<48:21, 9.42s/it][A + mmlu_hu: 25%|████████████████████████████▋ | 100/407 [15:26<47:47, 9.34s/it][A + mmlu_hu: 25%|█████████████████████████████ | 101/407 [15:35<47:35, 9.33s/it][A + mmlu_hu: 25%|█████████████████████████████▎ | 102/407 [15:44<46:53, 9.23s/it][A + mmlu_hu: 25%|█████████████████████████████▌ | 103/407 [15:53<46:40, 9.21s/it][A + mmlu_hu: 26%|█████████████████████████████▉ | 104/407 [16:02<45:30, 9.01s/it][A + mmlu_hu: 26%|██████████████████████████████▏ | 105/407 [16:11<46:01, 9.15s/it][A + mmlu_hu: 26%|██████████████████████████████▍ | 106/407 [16:20<44:21, 8.84s/it][A + mmlu_hu: 26%|██████████████████████████████▊ | 107/407 [16:29<44:27, 8.89s/it][A + mmlu_hu: 27%|███████████████████████████████ | 108/407 [16:38<44:29, 8.93s/it][A + mmlu_hu: 27%|███████████████████████████████▎ | 109/407 [16:46<43:37, 8.78s/it][A + mmlu_hu: 27%|███████████████████████████████▌ | 110/407 [16:54<43:04, 8.70s/it][A + mmlu_hu: 27%|███████████████████████████████▉ | 111/407 [17:03<43:14, 8.76s/it][A + mmlu_hu: 28%|████████████████████████████████▏ | 112/407 [17:13<43:45, 8.90s/it][A + mmlu_hu: 28%|████████████████████████████████▍ | 113/407 [17:23<45:28, 9.28s/it][A + mmlu_hu: 28%|████████████████████████████████▊ | 114/407 [17:34<48:47, 9.99s/it][A + mmlu_hu: 28%|█████████████████████████████████ | 115/407 [17:44<47:27, 9.75s/it][A + mmlu_hu: 29%|█████████████████████████████████▎ | 116/407 [17:53<46:30, 9.59s/it][A + mmlu_hu: 29%|█████████████████████████████████▋ | 117/407 [18:03<47:21, 9.80s/it][A + mmlu_hu: 29%|█████████████████████████████████▉ | 118/407 [18:13<46:58, 9.75s/it][A + mmlu_hu: 29%|██████████████████████████████████▏ | 119/407 [18:21<45:05, 9.39s/it][A + mmlu_hu: 29%|██████████████████████████████████▍ | 120/407 [18:30<44:17, 9.26s/it][A + mmlu_hu: 30%|██████████████████████████████████▊ | 121/407 [18:41<46:45, 9.81s/it][A + mmlu_hu: 30%|███████████████████████████████████ | 122/407 [18:50<45:01, 9.48s/it][A + mmlu_hu: 30%|███████████████████████████████████▎ | 123/407 [19:00<46:00, 9.72s/it][A + mmlu_hu: 30%|███████████████████████████████████▋ | 124/407 [19:10<45:16, 9.60s/it][A + mmlu_hu: 31%|███████████████████████████████████▉ | 125/407 [19:18<43:44, 9.31s/it][A + mmlu_hu: 31%|████████████████████████████████████▏ | 126/407 [19:27<42:29, 9.07s/it][A + mmlu_hu: 31%|████████████████████████████████████▌ | 127/407 [19:36<43:04, 9.23s/it][A + mmlu_hu: 31%|████████████████████████████████████▊ | 128/407 [19:47<44:24, 9.55s/it][A + mmlu_hu: 32%|█████████████████████████████████████ | 129/407 [19:56<43:49, 9.46s/it][A + mmlu_hu: 32%|█████████████████████████████████████▎ | 130/407 [20:06<44:58, 9.74s/it][A + mmlu_hu: 32%|█████████████████████████████████████▋ | 131/407 [20:15<43:32, 9.47s/it][A + mmlu_hu: 32%|█████████████████████████████████████▉ | 132/407 [20:25<43:14, 9.43s/it][A + mmlu_hu: 33%|██████████████████████████████████████▏ | 133/407 [20:35<44:01, 9.64s/it][A + mmlu_hu: 33%|██████████████████████████████████████▌ | 134/407 [20:44<43:49, 9.63s/it][A + mmlu_hu: 33%|██████████████████████████████████████▊ | 135/407 [20:53<42:47, 9.44s/it][A + mmlu_hu: 33%|███████████████████████████████████████ | 136/407 [21:02<41:26, 9.18s/it][A + mmlu_hu: 34%|███████████████████████████████████████▍ | 137/407 [21:10<40:14, 8.94s/it][A + mmlu_hu: 34%|███████████████████████████████████████▋ | 138/407 [21:19<39:53, 8.90s/it][A + mmlu_hu: 34%|███████████████████████████████████████▉ | 139/407 [21:28<39:37, 8.87s/it][A + mmlu_hu: 34%|████████████████████████████████████████▏ | 140/407 [21:36<38:09, 8.57s/it][A + mmlu_hu: 35%|████████████████████████████████████████▌ | 141/407 [21:44<38:10, 8.61s/it][A + mmlu_hu: 35%|████████████████████████████████████████▊ | 142/407 [21:54<38:40, 8.76s/it][A + mmlu_hu: 35%|█████████████████████████████████████████ | 143/407 [22:05<41:31, 9.44s/it][A + mmlu_hu: 35%|█████████████████████████████████████████▍ | 144/407 [22:13<40:27, 9.23s/it][A + mmlu_hu: 36%|█████████████████████████████████████████▋ | 145/407 [22:23<40:43, 9.33s/it][A + mmlu_hu: 36%|█████████████████████████████████████████▉ | 146/407 [22:33<42:13, 9.71s/it][A + mmlu_hu: 36%|██████████████████████████████████████████▎ | 147/407 [22:43<41:37, 9.61s/it][A + mmlu_hu: 36%|██████████████████████████████████████████▌ | 148/407 [22:52<41:09, 9.54s/it][A + mmlu_hu: 37%|██████████████████████████████████████████▊ | 149/407 [23:02<41:35, 9.67s/it][A + mmlu_hu: 37%|███████████████████████████████████████████ | 150/407 [23:11<40:35, 9.48s/it][A + mmlu_hu: 37%|███████████████████████████████████████████▍ | 151/407 [23:20<40:08, 9.41s/it][A + mmlu_hu: 37%|███████████████████████████████████████████▋ | 152/407 [23:29<39:18, 9.25s/it][A + mmlu_hu: 38%|███████████████████████████████████████████▉ | 153/407 [23:39<39:49, 9.41s/it][A + mmlu_hu: 38%|████████████████████████████████████████████▎ | 154/407 [23:49<40:00, 9.49s/it][A + mmlu_hu: 38%|████████████████████████████████████████████▌ | 155/407 [23:57<38:27, 9.16s/it][A + mmlu_hu: 38%|████████████████████████████████████████████▊ | 156/407 [24:06<38:26, 9.19s/it][A + mmlu_hu: 39%|█████████████████████████████████████████████▏ | 157/407 [24:16<38:37, 9.27s/it][A + mmlu_hu: 39%|█████████████████████████████████████████████▍ | 158/407 [24:25<38:06, 9.18s/it][A + mmlu_hu: 39%|█████████████████████████████████████████████▋ | 159/407 [24:34<37:29, 9.07s/it][A + mmlu_hu: 39%|█████████████████████████████████████████████▉ | 160/407 [24:43<37:04, 9.01s/it][A + mmlu_hu: 40%|██████████████████████████████████████████████▎ | 161/407 [24:50<35:24, 8.64s/it][A + mmlu_hu: 40%|██████████████████████████████████████████████▌ | 162/407 [25:00<36:19, 8.89s/it][A + mmlu_hu: 40%|██████████████████████████████████████████████▊ | 163/407 [25:08<35:39, 8.77s/it][A + mmlu_hu: 40%|███████████████████████████████████████████████▏ | 164/407 [25:18<36:38, 9.05s/it][A + mmlu_hu: 41%|███████████████████████████████████████████████▍ | 165/407 [25:28<37:26, 9.28s/it][A + mmlu_hu: 41%|███████████████████████████████████████████████▋ | 166/407 [25:38<37:49, 9.42s/it][A + mmlu_hu: 41%|████████████████████████████████████████████████ | 167/407 [25:46<36:32, 9.14s/it][A + mmlu_hu: 41%|████████████████████████████████████████████████▎ | 168/407 [25:56<37:33, 9.43s/it][A + mmlu_hu: 42%|████████████████████████████████████████████████▌ | 169/407 [26:06<38:23, 9.68s/it][A + mmlu_hu: 42%|████████████████████████████████████████████████▊ | 170/407 [26:15<36:43, 9.30s/it][A + mmlu_hu: 42%|█████████████████████████████████████████████████▏ | 171/407 [26:23<35:34, 9.04s/it][A + mmlu_hu: 42%|█████████████████████████████████████████████████▍ | 172/407 [26:32<35:34, 9.08s/it][A + mmlu_hu: 43%|█████████████████████████████████████████████████▋ | 173/407 [26:41<34:43, 8.90s/it][A + mmlu_hu: 43%|██████████████████████████████████████████████████ | 174/407 [26:50<34:29, 8.88s/it][A + mmlu_hu: 43%|██████████████████████████████████████████████████▎ | 175/407 [26:59<35:22, 9.15s/it][A + mmlu_hu: 43%|██████████████████████████████████████████████████▌ | 176/407 [27:09<35:14, 9.15s/it][A + mmlu_hu: 43%|██████████████████████████████████████████████████▉ | 177/407 [27:18<35:09, 9.17s/it][A + mmlu_hu: 44%|███████████████████████████████████████████████████▏ | 178/407 [27:27<35:10, 9.22s/it][A + mmlu_hu: 44%|███████████████████████████████████████████████████▍ | 179/407 [27:35<33:51, 8.91s/it][A + mmlu_hu: 44%|███████████████████████████████████████████████████▋ | 180/407 [27:46<35:24, 9.36s/it][A + mmlu_hu: 44%|████████████████████████████████████████████████████ | 181/407 [27:54<34:18, 9.11s/it][A + mmlu_hu: 45%|████████████████████████████████████████████████████▎ | 182/407 [28:04<34:37, 9.23s/it][A + mmlu_hu: 45%|████████████████████████████████████████████████████▌ | 183/407 [28:12<33:12, 8.89s/it][A + mmlu_hu: 45%|████████████████████████████████████████████████████▉ | 184/407 [28:21<33:17, 8.96s/it][A + mmlu_hu: 45%|█████████████████████████████████████████████████████▏ | 185/407 [28:29<32:26, 8.77s/it][A + mmlu_hu: 46%|█████████████████████████████████████████████████████▍ | 186/407 [28:39<32:48, 8.91s/it][A + mmlu_hu: 46%|█████████████████████████████████████████████████████▊ | 187/407 [28:49<33:56, 9.26s/it][A + mmlu_hu: 46%|██████████████████████████████████████████████████████ | 188/407 [28:58<34:01, 9.32s/it][A + mmlu_hu: 46%|██████████████████████████████████████████████████████▎ | 189/407 [29:08<34:03, 9.37s/it][A + mmlu_hu: 47%|██████████████████████████████████████████████████████▌ | 190/407 [29:17<34:10, 9.45s/it][A + mmlu_hu: 47%|██████████████████████████████████████████████████████▉ | 191/407 [29:27<33:55, 9.42s/it][A + mmlu_hu: 47%|███████████████████████████████████████████████████████▏ | 192/407 [29:37<34:25, 9.61s/it][A + mmlu_hu: 47%|███████████████████████████████████████████████████████▍ | 193/407 [29:46<33:57, 9.52s/it][A + mmlu_hu: 48%|███████████████████████████████████████████████████████▊ | 194/407 [29:56<33:52, 9.54s/it][A + mmlu_hu: 48%|████████████████████████████████████████████████████████ | 195/407 [30:06<35:01, 9.91s/it][A + mmlu_hu: 48%|████████████████████████████████████████████████████████▎ | 196/407 [30:15<33:32, 9.54s/it][A + mmlu_hu: 48%|████████████████████████████████████████████████████████▋ | 197/407 [30:24<32:48, 9.37s/it][A + mmlu_hu: 49%|████████████████████████████████████████████████████████▉ | 198/407 [30:33<31:54, 9.16s/it][A + mmlu_hu: 49%|█████████████████████████████████████████████████████████▏ | 199/407 [30:42<31:54, 9.21s/it][A + mmlu_hu: 49%|█████████████████████████████████████████████████████████▍ | 200/407 [30:51<31:39, 9.18s/it][A + mmlu_hu: 49%|█████████████████████████████████████████████████████████▊ | 201/407 [31:00<31:03, 9.05s/it][A + mmlu_hu: 50%|██████████████████████████████████████████████████████████ | 202/407 [31:09<31:05, 9.10s/it][A + mmlu_hu: 50%|██████████████████████████████████████████████████████████▎ | 203/407 [31:17<30:13, 8.89s/it][A + mmlu_hu: 50%|██████████████████████████████████████████████████████████▋ | 204/407 [31:27<31:13, 9.23s/it][A + mmlu_hu: 50%|██████████████████████████████████████████████████████████▉ | 205/407 [31:35<29:37, 8.80s/it][A + mmlu_hu: 51%|███████████████████████████████████████████████████████████▏ | 206/407 [31:44<29:32, 8.82s/it][A + mmlu_hu: 51%|███████████████████████████████████████████████████████████▌ | 207/407 [31:54<30:54, 9.27s/it][A + mmlu_hu: 51%|███████████████████████████████████████████████████████████▊ | 208/407 [32:04<30:41, 9.25s/it][A + mmlu_hu: 51%|████████████████████████████████████████████████████████████ | 209/407 [32:12<29:37, 8.98s/it][A + mmlu_hu: 52%|████████████████████████████████████████████████████████████▎ | 210/407 [32:20<28:54, 8.80s/it][A + mmlu_hu: 52%|████████████████████████████████████████████████████████████▋ | 211/407 [32:29<28:53, 8.84s/it][A + mmlu_hu: 52%|████████████████████████████████████████████████████████████▉ | 212/407 [32:38<28:58, 8.92s/it][A + mmlu_hu: 52%|█████████████████████████████████████████████████████████████▏ | 213/407 [32:47<28:44, 8.89s/it][A + mmlu_hu: 53%|█████████████████████████████████████████████████████████████▌ | 214/407 [32:56<28:48, 8.95s/it][A + mmlu_hu: 53%|█████████████████████████████████████████████████████████████▊ | 215/407 [33:06<29:26, 9.20s/it][A + mmlu_hu: 53%|██████████████████████████████████████████████████████████████ | 216/407 [33:16<30:19, 9.53s/it][A + mmlu_hu: 53%|██████████████████████████████████████████████████████████████▍ | 217/407 [33:27<31:35, 9.97s/it][A + mmlu_hu: 54%|██████████████████████████████████████████████████████████████▋ | 218/407 [33:38<31:37, 10.04s/it][A + mmlu_hu: 54%|██████████████████████████████████████████████████████████████▉ | 219/407 [33:46<30:06, 9.61s/it][A + mmlu_hu: 54%|███████████████████████████████████████████████████████████████▏ | 220/407 [33:55<29:05, 9.34s/it][A + mmlu_hu: 54%|███████████████████████████████████████████████████████████████▌ | 221/407 [34:03<27:51, 8.99s/it][A + mmlu_hu: 55%|███████████████████████████████████████████████████████████████▊ | 222/407 [34:12<27:47, 9.01s/it][A + mmlu_hu: 55%|████████████████████████████████████████████████████████████████ | 223/407 [34:22<27:57, 9.12s/it][A + mmlu_hu: 55%|████████████████████████████████████████████████████████████████▍ | 224/407 [34:32<28:57, 9.49s/it][A + mmlu_hu: 55%|████████████████████████████████████████████████████████████████▋ | 225/407 [34:41<28:18, 9.33s/it][A + mmlu_hu: 56%|████████████████████████████████████████████████████████████████▉ | 226/407 [34:49<27:30, 9.12s/it][A + mmlu_hu: 56%|█████████████████████████████████████████████████████████████████▎ | 227/407 [34:59<27:57, 9.32s/it][A + mmlu_hu: 56%|█████████████████████████████████████████████████████████████████▌ | 228/407 [35:08<27:26, 9.20s/it][A + mmlu_hu: 56%|█████████████████████████████████████████████████████████████████▊ | 229/407 [35:17<27:13, 9.18s/it][A + mmlu_hu: 57%|██████████████████████████████████████████████████████████████████ | 230/407 [35:26<26:51, 9.10s/it][A + mmlu_hu: 57%|██████████████████████████████████████████████████████████████████▍ | 231/407 [35:37<28:05, 9.58s/it][A + mmlu_hu: 57%|██████████████████████████████████████████████████████████████████▋ | 232/407 [35:46<27:22, 9.38s/it][A + mmlu_hu: 57%|██████████████████████████████████████████████████████████████████▉ | 233/407 [35:54<26:27, 9.12s/it][A + mmlu_hu: 57%|███████████████████████████████████████████████████████████████████▎ | 234/407 [36:04<27:07, 9.41s/it][A + mmlu_hu: 58%|███████████████████████████████████████████████████████████████████▌ | 235/407 [36:13<26:34, 9.27s/it][A + mmlu_hu: 58%|███████████████████████████████████████████████████████████████████▊ | 236/407 [36:23<26:46, 9.40s/it][A + mmlu_hu: 58%|████████████████████████████████████████████████████████████████████▏ | 237/407 [36:33<26:38, 9.40s/it][A + mmlu_hu: 58%|████████████████████████████████████████████████████████████████████▍ | 238/407 [36:43<27:06, 9.62s/it][A + mmlu_hu: 59%|████████████████████████████████████████████████████████████████████▋ | 239/407 [36:52<26:25, 9.44s/it][A + mmlu_hu: 59%|████████████████████████████████████████████████████████████████████▉ | 240/407 [37:01<25:53, 9.30s/it][A + mmlu_hu: 59%|█████████████████████████████████████████████████████████████████████▎ | 241/407 [37:11<26:24, 9.54s/it][A + mmlu_hu: 59%|█████████████████████████████████████████████████████████████████████▌ | 242/407 [37:19<25:20, 9.22s/it][A + mmlu_hu: 60%|█████████████████████████████████████████████████████████████████████▊ | 243/407 [37:29<25:38, 9.38s/it][A + mmlu_hu: 60%|██████████████████████████████████████████████████████████████████████▏ | 244/407 [37:39<25:54, 9.54s/it][A + mmlu_hu: 60%|██████████████████████████████████████████████████████████████████████▍ | 245/407 [37:47<24:54, 9.23s/it][A + mmlu_hu: 60%|██████████████████████████████████████████████████████████████████████▋ | 246/407 [37:58<25:52, 9.64s/it][A + mmlu_hu: 61%|███████████████████████████████████████████████████████████████████████ | 247/407 [38:07<25:16, 9.48s/it][A + mmlu_hu: 61%|███████████████████████████████████████████████████████████████████████▎ | 248/407 [38:16<24:19, 9.18s/it][A + mmlu_hu: 61%|███████████████████████████████████████████████████████████████████████▌ | 249/407 [38:25<24:10, 9.18s/it][A + mmlu_hu: 61%|███████████████████████████████████████████████████████████████████████▊ | 250/407 [38:36<25:47, 9.85s/it][A + mmlu_hu: 62%|████████████████████████████████████████████████████████████████████████▏ | 251/407 [38:47<26:23, 10.15s/it][A + mmlu_hu: 62%|████████████████████████████████████████████████████████████████████████▍ | 252/407 [38:57<25:51, 10.01s/it][A + mmlu_hu: 62%|████████████████████████████████████████████████████████████████████████▋ | 253/407 [39:07<26:01, 10.14s/it][A + mmlu_hu: 62%|█████████████████████████████████████████████████████████████████████████ | 254/407 [39:16<25:11, 9.88s/it][A + mmlu_hu: 63%|█████████████████████████████████████████████████████████████████████████▎ | 255/407 [39:25<24:15, 9.58s/it][A + mmlu_hu: 63%|█████████████████████████████████████████████████████████████████████████▌ | 256/407 [39:34<23:29, 9.34s/it][A + mmlu_hu: 63%|█████████████████████████████████████████████████████████████████████████▉ | 257/407 [39:43<23:08, 9.26s/it][A + mmlu_hu: 63%|██████████████████████████████████████████████████████████████████████████▏ | 258/407 [39:53<23:27, 9.45s/it][A + mmlu_hu: 64%|██████████████████████████████████████████████████████████████████████████▍ | 259/407 [40:02<23:14, 9.42s/it][A + mmlu_hu: 64%|██████████████████████████████████████████████████████████████████████████▋ | 260/407 [40:12<23:16, 9.50s/it][A + mmlu_hu: 64%|███████████████████████████████████████████████████████████████████████████ | 261/407 [40:21<22:27, 9.23s/it][A + mmlu_hu: 64%|███████████████████████████████████████████████████████████████████████████▎ | 262/407 [40:30<22:23, 9.27s/it][A + mmlu_hu: 65%|███████████████████████████████████████████████████████████████████████████▌ | 263/407 [40:39<22:14, 9.27s/it][A + mmlu_hu: 65%|███████████████████████████████████████████████████████████████████████████▉ | 264/407 [40:49<22:03, 9.25s/it][A + mmlu_hu: 65%|████████████████████████████████████████████████████████████████████████████▏ | 265/407 [41:00<23:39, 10.00s/it][A + mmlu_hu: 65%|████████████████████████████████████████████████████████████████████████████▍ | 266/407 [41:08<22:03, 9.38s/it][A + mmlu_hu: 66%|████████████████████████████████████████████████████████████████████████████▊ | 267/407 [41:17<21:39, 9.28s/it][A + mmlu_hu: 66%|█████████████████████████████████████████████████████████████████████████████ | 268/407 [41:25<20:37, 8.90s/it][A + mmlu_hu: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 269/407 [41:35<20:54, 9.09s/it][A + mmlu_hu: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 270/407 [41:45<21:17, 9.33s/it][A + mmlu_hu: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 271/407 [41:53<20:40, 9.12s/it][A + mmlu_hu: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 272/407 [42:02<20:29, 9.11s/it][A + mmlu_hu: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 273/407 [42:13<21:01, 9.42s/it][A + mmlu_hu: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 274/407 [42:22<20:51, 9.41s/it][A + mmlu_hu: 68%|███████████████████████████████████████████████████████████████████████████████ | 275/407 [42:31<20:33, 9.35s/it][A + mmlu_hu: 68%|███████████████████████████████████████████████████████████████████████████████▎ | 276/407 [42:43<21:46, 9.97s/it][A + mmlu_hu: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 277/407 [42:52<21:12, 9.79s/it][A + mmlu_hu: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 278/407 [43:00<20:13, 9.41s/it][A + mmlu_hu: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 279/407 [43:09<19:23, 9.09s/it][A + mmlu_hu: 69%|████████████████████████████████████████████████████████████████████████████████▍ | 280/407 [43:17<18:38, 8.81s/it][A + mmlu_hu: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 281/407 [43:28<19:45, 9.41s/it][A + mmlu_hu: 69%|█████████████████████████████████████████████████████████████████████████████████ | 282/407 [43:37<19:43, 9.47s/it][A + mmlu_hu: 70%|█████████████████████████████████████████████████████████████████████████████████▎ | 283/407 [43:46<19:20, 9.36s/it][A + mmlu_hu: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 284/407 [43:56<19:33, 9.54s/it][A + mmlu_hu: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 285/407 [44:07<20:11, 9.93s/it][A + mmlu_hu: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 286/407 [44:16<19:33, 9.70s/it][A + mmlu_hu: 71%|██████████████████████████████████████████████████████████████████████████████████▌ | 287/407 [44:25<18:34, 9.28s/it][A + mmlu_hu: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 288/407 [44:34<18:28, 9.31s/it][A + mmlu_hu: 71%|███████████████████████████████████████████████████████████████████████████████████ | 289/407 [44:43<18:06, 9.21s/it][A + mmlu_hu: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 290/407 [44:54<18:47, 9.64s/it][A + mmlu_hu: 71%|███████████████████████████████████████████████████████████████████████████████████▋ | 291/407 [45:02<17:34, 9.09s/it][A + mmlu_hu: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 292/407 [45:11<17:29, 9.13s/it][A + mmlu_hu: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 293/407 [45:19<17:00, 8.95s/it][A + mmlu_hu: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 294/407 [45:28<16:48, 8.92s/it][A + mmlu_hu: 72%|████████████████████████████████████████████████████████████████████████████████████▊ | 295/407 [45:38<17:04, 9.15s/it][A + mmlu_hu: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 296/407 [45:47<16:53, 9.13s/it][A + mmlu_hu: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 297/407 [45:56<16:31, 9.02s/it][A + mmlu_hu: 73%|█████████████████████████████████████████████████████████████████████████████████████▋ | 298/407 [46:04<16:10, 8.90s/it][A + mmlu_hu: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 299/407 [46:15<16:46, 9.32s/it][A + mmlu_hu: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 300/407 [46:24<16:30, 9.26s/it][A + mmlu_hu: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 301/407 [46:33<16:35, 9.39s/it][A + mmlu_hu: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 302/407 [46:43<16:36, 9.49s/it][A + mmlu_hu: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 303/407 [46:52<16:01, 9.25s/it][A + mmlu_hu: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 304/407 [47:02<16:21, 9.53s/it][A + mmlu_hu: 75%|███████████████████████████████████████████████████████████████████████████████████████▋ | 305/407 [47:11<16:11, 9.52s/it][A + mmlu_hu: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 306/407 [47:22<16:22, 9.72s/it][A + mmlu_hu: 75%|████████████████████████████████████████████████████████████████████████████████████████▎ | 307/407 [47:31<16:15, 9.76s/it][A + mmlu_hu: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 308/407 [47:40<15:24, 9.34s/it][A + mmlu_hu: 76%|████████████████████████████████████████████████████████████████████████████████████████▊ | 309/407 [47:48<14:53, 9.12s/it][A + mmlu_hu: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 310/407 [47:58<14:54, 9.22s/it][A + mmlu_hu: 76%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 311/407 [48:07<14:41, 9.19s/it][A + mmlu_hu: 77%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 312/407 [48:16<14:19, 9.05s/it][A + mmlu_hu: 77%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 313/407 [48:25<14:25, 9.21s/it][A + mmlu_hu: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 314/407 [48:35<14:16, 9.21s/it][A + mmlu_hu: 77%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 315/407 [48:43<13:41, 8.93s/it][A + mmlu_hu: 78%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 316/407 [48:53<13:56, 9.19s/it][A + mmlu_hu: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 317/407 [49:02<13:53, 9.26s/it][A + mmlu_hu: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 318/407 [49:11<13:47, 9.30s/it][A + mmlu_hu: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 319/407 [49:22<14:20, 9.78s/it][A + mmlu_hu: 79%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 320/407 [49:31<13:41, 9.44s/it][A + mmlu_hu: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 321/407 [49:41<13:45, 9.60s/it][A + mmlu_hu: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 322/407 [49:51<13:56, 9.85s/it][A + mmlu_hu: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 323/407 [49:59<12:46, 9.13s/it][A + mmlu_hu: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 324/407 [50:07<12:18, 8.89s/it][A + mmlu_hu: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 325/407 [50:18<12:51, 9.41s/it][A + mmlu_hu: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 326/407 [50:27<12:34, 9.31s/it][A + mmlu_hu: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 327/407 [50:37<12:33, 9.42s/it][A + mmlu_hu: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 328/407 [50:47<12:47, 9.71s/it][A + mmlu_hu: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 329/407 [50:56<12:14, 9.42s/it][A + mmlu_hu: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 330/407 [51:04<11:41, 9.11s/it][A + mmlu_hu: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 331/407 [51:12<11:16, 8.91s/it][A + mmlu_hu: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 332/407 [51:21<11:06, 8.89s/it][A + mmlu_hu: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 333/407 [51:30<10:48, 8.76s/it][A + mmlu_hu: 82%|████████████████████████████████████████████████████████████████████████████████████████████████ | 334/407 [51:41<11:27, 9.41s/it][A + mmlu_hu: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 335/407 [51:50<11:22, 9.48s/it][A + mmlu_hu: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 336/407 [52:00<11:21, 9.60s/it][A + mmlu_hu: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 337/407 [52:10<11:05, 9.51s/it][A + mmlu_hu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 338/407 [52:19<10:51, 9.45s/it][A + mmlu_hu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 339/407 [52:28<10:40, 9.41s/it][A + mmlu_hu: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 340/407 [52:38<10:28, 9.39s/it][A + mmlu_hu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 341/407 [52:46<10:01, 9.12s/it][A + mmlu_hu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 342/407 [52:55<09:58, 9.21s/it][A + mmlu_hu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 343/407 [53:05<09:51, 9.24s/it][A + mmlu_hu: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 344/407 [53:15<10:02, 9.57s/it][A + mmlu_hu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 345/407 [53:27<10:33, 10.23s/it][A + mmlu_hu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 346/407 [53:35<09:51, 9.69s/it][A + mmlu_hu: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 347/407 [53:45<09:40, 9.67s/it][A + mmlu_hu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 348/407 [53:55<09:43, 9.89s/it][A + mmlu_hu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 349/407 [54:04<09:13, 9.54s/it][A + mmlu_hu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 350/407 [54:14<09:13, 9.71s/it][A + mmlu_hu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 351/407 [54:23<08:52, 9.50s/it][A + mmlu_hu: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 352/407 [54:31<08:23, 9.15s/it][A + mmlu_hu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 353/407 [54:41<08:18, 9.24s/it][A + mmlu_hu: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 354/407 [54:51<08:16, 9.36s/it][A + mmlu_hu: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 355/407 [55:00<08:12, 9.47s/it][A + mmlu_hu: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 356/407 [55:09<07:50, 9.22s/it][A + mmlu_hu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 357/407 [55:19<07:57, 9.54s/it][A + mmlu_hu: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 358/407 [55:29<07:54, 9.69s/it][A + mmlu_hu: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 359/407 [55:38<07:34, 9.48s/it][A + mmlu_hu: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 360/407 [55:48<07:23, 9.43s/it][A + mmlu_hu: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 361/407 [55:57<07:19, 9.55s/it][A + mmlu_hu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 362/407 [56:07<07:06, 9.47s/it][A + mmlu_hu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 363/407 [56:15<06:45, 9.22s/it][A + mmlu_hu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 364/407 [56:24<06:27, 9.01s/it][A + mmlu_hu: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 365/407 [56:35<06:52, 9.81s/it][A + mmlu_hu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 366/407 [56:45<06:39, 9.75s/it][A + mmlu_hu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 367/407 [56:55<06:29, 9.74s/it][A + mmlu_hu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 368/407 [57:03<06:03, 9.33s/it][A + mmlu_hu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 369/407 [57:12<05:44, 9.06s/it][A + mmlu_hu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 370/407 [57:21<05:37, 9.12s/it][A + mmlu_hu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 371/407 [57:31<05:33, 9.27s/it][A + mmlu_hu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 372/407 [57:41<05:40, 9.73s/it][A + mmlu_hu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 373/407 [57:51<05:32, 9.78s/it][A + mmlu_hu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 374/407 [58:00<05:16, 9.60s/it][A + mmlu_hu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 375/407 [58:11<05:18, 9.95s/it][A + mmlu_hu: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 376/407 [58:20<05:00, 9.68s/it][A + mmlu_hu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 377/407 [58:30<04:47, 9.57s/it][A + mmlu_hu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 378/407 [58:41<04:55, 10.18s/it][A + mmlu_hu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 379/407 [58:50<04:32, 9.73s/it][A + mmlu_hu: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 380/407 [58:59<04:18, 9.58s/it][A + mmlu_hu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 381/407 [59:09<04:09, 9.60s/it][A + mmlu_hu: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 382/407 [59:18<04:01, 9.65s/it][A + mmlu_hu: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 383/407 [59:27<03:45, 9.39s/it][A + mmlu_hu: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 384/407 [59:36<03:34, 9.31s/it][A + mmlu_hu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 385/407 [59:46<03:24, 9.29s/it][A + mmlu_hu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 386/407 [59:54<03:10, 9.06s/it][A + mmlu_hu: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 387/407 [1:00:04<03:03, 9.20s/it][A + mmlu_hu: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 388/407 [1:00:14<03:01, 9.53s/it][A + mmlu_hu: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 389/407 [1:00:24<02:54, 9.69s/it][A + mmlu_hu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 390/407 [1:00:32<02:36, 9.22s/it][A + mmlu_hu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 391/407 [1:00:42<02:31, 9.48s/it][A + mmlu_hu: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 392/407 [1:00:52<02:23, 9.59s/it][A + mmlu_hu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 393/407 [1:01:02<02:13, 9.55s/it][A + mmlu_hu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 394/407 [1:01:11<02:02, 9.43s/it][A + mmlu_hu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 395/407 [1:01:21<01:55, 9.65s/it][A + mmlu_hu: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 396/407 [1:01:32<01:50, 10.01s/it][A + mmlu_hu: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 397/407 [1:01:41<01:36, 9.69s/it][A + mmlu_hu: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 398/407 [1:01:51<01:28, 9.81s/it][A + mmlu_hu: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 399/407 [1:02:01<01:20, 10.02s/it][A + mmlu_hu: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 400/407 [1:02:13<01:14, 10.59s/it][A + mmlu_hu: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 401/407 [1:02:22<01:00, 10.04s/it][A + mmlu_hu: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 402/407 [1:02:31<00:49, 9.88s/it][A + mmlu_hu: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 403/407 [1:02:41<00:39, 9.82s/it][A + mmlu_hu: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 404/407 [1:02:50<00:28, 9.52s/it][A + mmlu_hu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 405/407 [1:02:58<00:17, 9.00s/it][A + mmlu_hu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 406/407 [1:03:08<00:09, 9.33s/it][A + mmlu_hu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:03:18<00:00, 9.61s/it][A mmlu_hu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:03:18<00:00, 9.33s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hu_acc 0.27503071253071254 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hu_acc_norm 0.2902334152334152 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 04:55:28,751 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 04:55:28,751 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:28,878 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 04:55:28,878 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:29,005 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 04:55:29,005 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:29,132 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 04:55:29,133 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 04:55:29,133 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 04:55:29,261 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 04:55:29,261 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hu_acc'} +2024-05-31 04:55:29,325 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 04:55:29,326 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1225, 'value': 0.27503071253071254} +2024-05-31 04:55:29,390 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 04:55:30,046 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 04:55:30,046 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:30,176 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 04:55:30,176 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:30,305 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 04:55:30,305 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:30,435 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 04:55:30,436 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 04:55:30,436 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 04:55:30,566 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 04:55:30,566 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hu_acc_norm'} +2024-05-31 04:55:30,632 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 04:55:30,632 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1226, 'value': 0.2902334152334152} +2024-05-31 04:55:30,697 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 60%|████████████████████████████████████████████████████████████████▍ | 74/124 [46:08:00<60:34:56, 4361.93s/it]['mmlu_hy'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 04:55:31,349 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 04:55:31,349 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:31,477 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 04:55:31,477 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:31,604 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 04:55:31,604 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 04:55:31,732 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 04:55:31,733 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 04:55:31,733 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_hy'} +2024-05-31 04:55:31,861 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_hy task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1695 examples [00:00, 14794.15 examples/s][A + Generating test split: 5000 examples [00:00, 24422.45 examples/s][A + Generating test split: 8381 examples [00:00, 28523.89 examples/s][A Generating test split: 10891 examples [00:00, 27123.57 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 266 examples [00:00, 26023.02 examples/s] +Running loglikelihood requests + + mmlu_hy: 0%| | 0/341 [00:00<?, ?it/s][A + mmlu_hy: 0%|▎ | 1/341 [00:21<2:01:40, 21.47s/it][A + mmlu_hy: 1%|▋ | 2/341 [00:39<1:48:59, 19.29s/it][A + mmlu_hy: 1%|█ | 3/341 [00:55<1:40:54, 17.91s/it][A + mmlu_hy: 1%|█▎ | 4/341 [01:10<1:34:16, 16.78s/it][A + mmlu_hy: 1%|█▋ | 5/341 [01:29<1:39:00, 17.68s/it][A + mmlu_hy: 2%|██ | 6/341 [01:47<1:38:38, 17.67s/it][A + mmlu_hy: 2%|██▍ | 7/341 [02:09<1:46:45, 19.18s/it][A + mmlu_hy: 2%|██▋ | 8/341 [02:26<1:41:24, 18.27s/it][A + mmlu_hy: 3%|███ | 9/341 [02:41<1:36:58, 17.52s/it][A + mmlu_hy: 3%|███▍ | 10/341 [03:00<1:39:06, 17.97s/it][A + mmlu_hy: 3%|███▋ | 11/341 [03:20<1:40:50, 18.34s/it][A + mmlu_hy: 4%|████ | 12/341 [03:36<1:37:50, 17.84s/it][A + mmlu_hy: 4%|████▍ | 13/341 [03:53<1:34:47, 17.34s/it][A + mmlu_hy: 4%|████▊ | 14/341 [04:13<1:40:18, 18.41s/it][A + mmlu_hy: 4%|█████ | 15/341 [04:35<1:45:56, 19.50s/it][A + mmlu_hy: 5%|█████▍ | 16/341 [04:53<1:42:36, 18.94s/it][A + mmlu_hy: 5%|█████▊ | 17/341 [05:12<1:42:44, 19.03s/it][A + mmlu_hy: 5%|██████ | 18/341 [05:32<1:42:47, 19.09s/it][A + mmlu_hy: 6%|██████▍ | 19/341 [05:52<1:44:47, 19.53s/it][A + mmlu_hy: 6%|██████▊ | 20/341 [06:07<1:37:41, 18.26s/it][A + mmlu_hy: 6%|███████▏ | 21/341 [06:27<1:38:48, 18.53s/it][A + mmlu_hy: 6%|███████▍ | 22/341 [06:45<1:37:48, 18.40s/it][A + mmlu_hy: 7%|███████▊ | 23/341 [07:02<1:36:31, 18.21s/it][A + mmlu_hy: 7%|████████▏ | 24/341 [07:23<1:39:39, 18.86s/it][A + mmlu_hy: 7%|████████▌ | 25/341 [07:39<1:35:19, 18.10s/it][A + mmlu_hy: 8%|████████▊ | 26/341 [07:57<1:34:59, 18.09s/it][A + mmlu_hy: 8%|█████████▏ | 27/341 [08:15<1:34:32, 18.07s/it][A + mmlu_hy: 8%|█████████▌ | 28/341 [08:38<1:41:39, 19.49s/it][A + mmlu_hy: 9%|█████████▊ | 29/341 [08:56<1:39:10, 19.07s/it][A + mmlu_hy: 9%|██████████▏ | 30/341 [09:15<1:37:50, 18.88s/it][A + mmlu_hy: 9%|██████████▌ | 31/341 [09:34<1:39:08, 19.19s/it][A + mmlu_hy: 9%|██████████▉ | 32/341 [10:00<1:47:55, 20.96s/it][A + mmlu_hy: 10%|███████████▏ | 33/341 [10:17<1:42:41, 20.00s/it][A + mmlu_hy: 10%|███████████▌ | 34/341 [10:34<1:37:42, 19.09s/it][A + mmlu_hy: 10%|███████████▉ | 35/341 [10:51<1:33:48, 18.39s/it][A + mmlu_hy: 11%|████████████▏ | 36/341 [11:10<1:34:35, 18.61s/it][A + mmlu_hy: 11%|████████████▌ | 37/341 [11:28<1:33:38, 18.48s/it][A + mmlu_hy: 11%|████████████▉ | 38/341 [11:46<1:32:48, 18.38s/it][A + mmlu_hy: 11%|█████████████▎ | 39/341 [12:04<1:31:45, 18.23s/it][A + mmlu_hy: 12%|█████████████▌ | 40/341 [12:24<1:34:14, 18.79s/it][A + mmlu_hy: 12%|█████████████▉ | 41/341 [12:40<1:28:31, 17.70s/it][A + mmlu_hy: 12%|██████████████▎ | 42/341 [12:58<1:29:32, 17.97s/it][A + mmlu_hy: 13%|██████████████▋ | 43/341 [13:16<1:28:54, 17.90s/it][A + mmlu_hy: 13%|██████████████▉ | 44/341 [13:35<1:30:07, 18.21s/it][A + mmlu_hy: 13%|███████████████▎ | 45/341 [13:51<1:27:19, 17.70s/it][A + mmlu_hy: 13%|███████████████▋ | 46/341 [14:12<1:31:36, 18.63s/it][A + mmlu_hy: 14%|███████████████▉ | 47/341 [14:30<1:30:43, 18.52s/it][A + mmlu_hy: 14%|████████████████▎ | 48/341 [14:47<1:28:19, 18.09s/it][A + mmlu_hy: 14%|████████████████▋ | 49/341 [15:07<1:30:11, 18.53s/it][A + mmlu_hy: 15%|█████████████████ | 50/341 [15:25<1:29:35, 18.47s/it][A + mmlu_hy: 15%|█████████████████▎ | 51/341 [15:45<1:31:02, 18.84s/it][A + mmlu_hy: 15%|█████████████████▋ | 52/341 [16:04<1:31:30, 19.00s/it][A + mmlu_hy: 16%|██████████████████ | 53/341 [16:22<1:28:52, 18.52s/it][A + mmlu_hy: 16%|██████████████████▎ | 54/341 [16:43<1:31:44, 19.18s/it][A + mmlu_hy: 16%|██████████████████▋ | 55/341 [17:00<1:29:01, 18.68s/it][A + mmlu_hy: 16%|███████████████████ | 56/341 [17:21<1:31:24, 19.25s/it][A + mmlu_hy: 17%|███████████████████▍ | 57/341 [17:37<1:26:23, 18.25s/it][A + mmlu_hy: 17%|███████████████████▋ | 58/341 [17:56<1:27:33, 18.56s/it][A + mmlu_hy: 17%|████████████████████ | 59/341 [18:15<1:27:40, 18.66s/it][A + mmlu_hy: 18%|████████████████████▍ | 60/341 [18:35<1:29:01, 19.01s/it][A + mmlu_hy: 18%|████████████████████▊ | 61/341 [18:57<1:32:56, 19.92s/it][A + mmlu_hy: 18%|█████████████████████ | 62/341 [19:18<1:34:54, 20.41s/it][A + mmlu_hy: 18%|█████████████████████▍ | 63/341 [19:35<1:28:54, 19.19s/it][A + mmlu_hy: 19%|█████████████████████▊ | 64/341 [19:53<1:28:06, 19.09s/it][A + mmlu_hy: 19%|██████████████████████ | 65/341 [20:12<1:27:23, 19.00s/it][A + mmlu_hy: 19%|██████████████████████▍ | 66/341 [20:32<1:27:54, 19.18s/it][A + mmlu_hy: 20%|██████████████████████▊ | 67/341 [20:49<1:25:20, 18.69s/it][A + mmlu_hy: 20%|███████████████████████▏ | 68/341 [21:09<1:26:55, 19.10s/it][A + mmlu_hy: 20%|███████████████████████▍ | 69/341 [21:32<1:30:53, 20.05s/it][A + mmlu_hy: 21%|███████████████████████▊ | 70/341 [21:51<1:29:00, 19.71s/it][A + mmlu_hy: 21%|████████████████████████▏ | 71/341 [22:07<1:24:12, 18.71s/it][A + mmlu_hy: 21%|████████████████████████▍ | 72/341 [22:23<1:20:36, 17.98s/it][A + mmlu_hy: 21%|████████████████████████▊ | 73/341 [22:43<1:22:37, 18.50s/it][A + mmlu_hy: 22%|█████████████████████████▏ | 74/341 [23:05<1:26:34, 19.46s/it][A + mmlu_hy: 22%|█████████████████████████▌ | 75/341 [23:19<1:19:40, 17.97s/it][A + mmlu_hy: 22%|█████████████████████████▊ | 76/341 [23:38<1:20:03, 18.13s/it][A + mmlu_hy: 23%|██████████████████████████▏ | 77/341 [23:59<1:23:35, 19.00s/it][A + mmlu_hy: 23%|██████████████████████████▌ | 78/341 [24:19<1:24:39, 19.31s/it][A + mmlu_hy: 23%|██████████████████████████▊ | 79/341 [24:38<1:23:42, 19.17s/it][A + mmlu_hy: 23%|███████████████████████████▏ | 80/341 [24:57<1:24:15, 19.37s/it][A + mmlu_hy: 24%|███████████████████████████▌ | 81/341 [25:18<1:25:07, 19.64s/it][A + mmlu_hy: 24%|███████████████████████████▉ | 82/341 [25:36<1:23:40, 19.39s/it][A + mmlu_hy: 24%|████████████████████████████▏ | 83/341 [25:57<1:25:00, 19.77s/it][A + mmlu_hy: 25%|████████████████████████████▌ | 84/341 [26:14<1:21:36, 19.05s/it][A + mmlu_hy: 25%|████████████████████████████▉ | 85/341 [26:31<1:17:36, 18.19s/it][A + mmlu_hy: 25%|█████████████████████████████▎ | 86/341 [26:49<1:16:55, 18.10s/it][A + mmlu_hy: 26%|█████████████████████████████▌ | 87/341 [27:06<1:15:22, 17.80s/it][A + mmlu_hy: 26%|█████████████████████████████▉ | 88/341 [27:22<1:13:27, 17.42s/it][A + mmlu_hy: 26%|██████████████████████████████▎ | 89/341 [27:38<1:11:36, 17.05s/it][A + mmlu_hy: 26%|██████████████████████████████▌ | 90/341 [27:56<1:11:32, 17.10s/it][A + mmlu_hy: 27%|██████████████████████████████▉ | 91/341 [28:15<1:14:03, 17.77s/it][A + mmlu_hy: 27%|███████████████████████████████▎ | 92/341 [28:32<1:12:19, 17.43s/it][A + mmlu_hy: 27%|███████████████████████████████▋ | 93/341 [28:50<1:13:40, 17.83s/it][A + mmlu_hy: 28%|███████████████████████████████▉ | 94/341 [29:08<1:13:15, 17.79s/it][A + mmlu_hy: 28%|████████████████████████████████▎ | 95/341 [29:28<1:15:18, 18.37s/it][A + mmlu_hy: 28%|████████████████████████████████▋ | 96/341 [29:45<1:13:40, 18.04s/it][A + mmlu_hy: 28%|████████████████████████████████▉ | 97/341 [30:01<1:11:19, 17.54s/it][A + mmlu_hy: 29%|█████████████████████████████████▎ | 98/341 [30:23<1:16:24, 18.87s/it][A + mmlu_hy: 29%|█████████████████████████████████▋ | 99/341 [30:42<1:15:21, 18.69s/it][A + mmlu_hy: 29%|█████████████████████████████████▋ | 100/341 [30:57<1:11:00, 17.68s/it][A + mmlu_hy: 30%|██████████████████████████████████ | 101/341 [31:12<1:07:40, 16.92s/it][A + mmlu_hy: 30%|██████████████████████████████████▍ | 102/341 [31:29<1:07:35, 16.97s/it][A + mmlu_hy: 30%|██████████████████████████████████▋ | 103/341 [31:49<1:10:19, 17.73s/it][A + mmlu_hy: 30%|███████████████████████████████████ | 104/341 [32:11<1:15:29, 19.11s/it][A + mmlu_hy: 31%|███████████████████████████████████▍ | 105/341 [32:30<1:14:36, 18.97s/it][A + mmlu_hy: 31%|███████████████████████████████████▋ | 106/341 [32:46<1:10:42, 18.05s/it][A + mmlu_hy: 31%|████████████████████████████████████ | 107/341 [33:05<1:11:32, 18.35s/it][A + mmlu_hy: 32%|████████████████████████████████████▍ | 108/341 [33:23<1:11:06, 18.31s/it][A + mmlu_hy: 32%|████████████████████████████████████▊ | 109/341 [33:40<1:09:55, 18.09s/it][A + mmlu_hy: 32%|█████████████████████████████████████ | 110/341 [33:56<1:06:30, 17.27s/it][A + mmlu_hy: 33%|█████████████████████████████████████▍ | 111/341 [34:13<1:06:30, 17.35s/it][A + mmlu_hy: 33%|█████████████████████████████████████▊ | 112/341 [34:33<1:09:21, 18.17s/it][A + mmlu_hy: 33%|██████████████████████████████████████ | 113/341 [34:56<1:14:01, 19.48s/it][A + mmlu_hy: 33%|██████████████████████████████████████▍ | 114/341 [35:13<1:10:48, 18.72s/it][A + mmlu_hy: 34%|██████████████████████████████████████▊ | 115/341 [35:32<1:10:36, 18.75s/it][A + mmlu_hy: 34%|███████████████████████████████████████ | 116/341 [35:50<1:10:14, 18.73s/it][A + mmlu_hy: 34%|███████████████████████████████████████▍ | 117/341 [36:08<1:09:01, 18.49s/it][A + mmlu_hy: 35%|███████████████████████████████████████▊ | 118/341 [36:28<1:09:40, 18.75s/it][A + mmlu_hy: 35%|████████████████████████████████████████▏ | 119/341 [36:50<1:13:34, 19.89s/it][A + mmlu_hy: 35%|████████████████████████████████████████▍ | 120/341 [37:13<1:16:58, 20.90s/it][A + mmlu_hy: 35%|████████████████████████████████████████▊ | 121/341 [37:32<1:14:03, 20.20s/it][A + mmlu_hy: 36%|█████████████████████████████████████████▏ | 122/341 [37:53<1:14:24, 20.39s/it][A + mmlu_hy: 36%|█████████████████████████████████████████▍ | 123/341 [38:10<1:10:23, 19.37s/it][A + mmlu_hy: 36%|█████████████████████████████████████████▊ | 124/341 [38:29<1:10:13, 19.42s/it][A + mmlu_hy: 37%|██████████████████████████████████████████▏ | 125/341 [38:50<1:11:22, 19.82s/it][A + mmlu_hy: 37%|██████████████████████████████████████████▍ | 126/341 [39:10<1:10:36, 19.70s/it][A + mmlu_hy: 37%|██████████████████████████████████████████▊ | 127/341 [39:27<1:07:21, 18.89s/it][A + mmlu_hy: 38%|███████████████████████████████████████████▏ | 128/341 [39:46<1:07:16, 18.95s/it][A + mmlu_hy: 38%|███████████████████████████████████████████▌ | 129/341 [40:08<1:10:24, 19.93s/it][A + mmlu_hy: 38%|███████████████████████████████████████████▊ | 130/341 [40:27<1:09:05, 19.65s/it][A + mmlu_hy: 38%|████████████████████████████████████████████▏ | 131/341 [40:42<1:03:53, 18.25s/it][A + mmlu_hy: 39%|████████████████████████████████████████████▌ | 132/341 [40:59<1:02:09, 17.85s/it][A + mmlu_hy: 39%|████████████████████████████████████████████▊ | 133/341 [41:22<1:07:47, 19.55s/it][A + mmlu_hy: 39%|█████████████████████████████████████████████▏ | 134/341 [41:41<1:06:12, 19.19s/it][A + mmlu_hy: 40%|█████████████████████████████████████████████▌ | 135/341 [42:01<1:07:10, 19.57s/it][A + mmlu_hy: 40%|█████████████████████████████████████████████▊ | 136/341 [42:23<1:09:18, 20.29s/it][A + mmlu_hy: 40%|██████████████████████████████████████████████▏ | 137/341 [42:42<1:07:49, 19.95s/it][A + mmlu_hy: 40%|██████████████████████████████████████████████▌ | 138/341 [43:00<1:04:54, 19.19s/it][A + mmlu_hy: 41%|██████████████████████████████████████████████▉ | 139/341 [43:20<1:06:14, 19.68s/it][A + mmlu_hy: 41%|███████████████████████████████████████████████▏ | 140/341 [43:37<1:02:52, 18.77s/it][A + mmlu_hy: 41%|███████████████████████████████████████████████▌ | 141/341 [43:56<1:02:17, 18.69s/it][A + mmlu_hy: 42%|████████████████████████████████████████████████▋ | 142/341 [44:12<59:54, 18.06s/it][A + mmlu_hy: 42%|████████████████████████████████████████████████▏ | 143/341 [44:38<1:06:57, 20.29s/it][A + mmlu_hy: 42%|████████████████████████████████████████████████▌ | 144/341 [44:57<1:05:15, 19.87s/it][A + mmlu_hy: 43%|████████████████████████████████████████████████▉ | 145/341 [45:17<1:05:12, 19.96s/it][A + mmlu_hy: 43%|█████████████████████████████████████████████████▏ | 146/341 [45:34<1:02:33, 19.25s/it][A + mmlu_hy: 43%|█████████████████████████████████████████████████▌ | 147/341 [45:54<1:03:07, 19.53s/it][A + mmlu_hy: 43%|██████████████████████████████████████████████████▊ | 148/341 [46:09<57:58, 18.02s/it][A + mmlu_hy: 44%|██████████████████████████████████████████████████▏ | 149/341 [46:31<1:01:35, 19.25s/it][A + mmlu_hy: 44%|███████████████████████████████████████████████████▍ | 150/341 [46:49<59:58, 18.84s/it][A + mmlu_hy: 44%|███████████████████████████████████████████████████▊ | 151/341 [47:07<58:30, 18.48s/it][A + mmlu_hy: 45%|████████████████████████████████████████████████████▏ | 152/341 [47:24<57:08, 18.14s/it][A + mmlu_hy: 45%|████████████████████████████████████████████████████▍ | 153/341 [47:45<59:06, 18.87s/it][A + mmlu_hy: 45%|███████████████████████████████████████████████████▉ | 154/341 [48:13<1:07:35, 21.69s/it][A + mmlu_hy: 45%|████████████████████████████████████████████████████▎ | 155/341 [48:31<1:04:05, 20.68s/it][A + mmlu_hy: 46%|████████████████████████████████████████████████████▌ | 156/341 [48:49<1:01:13, 19.86s/it][A + mmlu_hy: 46%|█████████████████████████████████████████████████████▊ | 157/341 [49:05<57:44, 18.83s/it][A + mmlu_hy: 46%|██████████████████████████████████████████████████████▏ | 158/341 [49:25<57:48, 18.96s/it][A + mmlu_hy: 47%|██████████████████████████████████████████████████████▌ | 159/341 [49:45<58:29, 19.28s/it][A + mmlu_hy: 47%|██████████████████████████████████████████████████████▉ | 160/341 [50:04<58:18, 19.33s/it][A + mmlu_hy: 47%|███████████████████████████████████████████████████████▏ | 161/341 [50:24<58:40, 19.56s/it][A + mmlu_hy: 48%|███████████████████████████████████████████████████████▌ | 162/341 [50:43<57:13, 19.18s/it][A + mmlu_hy: 48%|███████████████████████████████████████████████████████▉ | 163/341 [51:02<57:21, 19.34s/it][A + mmlu_hy: 48%|████████████████████████████████████████████████████████▎ | 164/341 [51:22<57:07, 19.37s/it][A + mmlu_hy: 48%|████████████████████████████████████████████████████████▌ | 165/341 [51:44<59:28, 20.28s/it][A + mmlu_hy: 49%|████████████████████████████████████████████████████████▉ | 166/341 [52:05<59:38, 20.45s/it][A + mmlu_hy: 49%|█████████████████████████████████████████████████████████▎ | 167/341 [52:26<59:36, 20.56s/it][A + mmlu_hy: 49%|█████████████████████████████████████████████████████████▋ | 168/341 [52:44<57:04, 19.79s/it][A + mmlu_hy: 50%|█████████████████████████████████████████████████████████▉ | 169/341 [53:00<53:15, 18.58s/it][A + mmlu_hy: 50%|██████████████████████████████████████████████████████████▎ | 170/341 [53:17<51:44, 18.15s/it][A + mmlu_hy: 50%|██████████████████████████████████████████████████████████▋ | 171/341 [53:34<51:00, 18.00s/it][A + mmlu_hy: 50%|███████████████████████████████████████████████████████████ | 172/341 [53:52<50:24, 17.90s/it][A + mmlu_hy: 51%|███████████████████████████████████████████████████████████▎ | 173/341 [54:10<50:06, 17.90s/it][A + mmlu_hy: 51%|███████████████████████████████████████████████████████████▋ | 174/341 [54:27<49:07, 17.65s/it][A + mmlu_hy: 51%|████████████████████████████████████████████████████████████ | 175/341 [54:45<49:23, 17.85s/it][A + mmlu_hy: 52%|████████████████████████████████████████████████████████████▍ | 176/341 [55:01<47:09, 17.15s/it][A + mmlu_hy: 52%|████████████████████████████████████████████████████████████▋ | 177/341 [55:19<47:31, 17.38s/it][A + mmlu_hy: 52%|█████████████████████████████████████████████████████████████ | 178/341 [55:38<48:21, 17.80s/it][A + mmlu_hy: 52%|█████████████████████████████████████████████████████████████▍ | 179/341 [56:01<52:18, 19.37s/it][A + mmlu_hy: 53%|█████████████████████████████████████████████████████████████▊ | 180/341 [56:19<50:55, 18.98s/it][A + mmlu_hy: 53%|██████████████████████████████████████████████████████████████ | 181/341 [56:38<50:47, 19.05s/it][A + mmlu_hy: 53%|██████████████████████████████████████████████████████████████▍ | 182/341 [56:58<51:29, 19.43s/it][A + mmlu_hy: 54%|██████████████████████████████████████████████████████████████▊ | 183/341 [57:18<51:06, 19.41s/it][A + mmlu_hy: 54%|███████████████████████████████████████████████████████████████▏ | 184/341 [57:35<48:54, 18.69s/it][A + mmlu_hy: 54%|███████████████████████████████████████████████████████████████▍ | 185/341 [57:54<48:58, 18.83s/it][A + mmlu_hy: 55%|███████████████████████████████████████████████████████████████▊ | 186/341 [58:10<46:50, 18.13s/it][A + mmlu_hy: 55%|████████████████████████████████████████████████████████████████▏ | 187/341 [58:29<47:02, 18.33s/it][A + mmlu_hy: 55%|████████████████████████████████████████████████████████████████▌ | 188/341 [58:48<47:31, 18.64s/it][A + mmlu_hy: 55%|████████████████████████████████████████████████████████████████▊ | 189/341 [59:12<50:51, 20.07s/it][A + mmlu_hy: 56%|█████████████████████████████████████████████████████████████████▏ | 190/341 [59:32<50:32, 20.08s/it][A + mmlu_hy: 56%|█████████████████████████████████████████████████████████████████▌ | 191/341 [59:51<49:39, 19.87s/it][A + mmlu_hy: 56%|████████████████████████████████████████████████████████████████▊ | 192/341 [1:00:11<49:35, 19.97s/it][A + mmlu_hy: 57%|█████████████████████████████████████████████████████████████████ | 193/341 [1:00:29<47:21, 19.20s/it][A + mmlu_hy: 57%|█████████████████████████████████████████████████████████████████▍ | 194/341 [1:00:51<49:22, 20.16s/it][A + mmlu_hy: 57%|█████████████████████████████████████████████████████████████████▊ | 195/341 [1:01:14<51:04, 20.99s/it][A + mmlu_hy: 57%|██████████████████████████████████████████████████████████████████ | 196/341 [1:01:33<49:16, 20.39s/it][A + mmlu_hy: 58%|██████████████████████████████████████████████████████████████████▍ | 197/341 [1:01:52<47:37, 19.85s/it][A + mmlu_hy: 58%|██████████████████████████████████████████████████████████████████▊ | 198/341 [1:02:09<45:18, 19.01s/it][A + mmlu_hy: 58%|███████████████████████████████████████████████████████████████████ | 199/341 [1:02:26<43:41, 18.46s/it][A + mmlu_hy: 59%|███████████████████████████████████████████████████████████████████▍ | 200/341 [1:02:45<44:07, 18.78s/it][A + mmlu_hy: 59%|███████████████████████████████████████████████████████████████████▊ | 201/341 [1:03:04<43:50, 18.79s/it][A + mmlu_hy: 59%|████████████████████████████████████████████████████████████████████ | 202/341 [1:03:22<42:38, 18.41s/it][A + mmlu_hy: 60%|████████████████████████████████████████████████████████████████████▍ | 203/341 [1:03:38<40:34, 17.64s/it][A + mmlu_hy: 60%|████████████████████████████████████████████████████████████████████▊ | 204/341 [1:03:56<40:25, 17.70s/it][A + mmlu_hy: 60%|█████████████████████████████████████████████████████████████████████▏ | 205/341 [1:04:14<40:41, 17.95s/it][A + mmlu_hy: 60%|█████████████████████████████████████████████████████████████████████▍ | 206/341 [1:04:33<40:45, 18.11s/it][A + mmlu_hy: 61%|█████████████████████████████████████████████████████████████████████▊ | 207/341 [1:04:52<41:13, 18.46s/it][A + mmlu_hy: 61%|██████████████████████████████████████████████████████████████████████▏ | 208/341 [1:05:09<40:13, 18.15s/it][A + mmlu_hy: 61%|██████████████████████████████████████████████████████████████████████▍ | 209/341 [1:05:27<39:27, 17.93s/it][A + mmlu_hy: 62%|██████████████████████████████████████████████████████████████████████▊ | 210/341 [1:05:41<36:47, 16.85s/it][A + mmlu_hy: 62%|███████████████████████████████████████████████████████████████████████▏ | 211/341 [1:06:02<39:15, 18.12s/it][A + mmlu_hy: 62%|███████████████████████████████████████████████████████████████████████▍ | 212/341 [1:06:19<38:30, 17.91s/it][A + mmlu_hy: 62%|███████████████████████████████████████████████████████████████████████▊ | 213/341 [1:06:37<38:00, 17.82s/it][A + mmlu_hy: 63%|████████████████████████████████████████████████████████████████████████▏ | 214/341 [1:06:57<38:47, 18.32s/it][A + mmlu_hy: 63%|████████████████████████████████████████████████████████████████████████▌ | 215/341 [1:07:19<41:04, 19.56s/it][A + mmlu_hy: 63%|████████████████████████████████████████████████████████████████████████▊ | 216/341 [1:07:37<39:27, 18.94s/it][A + mmlu_hy: 64%|█████████████████████████████████████████████████████████████████████████▏ | 217/341 [1:07:55<38:40, 18.71s/it][A + mmlu_hy: 64%|█████████████████████████████████████████████████████████████████████████▌ | 218/341 [1:08:15<39:04, 19.06s/it][A + mmlu_hy: 64%|█████████████████████████████████████████████████████████████████████████▊ | 219/341 [1:08:32<37:28, 18.43s/it][A + mmlu_hy: 65%|██████████████████████████████████████████████████████████████████████████▏ | 220/341 [1:08:53<38:52, 19.27s/it][A + mmlu_hy: 65%|██████████████████████████████████████████████████████████████████████████▌ | 221/341 [1:09:12<38:40, 19.33s/it][A + mmlu_hy: 65%|██████████████████████████████████████████████████████████████████████████▊ | 222/341 [1:09:33<39:27, 19.89s/it][A + mmlu_hy: 65%|███████████████████████████████████████████████████████████████████████████▏ | 223/341 [1:09:55<39:57, 20.32s/it][A + mmlu_hy: 66%|███████████████████████████████████████████████████████████████████████████▌ | 224/341 [1:10:14<39:10, 20.09s/it][A + mmlu_hy: 66%|███████████████████████████████████████████████████████████████████████████▉ | 225/341 [1:10:33<38:06, 19.71s/it][A + mmlu_hy: 66%|████████████████████████████████████████████████████████████████████████████▏ | 226/341 [1:10:53<38:05, 19.87s/it][A + mmlu_hy: 67%|████████████████████████████████████████████████████████████████████████████▌ | 227/341 [1:11:13<37:22, 19.67s/it][A + mmlu_hy: 67%|████████████████████████████████████████████████████████████████████████████▉ | 228/341 [1:11:34<38:06, 20.23s/it][A + mmlu_hy: 67%|█████████████████████████████████████████████████████████████████████████████▏ | 229/341 [1:11:51<36:00, 19.29s/it][A + mmlu_hy: 67%|█████████████████████████████████████████████████████████████████████████████▌ | 230/341 [1:12:07<33:55, 18.34s/it][A + mmlu_hy: 68%|█████████████████████████████████████████████████████████████████████████████▉ | 231/341 [1:12:26<33:49, 18.45s/it][A + mmlu_hy: 68%|██████████████████████████████████████████████████████████████████████████████▏ | 232/341 [1:12:43<32:52, 18.10s/it][A + mmlu_hy: 68%|██████████████████████████████████████████████████████████████████████████████▌ | 233/341 [1:13:02<32:55, 18.29s/it][A + mmlu_hy: 69%|██████████████████████████████████████████████████████████████████████████████▉ | 234/341 [1:13:20<32:14, 18.08s/it][A + mmlu_hy: 69%|███████████████████████████████████████████████████████████████████████████████▎ | 235/341 [1:13:39<32:25, 18.35s/it][A + mmlu_hy: 69%|███████████████████████████████████████████████████████████████████████████████▌ | 236/341 [1:13:58<32:26, 18.54s/it][A + mmlu_hy: 70%|███████████████████████████████████████████████████████████████████████████████▉ | 237/341 [1:14:19<33:50, 19.52s/it][A + mmlu_hy: 70%|████████████████████████████████████████████████████████████████████████████████▎ | 238/341 [1:14:36<32:09, 18.73s/it][A + mmlu_hy: 70%|████████████████████████████████████████████████████████████████████████████████▌ | 239/341 [1:14:54<31:33, 18.56s/it][A + mmlu_hy: 70%|████████████████████████████████████████████████████████████████████████████████▉ | 240/341 [1:15:17<32:59, 19.60s/it][A + mmlu_hy: 71%|█████████████████████████████████████████████████████████████████████████████████▎ | 241/341 [1:15:36<32:27, 19.47s/it][A + mmlu_hy: 71%|█████████████████████████████████████████████████████████████████████████████████▌ | 242/341 [1:15:54<31:24, 19.03s/it][A + mmlu_hy: 71%|█████████████████████████████████████████████████████████████████████████████████▉ | 243/341 [1:16:14<31:38, 19.37s/it][A + mmlu_hy: 72%|██████████████████████████████████████████████████████████████████████████████████▎ | 244/341 [1:16:36<32:47, 20.29s/it][A + mmlu_hy: 72%|██████████████████████████████████████████████████████████████████████████████████▌ | 245/341 [1:16:55<31:32, 19.71s/it][A + mmlu_hy: 72%|██████████████████████████████████████████████████████████████████████████████████▉ | 246/341 [1:17:11<29:44, 18.79s/it][A + mmlu_hy: 72%|███████████████████████████████████████████████████████████████████████████████████▎ | 247/341 [1:17:28<28:34, 18.24s/it][A + mmlu_hy: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 248/341 [1:17:48<29:01, 18.72s/it][A + mmlu_hy: 73%|███████████████████████████████████████████████████████████████████████████████████▉ | 249/341 [1:18:08<29:08, 19.00s/it][A + mmlu_hy: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 250/341 [1:18:29<29:37, 19.53s/it][A + mmlu_hy: 74%|████████████████████████████████████████████████████████████████████████████████████▋ | 251/341 [1:18:49<29:55, 19.95s/it][A + mmlu_hy: 74%|████████████████████████████████████████████████████████████████████████████████████▉ | 252/341 [1:19:04<27:12, 18.34s/it][A + mmlu_hy: 74%|█████████████████████████████████████████████████████████████████████████████████████▎ | 253/341 [1:19:21<26:19, 17.95s/it][A + mmlu_hy: 74%|█████████████████████████████████████████████████████████████████████████████████████▋ | 254/341 [1:19:44<28:12, 19.45s/it][A + mmlu_hy: 75%|█████████████████████████████████████████████████████████████████████████████████████▉ | 255/341 [1:20:00<26:22, 18.40s/it][A + mmlu_hy: 75%|██████████████████████████████████████████████████████████████████████████████████████▎ | 256/341 [1:20:25<28:46, 20.31s/it][A + mmlu_hy: 75%|██████████████████████████████████████████████████████████████████████████████████████▋ | 257/341 [1:20:41<26:55, 19.23s/it][A + mmlu_hy: 76%|███████████████████████████████████████████████████████████████████████████████████████ | 258/341 [1:20:58<25:22, 18.34s/it][A + mmlu_hy: 76%|███████████████████████████████████████████████████████████████████████████████████████▎ | 259/341 [1:21:14<24:21, 17.82s/it][A + mmlu_hy: 76%|███████████████████████████████████████████████████████████████████████████████████████▋ | 260/341 [1:21:35<25:04, 18.57s/it][A + mmlu_hy: 77%|████████████████████████████████████████████████████████████████████████████████████████ | 261/341 [1:21:53<24:41, 18.52s/it][A + mmlu_hy: 77%|████████████████████████████████████████████████████████████████████████████████████████▎ | 262/341 [1:22:09<23:24, 17.78s/it][A + mmlu_hy: 77%|████████████████████████████████████████████████████████████████████████████████████████▋ | 263/341 [1:22:25<22:12, 17.09s/it][A + mmlu_hy: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 264/341 [1:22:39<20:56, 16.32s/it][A + mmlu_hy: 78%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 265/341 [1:22:59<21:51, 17.26s/it][A + mmlu_hy: 78%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 266/341 [1:23:16<21:29, 17.19s/it][A + mmlu_hy: 78%|██████████████████████████████████████████████████████████████████████████████████████████ | 267/341 [1:23:40<23:52, 19.35s/it][A + mmlu_hy: 79%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 268/341 [1:23:56<22:11, 18.25s/it][A + mmlu_hy: 79%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 269/341 [1:24:11<20:56, 17.44s/it][A + mmlu_hy: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 270/341 [1:24:29<20:55, 17.69s/it][A + mmlu_hy: 79%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 271/341 [1:24:48<20:46, 17.81s/it][A + mmlu_hy: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 272/341 [1:25:07<20:53, 18.16s/it][A + mmlu_hy: 80%|████████████████████████████████████████████████████████████████████████████████████████████ | 273/341 [1:25:24<20:14, 17.86s/it][A + mmlu_hy: 80%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 274/341 [1:25:43<20:20, 18.21s/it][A + mmlu_hy: 81%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 275/341 [1:25:59<19:30, 17.74s/it][A + mmlu_hy: 81%|█████████████████████████████████████████████████████████████████████████████████████████████ | 276/341 [1:26:20<20:19, 18.76s/it][A + mmlu_hy: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 277/341 [1:26:37<19:10, 17.97s/it][A + mmlu_hy: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 278/341 [1:26:56<19:24, 18.48s/it][A + mmlu_hy: 82%|██████████████████████████████████████████████████████████████████████████████████████████████ | 279/341 [1:27:15<19:18, 18.69s/it][A + mmlu_hy: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 280/341 [1:27:34<18:51, 18.55s/it][A + mmlu_hy: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 281/341 [1:27:52<18:35, 18.60s/it][A + mmlu_hy: 83%|███████████████████████████████████████████████████████████████████████████████████████████████ | 282/341 [1:28:10<18:04, 18.38s/it][A + mmlu_hy: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 283/341 [1:28:30<18:10, 18.79s/it][A + mmlu_hy: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 284/341 [1:28:48<17:37, 18.56s/it][A + mmlu_hy: 84%|████████████████████████████████████████████████████████████████████████████████████████████████ | 285/341 [1:29:03<16:24, 17.58s/it][A + mmlu_hy: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/341 [1:29:23<16:34, 18.07s/it][A + mmlu_hy: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/341 [1:29:39<15:41, 17.43s/it][A + mmlu_hy: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 288/341 [1:29:57<15:45, 17.84s/it][A + mmlu_hy: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 289/341 [1:30:15<15:18, 17.66s/it][A + mmlu_hy: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 290/341 [1:30:34<15:29, 18.22s/it][A + mmlu_hy: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 291/341 [1:30:55<15:50, 19.00s/it][A + mmlu_hy: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 292/341 [1:31:10<14:39, 17.94s/it][A + mmlu_hy: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 293/341 [1:31:26<13:51, 17.33s/it][A + mmlu_hy: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 294/341 [1:31:47<14:29, 18.50s/it][A + mmlu_hy: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 295/341 [1:32:06<14:16, 18.61s/it][A + mmlu_hy: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 296/341 [1:32:26<14:15, 19.00s/it][A + mmlu_hy: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 297/341 [1:32:47<14:18, 19.52s/it][A + mmlu_hy: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 298/341 [1:33:08<14:23, 20.07s/it][A + mmlu_hy: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 299/341 [1:33:23<12:51, 18.38s/it][A + mmlu_hy: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 300/341 [1:33:43<12:50, 18.80s/it][A + mmlu_hy: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 301/341 [1:34:05<13:10, 19.77s/it][A + mmlu_hy: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 302/341 [1:34:20<12:03, 18.56s/it][A + mmlu_hy: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 303/341 [1:34:39<11:41, 18.45s/it][A + mmlu_hy: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 304/341 [1:34:57<11:21, 18.43s/it][A + mmlu_hy: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 305/341 [1:35:19<11:44, 19.56s/it][A + mmlu_hy: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 306/341 [1:35:40<11:33, 19.83s/it][A + mmlu_hy: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 307/341 [1:35:57<10:45, 19.00s/it][A + mmlu_hy: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 308/341 [1:36:16<10:34, 19.23s/it][A + mmlu_hy: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 309/341 [1:36:35<10:06, 18.95s/it][A + mmlu_hy: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 310/341 [1:36:54<09:47, 18.94s/it][A + mmlu_hy: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 311/341 [1:37:15<09:53, 19.78s/it][A + mmlu_hy: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 312/341 [1:37:35<09:36, 19.87s/it][A + mmlu_hy: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 313/341 [1:37:57<09:26, 20.23s/it][A + mmlu_hy: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 314/341 [1:38:12<08:28, 18.84s/it][A + mmlu_hy: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 315/341 [1:38:32<08:19, 19.20s/it][A + mmlu_hy: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 316/341 [1:38:52<08:01, 19.27s/it][A + mmlu_hy: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 317/341 [1:39:09<07:26, 18.61s/it][A + mmlu_hy: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 318/341 [1:39:26<06:56, 18.11s/it][A + mmlu_hy: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 319/341 [1:39:42<06:30, 17.75s/it][A + mmlu_hy: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 320/341 [1:40:02<06:22, 18.20s/it][A + mmlu_hy: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 321/341 [1:40:21<06:10, 18.52s/it][A + mmlu_hy: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 322/341 [1:40:40<05:54, 18.67s/it][A + mmlu_hy: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 323/341 [1:41:00<05:40, 18.92s/it][A + mmlu_hy: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 324/341 [1:41:21<05:32, 19.58s/it][A + mmlu_hy: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 325/341 [1:41:37<04:56, 18.52s/it][A + mmlu_hy: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 326/341 [1:41:54<04:33, 18.21s/it][A + mmlu_hy: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 327/341 [1:42:13<04:16, 18.31s/it][A + mmlu_hy: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 328/341 [1:42:29<03:48, 17.61s/it][A + mmlu_hy: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/341 [1:42:47<03:34, 17.88s/it][A + mmlu_hy: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 330/341 [1:43:03<03:10, 17.34s/it][A + mmlu_hy: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 331/341 [1:43:20<02:51, 17.14s/it][A + mmlu_hy: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 332/341 [1:43:36<02:31, 16.83s/it][A + mmlu_hy: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 333/341 [1:43:53<02:14, 16.81s/it][A + mmlu_hy: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 334/341 [1:44:09<01:56, 16.61s/it][A + mmlu_hy: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 335/341 [1:44:34<01:54, 19.14s/it][A + mmlu_hy: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 336/341 [1:44:53<01:35, 19.05s/it][A + mmlu_hy: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/341 [1:45:12<01:15, 18.92s/it][A + mmlu_hy: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/341 [1:45:29<00:55, 18.52s/it][A + mmlu_hy: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 339/341 [1:45:49<00:37, 18.93s/it][A + mmlu_hy: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 340/341 [1:46:10<00:19, 19.60s/it][A + mmlu_hy: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 341/341 [1:46:20<00:00, 16.63s/it][A mmlu_hy: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 341/341 [1:46:20<00:00, 18.71s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hy_acc 0.24882930860343402 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hy_acc_norm 0.26801946561380957 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 06:41:54,362 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 06:41:54,362 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:54,485 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 06:41:54,485 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:54,608 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 06:41:54,608 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:54,731 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 06:41:54,731 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 06:41:54,732 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 06:41:54,855 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 06:41:54,855 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_hy_acc'} +2024-05-31 06:41:54,918 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 06:41:54,918 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1227, 'value': 0.24882930860343402} +2024-05-31 06:41:54,980 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 06:41:55,601 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 06:41:55,601 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:55,723 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 06:41:55,723 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:55,845 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 06:41:55,845 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:55,967 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 06:41:55,967 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 06:41:55,967 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 06:41:56,090 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 06:41:56,090 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'mmlu_hy_acc_norm'} +2024-05-31 06:41:56,152 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 06:41:56,152 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1228, 'value': 0.26801946561380957} +2024-05-31 06:41:56,214 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 60%|█████████████████████████████████████████████████████████████████▎ | 75/124 [47:54:25<67:38:01, 4969.01s/it]['mmlu_id'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 06:41:56,868 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 06:41:56,868 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:56,998 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 06:41:56,998 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:57,127 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 06:41:57,127 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 06:41:57,257 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 06:41:57,257 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 06:41:57,258 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_id'} +2024-05-31 06:41:57,388 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_id task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1823 examples [00:00, 18202.42 examples/s][A + Generating test split: 5344 examples [00:00, 28195.32 examples/s][A + Generating test split: 9000 examples [00:00, 31635.73 examples/s][A + Generating test split: 12659 examples [00:00, 33576.24 examples/s][A Generating test split: 13101 examples [00:00, 31130.15 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 256 examples [00:00, 28085.63 examples/s] +Running loglikelihood requests + + mmlu_id: 0%| | 0/410 [00:00<?, ?it/s][A + mmlu_id: 0%|▎ | 1/410 [00:07<53:29, 7.85s/it][A + mmlu_id: 0%|▌ | 2/410 [00:16<55:04, 8.10s/it][A + mmlu_id: 1%|▊ | 3/410 [00:24<57:00, 8.40s/it][A + mmlu_id: 1%|█▏ | 4/410 [00:32<55:12, 8.16s/it][A + mmlu_id: 1%|█▍ | 5/410 [00:41<56:47, 8.41s/it][A + mmlu_id: 1%|█▋ | 6/410 [00:50<57:38, 8.56s/it][A + mmlu_id: 2%|██ | 7/410 [00:58<57:22, 8.54s/it][A + mmlu_id: 2%|██▎ | 8/410 [01:08<58:36, 8.75s/it][A + mmlu_id: 2%|██▌ | 9/410 [01:16<57:45, 8.64s/it][A + mmlu_id: 2%|██▉ | 10/410 [01:25<59:04, 8.86s/it][A + mmlu_id: 3%|███▏ | 11/410 [01:33<56:22, 8.48s/it][A + mmlu_id: 3%|███▍ | 12/410 [01:41<56:19, 8.49s/it][A + mmlu_id: 3%|███▋ | 13/410 [01:49<54:49, 8.29s/it][A + mmlu_id: 3%|████ | 14/410 [01:58<54:39, 8.28s/it][A + mmlu_id: 4%|████▎ | 15/410 [02:06<55:50, 8.48s/it][A + mmlu_id: 4%|████▌ | 16/410 [02:16<58:33, 8.92s/it][A + mmlu_id: 4%|████▉ | 17/410 [02:25<57:53, 8.84s/it][A + mmlu_id: 4%|█████▏ | 18/410 [02:33<56:16, 8.61s/it][A + mmlu_id: 5%|█████▍ | 19/410 [02:42<55:43, 8.55s/it][A + mmlu_id: 5%|█████▊ | 20/410 [02:51<56:24, 8.68s/it][A + mmlu_id: 5%|██████ | 21/410 [03:00<56:49, 8.77s/it][A + mmlu_id: 5%|██████▎ | 22/410 [03:10<59:08, 9.15s/it][A + mmlu_id: 6%|██████▌ | 23/410 [03:19<58:49, 9.12s/it][A + mmlu_id: 6%|██████▉ | 24/410 [03:26<56:07, 8.72s/it][A + mmlu_id: 6%|███████▏ | 25/410 [03:34<53:39, 8.36s/it][A + mmlu_id: 6%|███████▍ | 26/410 [03:43<54:51, 8.57s/it][A + mmlu_id: 7%|███████▊ | 27/410 [03:50<52:18, 8.19s/it][A + mmlu_id: 7%|████████ | 28/410 [03:59<52:46, 8.29s/it][A + mmlu_id: 7%|████████▎ | 29/410 [04:07<52:36, 8.28s/it][A + mmlu_id: 7%|████████▋ | 30/410 [04:15<52:17, 8.26s/it][A + mmlu_id: 8%|████████▉ | 31/410 [04:23<50:30, 8.00s/it][A + mmlu_id: 8%|█████████▏ | 32/410 [04:31<51:31, 8.18s/it][A + mmlu_id: 8%|█████████▍ | 33/410 [04:41<53:44, 8.55s/it][A + mmlu_id: 8%|█████████▊ | 34/410 [04:48<52:06, 8.32s/it][A + mmlu_id: 9%|██████████ | 35/410 [04:57<52:33, 8.41s/it][A + mmlu_id: 9%|██████████▎ | 36/410 [05:05<51:04, 8.19s/it][A + mmlu_id: 9%|██████████▋ | 37/410 [05:13<51:15, 8.24s/it][A + mmlu_id: 9%|██████████▉ | 38/410 [05:22<53:02, 8.55s/it][A + mmlu_id: 10%|███████████▏ | 39/410 [05:31<52:53, 8.55s/it][A + mmlu_id: 10%|███████████▌ | 40/410 [05:40<54:28, 8.83s/it][A + mmlu_id: 10%|███████████▊ | 41/410 [05:48<52:19, 8.51s/it][A + mmlu_id: 10%|████████████ | 42/410 [05:56<49:58, 8.15s/it][A + mmlu_id: 10%|████████████▍ | 43/410 [06:05<52:45, 8.63s/it][A + mmlu_id: 11%|████████████▋ | 44/410 [06:15<53:48, 8.82s/it][A + mmlu_id: 11%|████████████▉ | 45/410 [06:22<51:15, 8.43s/it][A + mmlu_id: 11%|█████████████▏ | 46/410 [06:32<54:06, 8.92s/it][A + mmlu_id: 11%|█████████████▌ | 47/410 [06:41<53:25, 8.83s/it][A + mmlu_id: 12%|█████████████▊ | 48/410 [06:49<51:59, 8.62s/it][A + mmlu_id: 12%|██████████████ | 49/410 [06:58<52:53, 8.79s/it][A + mmlu_id: 12%|██████████████▍ | 50/410 [07:06<50:54, 8.48s/it][A + mmlu_id: 12%|██████████████▋ | 51/410 [07:14<50:40, 8.47s/it][A + mmlu_id: 13%|██████████████▉ | 52/410 [07:23<51:21, 8.61s/it][A + mmlu_id: 13%|███████████████▎ | 53/410 [07:32<51:07, 8.59s/it][A + mmlu_id: 13%|███████████████▌ | 54/410 [07:41<52:22, 8.83s/it][A + mmlu_id: 13%|███████████████▊ | 55/410 [07:52<55:26, 9.37s/it][A + mmlu_id: 14%|████████████████ | 56/410 [08:00<52:54, 8.97s/it][A + mmlu_id: 14%|████████████████▍ | 57/410 [08:08<51:49, 8.81s/it][A + mmlu_id: 14%|████████████████▋ | 58/410 [08:17<51:30, 8.78s/it][A + mmlu_id: 14%|████████████████▉ | 59/410 [08:26<51:41, 8.84s/it][A + mmlu_id: 15%|█████████████████▎ | 60/410 [08:33<49:20, 8.46s/it][A + mmlu_id: 15%|█████████████████▌ | 61/410 [08:41<48:21, 8.31s/it][A + mmlu_id: 15%|█████████████████▊ | 62/410 [08:50<48:02, 8.28s/it][A + mmlu_id: 15%|██████████████████▏ | 63/410 [08:58<48:51, 8.45s/it][A + mmlu_id: 16%|██████████████████▍ | 64/410 [09:06<47:38, 8.26s/it][A + mmlu_id: 16%|██████████████████▋ | 65/410 [09:16<50:08, 8.72s/it][A + mmlu_id: 16%|██████████████████▉ | 66/410 [09:25<50:10, 8.75s/it][A + mmlu_id: 16%|███████████████████▎ | 67/410 [09:34<50:17, 8.80s/it][A + mmlu_id: 17%|███████████████████▌ | 68/410 [09:44<51:43, 9.08s/it][A + mmlu_id: 17%|███████████████████▊ | 69/410 [09:53<52:29, 9.24s/it][A + mmlu_id: 17%|████████████████████▏ | 70/410 [10:02<51:57, 9.17s/it][A + mmlu_id: 17%|████████████████████▍ | 71/410 [10:11<50:36, 8.96s/it][A + mmlu_id: 18%|████████████████████▋ | 72/410 [10:20<50:41, 9.00s/it][A + mmlu_id: 18%|█████████████████████ | 73/410 [10:28<49:58, 8.90s/it][A + mmlu_id: 18%|█████████████████████▎ | 74/410 [10:37<49:06, 8.77s/it][A + mmlu_id: 18%|█████████████████████▌ | 75/410 [10:46<49:29, 8.86s/it][A + mmlu_id: 19%|█████████████████████▊ | 76/410 [10:54<48:37, 8.74s/it][A + mmlu_id: 19%|██████████████████████▏ | 77/410 [11:03<48:01, 8.65s/it][A + mmlu_id: 19%|██████████████████████▍ | 78/410 [11:13<49:52, 9.01s/it][A + mmlu_id: 19%|██████████████████████▋ | 79/410 [11:20<47:23, 8.59s/it][A + mmlu_id: 20%|███████████████████████ | 80/410 [11:29<47:41, 8.67s/it][A + mmlu_id: 20%|███████████████████████▎ | 81/410 [11:39<48:51, 8.91s/it][A + mmlu_id: 20%|███████████████████████▌ | 82/410 [11:48<49:03, 8.97s/it][A + mmlu_id: 20%|███████████████████████▉ | 83/410 [11:56<48:26, 8.89s/it][A + mmlu_id: 20%|████████████████████████▏ | 84/410 [12:05<47:06, 8.67s/it][A + mmlu_id: 21%|████████████████████████▍ | 85/410 [12:14<47:56, 8.85s/it][A + mmlu_id: 21%|████████████████████████▊ | 86/410 [12:23<48:10, 8.92s/it][A + mmlu_id: 21%|█████████████████████████ | 87/410 [12:33<49:16, 9.15s/it][A + mmlu_id: 21%|█████████████████████████▎ | 88/410 [12:42<49:40, 9.26s/it][A + mmlu_id: 22%|█████████████████████████▌ | 89/410 [12:51<48:56, 9.15s/it][A + mmlu_id: 22%|█████████████████████████▉ | 90/410 [13:00<48:16, 9.05s/it][A + mmlu_id: 22%|██████████████████████████▏ | 91/410 [13:09<47:45, 8.98s/it][A + mmlu_id: 22%|██████████████████████████▍ | 92/410 [13:17<46:04, 8.69s/it][A + mmlu_id: 23%|██████████████████████████▊ | 93/410 [13:25<44:57, 8.51s/it][A + mmlu_id: 23%|███████████████████████████ | 94/410 [13:34<45:52, 8.71s/it][A + mmlu_id: 23%|███████████████████████████▎ | 95/410 [13:42<44:18, 8.44s/it][A + mmlu_id: 23%|███████████████████████████▋ | 96/410 [13:52<46:09, 8.82s/it][A + mmlu_id: 24%|███████████████████████████▉ | 97/410 [13:59<44:09, 8.47s/it][A + mmlu_id: 24%|████████████████████████████▏ | 98/410 [14:07<43:49, 8.43s/it][A + mmlu_id: 24%|████████████████████████████▍ | 99/410 [14:17<45:03, 8.69s/it][A + mmlu_id: 24%|████████████████████████████▌ | 100/410 [14:26<45:37, 8.83s/it][A + mmlu_id: 25%|████████████████████████████▊ | 101/410 [14:35<46:05, 8.95s/it][A + mmlu_id: 25%|█████████████████████████████ | 102/410 [14:44<45:22, 8.84s/it][A + mmlu_id: 25%|█████████████████████████████▍ | 103/410 [14:53<45:30, 8.90s/it][A + mmlu_id: 25%|█████████████████████████████▋ | 104/410 [15:02<45:28, 8.92s/it][A + mmlu_id: 26%|█████████████████████████████▉ | 105/410 [15:13<48:13, 9.49s/it][A + mmlu_id: 26%|██████████████████████████████▏ | 106/410 [15:21<46:10, 9.11s/it][A + mmlu_id: 26%|██████████████████████████████▌ | 107/410 [15:29<45:09, 8.94s/it][A + mmlu_id: 26%|██████████████████████████████▊ | 108/410 [15:39<45:42, 9.08s/it][A + mmlu_id: 27%|███████████████████████████████ | 109/410 [15:48<46:01, 9.17s/it][A + mmlu_id: 27%|███████████████████████████████▍ | 110/410 [15:56<43:30, 8.70s/it][A + mmlu_id: 27%|███████████████████████████████▋ | 111/410 [16:05<44:38, 8.96s/it][A + mmlu_id: 27%|███████████████████████████████▉ | 112/410 [16:13<42:33, 8.57s/it][A + mmlu_id: 28%|████████████████████████████████▏ | 113/410 [16:22<43:03, 8.70s/it][A + mmlu_id: 28%|████████████████████████████████▌ | 114/410 [16:31<43:32, 8.83s/it][A + mmlu_id: 28%|████████████████████████████████▊ | 115/410 [16:39<41:54, 8.52s/it][A + mmlu_id: 28%|█████████████████████████████████ | 116/410 [16:48<42:23, 8.65s/it][A + mmlu_id: 29%|█████████████████████████████████▍ | 117/410 [16:56<41:49, 8.57s/it][A + mmlu_id: 29%|█████████████████████████████████▋ | 118/410 [17:04<40:46, 8.38s/it][A + mmlu_id: 29%|█████████████████████████████████▉ | 119/410 [17:12<39:54, 8.23s/it][A + mmlu_id: 29%|██████████████████████████████████▏ | 120/410 [17:21<40:19, 8.34s/it][A + mmlu_id: 30%|██████████████████████████████████▌ | 121/410 [17:31<42:58, 8.92s/it][A + mmlu_id: 30%|██████████████████████████████████▊ | 122/410 [17:40<43:09, 8.99s/it][A + mmlu_id: 30%|███████████████████████████████████ | 123/410 [17:49<43:07, 9.02s/it][A + mmlu_id: 30%|███████████████████████████████████▍ | 124/410 [17:58<42:48, 8.98s/it][A + mmlu_id: 30%|███████████████████████████████████▋ | 125/410 [18:06<41:33, 8.75s/it][A + mmlu_id: 31%|███████████████████████████████████▉ | 126/410 [18:15<41:02, 8.67s/it][A + mmlu_id: 31%|████████████████████████████████████▏ | 127/410 [18:22<39:33, 8.39s/it][A + mmlu_id: 31%|████████████████████████████████████▌ | 128/410 [18:31<40:13, 8.56s/it][A + mmlu_id: 31%|████████████████████████████████████▊ | 129/410 [18:40<40:23, 8.62s/it][A + mmlu_id: 32%|█████████████████████████████████████ | 130/410 [18:49<40:21, 8.65s/it][A + mmlu_id: 32%|█████████████████████████████████████▍ | 131/410 [18:58<40:50, 8.78s/it][A + mmlu_id: 32%|█████████████████████████████████████▋ | 132/410 [19:07<41:36, 8.98s/it][A + mmlu_id: 32%|█████████████████████████████████████▉ | 133/410 [19:15<39:32, 8.57s/it][A + mmlu_id: 33%|██████████████████████████████████████▏ | 134/410 [19:23<38:56, 8.46s/it][A + mmlu_id: 33%|██████████████████████████████████████▌ | 135/410 [19:33<41:06, 8.97s/it][A + mmlu_id: 33%|██████████████████████████████████████▊ | 136/410 [19:42<40:23, 8.84s/it][A + mmlu_id: 33%|███████████████████████████████████████ | 137/410 [19:51<40:26, 8.89s/it][A + mmlu_id: 34%|███████████████████████████████████████▍ | 138/410 [20:00<40:22, 8.91s/it][A + mmlu_id: 34%|███████████████████████████████████████▋ | 139/410 [20:09<40:10, 8.89s/it][A + mmlu_id: 34%|███████████████████████████████████████▉ | 140/410 [20:17<38:43, 8.61s/it][A + mmlu_id: 34%|████████████████████████████████████████▏ | 141/410 [20:25<37:44, 8.42s/it][A + mmlu_id: 35%|████████████████████████████████████████▌ | 142/410 [20:34<38:44, 8.67s/it][A + mmlu_id: 35%|████████████████████████████████████████▊ | 143/410 [20:42<37:42, 8.47s/it][A + mmlu_id: 35%|█████████████████████████████████████████ | 144/410 [20:50<37:07, 8.37s/it][A + mmlu_id: 35%|█████████████████████████████████████████▍ | 145/410 [20:58<36:43, 8.32s/it][A + mmlu_id: 36%|█████████████████████████████████████████▋ | 146/410 [21:07<36:50, 8.37s/it][A + mmlu_id: 36%|█████████████████████████████████████████▉ | 147/410 [21:15<36:02, 8.22s/it][A + mmlu_id: 36%|██████████████████████████████████████████▏ | 148/410 [21:23<36:32, 8.37s/it][A + mmlu_id: 36%|██████████████████████████████████████████▌ | 149/410 [21:31<35:40, 8.20s/it][A + mmlu_id: 37%|██████████████████████████████████████████▊ | 150/410 [21:41<37:37, 8.68s/it][A + mmlu_id: 37%|███████████████████████████████████████████ | 151/410 [21:50<37:43, 8.74s/it][A + mmlu_id: 37%|███████████████████████████████████████████▍ | 152/410 [21:58<37:14, 8.66s/it][A + mmlu_id: 37%|███████████████████████████████████████████▋ | 153/410 [22:06<36:17, 8.47s/it][A + mmlu_id: 38%|███████████████████████████████████████████▉ | 154/410 [22:15<36:05, 8.46s/it][A + mmlu_id: 38%|████████████████████████████████████████████▏ | 155/410 [22:23<35:42, 8.40s/it][A + mmlu_id: 38%|████████████████████████████████████████████▌ | 156/410 [22:33<37:56, 8.96s/it][A + mmlu_id: 38%|████████████████████████████████████████████▊ | 157/410 [22:42<37:55, 8.99s/it][A + mmlu_id: 39%|█████████████████████████████████████████████ | 158/410 [22:51<37:03, 8.82s/it][A + mmlu_id: 39%|█████████████████████████████████████████████▎ | 159/410 [22:59<35:57, 8.59s/it][A + mmlu_id: 39%|█████████████████████████████████████████████▋ | 160/410 [23:08<36:27, 8.75s/it][A + mmlu_id: 39%|█████████████████████████████████████████████▉ | 161/410 [23:17<36:54, 8.89s/it][A + mmlu_id: 40%|██████████████████████████████████████████████▏ | 162/410 [23:27<37:21, 9.04s/it][A + mmlu_id: 40%|██████████████████████████████████████████████▌ | 163/410 [23:35<36:12, 8.80s/it][A + mmlu_id: 40%|██████████████████████████████████████████████▊ | 164/410 [23:44<35:59, 8.78s/it][A + mmlu_id: 40%|███████████████████████████████████████████████ | 165/410 [23:53<36:27, 8.93s/it][A + mmlu_id: 40%|███████████████████████████████████████████████▎ | 166/410 [24:00<34:41, 8.53s/it][A + mmlu_id: 41%|███████████████████████████████████████████████▋ | 167/410 [24:10<35:24, 8.74s/it][A + mmlu_id: 41%|███████████████████████████████████████████████▉ | 168/410 [24:19<36:03, 8.94s/it][A + mmlu_id: 41%|████████████████████████████████████████████████▏ | 169/410 [24:28<36:10, 9.01s/it][A + mmlu_id: 41%|████████████████████████████████████████████████▌ | 170/410 [24:39<37:41, 9.42s/it][A + mmlu_id: 42%|████████████████████████████████████████████████▊ | 171/410 [24:47<36:23, 9.14s/it][A + mmlu_id: 42%|█████████████████████████████████████████████████ | 172/410 [24:56<35:29, 8.95s/it][A + mmlu_id: 42%|█████████████████████████████████████████████████▎ | 173/410 [25:04<34:26, 8.72s/it][A + mmlu_id: 42%|█████████████████████████████████████████████████▋ | 174/410 [25:13<34:49, 8.85s/it][A + mmlu_id: 43%|█████████████████████████████████████████████████▉ | 175/410 [25:22<34:26, 8.79s/it][A + mmlu_id: 43%|██████████████████████████████████████████████████▏ | 176/410 [25:31<35:03, 8.99s/it][A + mmlu_id: 43%|██████████████████████████████████████████████████▌ | 177/410 [25:41<35:49, 9.23s/it][A + mmlu_id: 43%|██████████████████████████████████████████████████▊ | 178/410 [25:50<35:52, 9.28s/it][A + mmlu_id: 44%|███████████████████████████████████████████████████ | 179/410 [25:59<34:35, 8.98s/it][A + mmlu_id: 44%|███████████████████████████████████████████████████▎ | 180/410 [26:08<34:57, 9.12s/it][A + mmlu_id: 44%|███████████████████████████████████████████████████▋ | 181/410 [26:18<35:20, 9.26s/it][A + mmlu_id: 44%|███████████████████████████████████████████████████▉ | 182/410 [26:28<36:34, 9.63s/it][A + mmlu_id: 45%|████████████████████████████████████████████████████▏ | 183/410 [26:37<35:40, 9.43s/it][A + mmlu_id: 45%|████████████████████████████████████████████████████▌ | 184/410 [26:46<34:45, 9.23s/it][A + mmlu_id: 45%|████████████████████████████████████████████████████▊ | 185/410 [26:54<33:26, 8.92s/it][A + mmlu_id: 45%|█████████████████████████████████████████████████████ | 186/410 [27:04<34:14, 9.17s/it][A + mmlu_id: 46%|█████████████████████████████████████████████████████▎ | 187/410 [27:13<34:16, 9.22s/it][A + mmlu_id: 46%|█████████████████████████████████████████████████████▋ | 188/410 [27:23<34:35, 9.35s/it][A + mmlu_id: 46%|█████████████████████████████████████████████████████▉ | 189/410 [27:32<33:49, 9.18s/it][A + mmlu_id: 46%|██████████████████████████████████████████████████████▏ | 190/410 [27:41<34:01, 9.28s/it][A + mmlu_id: 47%|██████████████████████████████████████████████████████▌ | 191/410 [27:51<34:31, 9.46s/it][A + mmlu_id: 47%|██████████████████████████████████████████████████████▊ | 192/410 [27:59<33:19, 9.17s/it][A + mmlu_id: 47%|███████████████████████████████████████████████████████ | 193/410 [28:08<32:27, 8.98s/it][A + mmlu_id: 47%|███████████████████████████████████████████████████████▎ | 194/410 [28:16<31:31, 8.76s/it][A + mmlu_id: 48%|███████████████████████████████████████████████████████▋ | 195/410 [28:24<30:32, 8.52s/it][A + mmlu_id: 48%|███████████████████████████████████████████████████████▉ | 196/410 [28:33<30:16, 8.49s/it][A + mmlu_id: 48%|████████████████████████████████████████████████████████▏ | 197/410 [28:41<30:28, 8.58s/it][A + mmlu_id: 48%|████████████████████████████████████████████████████████▌ | 198/410 [28:50<30:41, 8.69s/it][A + mmlu_id: 49%|████████████████████████████████████████████████████████▊ | 199/410 [28:58<29:13, 8.31s/it][A + mmlu_id: 49%|█████████████████████████████████████████████████████████ | 200/410 [29:06<28:43, 8.21s/it][A + mmlu_id: 49%|█████████████████████████████████████████████████████████▎ | 201/410 [29:14<28:43, 8.24s/it][A + mmlu_id: 49%|█████████████████████████████████████████████████████████▋ | 202/410 [29:23<29:46, 8.59s/it][A + mmlu_id: 50%|█████████████████████████████████████████████████████████▉ | 203/410 [29:32<29:59, 8.69s/it][A + mmlu_id: 50%|██████████████████████████████████████████████████████████▏ | 204/410 [29:41<30:07, 8.77s/it][A + mmlu_id: 50%|██████████████████████████████████████████████████████████▌ | 205/410 [29:50<30:08, 8.82s/it][A + mmlu_id: 50%|██████████████████████████████████████████████████████████▊ | 206/410 [30:00<30:54, 9.09s/it][A + mmlu_id: 50%|███████████████████████████████████████████████████████████ | 207/410 [30:09<30:40, 9.07s/it][A + mmlu_id: 51%|███████████████████████████████████████████████████████████▎ | 208/410 [30:17<29:45, 8.84s/it][A + mmlu_id: 51%|███████████████████████████████████████████████████████████▋ | 209/410 [30:26<29:18, 8.75s/it][A + mmlu_id: 51%|███████████████████████████████████████████████████████████▉ | 210/410 [30:35<29:51, 8.96s/it][A + mmlu_id: 51%|████████████████████████████████████████████████████████████▏ | 211/410 [30:43<28:08, 8.49s/it][A + mmlu_id: 52%|████████████████████████████████████████████████████████████▍ | 212/410 [30:51<28:19, 8.58s/it][A + mmlu_id: 52%|████████████████████████████████████████████████████████████▊ | 213/410 [31:00<27:41, 8.44s/it][A + mmlu_id: 52%|█████████████████████████████████████████████████████████████ | 214/410 [31:07<26:58, 8.26s/it][A + mmlu_id: 52%|█████████████████████████████████████████████████████████████▎ | 215/410 [31:17<27:49, 8.56s/it][A + mmlu_id: 53%|█████████████████████████████████████████████████████████████▋ | 216/410 [31:26<28:19, 8.76s/it][A + mmlu_id: 53%|█████████████████████████████████████████████████████████████▉ | 217/410 [31:35<28:02, 8.72s/it][A + mmlu_id: 53%|██████████████████████████████████████████████████████████████▏ | 218/410 [31:42<27:03, 8.46s/it][A + mmlu_id: 53%|██████████████████████████████████████████████████████████████▍ | 219/410 [31:51<27:14, 8.56s/it][A + mmlu_id: 54%|██████████████████████████████████████████████████████████████▊ | 220/410 [32:00<27:26, 8.67s/it][A + mmlu_id: 54%|███████████████████████████████████████████████████████████████ | 221/410 [32:09<27:45, 8.81s/it][A + mmlu_id: 54%|███████████████████████████████████████████████████████████████▎ | 222/410 [32:18<27:29, 8.78s/it][A + mmlu_id: 54%|███████████████████████████████████████████████████████████████▋ | 223/410 [32:27<27:22, 8.78s/it][A + mmlu_id: 55%|███████████████████████████████████████████████████████████████▉ | 224/410 [32:36<27:53, 9.00s/it][A + mmlu_id: 55%|████████████████████████████████████████████████████████████████▏ | 225/410 [32:45<27:11, 8.82s/it][A + mmlu_id: 55%|████████████████████████████████████████████████████████████████▍ | 226/410 [32:53<26:42, 8.71s/it][A + mmlu_id: 55%|████████████████████████████████████████████████████████████████▊ | 227/410 [33:02<26:42, 8.76s/it][A + mmlu_id: 56%|█████████████████████████████████████████████████████████████████ | 228/410 [33:10<25:44, 8.49s/it][A + mmlu_id: 56%|█████████████████████████████████████████████████████████████████▎ | 229/410 [33:19<26:16, 8.71s/it][A + mmlu_id: 56%|█████████████████████████████████████████████████████████████████▋ | 230/410 [33:27<25:23, 8.46s/it][A + mmlu_id: 56%|█████████████████████████████████████████████████████████████████▉ | 231/410 [33:36<25:43, 8.63s/it][A + mmlu_id: 57%|██████████████████████████████████████████████████████████████████▏ | 232/410 [33:45<25:34, 8.62s/it][A + mmlu_id: 57%|██████████████████████████████████████████████████████████████████▍ | 233/410 [33:52<24:41, 8.37s/it][A + mmlu_id: 57%|██████████████████████████████████████████████████████████████████▊ | 234/410 [34:00<23:58, 8.18s/it][A + mmlu_id: 57%|███████████████████████████████████████████████████████████████████ | 235/410 [34:09<24:11, 8.30s/it][A + mmlu_id: 58%|███████████████████████████████████████████████████████████████████▎ | 236/410 [34:17<24:05, 8.31s/it][A + mmlu_id: 58%|███████████████████████████████████████████████████████████████████▋ | 237/410 [34:27<25:01, 8.68s/it][A + mmlu_id: 58%|███████████████████████████████████████████████████████████████████▉ | 238/410 [34:34<24:15, 8.46s/it][A + mmlu_id: 58%|████████████████████████████████████████████████████████████████████▏ | 239/410 [34:43<24:31, 8.61s/it][A + mmlu_id: 59%|████████████████████████████████████████████████████████████████████▍ | 240/410 [34:53<25:14, 8.91s/it][A + mmlu_id: 59%|████████████████████████████████████████████████████████████████████▊ | 241/410 [35:02<24:54, 8.85s/it][A + mmlu_id: 59%|█████████████████████████████████████████████████████████████████████ | 242/410 [35:12<25:41, 9.17s/it][A + mmlu_id: 59%|█████████████████████████████████████████████████████████████████████▎ | 243/410 [35:22<26:08, 9.39s/it][A + mmlu_id: 60%|█████████████████████████████████████████████████████████████████████▋ | 244/410 [35:31<25:41, 9.29s/it][A + mmlu_id: 60%|█████████████████████████████████████████████████████████████████████▉ | 245/410 [35:38<24:00, 8.73s/it][A + mmlu_id: 60%|██████████████████████████████████████████████████████████████████████▏ | 246/410 [35:46<23:35, 8.63s/it][A + mmlu_id: 60%|██████████████████████████████████████████████████████████████████████▍ | 247/410 [35:55<23:41, 8.72s/it][A + mmlu_id: 60%|██████████████████████████████████████████████████████████████████████▊ | 248/410 [36:04<23:20, 8.65s/it][A + mmlu_id: 61%|███████████████████████████████████████████████████████████████████████ | 249/410 [36:12<22:31, 8.39s/it][A + mmlu_id: 61%|███████████████████████████████████████████████████████████████████████▎ | 250/410 [36:20<22:38, 8.49s/it][A + mmlu_id: 61%|███████████████████████████████████████████████████████████████████████▋ | 251/410 [36:30<23:12, 8.76s/it][A + mmlu_id: 61%|███████████████████████████████████████████████████████████████████████▉ | 252/410 [36:38<22:55, 8.71s/it][A + mmlu_id: 62%|████████████████████████████████████████████████████████████████████████▏ | 253/410 [36:46<22:04, 8.44s/it][A + mmlu_id: 62%|████████████████████████████████████████████████████████████████████████▍ | 254/410 [36:55<22:16, 8.57s/it][A + mmlu_id: 62%|████████████████████████████████████████████████████████████████████████▊ | 255/410 [37:03<21:40, 8.39s/it][A + mmlu_id: 62%|█████████████████████████████████████████████████████████████████████████ | 256/410 [37:12<22:01, 8.58s/it][A + mmlu_id: 63%|█████████████████████████████████████████████████████████████████████████▎ | 257/410 [37:20<21:17, 8.35s/it][A + mmlu_id: 63%|█████████████████████████████████████████████████████████████████████████▌ | 258/410 [37:28<20:44, 8.19s/it][A + mmlu_id: 63%|█████████████████████████████████████████████████████████████████████████▉ | 259/410 [37:37<21:41, 8.62s/it][A + mmlu_id: 63%|██████████████████████████████████████████████████████████████████████████▏ | 260/410 [37:45<20:43, 8.29s/it][A + mmlu_id: 64%|██████████████████████████████████████████████████████████████████████████▍ | 261/410 [37:53<20:34, 8.28s/it][A + mmlu_id: 64%|██████████████████████████████████████████████████████████████████████████▊ | 262/410 [38:01<20:10, 8.18s/it][A + mmlu_id: 64%|███████████████████████████████████████████████████████████████████████████ | 263/410 [38:09<20:07, 8.22s/it][A + mmlu_id: 64%|███████████████████████████████████████████████████████████████████████████▎ | 264/410 [38:18<20:39, 8.49s/it][A + mmlu_id: 65%|███████████████████████████████████████████████████████████████████████████▌ | 265/410 [38:26<20:07, 8.32s/it][A + mmlu_id: 65%|███████████████████████████████████████████████████████████████████████████▉ | 266/410 [38:34<19:31, 8.14s/it][A + mmlu_id: 65%|████████████████████████████████████████████████████████████████████████████▏ | 267/410 [38:43<20:10, 8.47s/it][A + mmlu_id: 65%|████████████████████████████████████████████████████████████████████████████▍ | 268/410 [38:53<20:52, 8.82s/it][A + mmlu_id: 66%|████████████████████████████████████████████████████████████████████████████▊ | 269/410 [39:03<21:16, 9.06s/it][A + mmlu_id: 66%|█████████████████████████████████████████████████████████████████████████████ | 270/410 [39:11<20:48, 8.92s/it][A + mmlu_id: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 271/410 [39:21<21:13, 9.16s/it][A + mmlu_id: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 272/410 [39:30<20:55, 9.10s/it][A + mmlu_id: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 273/410 [39:38<20:12, 8.85s/it][A + mmlu_id: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 274/410 [39:47<20:06, 8.87s/it][A + mmlu_id: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 275/410 [39:57<20:35, 9.15s/it][A + mmlu_id: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 276/410 [40:05<20:00, 8.96s/it][A + mmlu_id: 68%|███████████████████████████████████████████████████████████████████████████████ | 277/410 [40:14<19:32, 8.82s/it][A + mmlu_id: 68%|███████████████████████████████████████████████████████████████████████████████▎ | 278/410 [40:23<19:28, 8.85s/it][A + mmlu_id: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 279/410 [40:31<19:08, 8.77s/it][A + mmlu_id: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 280/410 [40:39<18:26, 8.51s/it][A + mmlu_id: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 281/410 [40:47<17:44, 8.25s/it][A + mmlu_id: 69%|████████████████████████████████████████████████████████████████████████████████▍ | 282/410 [40:55<17:25, 8.16s/it][A + mmlu_id: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 283/410 [41:02<16:47, 7.94s/it][A + mmlu_id: 69%|█████████████████████████████████████████████████████████████████████████████████ | 284/410 [41:11<16:53, 8.04s/it][A + mmlu_id: 70%|█████████████████████████████████████████████████████████████████████████████████▎ | 285/410 [41:18<16:36, 7.97s/it][A + mmlu_id: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 286/410 [41:27<16:43, 8.09s/it][A + mmlu_id: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 287/410 [41:37<17:42, 8.64s/it][A + mmlu_id: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 288/410 [41:45<17:11, 8.45s/it][A + mmlu_id: 70%|██████████████████████████████████████████████████████████████████████████████████▍ | 289/410 [41:55<18:16, 9.06s/it][A + mmlu_id: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 290/410 [42:04<17:47, 8.89s/it][A + mmlu_id: 71%|███████████████████████████████████████████████████████████████████████████████████ | 291/410 [42:13<17:56, 9.05s/it][A + mmlu_id: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 292/410 [42:21<17:06, 8.70s/it][A + mmlu_id: 71%|███████████████████████████████████████████████████████████████████████████████████▌ | 293/410 [42:29<16:28, 8.45s/it][A + mmlu_id: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 294/410 [42:38<16:38, 8.61s/it][A + mmlu_id: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 295/410 [42:46<16:03, 8.38s/it][A + mmlu_id: 72%|████████████████████████████████████████████████████████████████████████████████████▍ | 296/410 [42:54<16:10, 8.51s/it][A + mmlu_id: 72%|████████████████████████████████████████████████████████████████████████████████████▊ | 297/410 [43:04<16:21, 8.69s/it][A + mmlu_id: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 298/410 [43:11<15:46, 8.45s/it][A + mmlu_id: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 299/410 [43:20<15:49, 8.55s/it][A + mmlu_id: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 300/410 [43:28<15:09, 8.27s/it][A + mmlu_id: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 301/410 [43:37<15:43, 8.66s/it][A + mmlu_id: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 302/410 [43:46<15:40, 8.71s/it][A + mmlu_id: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 303/410 [43:56<15:56, 8.94s/it][A + mmlu_id: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 304/410 [44:04<15:18, 8.66s/it][A + mmlu_id: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 305/410 [44:13<15:37, 8.93s/it][A + mmlu_id: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 306/410 [44:22<15:23, 8.88s/it][A + mmlu_id: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 307/410 [44:31<15:30, 9.04s/it][A + mmlu_id: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 308/410 [44:40<15:16, 8.99s/it][A + mmlu_id: 75%|████████████████████████████████████████████████████████████████████████████████████████▏ | 309/410 [44:50<15:25, 9.17s/it][A + mmlu_id: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 310/410 [44:58<15:00, 9.00s/it][A + mmlu_id: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 311/410 [45:07<14:46, 8.96s/it][A + mmlu_id: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 312/410 [45:17<14:59, 9.18s/it][A + mmlu_id: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 313/410 [45:25<14:09, 8.76s/it][A + mmlu_id: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 314/410 [45:34<14:05, 8.81s/it][A + mmlu_id: 77%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 315/410 [45:43<14:13, 8.98s/it][A + mmlu_id: 77%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 316/410 [45:51<13:36, 8.69s/it][A + mmlu_id: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 317/410 [46:01<13:48, 8.91s/it][A + mmlu_id: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 318/410 [46:09<13:39, 8.91s/it][A + mmlu_id: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 319/410 [46:20<14:24, 9.50s/it][A + mmlu_id: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 320/410 [46:29<13:44, 9.16s/it][A + mmlu_id: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 321/410 [46:37<13:14, 8.93s/it][A + mmlu_id: 79%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 322/410 [46:45<12:37, 8.61s/it][A + mmlu_id: 79%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 323/410 [46:54<12:29, 8.62s/it][A + mmlu_id: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 324/410 [47:02<12:17, 8.58s/it][A + mmlu_id: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 325/410 [47:12<12:30, 8.83s/it][A + mmlu_id: 80%|█████████████████████████████████████████████████████████████████████████████████████████████ | 326/410 [47:20<12:15, 8.76s/it][A + mmlu_id: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 327/410 [47:29<12:21, 8.93s/it][A + mmlu_id: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 328/410 [47:38<12:15, 8.97s/it][A + mmlu_id: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/410 [47:48<12:30, 9.27s/it][A + mmlu_id: 80%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 330/410 [47:58<12:20, 9.25s/it][A + mmlu_id: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 331/410 [48:05<11:24, 8.66s/it][A + mmlu_id: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 332/410 [48:13<11:12, 8.62s/it][A + mmlu_id: 81%|███████████████████████████████████████████████████████████████████████████████████████████████ | 333/410 [48:23<11:22, 8.86s/it][A + mmlu_id: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 334/410 [48:31<10:58, 8.66s/it][A + mmlu_id: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 335/410 [48:39<10:37, 8.51s/it][A + mmlu_id: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 336/410 [48:47<10:15, 8.31s/it][A + mmlu_id: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 337/410 [48:55<10:05, 8.29s/it][A + mmlu_id: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 338/410 [49:04<10:03, 8.38s/it][A + mmlu_id: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 339/410 [49:13<10:00, 8.46s/it][A + mmlu_id: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 340/410 [49:21<09:54, 8.50s/it][A + mmlu_id: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 341/410 [49:29<09:40, 8.41s/it][A + mmlu_id: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 342/410 [49:39<10:03, 8.87s/it][A + mmlu_id: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 343/410 [49:49<10:08, 9.08s/it][A + mmlu_id: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 344/410 [49:58<10:02, 9.12s/it][A + mmlu_id: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 345/410 [50:06<09:27, 8.73s/it][A + mmlu_id: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 346/410 [50:14<09:11, 8.62s/it][A + mmlu_id: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 347/410 [50:23<08:58, 8.55s/it][A + mmlu_id: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 348/410 [50:32<09:00, 8.72s/it][A + mmlu_id: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 349/410 [50:41<08:57, 8.81s/it][A + mmlu_id: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 350/410 [50:50<08:50, 8.85s/it][A + mmlu_id: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 351/410 [50:59<08:43, 8.87s/it][A + mmlu_id: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 352/410 [51:08<08:37, 8.93s/it][A + mmlu_id: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 353/410 [51:16<08:25, 8.87s/it][A + mmlu_id: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 354/410 [51:24<07:58, 8.55s/it][A + mmlu_id: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 355/410 [51:34<08:03, 8.79s/it][A + mmlu_id: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 356/410 [51:42<07:42, 8.57s/it][A + mmlu_id: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 357/410 [51:51<07:48, 8.83s/it][A + mmlu_id: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 358/410 [52:00<07:34, 8.74s/it][A + mmlu_id: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/410 [52:09<07:27, 8.78s/it][A + mmlu_id: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/410 [52:17<07:13, 8.66s/it][A + mmlu_id: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/410 [52:24<06:48, 8.34s/it][A + mmlu_id: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 362/410 [52:34<06:51, 8.56s/it][A + mmlu_id: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 363/410 [52:42<06:44, 8.61s/it][A + mmlu_id: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 364/410 [52:50<06:23, 8.33s/it][A + mmlu_id: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 365/410 [52:59<06:28, 8.63s/it][A + mmlu_id: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 366/410 [53:08<06:26, 8.77s/it][A + mmlu_id: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 367/410 [53:17<06:10, 8.62s/it][A + mmlu_id: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 368/410 [53:25<05:52, 8.39s/it][A + mmlu_id: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 369/410 [53:33<05:44, 8.40s/it][A + mmlu_id: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 370/410 [53:42<05:40, 8.52s/it][A + mmlu_id: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 371/410 [53:51<05:39, 8.71s/it][A + mmlu_id: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 372/410 [54:00<05:29, 8.68s/it][A + mmlu_id: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 373/410 [54:07<05:11, 8.43s/it][A + mmlu_id: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 374/410 [54:17<05:12, 8.69s/it][A + mmlu_id: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 375/410 [54:26<05:12, 8.93s/it][A + mmlu_id: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 376/410 [54:35<04:59, 8.81s/it][A + mmlu_id: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 377/410 [54:43<04:46, 8.67s/it][A + mmlu_id: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 378/410 [54:51<04:26, 8.32s/it][A + mmlu_id: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 379/410 [54:58<04:12, 8.14s/it][A + mmlu_id: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 380/410 [55:08<04:14, 8.49s/it][A + mmlu_id: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 381/410 [55:17<04:12, 8.71s/it][A + mmlu_id: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 382/410 [55:25<03:58, 8.53s/it][A + mmlu_id: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 383/410 [55:34<03:52, 8.60s/it][A + mmlu_id: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/410 [55:42<03:43, 8.59s/it][A + mmlu_id: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/410 [55:51<03:33, 8.56s/it][A + mmlu_id: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 386/410 [55:59<03:20, 8.36s/it][A + mmlu_id: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 387/410 [56:07<03:14, 8.45s/it][A + mmlu_id: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 388/410 [56:16<03:05, 8.43s/it][A + mmlu_id: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 389/410 [56:23<02:52, 8.20s/it][A + mmlu_id: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 390/410 [56:33<02:52, 8.62s/it][A + mmlu_id: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 391/410 [56:42<02:43, 8.62s/it][A + mmlu_id: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 392/410 [56:49<02:28, 8.27s/it][A + mmlu_id: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 393/410 [56:57<02:17, 8.08s/it][A + mmlu_id: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 394/410 [57:05<02:11, 8.20s/it][A + mmlu_id: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 395/410 [57:13<02:01, 8.11s/it][A + mmlu_id: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 396/410 [57:22<01:58, 8.44s/it][A + mmlu_id: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 397/410 [57:31<01:50, 8.50s/it][A + mmlu_id: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 398/410 [57:40<01:45, 8.77s/it][A + mmlu_id: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 399/410 [57:48<01:32, 8.43s/it][A + mmlu_id: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 400/410 [57:57<01:25, 8.54s/it][A + mmlu_id: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 401/410 [58:04<01:14, 8.32s/it][A + mmlu_id: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 402/410 [58:13<01:07, 8.42s/it][A + mmlu_id: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 403/410 [58:23<01:01, 8.76s/it][A + mmlu_id: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 404/410 [58:32<00:54, 9.02s/it][A + mmlu_id: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 405/410 [58:41<00:44, 8.85s/it][A + mmlu_id: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 406/410 [58:50<00:35, 8.83s/it][A + mmlu_id: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 407/410 [58:58<00:26, 8.72s/it][A + mmlu_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 408/410 [59:06<00:16, 8.37s/it][A + mmlu_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 409/410 [59:14<00:08, 8.50s/it][A + mmlu_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [59:21<00:00, 7.86s/it][A mmlu_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [59:21<00:00, 8.69s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_id_acc 0.332570032821922 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_id_acc_norm 0.3188306236165178 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 07:41:20,881 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 07:41:20,882 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:21,005 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 07:41:21,005 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:21,129 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 07:41:21,129 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:21,252 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 07:41:21,253 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 07:41:21,254 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 07:41:21,378 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 07:41:21,378 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_id_acc'} +2024-05-31 07:41:21,442 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 07:41:21,442 INFO sqlalchemy.engine.Engine [generated in 0.00113s] {'checkpoint_id': 14266, 'metric_id': 1229, 'value': 0.332570032821922} +2024-05-31 07:41:21,505 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 07:41:22,144 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 07:41:22,144 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:22,270 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 07:41:22,270 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:22,396 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 07:41:22,396 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:22,522 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 07:41:22,522 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 07:41:22,523 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 07:41:22,650 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 07:41:22,650 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_id_acc_norm'} +2024-05-31 07:41:22,714 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 07:41:22,714 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1230, 'value': 0.3188306236165178} +2024-05-31 07:41:22,777 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 61%|██████████████████████████████████████████████████████████████████▏ | 76/124 [48:53:52<60:38:37, 4548.27s/it]['mmlu_it'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 07:41:23,398 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 07:41:23,399 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:23,520 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 07:41:23,520 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:23,642 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 07:41:23,642 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 07:41:23,763 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 07:41:23,764 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 07:41:23,764 INFO sqlalchemy.engine.Engine [generated in 0.00022s] {'name_1_1': 'mmlu_it'} +2024-05-31 07:41:23,887 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_it task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1754 examples [00:00, 16678.44 examples/s][A + Generating test split: 5148 examples [00:00, 26614.66 examples/s][A + Generating test split: 8860 examples [00:00, 30807.29 examples/s][A + Generating test split: 12255 examples [00:00, 32020.77 examples/s][A Generating test split: 13237 examples [00:00, 29835.28 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 274 examples [00:00, 27628.60 examples/s] +Running loglikelihood requests + + mmlu_it: 0%| | 0/414 [00:00<?, ?it/s][A + mmlu_it: 0%|▎ | 1/414 [00:06<44:55, 6.53s/it][A + mmlu_it: 0%|▌ | 2/414 [00:14<51:43, 7.53s/it][A + mmlu_it: 1%|▊ | 3/414 [00:21<48:20, 7.06s/it][A + mmlu_it: 1%|█▏ | 4/414 [00:27<45:20, 6.63s/it][A + mmlu_it: 1%|█▍ | 5/414 [00:34<47:15, 6.93s/it][A + mmlu_it: 1%|█▋ | 6/414 [00:41<46:02, 6.77s/it][A + mmlu_it: 2%|██ | 7/414 [00:47<46:00, 6.78s/it][A + mmlu_it: 2%|██▎ | 8/414 [00:55<47:20, 7.00s/it][A + mmlu_it: 2%|██▌ | 9/414 [01:02<47:03, 6.97s/it][A + mmlu_it: 2%|██▊ | 10/414 [01:09<46:56, 6.97s/it][A + mmlu_it: 3%|███▏ | 11/414 [01:16<46:47, 6.97s/it][A + mmlu_it: 3%|███▍ | 12/414 [01:23<46:20, 6.92s/it][A + mmlu_it: 3%|███▋ | 13/414 [01:29<46:11, 6.91s/it][A + mmlu_it: 3%|███▉ | 14/414 [01:37<46:24, 6.96s/it][A + mmlu_it: 4%|████▎ | 15/414 [01:43<44:25, 6.68s/it][A + mmlu_it: 4%|████▌ | 16/414 [01:49<43:03, 6.49s/it][A + mmlu_it: 4%|████▊ | 17/414 [01:55<42:45, 6.46s/it][A + mmlu_it: 4%|█████▏ | 18/414 [02:01<42:30, 6.44s/it][A + mmlu_it: 5%|█████▍ | 19/414 [02:08<43:16, 6.57s/it][A + mmlu_it: 5%|█████▋ | 20/414 [02:15<44:05, 6.71s/it][A + mmlu_it: 5%|█████▉ | 21/414 [02:22<44:18, 6.76s/it][A + mmlu_it: 5%|██████▎ | 22/414 [02:29<44:32, 6.82s/it][A + mmlu_it: 6%|██████▌ | 23/414 [02:35<42:45, 6.56s/it][A + mmlu_it: 6%|██████▊ | 24/414 [02:42<43:04, 6.63s/it][A + mmlu_it: 6%|███████▏ | 25/414 [02:48<42:03, 6.49s/it][A + mmlu_it: 6%|███████▍ | 26/414 [02:54<41:25, 6.41s/it][A + mmlu_it: 7%|███████▋ | 27/414 [03:02<42:57, 6.66s/it][A + mmlu_it: 7%|███████▉ | 28/414 [03:08<43:02, 6.69s/it][A + mmlu_it: 7%|████████▎ | 29/414 [03:14<41:46, 6.51s/it][A + mmlu_it: 7%|████████▌ | 30/414 [03:21<41:21, 6.46s/it][A + mmlu_it: 7%|████████▊ | 31/414 [03:27<41:27, 6.49s/it][A + mmlu_it: 8%|█████████ | 32/414 [03:33<40:00, 6.29s/it][A + mmlu_it: 8%|█████████▍ | 33/414 [03:39<38:49, 6.11s/it][A + mmlu_it: 8%|█████████▋ | 34/414 [03:45<38:47, 6.13s/it][A + mmlu_it: 8%|█████████▉ | 35/414 [03:51<38:58, 6.17s/it][A + mmlu_it: 9%|██████████▎ | 36/414 [03:58<40:09, 6.38s/it][A + mmlu_it: 9%|██████████▌ | 37/414 [04:05<40:40, 6.47s/it][A + mmlu_it: 9%|██████████▊ | 38/414 [04:11<40:23, 6.44s/it][A + mmlu_it: 9%|███████████ | 39/414 [04:17<38:38, 6.18s/it][A + mmlu_it: 10%|███████████▍ | 40/414 [04:24<40:41, 6.53s/it][A + mmlu_it: 10%|███████████▋ | 41/414 [04:31<41:07, 6.62s/it][A + mmlu_it: 10%|███████████▉ | 42/414 [04:38<42:08, 6.80s/it][A + mmlu_it: 10%|████████████▎ | 43/414 [04:45<42:18, 6.84s/it][A + mmlu_it: 11%|████████████▌ | 44/414 [04:51<40:57, 6.64s/it][A + mmlu_it: 11%|████████████▊ | 45/414 [04:58<41:30, 6.75s/it][A + mmlu_it: 11%|█████████████ | 46/414 [05:05<41:35, 6.78s/it][A + mmlu_it: 11%|█████████████▍ | 47/414 [05:12<41:55, 6.85s/it][A + mmlu_it: 12%|█████████████▋ | 48/414 [05:19<41:09, 6.75s/it][A + mmlu_it: 12%|█████████████▉ | 49/414 [05:26<41:39, 6.85s/it][A + mmlu_it: 12%|██████████████▎ | 50/414 [05:33<42:17, 6.97s/it][A + mmlu_it: 12%|██████████████▌ | 51/414 [05:40<41:36, 6.88s/it][A + mmlu_it: 13%|██████████████▊ | 52/414 [05:46<41:06, 6.81s/it][A + mmlu_it: 13%|███████████████ | 53/414 [05:53<40:52, 6.79s/it][A + mmlu_it: 13%|███████████████▍ | 54/414 [06:00<40:16, 6.71s/it][A + mmlu_it: 13%|███████████████▋ | 55/414 [06:06<39:54, 6.67s/it][A + mmlu_it: 14%|███████████████▉ | 56/414 [06:13<40:03, 6.71s/it][A + mmlu_it: 14%|████████████████▏ | 57/414 [06:20<40:00, 6.73s/it][A + mmlu_it: 14%|████████████████▌ | 58/414 [06:27<40:17, 6.79s/it][A + mmlu_it: 14%|████████████████▊ | 59/414 [06:33<38:46, 6.55s/it][A + mmlu_it: 14%|█████████████████ | 60/414 [06:40<39:21, 6.67s/it][A + mmlu_it: 15%|█████████████████▍ | 61/414 [06:47<39:45, 6.76s/it][A + mmlu_it: 15%|█████████████████▋ | 62/414 [06:54<40:10, 6.85s/it][A + mmlu_it: 15%|█████████████████▉ | 63/414 [07:00<39:39, 6.78s/it][A + mmlu_it: 15%|██████████████████▏ | 64/414 [07:06<37:55, 6.50s/it][A + mmlu_it: 16%|██████████████████▌ | 65/414 [07:13<38:56, 6.70s/it][A + mmlu_it: 16%|██████████████████▊ | 66/414 [07:20<39:40, 6.84s/it][A + mmlu_it: 16%|███████████████████ | 67/414 [07:27<39:48, 6.88s/it][A + mmlu_it: 16%|███████████████████▍ | 68/414 [07:34<38:42, 6.71s/it][A + mmlu_it: 17%|███████████████████▋ | 69/414 [07:41<39:47, 6.92s/it][A + mmlu_it: 17%|███████████████████▉ | 70/414 [07:48<39:44, 6.93s/it][A + mmlu_it: 17%|████████████████████▏ | 71/414 [07:55<39:07, 6.84s/it][A + mmlu_it: 17%|████████████████████▌ | 72/414 [08:01<38:46, 6.80s/it][A + mmlu_it: 18%|████████████████████▊ | 73/414 [08:08<37:53, 6.67s/it][A + mmlu_it: 18%|█████████████████████ | 74/414 [08:15<37:56, 6.70s/it][A + mmlu_it: 18%|█████████████████████▍ | 75/414 [08:21<37:28, 6.63s/it][A + mmlu_it: 18%|█████████████████████▋ | 76/414 [08:27<36:16, 6.44s/it][A + mmlu_it: 19%|█████████████████████▉ | 77/414 [08:34<37:18, 6.64s/it][A + mmlu_it: 19%|██████████████████████▏ | 78/414 [08:41<37:36, 6.72s/it][A + mmlu_it: 19%|██████████████████████▌ | 79/414 [08:48<37:19, 6.69s/it][A + mmlu_it: 19%|██████████████████████▊ | 80/414 [08:54<37:03, 6.66s/it][A + mmlu_it: 20%|███████████████████████ | 81/414 [09:01<36:30, 6.58s/it][A + mmlu_it: 20%|███████████████████████▎ | 82/414 [09:07<36:41, 6.63s/it][A + mmlu_it: 20%|███████████████████████▋ | 83/414 [09:14<36:17, 6.58s/it][A + mmlu_it: 20%|███████████████████████▉ | 84/414 [09:20<35:44, 6.50s/it][A + mmlu_it: 21%|████████████████████████▏ | 85/414 [09:26<35:13, 6.42s/it][A + mmlu_it: 21%|████████████████████████▌ | 86/414 [09:33<36:12, 6.62s/it][A + mmlu_it: 21%|████████████████████████▊ | 87/414 [09:41<36:58, 6.79s/it][A + mmlu_it: 21%|█████████████████████████ | 88/414 [09:47<35:58, 6.62s/it][A + mmlu_it: 21%|█████████████████████████▎ | 89/414 [09:54<37:01, 6.84s/it][A + mmlu_it: 22%|█████████████████████████▋ | 90/414 [10:01<36:43, 6.80s/it][A + mmlu_it: 22%|█████████████████████████▉ | 91/414 [10:07<35:48, 6.65s/it][A + mmlu_it: 22%|██████████████████████████▏ | 92/414 [10:14<35:45, 6.66s/it][A + mmlu_it: 22%|██████████████████████████▌ | 93/414 [10:21<35:47, 6.69s/it][A + mmlu_it: 23%|██████████████████████████▊ | 94/414 [10:27<34:39, 6.50s/it][A + mmlu_it: 23%|███████████████████████████ | 95/414 [10:34<36:23, 6.84s/it][A + mmlu_it: 23%|███████████████████████████▎ | 96/414 [10:41<36:04, 6.81s/it][A + mmlu_it: 23%|███████████████████████████▋ | 97/414 [10:48<36:05, 6.83s/it][A + mmlu_it: 24%|███████████████████████████▉ | 98/414 [10:55<36:25, 6.91s/it][A + mmlu_it: 24%|████████████████████████████▏ | 99/414 [11:01<35:25, 6.75s/it][A + mmlu_it: 24%|████████████████████████████▎ | 100/414 [11:08<35:20, 6.75s/it][A + mmlu_it: 24%|████████████████████████████▌ | 101/414 [11:15<35:14, 6.75s/it][A + mmlu_it: 25%|████████████████████████████▊ | 102/414 [11:21<34:09, 6.57s/it][A + mmlu_it: 25%|█████████████████████████████ | 103/414 [11:28<35:00, 6.75s/it][A + mmlu_it: 25%|█████████████████████████████▍ | 104/414 [11:35<34:49, 6.74s/it][A + mmlu_it: 25%|█████████████████████████████▋ | 105/414 [11:42<34:43, 6.74s/it][A + mmlu_it: 26%|█████████████████████████████▉ | 106/414 [11:49<35:24, 6.90s/it][A + mmlu_it: 26%|██████████████████████████████▏ | 107/414 [11:56<35:08, 6.87s/it][A + mmlu_it: 26%|██████████████████████████████▌ | 108/414 [12:03<35:27, 6.95s/it][A + mmlu_it: 26%|██████████████████████████████▊ | 109/414 [12:09<34:35, 6.81s/it][A + mmlu_it: 27%|███████████████████████████████ | 110/414 [12:16<34:51, 6.88s/it][A + mmlu_it: 27%|███████████████████████████████▎ | 111/414 [12:25<36:51, 7.30s/it][A + mmlu_it: 27%|███████████████████████████████▋ | 112/414 [12:31<35:46, 7.11s/it][A + mmlu_it: 27%|███████████████████████████████▉ | 113/414 [12:38<34:32, 6.88s/it][A + mmlu_it: 28%|████████████████████████████████▏ | 114/414 [12:45<35:32, 7.11s/it][A + mmlu_it: 28%|████████████████████████████████▌ | 115/414 [12:52<35:19, 7.09s/it][A + mmlu_it: 28%|████████████████████████████████▊ | 116/414 [12:59<35:08, 7.07s/it][A + mmlu_it: 28%|█████████████████████████████████ | 117/414 [13:07<35:03, 7.08s/it][A + mmlu_it: 29%|█████████████████████████████████▎ | 118/414 [13:13<33:59, 6.89s/it][A + mmlu_it: 29%|█████████████████████████████████▋ | 119/414 [13:19<33:06, 6.73s/it][A + mmlu_it: 29%|█████████████████████████████████▉ | 120/414 [13:26<32:52, 6.71s/it][A + mmlu_it: 29%|██████████████████████████████████▏ | 121/414 [13:33<32:28, 6.65s/it][A + mmlu_it: 29%|██████████████████████████████████▍ | 122/414 [13:40<33:02, 6.79s/it][A + mmlu_it: 30%|██████████████████████████████████▊ | 123/414 [13:47<33:39, 6.94s/it][A + mmlu_it: 30%|███████████████████████████████████ | 124/414 [13:55<34:43, 7.18s/it][A + mmlu_it: 30%|███████████████████████████████████▎ | 125/414 [14:01<34:00, 7.06s/it][A + mmlu_it: 30%|███████████████████████████████████▌ | 126/414 [14:09<34:06, 7.11s/it][A + mmlu_it: 31%|███████████████████████████████████▉ | 127/414 [14:16<33:34, 7.02s/it][A + mmlu_it: 31%|████████████████████████████████████▏ | 128/414 [14:23<33:29, 7.03s/it][A + mmlu_it: 31%|████████████████████████████████████▍ | 129/414 [14:30<33:29, 7.05s/it][A + mmlu_it: 31%|████████████████████████████████████▋ | 130/414 [14:36<32:28, 6.86s/it][A + mmlu_it: 32%|█████████████████████████████████████ | 131/414 [14:42<31:17, 6.64s/it][A + mmlu_it: 32%|█████████████████████████████████████▎ | 132/414 [14:49<31:37, 6.73s/it][A + mmlu_it: 32%|█████████████████████████████████████▌ | 133/414 [14:56<31:05, 6.64s/it][A + mmlu_it: 32%|█████████████████████████████████████▊ | 134/414 [15:04<33:08, 7.10s/it][A + mmlu_it: 33%|██████████████████████████████████████▏ | 135/414 [15:10<31:50, 6.85s/it][A + mmlu_it: 33%|██████████████████████████████████████▍ | 136/414 [15:17<32:25, 7.00s/it][A + mmlu_it: 33%|██████████████████████████████████████▋ | 137/414 [15:24<31:36, 6.85s/it][A + mmlu_it: 33%|███████████████████████████████████████ | 138/414 [15:31<31:54, 6.94s/it][A + mmlu_it: 34%|███████████████████████████████████████▎ | 139/414 [15:38<31:23, 6.85s/it][A + mmlu_it: 34%|███████████████████████████████████████▌ | 140/414 [15:45<31:26, 6.88s/it][A + mmlu_it: 34%|███████████████████████████████████████▊ | 141/414 [15:51<30:05, 6.61s/it][A + mmlu_it: 34%|████████████████████████████████████████▏ | 142/414 [15:58<30:36, 6.75s/it][A + mmlu_it: 35%|████████████████████████████████████████▍ | 143/414 [16:04<30:09, 6.68s/it][A + mmlu_it: 35%|████████████████████████████████████████▋ | 144/414 [16:11<30:03, 6.68s/it][A + mmlu_it: 35%|████████████████████████████████████████▉ | 145/414 [16:17<28:52, 6.44s/it][A + mmlu_it: 35%|█████████████████████████████████████████▎ | 146/414 [16:23<28:30, 6.38s/it][A + mmlu_it: 36%|█████████████████████████████████████████▌ | 147/414 [16:29<28:00, 6.29s/it][A + mmlu_it: 36%|█████████████████████████████████████████▊ | 148/414 [16:36<28:24, 6.41s/it][A + mmlu_it: 36%|██████████████████████████████████████████ | 149/414 [16:43<28:54, 6.55s/it][A + mmlu_it: 36%|██████████████████████████████████████████▍ | 150/414 [16:49<29:03, 6.60s/it][A + mmlu_it: 36%|██████████████████████████████████████████▋ | 151/414 [16:56<28:32, 6.51s/it][A + mmlu_it: 37%|██████████████████████████████████████████▉ | 152/414 [17:03<30:11, 6.91s/it][A + mmlu_it: 37%|███████████████████████████████████████████▏ | 153/414 [17:10<29:46, 6.84s/it][A + mmlu_it: 37%|███████████████████████████████████████████▌ | 154/414 [17:17<29:50, 6.89s/it][A + mmlu_it: 37%|███████████████████████████████████████████▊ | 155/414 [17:24<29:31, 6.84s/it][A + mmlu_it: 38%|████████████████████████████████████████████ | 156/414 [17:30<29:04, 6.76s/it][A + mmlu_it: 38%|████████████████████████████████████████████▎ | 157/414 [17:37<28:31, 6.66s/it][A + mmlu_it: 38%|████████████████████████████████████████████▋ | 158/414 [17:44<29:09, 6.83s/it][A + mmlu_it: 38%|████████████████████████████████████████████▉ | 159/414 [17:51<29:03, 6.84s/it][A + mmlu_it: 39%|█████████████████████████████████████████████▏ | 160/414 [17:57<28:06, 6.64s/it][A + mmlu_it: 39%|█████████████████████████████████████████████▌ | 161/414 [18:04<27:39, 6.56s/it][A + mmlu_it: 39%|█████████████████████████████████████████████▊ | 162/414 [18:10<27:40, 6.59s/it][A + mmlu_it: 39%|██████████████████████████████████████████████ | 163/414 [18:17<28:17, 6.76s/it][A + mmlu_it: 40%|██████████████████████████████████████████████▎ | 164/414 [18:24<28:07, 6.75s/it][A + mmlu_it: 40%|██████████████████████████████████████████████▋ | 165/414 [18:31<28:40, 6.91s/it][A + mmlu_it: 40%|██████████████████████████████████████████████▉ | 166/414 [18:38<28:17, 6.84s/it][A + mmlu_it: 40%|███████████████████████████████████████████████▏ | 167/414 [18:45<27:41, 6.72s/it][A + mmlu_it: 41%|███████████████████████████████████████████████▍ | 168/414 [18:52<29:05, 7.09s/it][A + mmlu_it: 41%|███████████████████████████████████████████████▊ | 169/414 [18:59<27:58, 6.85s/it][A + mmlu_it: 41%|████████████████████████████████████████████████ | 170/414 [19:06<28:02, 6.89s/it][A + mmlu_it: 41%|████████████████████████████████████████████████▎ | 171/414 [19:14<29:43, 7.34s/it][A + mmlu_it: 42%|████████████████████████████████████████████████▌ | 172/414 [19:21<28:54, 7.17s/it][A + mmlu_it: 42%|████████████████████████████████████████████████▉ | 173/414 [19:28<28:21, 7.06s/it][A + mmlu_it: 42%|█████████████████████████████████████████████████▏ | 174/414 [19:35<28:02, 7.01s/it][A + mmlu_it: 42%|█████████████████████████████████████████████████▍ | 175/414 [19:42<27:53, 7.00s/it][A + mmlu_it: 43%|█████████████████████████████████████████████████▋ | 176/414 [19:48<26:52, 6.77s/it][A + mmlu_it: 43%|██████████████████████████████████████████████████ | 177/414 [19:55<26:59, 6.83s/it][A + mmlu_it: 43%|██████████████████████████████████████████████████▎ | 178/414 [20:01<26:39, 6.78s/it][A + mmlu_it: 43%|██████████████████████████████████████████████████▌ | 179/414 [20:08<25:43, 6.57s/it][A + mmlu_it: 43%|██████████████████████████████████████████████████▊ | 180/414 [20:14<25:56, 6.65s/it][A + mmlu_it: 44%|███████████████████████████████████████████████████▏ | 181/414 [20:21<25:52, 6.66s/it][A + mmlu_it: 44%|███████████████████████████████████████████████████▍ | 182/414 [20:30<27:51, 7.21s/it][A + mmlu_it: 44%|███████████████████████████████████████████████████▋ | 183/414 [20:36<27:01, 7.02s/it][A + mmlu_it: 44%|████████████████████████████████████████████████████ | 184/414 [20:43<26:28, 6.91s/it][A + mmlu_it: 45%|████████████████████████████████████████████████████▎ | 185/414 [20:50<26:38, 6.98s/it][A + mmlu_it: 45%|████████████████████████████████████████████████████▌ | 186/414 [20:57<26:33, 6.99s/it][A + mmlu_it: 45%|████████████████████████████████████████████████████▊ | 187/414 [21:04<26:12, 6.93s/it][A + mmlu_it: 45%|█████████████████████████████████████████████████████▏ | 188/414 [21:11<26:09, 6.95s/it][A + mmlu_it: 46%|█████████████████████████████████████████████████████▍ | 189/414 [21:17<24:48, 6.61s/it][A + mmlu_it: 46%|█████████████████████████████████████████████████████▋ | 190/414 [21:23<24:34, 6.58s/it][A + mmlu_it: 46%|█████████████████████████████████████████████████████▉ | 191/414 [21:29<24:11, 6.51s/it][A + mmlu_it: 46%|██████████████████████████████████████████████████████▎ | 192/414 [21:36<24:21, 6.58s/it][A + mmlu_it: 47%|██████████████████████████████████████████████████████▌ | 193/414 [21:43<24:45, 6.72s/it][A + mmlu_it: 47%|██████████████████████████████████████████████████████▊ | 194/414 [21:50<24:15, 6.62s/it][A + mmlu_it: 47%|███████████████████████████████████████████████████████ | 195/414 [21:56<23:32, 6.45s/it][A + mmlu_it: 47%|███████████████████████████████████████████████████████▍ | 196/414 [22:03<24:01, 6.61s/it][A + mmlu_it: 48%|███████████████████████████████████████████████████████▋ | 197/414 [22:09<23:55, 6.61s/it][A + mmlu_it: 48%|███████████████████████████████████████████████████████▉ | 198/414 [22:16<23:50, 6.62s/it][A + mmlu_it: 48%|████████████████████████████████████████████████████████▏ | 199/414 [22:22<23:39, 6.60s/it][A + mmlu_it: 48%|████████████████████████████████████████████████████████▌ | 200/414 [22:28<22:52, 6.41s/it][A + mmlu_it: 49%|████████████████████████████████████████████████████████▊ | 201/414 [22:34<22:10, 6.25s/it][A + mmlu_it: 49%|█████████████████████████████████████████████████████████ | 202/414 [22:41<22:16, 6.30s/it][A + mmlu_it: 49%|█████████████████████████████████████████████████████████▎ | 203/414 [22:48<23:17, 6.62s/it][A + mmlu_it: 49%|█████████████████████████████████████████████████████████▋ | 204/414 [22:55<23:13, 6.63s/it][A + mmlu_it: 50%|█████████████████████████████████████████████████████████▉ | 205/414 [23:02<23:51, 6.85s/it][A + mmlu_it: 50%|██████████████████████████████████████████████████████████▏ | 206/414 [23:09<23:37, 6.81s/it][A + mmlu_it: 50%|██████████████████████████████████████████████████████████▌ | 207/414 [23:16<23:32, 6.83s/it][A + mmlu_it: 50%|██████████████████████████████████████████████████████████▊ | 208/414 [23:22<22:48, 6.64s/it][A + mmlu_it: 50%|███████████████████████████████████████████████████████████ | 209/414 [23:29<22:48, 6.67s/it][A + mmlu_it: 51%|███████████████████████████████████████████████████████████▎ | 210/414 [23:35<22:33, 6.64s/it][A + mmlu_it: 51%|███████████████████████████████████████████████████████████▋ | 211/414 [23:41<21:42, 6.42s/it][A + mmlu_it: 51%|███████████████████████████████████████████████████████████▉ | 212/414 [23:48<22:30, 6.69s/it][A + mmlu_it: 51%|████████████████████████████████████████████████████████████▏ | 213/414 [23:54<21:38, 6.46s/it][A + mmlu_it: 52%|████████████████████████████████████████████████████████████▍ | 214/414 [24:01<22:14, 6.67s/it][A + mmlu_it: 52%|████████████████████████████████████████████████████████████▊ | 215/414 [24:08<22:02, 6.65s/it][A + mmlu_it: 52%|█████████████████████████████████████████████████████████████ | 216/414 [24:14<21:15, 6.44s/it][A + mmlu_it: 52%|█████████████████████████████████████████████████████████████▎ | 217/414 [24:20<20:59, 6.40s/it][A + mmlu_it: 53%|█████████████████████████████████████████████████████████████▌ | 218/414 [24:27<21:15, 6.51s/it][A + mmlu_it: 53%|█████████████████████████████████████████████████████████████▉ | 219/414 [24:34<21:12, 6.52s/it][A + mmlu_it: 53%|██████████████████████████████████████████████████████████████▏ | 220/414 [24:40<21:16, 6.58s/it][A + mmlu_it: 53%|██████████████████████████████████████████████████████████████▍ | 221/414 [24:47<20:57, 6.52s/it][A + mmlu_it: 54%|██████████████████████████████████████████████████████████████▋ | 222/414 [24:53<20:49, 6.51s/it][A + mmlu_it: 54%|███████████████████████████████████████████████████████████████ | 223/414 [25:00<20:45, 6.52s/it][A + mmlu_it: 54%|███████████████████████████████████████████████████████████████▎ | 224/414 [25:06<20:34, 6.50s/it][A + mmlu_it: 54%|███████████████████████████████████████████████████████████████▌ | 225/414 [25:12<20:14, 6.43s/it][A + mmlu_it: 55%|███████████████████████████████████████████████████████████████▊ | 226/414 [25:19<20:28, 6.54s/it][A + mmlu_it: 55%|████████████████████████████████████████████████████████████████▏ | 227/414 [25:26<20:31, 6.59s/it][A + mmlu_it: 55%|████████████████████████████████████████████████████████████████▍ | 228/414 [25:32<20:20, 6.56s/it][A + mmlu_it: 55%|████████████████████████████████████████████████████████████████▋ | 229/414 [25:39<20:07, 6.52s/it][A + mmlu_it: 56%|█████████████████████████████████████████████████████████████████ | 230/414 [25:45<19:51, 6.47s/it][A + mmlu_it: 56%|█████████████████████████████████████████████████████████████████▎ | 231/414 [25:52<19:46, 6.48s/it][A + mmlu_it: 56%|█████████████████████████████████████████████████████████████████▌ | 232/414 [25:58<19:49, 6.54s/it][A + mmlu_it: 56%|█████████████████████████████████████████████████████████████████▊ | 233/414 [26:05<20:08, 6.67s/it][A + mmlu_it: 57%|██████████████████████████████████████████████████████████████████▏ | 234/414 [26:12<19:58, 6.66s/it][A + mmlu_it: 57%|██████████████████████████████████████████████████████████████████▍ | 235/414 [26:19<19:45, 6.62s/it][A + mmlu_it: 57%|██████████████████████████████████████████████████████████████████▋ | 236/414 [26:26<20:01, 6.75s/it][A + mmlu_it: 57%|██████████████████████████████████████████████████████████████████▉ | 237/414 [26:32<19:53, 6.74s/it][A + mmlu_it: 57%|███████████████████████████████████████████████████████████████████▎ | 238/414 [26:39<19:34, 6.67s/it][A + mmlu_it: 58%|███████████████████████████████████████████████████████████████████▌ | 239/414 [26:45<19:18, 6.62s/it][A + mmlu_it: 58%|███████████████████████████████████████████████████████████████████▊ | 240/414 [26:52<19:36, 6.76s/it][A + mmlu_it: 58%|████████████████████████████████████████████████████████████████████ | 241/414 [26:59<19:00, 6.59s/it][A + mmlu_it: 58%|████████████████████████████████████████████████████████████████████▍ | 242/414 [27:05<18:55, 6.60s/it][A + mmlu_it: 59%|████████████████████████████████████████████████████████████████████▋ | 243/414 [27:12<18:58, 6.66s/it][A + mmlu_it: 59%|████████████████████████████████████████████████████████████████████▉ | 244/414 [27:19<18:55, 6.68s/it][A + mmlu_it: 59%|█████████████████████████████████████████████████████████████████████▏ | 245/414 [27:25<18:40, 6.63s/it][A + mmlu_it: 59%|█████████████████████████████████████████████████████████████████████▌ | 246/414 [27:32<18:33, 6.63s/it][A + mmlu_it: 60%|█████████████████████████████████████████████████████████████████████▊ | 247/414 [27:38<18:15, 6.56s/it][A + mmlu_it: 60%|██████████████████████████████████████████████████████████████████████ | 248/414 [27:46<18:58, 6.86s/it][A + mmlu_it: 60%|██████████████████████████████████████████████████████████████████████▎ | 249/414 [27:53<18:44, 6.82s/it][A + mmlu_it: 60%|██████████████████████████████████████████████████████████████████████▋ | 250/414 [27:59<18:39, 6.82s/it][A + mmlu_it: 61%|██████████████████████████████████████████████████████████████████████▉ | 251/414 [28:07<18:49, 6.93s/it][A + mmlu_it: 61%|███████████████████████████████████████████████████████████████████████▏ | 252/414 [28:13<18:09, 6.73s/it][A + mmlu_it: 61%|███████████████████████████████████████████████████████████████████████▌ | 253/414 [28:20<18:10, 6.77s/it][A + mmlu_it: 61%|███████████████████████████████████████████████████████████████████████▊ | 254/414 [28:27<18:31, 6.95s/it][A + mmlu_it: 62%|████████████████████████████████████████████████████████████████████████ | 255/414 [28:34<18:18, 6.91s/it][A + mmlu_it: 62%|████████████████████████████████████████████████████████████████████████▎ | 256/414 [28:41<18:04, 6.86s/it][A + mmlu_it: 62%|████████████████████████████████████████████████████████████████████████▋ | 257/414 [28:47<17:23, 6.65s/it][A + mmlu_it: 62%|████████████████████████████████████████████████████████████████████████▉ | 258/414 [28:54<17:28, 6.72s/it][A + mmlu_it: 63%|█████████████████████████████████████████████████████████████████████████▏ | 259/414 [29:00<17:08, 6.64s/it][A + mmlu_it: 63%|█████████████████████████████████████████████████████████████████████████▍ | 260/414 [29:07<16:53, 6.58s/it][A + mmlu_it: 63%|█████████████████████████████████████████████████████████████████████████▊ | 261/414 [29:13<16:26, 6.45s/it][A + mmlu_it: 63%|██████████████████████████████████████████████████████████████████████████ | 262/414 [29:19<16:22, 6.46s/it][A + mmlu_it: 64%|██████████████████████████████████████████████████████████████████████████▎ | 263/414 [29:26<16:28, 6.54s/it][A + mmlu_it: 64%|██████████████████████████████████████████████████████████████████████████▌ | 264/414 [29:33<16:28, 6.59s/it][A + mmlu_it: 64%|██████████████████████████████████████████████████████████████████████████▉ | 265/414 [29:40<16:43, 6.74s/it][A + mmlu_it: 64%|███████████████████████████████████████████████████████████████████████████▏ | 266/414 [29:47<16:59, 6.89s/it][A + mmlu_it: 64%|███████████████████████████████████████████████████████████████████████████▍ | 267/414 [29:54<17:17, 7.06s/it][A + mmlu_it: 65%|███████████████████████████████████████████████████████████████████████████▋ | 268/414 [30:01<16:57, 6.97s/it][A + mmlu_it: 65%|████████████████████████████████████████████████████████████████████████████ | 269/414 [30:08<16:45, 6.94s/it][A + mmlu_it: 65%|████████████████████████████████████████████████████████████████████████████▎ | 270/414 [30:15<16:33, 6.90s/it][A + mmlu_it: 65%|████████████████████████████████████████████████████████████████████████████▌ | 271/414 [30:23<17:39, 7.41s/it][A + mmlu_it: 66%|████████████████████████████████████████████████████████████████████████████▊ | 272/414 [30:30<16:56, 7.16s/it][A + mmlu_it: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 273/414 [30:36<15:42, 6.69s/it][A + mmlu_it: 66%|█████████████████████████████████████████████████████████████████████████████▍ | 274/414 [30:42<15:14, 6.53s/it][A + mmlu_it: 66%|█████████████████████████████████████████████████████████████████████████████▋ | 275/414 [30:48<14:51, 6.42s/it][A + mmlu_it: 67%|██████████████████████████████████████████████████████████████████████████████ | 276/414 [30:54<14:43, 6.40s/it][A + mmlu_it: 67%|██████████████████████████████████████████████████████████████████████████████▎ | 277/414 [31:01<14:30, 6.35s/it][A + mmlu_it: 67%|██████████████████████████████████████████████████████████████████████████████▌ | 278/414 [31:08<14:50, 6.55s/it][A + mmlu_it: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 279/414 [31:14<14:45, 6.56s/it][A + mmlu_it: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 280/414 [31:21<14:40, 6.57s/it][A + mmlu_it: 68%|███████████████████████████████████████████████████████████████████████████████▍ | 281/414 [31:28<14:57, 6.75s/it][A + mmlu_it: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 282/414 [31:35<15:05, 6.86s/it][A + mmlu_it: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 283/414 [31:41<14:35, 6.68s/it][A + mmlu_it: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 284/414 [31:48<14:19, 6.61s/it][A + mmlu_it: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 285/414 [31:53<13:35, 6.32s/it][A + mmlu_it: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 286/414 [32:00<13:43, 6.43s/it][A + mmlu_it: 69%|█████████████████████████████████████████████████████████████████████████████████ | 287/414 [32:06<13:32, 6.40s/it][A + mmlu_it: 70%|█████████████████████████████████████████████████████████████████████████████████▍ | 288/414 [32:13<13:24, 6.38s/it][A + mmlu_it: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 289/414 [32:20<13:55, 6.69s/it][A + mmlu_it: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 290/414 [32:27<13:41, 6.62s/it][A + mmlu_it: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 291/414 [32:33<13:25, 6.55s/it][A + mmlu_it: 71%|██████████████████████████████████████████████████████████████████████████████████▌ | 292/414 [32:40<13:43, 6.75s/it][A + mmlu_it: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 293/414 [32:47<13:56, 6.91s/it][A + mmlu_it: 71%|███████████████████████████████████████████████████████████████████████████████████ | 294/414 [32:54<13:38, 6.82s/it][A + mmlu_it: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 295/414 [33:01<13:32, 6.83s/it][A + mmlu_it: 71%|███████████████████████████████████████████████████████████████████████████████████▋ | 296/414 [33:07<13:00, 6.61s/it][A + mmlu_it: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 297/414 [33:14<12:54, 6.62s/it][A + mmlu_it: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 298/414 [33:21<12:56, 6.70s/it][A + mmlu_it: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 299/414 [33:27<12:40, 6.61s/it][A + mmlu_it: 72%|████████████████████████████████████████████████████████████████████████████████████▊ | 300/414 [33:33<12:25, 6.54s/it][A + mmlu_it: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 301/414 [33:40<12:35, 6.69s/it][A + mmlu_it: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 302/414 [33:47<12:24, 6.65s/it][A + mmlu_it: 73%|█████████████████████████████████████████████████████████████████████████████████████▋ | 303/414 [33:54<12:25, 6.71s/it][A + mmlu_it: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 304/414 [34:00<12:04, 6.58s/it][A + mmlu_it: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 305/414 [34:07<12:07, 6.68s/it][A + mmlu_it: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 306/414 [34:14<12:20, 6.86s/it][A + mmlu_it: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 307/414 [34:20<11:44, 6.58s/it][A + mmlu_it: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 308/414 [34:27<11:40, 6.60s/it][A + mmlu_it: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 309/414 [34:33<11:29, 6.57s/it][A + mmlu_it: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 310/414 [34:40<11:29, 6.63s/it][A + mmlu_it: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 311/414 [34:47<11:26, 6.67s/it][A + mmlu_it: 75%|████████████████████████████████████████████████████████████████████████████████████████▏ | 312/414 [34:54<11:21, 6.68s/it][A + mmlu_it: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 313/414 [35:00<11:18, 6.72s/it][A + mmlu_it: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 314/414 [35:07<10:58, 6.59s/it][A + mmlu_it: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 315/414 [35:13<10:54, 6.61s/it][A + mmlu_it: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 316/414 [35:20<10:58, 6.72s/it][A + mmlu_it: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 317/414 [35:28<11:07, 6.88s/it][A + mmlu_it: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 318/414 [35:35<11:02, 6.90s/it][A + mmlu_it: 77%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 319/414 [35:41<10:30, 6.64s/it][A + mmlu_it: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 320/414 [35:46<10:03, 6.42s/it][A + mmlu_it: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 321/414 [35:54<10:16, 6.63s/it][A + mmlu_it: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 322/414 [36:00<09:57, 6.49s/it][A + mmlu_it: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 323/414 [36:06<09:44, 6.42s/it][A + mmlu_it: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 324/414 [36:12<09:33, 6.38s/it][A + mmlu_it: 79%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 325/414 [36:18<09:19, 6.29s/it][A + mmlu_it: 79%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 326/414 [36:27<10:15, 7.00s/it][A + mmlu_it: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 327/414 [36:34<10:18, 7.10s/it][A + mmlu_it: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 328/414 [36:41<09:58, 6.96s/it][A + mmlu_it: 79%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/414 [36:48<09:53, 6.98s/it][A + mmlu_it: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 330/414 [36:55<09:41, 6.92s/it][A + mmlu_it: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 331/414 [37:01<09:22, 6.78s/it][A + mmlu_it: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 332/414 [37:08<09:19, 6.83s/it][A + mmlu_it: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 333/414 [37:15<09:07, 6.76s/it][A + mmlu_it: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 334/414 [37:21<08:48, 6.61s/it][A + mmlu_it: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 335/414 [37:28<08:40, 6.59s/it][A + mmlu_it: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 336/414 [37:34<08:30, 6.55s/it][A + mmlu_it: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 337/414 [37:41<08:24, 6.56s/it][A + mmlu_it: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 338/414 [37:48<08:29, 6.71s/it][A + mmlu_it: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 339/414 [37:54<08:17, 6.63s/it][A + mmlu_it: 82%|████████████████████████████████████████████████████████████████████████████████████████████████ | 340/414 [38:01<08:16, 6.71s/it][A + mmlu_it: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 341/414 [38:08<08:20, 6.86s/it][A + mmlu_it: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 342/414 [38:15<08:11, 6.83s/it][A + mmlu_it: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 343/414 [38:21<07:57, 6.73s/it][A + mmlu_it: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 344/414 [38:29<08:00, 6.86s/it][A + mmlu_it: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 345/414 [38:35<07:51, 6.83s/it][A + mmlu_it: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 346/414 [38:42<07:32, 6.66s/it][A + mmlu_it: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 347/414 [38:48<07:18, 6.54s/it][A + mmlu_it: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 348/414 [38:55<07:13, 6.57s/it][A + mmlu_it: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 349/414 [39:01<07:11, 6.63s/it][A + mmlu_it: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 350/414 [39:08<06:56, 6.50s/it][A + mmlu_it: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 351/414 [39:15<07:01, 6.70s/it][A + mmlu_it: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 352/414 [39:21<06:53, 6.67s/it][A + mmlu_it: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 353/414 [39:29<07:07, 7.00s/it][A + mmlu_it: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 354/414 [39:36<06:58, 6.98s/it][A + mmlu_it: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 355/414 [39:43<06:46, 6.89s/it][A + mmlu_it: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 356/414 [39:49<06:34, 6.80s/it][A + mmlu_it: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 357/414 [39:56<06:22, 6.70s/it][A + mmlu_it: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 358/414 [40:02<06:00, 6.43s/it][A + mmlu_it: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/414 [40:08<06:01, 6.58s/it][A + mmlu_it: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/414 [40:15<05:49, 6.46s/it][A + mmlu_it: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/414 [40:22<05:49, 6.60s/it][A + mmlu_it: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 362/414 [40:29<05:53, 6.79s/it][A + mmlu_it: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 363/414 [40:36<05:46, 6.79s/it][A + mmlu_it: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 364/414 [40:43<05:51, 7.03s/it][A + mmlu_it: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 365/414 [40:50<05:43, 7.01s/it][A + mmlu_it: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 366/414 [40:57<05:33, 6.94s/it][A + mmlu_it: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 367/414 [41:03<05:17, 6.75s/it][A + mmlu_it: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 368/414 [41:09<05:03, 6.59s/it][A + mmlu_it: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 369/414 [41:15<04:47, 6.39s/it][A + mmlu_it: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 370/414 [41:22<04:48, 6.55s/it][A + mmlu_it: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 371/414 [41:29<04:37, 6.45s/it][A + mmlu_it: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 372/414 [41:35<04:35, 6.56s/it][A + mmlu_it: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 373/414 [41:42<04:30, 6.60s/it][A + mmlu_it: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 374/414 [41:49<04:33, 6.84s/it][A + mmlu_it: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 375/414 [41:56<04:22, 6.74s/it][A + mmlu_it: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 376/414 [42:03<04:15, 6.73s/it][A + mmlu_it: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 377/414 [42:09<04:04, 6.60s/it][A + mmlu_it: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 378/414 [42:15<03:54, 6.52s/it][A + mmlu_it: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 379/414 [42:22<03:49, 6.56s/it][A + mmlu_it: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 380/414 [42:28<03:39, 6.47s/it][A + mmlu_it: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 381/414 [42:35<03:35, 6.52s/it][A + mmlu_it: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 382/414 [42:41<03:24, 6.39s/it][A + mmlu_it: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 383/414 [42:48<03:20, 6.46s/it][A + mmlu_it: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/414 [42:54<03:11, 6.39s/it][A + mmlu_it: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/414 [43:01<03:10, 6.58s/it][A + mmlu_it: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 386/414 [43:07<03:03, 6.54s/it][A + mmlu_it: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 387/414 [43:13<02:50, 6.32s/it][A + mmlu_it: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 388/414 [43:20<02:48, 6.47s/it][A + mmlu_it: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 389/414 [43:27<02:43, 6.56s/it][A + mmlu_it: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 390/414 [43:35<02:47, 6.97s/it][A + mmlu_it: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 391/414 [43:41<02:36, 6.79s/it][A + mmlu_it: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 392/414 [43:48<02:28, 6.73s/it][A + mmlu_it: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 393/414 [43:54<02:22, 6.77s/it][A + mmlu_it: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 394/414 [44:02<02:18, 6.92s/it][A + mmlu_it: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 395/414 [44:08<02:09, 6.79s/it][A + mmlu_it: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 396/414 [44:15<02:00, 6.71s/it][A + mmlu_it: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 397/414 [44:21<01:54, 6.74s/it][A + mmlu_it: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 398/414 [44:29<01:51, 6.94s/it][A + mmlu_it: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 399/414 [44:35<01:40, 6.72s/it][A + mmlu_it: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 400/414 [44:42<01:36, 6.91s/it][A + mmlu_it: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 401/414 [44:49<01:28, 6.83s/it][A + mmlu_it: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 402/414 [44:56<01:22, 6.85s/it][A + mmlu_it: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 403/414 [45:03<01:15, 6.85s/it][A + mmlu_it: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 404/414 [45:10<01:10, 7.02s/it][A + mmlu_it: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 405/414 [45:17<01:01, 6.88s/it][A + mmlu_it: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 406/414 [45:23<00:53, 6.74s/it][A + mmlu_it: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 407/414 [45:30<00:46, 6.70s/it][A + mmlu_it: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 408/414 [45:37<00:40, 6.70s/it][A + mmlu_it: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 409/414 [45:42<00:32, 6.42s/it][A + mmlu_it: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 410/414 [45:49<00:26, 6.54s/it][A + mmlu_it: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 411/414 [45:56<00:19, 6.52s/it][A + mmlu_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 412/414 [46:03<00:13, 6.71s/it][A + mmlu_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 413/414 [46:09<00:06, 6.62s/it][A + mmlu_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [46:16<00:00, 6.60s/it][A mmlu_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [46:16<00:00, 6.71s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_it_acc 0.3797688297952708 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_it_acc_norm 0.3376898088690791 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 08:27:42,407 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 08:27:42,407 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:42,529 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 08:27:42,529 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:42,651 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 08:27:42,651 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:42,773 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 08:27:42,774 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 08:27:42,774 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 08:27:42,897 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 08:27:42,897 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_it_acc'} +2024-05-31 08:27:42,959 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 08:27:42,959 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1231, 'value': 0.3797688297952708} +2024-05-31 08:27:43,021 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 08:27:43,651 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 08:27:43,651 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:43,775 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 08:27:43,775 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:43,899 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 08:27:43,899 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:44,023 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 08:27:44,024 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 08:27:44,024 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 08:27:44,149 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 08:27:44,149 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_it_acc_norm'} +2024-05-31 08:27:44,212 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 08:27:44,212 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1232, 'value': 0.3376898088690791} +2024-05-31 08:27:44,275 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 62%|███████████████████████████████████████████████████████████████████ | 77/124 [49:40:13<52:27:37, 4018.24s/it]['mmlu_kn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 08:27:44,927 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 08:27:44,927 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:45,057 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 08:27:45,057 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:45,186 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 08:27:45,186 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 08:27:45,315 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 08:27:45,316 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 08:27:45,316 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_kn'} +2024-05-31 08:27:45,445 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_kn task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1686 examples [00:00, 11557.16 examples/s][A + Generating test split: 5000 examples [00:00, 21779.64 examples/s][A + Generating test split: 8324 examples [00:00, 26466.65 examples/s][A Generating test split: 11319 examples [00:00, 25098.44 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 261 examples [00:00, 25069.01 examples/s] +Running loglikelihood requests + + mmlu_kn: 0%| | 0/354 [00:00<?, ?it/s][A + mmlu_kn: 0%|▎ | 1/354 [00:23<2:18:27, 23.54s/it][A + mmlu_kn: 1%|▋ | 2/354 [00:43<2:04:42, 21.26s/it][A + mmlu_kn: 1%|▉ | 3/354 [01:07<2:11:54, 22.55s/it][A + mmlu_kn: 1%|█▎ | 4/354 [01:32<2:17:52, 23.63s/it][A + mmlu_kn: 1%|█▋ | 5/354 [01:55<2:16:15, 23.43s/it][A + mmlu_kn: 2%|█▉ | 6/354 [02:15<2:09:44, 22.37s/it][A + mmlu_kn: 2%|██▎ | 7/354 [02:39<2:11:58, 22.82s/it][A + mmlu_kn: 2%|██▋ | 8/354 [02:58<2:03:38, 21.44s/it][A + mmlu_kn: 3%|██▉ | 9/354 [03:21<2:06:43, 22.04s/it][A + mmlu_kn: 3%|███▎ | 10/354 [03:42<2:04:54, 21.79s/it][A + mmlu_kn: 3%|███▌ | 11/354 [04:05<2:05:23, 21.94s/it][A + mmlu_kn: 3%|███▉ | 12/354 [04:29<2:10:09, 22.83s/it][A + mmlu_kn: 4%|████▎ | 13/354 [04:49<2:04:57, 21.99s/it][A + mmlu_kn: 4%|████▌ | 14/354 [05:12<2:04:44, 22.01s/it][A + mmlu_kn: 4%|████▉ | 15/354 [05:28<1:55:34, 20.46s/it][A + mmlu_kn: 5%|█████▏ | 16/354 [05:59<2:12:35, 23.54s/it][A + mmlu_kn: 5%|█████▌ | 17/354 [06:26<2:18:29, 24.66s/it][A + mmlu_kn: 5%|█████▉ | 18/354 [06:56<2:25:44, 26.02s/it][A + mmlu_kn: 5%|██████▏ | 19/354 [07:15<2:14:46, 24.14s/it][A + mmlu_kn: 6%|██████▌ | 20/354 [07:38<2:12:01, 23.72s/it][A + mmlu_kn: 6%|██████▉ | 21/354 [08:06<2:19:19, 25.11s/it][A + mmlu_kn: 6%|███████▏ | 22/354 [08:30<2:16:24, 24.65s/it][A + mmlu_kn: 6%|███████▌ | 23/354 [08:59<2:23:28, 26.01s/it][A + mmlu_kn: 7%|███████▊ | 24/354 [09:18<2:11:01, 23.82s/it][A + mmlu_kn: 7%|████████▏ | 25/354 [09:38<2:04:58, 22.79s/it][A + mmlu_kn: 7%|████████▌ | 26/354 [10:06<2:12:41, 24.27s/it][A + mmlu_kn: 8%|████████▊ | 27/354 [10:33<2:16:25, 25.03s/it][A + mmlu_kn: 8%|█████████▏ | 28/354 [10:55<2:10:40, 24.05s/it][A + mmlu_kn: 8%|█████████▌ | 29/354 [11:14<2:02:53, 22.69s/it][A + mmlu_kn: 8%|█████████▊ | 30/354 [11:37<2:02:15, 22.64s/it][A + mmlu_kn: 9%|██████████▏ | 31/354 [12:00<2:03:34, 22.96s/it][A + mmlu_kn: 9%|██████████▍ | 32/354 [12:23<2:02:14, 22.78s/it][A + mmlu_kn: 9%|██████████▊ | 33/354 [12:50<2:09:39, 24.23s/it][A + mmlu_kn: 10%|███████████▏ | 34/354 [13:11<2:04:14, 23.30s/it][A + mmlu_kn: 10%|███████████▍ | 35/354 [13:33<2:01:58, 22.94s/it][A + mmlu_kn: 10%|███████████▊ | 36/354 [13:56<2:00:57, 22.82s/it][A + mmlu_kn: 10%|████████████ | 37/354 [14:17<1:58:13, 22.38s/it][A + mmlu_kn: 11%|████████████▍ | 38/354 [14:37<1:52:48, 21.42s/it][A + mmlu_kn: 11%|████████████▊ | 39/354 [14:58<1:52:47, 21.48s/it][A + mmlu_kn: 11%|█████████████ | 40/354 [15:26<2:02:25, 23.39s/it][A + mmlu_kn: 12%|█████████████▍ | 41/354 [15:46<1:57:07, 22.45s/it][A + mmlu_kn: 12%|█████████████▊ | 42/354 [16:09<1:57:49, 22.66s/it][A + mmlu_kn: 12%|██████████████ | 43/354 [16:39<2:07:30, 24.60s/it][A + mmlu_kn: 12%|██████████████▍ | 44/354 [17:04<2:08:41, 24.91s/it][A + mmlu_kn: 13%|██████████████▋ | 45/354 [17:27<2:04:31, 24.18s/it][A + mmlu_kn: 13%|███████████████ | 46/354 [17:48<1:59:09, 23.21s/it][A + mmlu_kn: 13%|███████████████▍ | 47/354 [18:13<2:01:49, 23.81s/it][A + mmlu_kn: 14%|███████████████▋ | 48/354 [18:37<2:01:31, 23.83s/it][A + mmlu_kn: 14%|████████████████ | 49/354 [19:01<2:01:11, 23.84s/it][A + mmlu_kn: 14%|████████████████▍ | 50/354 [19:17<1:49:46, 21.67s/it][A + mmlu_kn: 14%|████████████████▋ | 51/354 [19:37<1:46:47, 21.15s/it][A + mmlu_kn: 15%|█████████████████ | 52/354 [19:56<1:42:30, 20.37s/it][A + mmlu_kn: 15%|█████████████████▎ | 53/354 [20:19<1:46:16, 21.18s/it][A + mmlu_kn: 15%|█████████████████▋ | 54/354 [20:37<1:41:06, 20.22s/it][A + mmlu_kn: 16%|██████████████████ | 55/354 [21:04<1:50:53, 22.25s/it][A + mmlu_kn: 16%|██████████████████▎ | 56/354 [21:27<1:52:18, 22.61s/it][A + mmlu_kn: 16%|██████████████████▋ | 57/354 [21:48<1:50:02, 22.23s/it][A + mmlu_kn: 16%|███████████████████ | 58/354 [22:07<1:44:35, 21.20s/it][A + mmlu_kn: 17%|███████████████████▎ | 59/354 [22:26<1:41:09, 20.57s/it][A + mmlu_kn: 17%|███████████████████▋ | 60/354 [22:53<1:49:38, 22.37s/it][A + mmlu_kn: 17%|███████████████████▉ | 61/354 [23:13<1:45:27, 21.60s/it][A + mmlu_kn: 18%|████████████████████▎ | 62/354 [23:44<1:58:55, 24.44s/it][A + mmlu_kn: 18%|████████████████████▋ | 63/354 [24:06<1:55:06, 23.73s/it][A + mmlu_kn: 18%|████████████████████▉ | 64/354 [24:28<1:51:53, 23.15s/it][A + mmlu_kn: 18%|█████████████████████▎ | 65/354 [24:48<1:48:05, 22.44s/it][A + mmlu_kn: 19%|█████████████████████▋ | 66/354 [25:11<1:47:33, 22.41s/it][A + mmlu_kn: 19%|█████████████████████▉ | 67/354 [25:28<1:39:23, 20.78s/it][A + mmlu_kn: 19%|██████████████████████▎ | 68/354 [25:55<1:48:15, 22.71s/it][A + mmlu_kn: 19%|██████████████████████▌ | 69/354 [26:21<1:52:44, 23.74s/it][A + mmlu_kn: 20%|██████████████████████▉ | 70/354 [26:39<1:44:19, 22.04s/it][A + mmlu_kn: 20%|███████████████████████▎ | 71/354 [26:57<1:37:49, 20.74s/it][A + mmlu_kn: 20%|███████████████████████▌ | 72/354 [27:18<1:38:04, 20.87s/it][A + mmlu_kn: 21%|███████████████████████▉ | 73/354 [27:38<1:35:59, 20.50s/it][A + mmlu_kn: 21%|████████████████████████▏ | 74/354 [28:05<1:44:26, 22.38s/it][A + mmlu_kn: 21%|████████████████████████▌ | 75/354 [28:26<1:43:13, 22.20s/it][A + mmlu_kn: 21%|████████████████████████▉ | 76/354 [28:49<1:44:13, 22.49s/it][A + mmlu_kn: 22%|█████████████████████████▏ | 77/354 [29:10<1:41:31, 21.99s/it][A + mmlu_kn: 22%|█████████████████████████▌ | 78/354 [29:31<1:39:05, 21.54s/it][A + mmlu_kn: 22%|█████████████████████████▉ | 79/354 [29:55<1:42:42, 22.41s/it][A + mmlu_kn: 23%|██████████████████████████▏ | 80/354 [30:18<1:43:01, 22.56s/it][A + mmlu_kn: 23%|██████████████████████████▌ | 81/354 [30:46<1:49:31, 24.07s/it][A + mmlu_kn: 23%|██████████████████████████▊ | 82/354 [31:09<1:48:34, 23.95s/it][A + mmlu_kn: 23%|███████████████████████████▏ | 83/354 [31:40<1:57:41, 26.06s/it][A + mmlu_kn: 24%|███████████████████████████▌ | 84/354 [32:06<1:57:09, 26.03s/it][A + mmlu_kn: 24%|███████████████████████████▊ | 85/354 [32:23<1:43:30, 23.09s/it][A + mmlu_kn: 24%|████████████████████████████▏ | 86/354 [32:52<1:51:07, 24.88s/it][A + mmlu_kn: 25%|████████████████████████████▌ | 87/354 [33:20<1:54:48, 25.80s/it][A + mmlu_kn: 25%|████████████████████████████▊ | 88/354 [33:44<1:52:03, 25.28s/it][A + mmlu_kn: 25%|█████████████████████████████▏ | 89/354 [34:04<1:45:36, 23.91s/it][A + mmlu_kn: 25%|█████████████████████████████▍ | 90/354 [34:23<1:38:22, 22.36s/it][A + mmlu_kn: 26%|█████████████████████████████▊ | 91/354 [34:46<1:38:37, 22.50s/it][A + mmlu_kn: 26%|██████████████████████████████▏ | 92/354 [35:08<1:37:21, 22.30s/it][A + mmlu_kn: 26%|██████████████████████████████▍ | 93/354 [35:35<1:43:05, 23.70s/it][A + mmlu_kn: 27%|██████████████████████████████▊ | 94/354 [35:59<1:43:14, 23.82s/it][A + mmlu_kn: 27%|███████████████████████████████▏ | 95/354 [36:24<1:45:03, 24.34s/it][A + mmlu_kn: 27%|███████████████████████████████▍ | 96/354 [36:45<1:39:18, 23.09s/it][A + mmlu_kn: 27%|███████████████████████████████▊ | 97/354 [37:07<1:37:52, 22.85s/it][A + mmlu_kn: 28%|████████████████████████████████ | 98/354 [37:32<1:40:25, 23.54s/it][A + mmlu_kn: 28%|████████████████████████████████▍ | 99/354 [38:00<1:45:54, 24.92s/it][A + mmlu_kn: 28%|████████████████████████████████▍ | 100/354 [38:28<1:48:56, 25.73s/it][A + mmlu_kn: 29%|████████████████████████████████▊ | 101/354 [38:54<1:49:43, 26.02s/it][A + mmlu_kn: 29%|█████████████████████████████████▏ | 102/354 [39:21<1:49:39, 26.11s/it][A + mmlu_kn: 29%|█████████████████████████████████▍ | 103/354 [39:44<1:45:01, 25.11s/it][A + mmlu_kn: 29%|█████████████████████████████████▊ | 104/354 [40:03<1:37:18, 23.36s/it][A + mmlu_kn: 30%|██████████████████████████████████ | 105/354 [40:21<1:29:56, 21.67s/it][A + mmlu_kn: 30%|██████████████████████████████████▍ | 106/354 [40:43<1:30:09, 21.81s/it][A + mmlu_kn: 30%|██████████████████████████████████▊ | 107/354 [41:03<1:28:03, 21.39s/it][A + mmlu_kn: 31%|███████████████████████████████████ | 108/354 [41:25<1:28:41, 21.63s/it][A + mmlu_kn: 31%|███████████████████████████████████▍ | 109/354 [41:55<1:37:44, 23.94s/it][A + mmlu_kn: 31%|███████████████████████████████████▋ | 110/354 [42:25<1:45:47, 26.01s/it][A + mmlu_kn: 31%|████████████████████████████████████ | 111/354 [42:46<1:38:43, 24.38s/it][A + mmlu_kn: 32%|████████████████████████████████████▍ | 112/354 [43:09<1:37:00, 24.05s/it][A + mmlu_kn: 32%|████████████████████████████████████▋ | 113/354 [43:33<1:36:36, 24.05s/it][A + mmlu_kn: 32%|█████████████████████████████████████ | 114/354 [43:59<1:38:19, 24.58s/it][A + mmlu_kn: 32%|█████████████████████████████████████▎ | 115/354 [44:26<1:40:12, 25.16s/it][A + mmlu_kn: 33%|█████████████████████████████████████▋ | 116/354 [44:48<1:36:06, 24.23s/it][A + mmlu_kn: 33%|██████████████████████████████████████ | 117/354 [45:12<1:35:44, 24.24s/it][A + mmlu_kn: 33%|██████████████████████████████████████▎ | 118/354 [45:35<1:34:06, 23.93s/it][A + mmlu_kn: 34%|██████████████████████████████████████▋ | 119/354 [45:58<1:32:50, 23.70s/it][A + mmlu_kn: 34%|██████████████████████████████████████▉ | 120/354 [46:23<1:33:53, 24.08s/it][A + mmlu_kn: 34%|███████████████████████████████████████▎ | 121/354 [46:44<1:29:42, 23.10s/it][A + mmlu_kn: 34%|███████████████████████████████████████▋ | 122/354 [47:09<1:30:52, 23.50s/it][A + mmlu_kn: 35%|███████████████████████████████████████▉ | 123/354 [47:36<1:35:25, 24.79s/it][A + mmlu_kn: 35%|████████████████████████████████████████▎ | 124/354 [47:59<1:32:19, 24.09s/it][A + mmlu_kn: 35%|████████████████████████████████████████▌ | 125/354 [48:25<1:34:36, 24.79s/it][A + mmlu_kn: 36%|████████████████████████████████████████▉ | 126/354 [48:49<1:32:39, 24.38s/it][A + mmlu_kn: 36%|█████████████████████████████████████████▎ | 127/354 [49:13<1:32:07, 24.35s/it][A + mmlu_kn: 36%|█████████████████████████████████████████▌ | 128/354 [49:31<1:24:11, 22.35s/it][A + mmlu_kn: 36%|█████████████████████████████████████████▉ | 129/354 [49:59<1:30:04, 24.02s/it][A + mmlu_kn: 37%|██████████████████████████████████████████▏ | 130/354 [50:28<1:36:13, 25.77s/it][A + mmlu_kn: 37%|██████████████████████████████████████████▌ | 131/354 [50:59<1:40:43, 27.10s/it][A + mmlu_kn: 37%|██████████████████████████████████████████▉ | 132/354 [51:25<1:38:59, 26.75s/it][A + mmlu_kn: 38%|███████████████████████████████████████████▏ | 133/354 [51:47<1:33:35, 25.41s/it][A + mmlu_kn: 38%|███████████████████████████████████████████▌ | 134/354 [52:07<1:26:51, 23.69s/it][A + mmlu_kn: 38%|███████████████████████████████████████████▊ | 135/354 [52:25<1:20:21, 22.02s/it][A + mmlu_kn: 38%|████████████████████████████████████████████▏ | 136/354 [52:50<1:23:11, 22.90s/it][A + mmlu_kn: 39%|████████████████████████████████████████████▌ | 137/354 [53:15<1:25:02, 23.51s/it][A + mmlu_kn: 39%|████████████████████████████████████████████▊ | 138/354 [53:33<1:19:33, 22.10s/it][A + mmlu_kn: 39%|█████████████████████████████████████████████▏ | 139/354 [53:57<1:20:21, 22.42s/it][A + mmlu_kn: 40%|█████████████████████████████████████████████▍ | 140/354 [54:17<1:17:29, 21.72s/it][A + mmlu_kn: 40%|█████████████████████████████████████████████▊ | 141/354 [54:37<1:15:20, 21.22s/it][A + mmlu_kn: 40%|██████████████████████████████████████████████▏ | 142/354 [54:56<1:13:07, 20.69s/it][A + mmlu_kn: 40%|██████████████████████████████████████████████▍ | 143/354 [55:22<1:17:57, 22.17s/it][A + mmlu_kn: 41%|██████████████████████████████████████████████▊ | 144/354 [55:42<1:16:01, 21.72s/it][A + mmlu_kn: 41%|███████████████████████████████████████████████ | 145/354 [56:09<1:20:55, 23.23s/it][A + mmlu_kn: 41%|███████████████████████████████████████████████▍ | 146/354 [56:30<1:18:21, 22.60s/it][A + mmlu_kn: 42%|███████████████████████████████████████████████▊ | 147/354 [56:56<1:20:48, 23.42s/it][A + mmlu_kn: 42%|████████████████████████████████████████████████ | 148/354 [57:15<1:16:29, 22.28s/it][A + mmlu_kn: 42%|████████████████████████████████████████████████▍ | 149/354 [57:40<1:18:17, 22.91s/it][A + mmlu_kn: 42%|████████████████████████████████████████████████▋ | 150/354 [58:03<1:18:06, 22.97s/it][A + mmlu_kn: 43%|█████████████████████████████████████████████████ | 151/354 [58:22<1:13:45, 21.80s/it][A + mmlu_kn: 43%|█████████████████████████████████████████████████▍ | 152/354 [58:43<1:12:55, 21.66s/it][A + mmlu_kn: 43%|█████████████████████████████████████████████████▋ | 153/354 [59:05<1:12:25, 21.62s/it][A + mmlu_kn: 44%|██████████████████████████████████████████████████ | 154/354 [59:31<1:16:19, 22.90s/it][A + mmlu_kn: 44%|██████████████████████████████████████████████████▎ | 155/354 [59:54<1:16:32, 23.08s/it][A + mmlu_kn: 44%|█████████████████████████████████████████████████▊ | 156/354 [1:00:18<1:16:58, 23.32s/it][A + mmlu_kn: 44%|██████████████████████████████████████████████████ | 157/354 [1:00:41<1:16:34, 23.32s/it][A + mmlu_kn: 45%|██████████████████████████████████████████████████▍ | 158/354 [1:01:10<1:21:50, 25.05s/it][A + mmlu_kn: 45%|██████████████████████████████████████████████████▊ | 159/354 [1:01:31<1:17:21, 23.80s/it][A + mmlu_kn: 45%|███████████████████████████████████████████████████ | 160/354 [1:01:53<1:14:46, 23.13s/it][A + mmlu_kn: 45%|███████████████████████████████████████████████████▍ | 161/354 [1:02:18<1:16:34, 23.81s/it][A + mmlu_kn: 46%|███████████████████████████████████████████████████▋ | 162/354 [1:02:41<1:14:55, 23.41s/it][A + mmlu_kn: 46%|████████████████████████████████████████████████████ | 163/354 [1:03:04<1:14:39, 23.45s/it][A + mmlu_kn: 46%|████████████████████████████████████████████████████▎ | 164/354 [1:03:23<1:10:15, 22.19s/it][A + mmlu_kn: 47%|████████████████████████████████████████████████████▋ | 165/354 [1:03:45<1:09:34, 22.09s/it][A + mmlu_kn: 47%|████████████████████████████████████████████████████▉ | 166/354 [1:04:03<1:05:17, 20.84s/it][A + mmlu_kn: 47%|█████████████████████████████████████████████████████▎ | 167/354 [1:04:35<1:14:59, 24.06s/it][A + mmlu_kn: 47%|█████████████████████████████████████████████████████▋ | 168/354 [1:04:52<1:08:32, 22.11s/it][A + mmlu_kn: 48%|█████████████████████████████████████████████████████▉ | 169/354 [1:05:10<1:03:57, 20.74s/it][A + mmlu_kn: 48%|██████████████████████████████████████████████████████▎ | 170/354 [1:05:34<1:06:38, 21.73s/it][A + mmlu_kn: 48%|██████████████████████████████████████████████████████▌ | 171/354 [1:06:04<1:13:32, 24.11s/it][A + mmlu_kn: 49%|██████████████████████████████████████████████████████▉ | 172/354 [1:06:24<1:09:32, 22.93s/it][A + mmlu_kn: 49%|███████████████████████████████████████████████████████▏ | 173/354 [1:06:52<1:13:43, 24.44s/it][A + mmlu_kn: 49%|███████████████████████████████████████████████████████▌ | 174/354 [1:07:12<1:09:42, 23.24s/it][A + mmlu_kn: 49%|███████████████████████████████████████████████████████▊ | 175/354 [1:07:37<1:11:01, 23.81s/it][A + mmlu_kn: 50%|████████████████████████████████████████████████████████▏ | 176/354 [1:08:04<1:12:51, 24.56s/it][A + mmlu_kn: 50%|████████████████████████████████████████████████████████▌ | 177/354 [1:08:24<1:09:04, 23.41s/it][A + mmlu_kn: 50%|████████████████████████████████████████████████████████▊ | 178/354 [1:08:54<1:14:05, 25.26s/it][A + mmlu_kn: 51%|█████████████████████████████████████████████████████████▏ | 179/354 [1:09:13<1:08:03, 23.33s/it][A + mmlu_kn: 51%|█████████████████████████████████████████████████████████▍ | 180/354 [1:09:38<1:08:52, 23.75s/it][A + mmlu_kn: 51%|█████████████████████████████████████████████████████████▊ | 181/354 [1:09:56<1:04:03, 22.22s/it][A + mmlu_kn: 51%|██████████████████████████████████████████████████████████ | 182/354 [1:10:25<1:09:21, 24.20s/it][A + mmlu_kn: 52%|██████████████████████████████████████████████████████████▍ | 183/354 [1:10:50<1:09:35, 24.42s/it][A + mmlu_kn: 52%|██████████████████████████████████████████████████████████▋ | 184/354 [1:11:20<1:14:25, 26.27s/it][A + mmlu_kn: 52%|███████████████████████████████████████████████████████████ | 185/354 [1:11:44<1:11:22, 25.34s/it][A + mmlu_kn: 53%|███████████████████████████████████████████████████████████▎ | 186/354 [1:12:03<1:06:13, 23.65s/it][A + mmlu_kn: 53%|███████████████████████████████████████████████████████████▋ | 187/354 [1:12:25<1:03:45, 22.91s/it][A + mmlu_kn: 53%|████████████████████████████████████████████████████████████ | 188/354 [1:12:49<1:04:27, 23.30s/it][A + mmlu_kn: 53%|████████████████████████████████████████████████████████████▎ | 189/354 [1:13:13<1:04:38, 23.51s/it][A + mmlu_kn: 54%|████████████████████████████████████████████████████████████▋ | 190/354 [1:13:33<1:01:17, 22.43s/it][A + mmlu_kn: 54%|████████████████████████████████████████████████████████████▉ | 191/354 [1:14:01<1:06:09, 24.35s/it][A + mmlu_kn: 54%|█████████████████████████████████████████████████████████████▎ | 192/354 [1:14:22<1:02:41, 23.22s/it][A + mmlu_kn: 55%|█████████████████████████████████████████████████████████████▌ | 193/354 [1:14:49<1:05:09, 24.28s/it][A + mmlu_kn: 55%|█████████████████████████████████████████████████████████████▉ | 194/354 [1:15:18<1:08:35, 25.72s/it][A + mmlu_kn: 55%|██████████████████████████████████████████████████████████████▏ | 195/354 [1:15:43<1:07:19, 25.41s/it][A + mmlu_kn: 55%|██████████████████████████████████████████████████████████████▌ | 196/354 [1:16:09<1:07:57, 25.81s/it][A + mmlu_kn: 56%|██████████████████████████████████████████████████████████████▉ | 197/354 [1:16:39<1:10:42, 27.02s/it][A + mmlu_kn: 56%|███████████████████████████████████████████████████████████████▏ | 198/354 [1:17:01<1:06:13, 25.47s/it][A + mmlu_kn: 56%|███████████████████████████████████████████████████████████████▌ | 199/354 [1:17:24<1:03:54, 24.74s/it][A + mmlu_kn: 56%|███████████████████████████████████████████████████████████████▊ | 200/354 [1:17:47<1:01:49, 24.09s/it][A + mmlu_kn: 57%|████████████████████████████████████████████████████████████████▏ | 201/354 [1:18:12<1:02:31, 24.52s/it][A + mmlu_kn: 57%|████████████████████████████████████████████████████████████████▍ | 202/354 [1:18:37<1:02:02, 24.49s/it][A + mmlu_kn: 57%|█████████████████████████████████████████████████████████████████▉ | 203/354 [1:18:58<59:19, 23.57s/it][A + mmlu_kn: 58%|█████████████████████████████████████████████████████████████████ | 204/354 [1:19:25<1:01:31, 24.61s/it][A + mmlu_kn: 58%|██████████████████████████████████████████████████████████████████▌ | 205/354 [1:19:44<57:09, 23.01s/it][A + mmlu_kn: 58%|██████████████████████████████████████████████████████████████████▉ | 206/354 [1:20:06<55:45, 22.61s/it][A + mmlu_kn: 58%|███████████████████████████████████████████████████████████████████▏ | 207/354 [1:20:27<54:13, 22.14s/it][A + mmlu_kn: 59%|███████████████████████████████████████████████████████████████████▌ | 208/354 [1:20:48<53:02, 21.80s/it][A + mmlu_kn: 59%|███████████████████████████████████████████████████████████████████▉ | 209/354 [1:21:10<52:49, 21.86s/it][A + mmlu_kn: 59%|████████████████████████████████████████████████████████████████████▏ | 210/354 [1:21:34<53:54, 22.46s/it][A + mmlu_kn: 60%|████████████████████████████████████████████████████████████████████▌ | 211/354 [1:22:01<56:45, 23.82s/it][A + mmlu_kn: 60%|████████████████████████████████████████████████████████████████████▊ | 212/354 [1:22:21<53:52, 22.77s/it][A + mmlu_kn: 60%|█████████████████████████████████████████████████████████████████████▏ | 213/354 [1:22:39<49:57, 21.26s/it][A + mmlu_kn: 60%|█████████████████████████████████████████████████████████████████████▌ | 214/354 [1:22:59<48:54, 20.96s/it][A + mmlu_kn: 61%|█████████████████████████████████████████████████████████████████████▊ | 215/354 [1:23:29<54:23, 23.48s/it][A + mmlu_kn: 61%|██████████████████████████████████████████████████████████████████████▏ | 216/354 [1:23:56<56:29, 24.56s/it][A + mmlu_kn: 61%|██████████████████████████████████████████████████████████████████████▍ | 217/354 [1:24:18<54:50, 24.01s/it][A + mmlu_kn: 62%|██████████████████████████████████████████████████████████████████████▊ | 218/354 [1:24:40<53:03, 23.41s/it][A + mmlu_kn: 62%|███████████████████████████████████████████████████████████████████████▏ | 219/354 [1:25:04<52:46, 23.45s/it][A + mmlu_kn: 62%|███████████████████████████████████████████████████████████████████████▍ | 220/354 [1:25:28<52:50, 23.66s/it][A + mmlu_kn: 62%|███████████████████████████████████████████████████████████████████████▊ | 221/354 [1:25:51<52:15, 23.57s/it][A + mmlu_kn: 63%|████████████████████████████████████████████████████████████████████████ | 222/354 [1:26:13<50:44, 23.07s/it][A + mmlu_kn: 63%|████████████████████████████████████████████████████████████████████████▍ | 223/354 [1:26:31<46:34, 21.33s/it][A + mmlu_kn: 63%|████████████████████████████████████████████████████████████████████████▊ | 224/354 [1:26:54<47:34, 21.96s/it][A + mmlu_kn: 64%|█████████████████████████████████████████████████████████████████████████ | 225/354 [1:27:21<50:31, 23.50s/it][A + mmlu_kn: 64%|█████████████████████████████████████████████████████████████████████████▍ | 226/354 [1:27:53<55:30, 26.02s/it][A + mmlu_kn: 64%|█████████████████████████████████████████████████████████████████████████▋ | 227/354 [1:28:17<54:03, 25.54s/it][A + mmlu_kn: 64%|██████████████████████████████████████████████████████████████████████████ | 228/354 [1:28:45<54:45, 26.07s/it][A + mmlu_kn: 65%|██████████████████████████████████████████████████████████████████████████▍ | 229/354 [1:29:16<57:34, 27.64s/it][A + mmlu_kn: 65%|██████████████████████████████████████████████████████████████████████████▋ | 230/354 [1:29:37<52:44, 25.52s/it][A + mmlu_kn: 65%|███████████████████████████████████████████████████████████████████████████ | 231/354 [1:30:03<52:33, 25.64s/it][A + mmlu_kn: 66%|███████████████████████████████████████████████████████████████████████████▎ | 232/354 [1:30:27<51:26, 25.30s/it][A + mmlu_kn: 66%|███████████████████████████████████████████████████████████████████████████▋ | 233/354 [1:30:49<49:09, 24.38s/it][A + mmlu_kn: 66%|████████████████████████████████████████████████████████████████████████████ | 234/354 [1:31:09<46:13, 23.11s/it][A + mmlu_kn: 66%|████████████████████████████████████████████████████████████████████████████▎ | 235/354 [1:31:32<45:44, 23.06s/it][A + mmlu_kn: 67%|████████████████████████████████████████████████████████████████████████████▋ | 236/354 [1:31:54<44:38, 22.70s/it][A + mmlu_kn: 67%|████████████████████████████████████████████████████████████████████████████▉ | 237/354 [1:32:17<44:00, 22.57s/it][A + mmlu_kn: 67%|█████████████████████████████████████████████████████████████████████████████▎ | 238/354 [1:32:36<41:43, 21.58s/it][A + mmlu_kn: 68%|█████████████████████████████████████████████████████████████████████████████▋ | 239/354 [1:32:59<42:07, 21.98s/it][A + mmlu_kn: 68%|█████████████████████████████████████████████████████████████████████████████▉ | 240/354 [1:33:17<39:54, 21.00s/it][A + mmlu_kn: 68%|██████████████████████████████████████████████████████████████████████████████▎ | 241/354 [1:33:37<38:46, 20.59s/it][A + mmlu_kn: 68%|██████████████████████████████████████████████████████████████████████████████▌ | 242/354 [1:34:01<40:35, 21.74s/it][A + mmlu_kn: 69%|██████████████████████████████████████████████████████████████████████████████▉ | 243/354 [1:34:26<41:30, 22.43s/it][A + mmlu_kn: 69%|███████████████████████████████████████████████████████████████████████████████▎ | 244/354 [1:34:52<43:05, 23.51s/it][A + mmlu_kn: 69%|███████████████████████████████████████████████████████████████████████████████▌ | 245/354 [1:35:18<44:31, 24.51s/it][A + mmlu_kn: 69%|███████████████████████████████████████████████████████████████████████████████▉ | 246/354 [1:35:40<42:17, 23.50s/it][A + mmlu_kn: 70%|████████████████████████████████████████████████████████████████████████████████▏ | 247/354 [1:36:03<42:01, 23.57s/it][A + mmlu_kn: 70%|████████████████████████████████████████████████████████████████████████████████▌ | 248/354 [1:36:36<46:28, 26.31s/it][A + mmlu_kn: 70%|████████████████████████████████████████████████████████████████████████████████▉ | 249/354 [1:36:57<43:12, 24.69s/it][A + mmlu_kn: 71%|█████████████████████████████████████████████████████████████████████████████████▏ | 250/354 [1:37:22<43:04, 24.85s/it][A + mmlu_kn: 71%|█████████████████████████████████████████████████████████████████████████████████▌ | 251/354 [1:37:47<42:33, 24.79s/it][A + mmlu_kn: 71%|█████████████████████████████████████████████████████████████████████████████████▊ | 252/354 [1:38:10<41:14, 24.26s/it][A + mmlu_kn: 71%|██████████████████████████████████████████████████████████████████████████████████▏ | 253/354 [1:38:33<40:14, 23.91s/it][A + mmlu_kn: 72%|██████████████████████████████████████████████████████████████████████████████████▌ | 254/354 [1:39:03<42:44, 25.64s/it][A + mmlu_kn: 72%|██████████████████████████████████████████████████████████████████████████████████▊ | 255/354 [1:39:25<40:42, 24.68s/it][A + mmlu_kn: 72%|███████████████████████████████████████████████████████████████████████████████████▏ | 256/354 [1:39:45<37:51, 23.18s/it][A + mmlu_kn: 73%|███████████████████████████████████████████████████████████████████████████████████▍ | 257/354 [1:40:11<39:03, 24.16s/it][A + mmlu_kn: 73%|███████████████████████████████████████████████████████████████████████████████████▊ | 258/354 [1:40:34<37:52, 23.68s/it][A + mmlu_kn: 73%|████████████████████████████████████████████████████████████████████████████████████▏ | 259/354 [1:41:02<39:42, 25.08s/it][A + mmlu_kn: 73%|████████████████████████████████████████████████████████████████████████████████████▍ | 260/354 [1:41:24<37:52, 24.17s/it][A + mmlu_kn: 74%|████████████████████████████████████████████████████████████████████████████████████▊ | 261/354 [1:41:45<36:00, 23.23s/it][A + mmlu_kn: 74%|█████████████████████████████████████████████████████████████████████████████████████ | 262/354 [1:42:09<36:02, 23.51s/it][A + mmlu_kn: 74%|█████████████████████████████████████████████████████████████████████████████████████▍ | 263/354 [1:42:36<37:09, 24.50s/it][A + mmlu_kn: 75%|█████████████████████████████████████████████████████████████████████████████████████▊ | 264/354 [1:43:06<39:01, 26.02s/it][A + mmlu_kn: 75%|██████████████████████████████████████████████████████████████████████████████████████ | 265/354 [1:43:26<35:56, 24.23s/it][A + mmlu_kn: 75%|██████████████████████████████████████████████████████████████████████████████████████▍ | 266/354 [1:43:51<36:11, 24.67s/it][A + mmlu_kn: 75%|██████████████████████████████████████████████████████████████████████████████████████▋ | 267/354 [1:44:18<36:31, 25.18s/it][A + mmlu_kn: 76%|███████████████████████████████████████████████████████████████████████████████████████ | 268/354 [1:44:43<36:01, 25.14s/it][A + mmlu_kn: 76%|███████████████████████████████████████████████████████████████████████████████████████▍ | 269/354 [1:45:05<34:09, 24.11s/it][A + mmlu_kn: 76%|███████████████████████████████████████████████████████████████████████████████████████▋ | 270/354 [1:45:25<32:13, 23.02s/it][A + mmlu_kn: 77%|████████████████████████████████████████████████████████████████████████████████████████ | 271/354 [1:45:43<29:49, 21.56s/it][A + mmlu_kn: 77%|████████████████████████████████████████████████████████████████████████████████████████▎ | 272/354 [1:46:06<29:54, 21.89s/it][A + mmlu_kn: 77%|████████████████████████████████████████████████████████████████████████████████████████▋ | 273/354 [1:46:28<29:44, 22.03s/it][A + mmlu_kn: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 274/354 [1:46:56<31:38, 23.74s/it][A + mmlu_kn: 78%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 275/354 [1:47:19<31:08, 23.65s/it][A + mmlu_kn: 78%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 276/354 [1:47:41<30:04, 23.14s/it][A + mmlu_kn: 78%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 277/354 [1:48:00<28:00, 21.82s/it][A + mmlu_kn: 79%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 278/354 [1:48:19<26:43, 21.10s/it][A + mmlu_kn: 79%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 279/354 [1:48:41<26:38, 21.31s/it][A + mmlu_kn: 79%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 280/354 [1:49:01<25:36, 20.77s/it][A + mmlu_kn: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 281/354 [1:49:27<27:05, 22.27s/it][A + mmlu_kn: 80%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 282/354 [1:49:46<25:36, 21.34s/it][A + mmlu_kn: 80%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 283/354 [1:50:12<26:59, 22.81s/it][A + mmlu_kn: 80%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 284/354 [1:50:31<25:09, 21.57s/it][A + mmlu_kn: 81%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 285/354 [1:50:55<25:38, 22.29s/it][A + mmlu_kn: 81%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 286/354 [1:51:22<27:06, 23.92s/it][A + mmlu_kn: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 287/354 [1:51:41<25:07, 22.50s/it][A + mmlu_kn: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 288/354 [1:51:58<22:53, 20.81s/it][A + mmlu_kn: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 289/354 [1:52:20<22:46, 21.02s/it][A + mmlu_kn: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 290/354 [1:52:43<23:06, 21.66s/it][A + mmlu_kn: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 291/354 [1:53:07<23:30, 22.38s/it][A + mmlu_kn: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 292/354 [1:53:29<23:07, 22.38s/it][A + mmlu_kn: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 293/354 [1:53:53<23:11, 22.80s/it][A + mmlu_kn: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 294/354 [1:54:12<21:39, 21.66s/it][A + mmlu_kn: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 295/354 [1:54:30<20:05, 20.44s/it][A + mmlu_kn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 296/354 [1:54:50<19:49, 20.50s/it][A + mmlu_kn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 297/354 [1:55:11<19:36, 20.63s/it][A + mmlu_kn: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 298/354 [1:55:38<20:57, 22.46s/it][A + mmlu_kn: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 299/354 [1:55:54<18:40, 20.37s/it][A + mmlu_kn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 300/354 [1:56:20<19:51, 22.06s/it][A + mmlu_kn: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 301/354 [1:56:39<18:50, 21.34s/it][A + mmlu_kn: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 302/354 [1:57:00<18:15, 21.07s/it][A + mmlu_kn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 303/354 [1:57:21<17:52, 21.04s/it][A + mmlu_kn: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 304/354 [1:57:47<18:53, 22.67s/it][A + mmlu_kn: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 305/354 [1:58:09<18:17, 22.39s/it][A + mmlu_kn: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 306/354 [1:58:33<18:19, 22.90s/it][A + mmlu_kn: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 307/354 [1:59:05<20:02, 25.58s/it][A + mmlu_kn: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 308/354 [1:59:29<19:16, 25.14s/it][A + mmlu_kn: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 309/354 [1:59:53<18:34, 24.77s/it][A + mmlu_kn: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 310/354 [2:00:17<18:04, 24.65s/it][A + mmlu_kn: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 311/354 [2:00:43<17:58, 25.09s/it][A + mmlu_kn: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 312/354 [2:01:05<16:50, 24.06s/it][A + mmlu_kn: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 313/354 [2:01:29<16:29, 24.13s/it][A + mmlu_kn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 314/354 [2:01:50<15:18, 22.96s/it][A + mmlu_kn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 315/354 [2:02:13<14:59, 23.07s/it][A + mmlu_kn: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 316/354 [2:02:36<14:35, 23.04s/it][A + mmlu_kn: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 317/354 [2:02:58<14:04, 22.82s/it][A + mmlu_kn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 318/354 [2:03:30<15:21, 25.61s/it][A + mmlu_kn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 319/354 [2:03:53<14:24, 24.69s/it][A + mmlu_kn: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 320/354 [2:04:18<14:08, 24.95s/it][A + mmlu_kn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 321/354 [2:04:39<13:04, 23.77s/it][A + mmlu_kn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 322/354 [2:04:58<11:49, 22.18s/it][A + mmlu_kn: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 323/354 [2:05:22<11:42, 22.66s/it][A + mmlu_kn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 324/354 [2:05:44<11:15, 22.51s/it][A + mmlu_kn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 325/354 [2:06:02<10:13, 21.15s/it][A + mmlu_kn: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 326/354 [2:06:27<10:25, 22.33s/it][A + mmlu_kn: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 327/354 [2:06:54<10:45, 23.89s/it][A + mmlu_kn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 328/354 [2:07:20<10:34, 24.42s/it][A + mmlu_kn: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/354 [2:07:40<09:36, 23.07s/it][A + mmlu_kn: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 330/354 [2:08:05<09:26, 23.60s/it][A + mmlu_kn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 331/354 [2:08:32<09:27, 24.69s/it][A + mmlu_kn: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 332/354 [2:08:57<09:07, 24.88s/it][A + mmlu_kn: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 333/354 [2:09:23<08:44, 25.00s/it][A + mmlu_kn: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 334/354 [2:09:49<08:26, 25.31s/it][A + mmlu_kn: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 335/354 [2:10:07<07:18, 23.08s/it][A + mmlu_kn: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 336/354 [2:10:28<06:44, 22.48s/it][A + mmlu_kn: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 337/354 [2:10:49<06:15, 22.09s/it][A + mmlu_kn: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 338/354 [2:11:10<05:49, 21.86s/it][A + mmlu_kn: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 339/354 [2:11:29<05:16, 21.07s/it][A + mmlu_kn: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 340/354 [2:11:56<05:18, 22.74s/it][A + mmlu_kn: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 341/354 [2:12:14<04:37, 21.31s/it][A + mmlu_kn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 342/354 [2:12:35<04:15, 21.27s/it][A + mmlu_kn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 343/354 [2:13:05<04:21, 23.74s/it][A + mmlu_kn: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 344/354 [2:13:28<03:54, 23.48s/it][A + mmlu_kn: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 345/354 [2:13:52<03:34, 23.84s/it][A + mmlu_kn: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 346/354 [2:14:22<03:24, 25.61s/it][A + mmlu_kn: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 347/354 [2:14:49<03:01, 25.91s/it][A + mmlu_kn: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 348/354 [2:15:13<02:33, 25.57s/it][A + mmlu_kn: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 349/354 [2:15:38<02:05, 25.20s/it][A + mmlu_kn: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 350/354 [2:16:08<01:46, 26.60s/it][A + mmlu_kn: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 351/354 [2:16:32<01:18, 26.01s/it][A + mmlu_kn: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 352/354 [2:16:54<00:49, 24.71s/it][A + mmlu_kn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 353/354 [2:17:13<00:23, 23.06s/it][A + mmlu_kn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 354/354 [2:17:25<00:00, 19.86s/it][A mmlu_kn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 354/354 [2:17:25<00:00, 23.29s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_kn_acc 0.2535559678416821 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_kn_acc_norm 0.2797066878699532 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 10:45:13,600 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 10:45:13,600 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:13,723 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 10:45:13,723 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:13,845 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 10:45:13,845 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:13,967 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 10:45:13,968 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 10:45:13,968 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 10:45:14,091 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 10:45:14,091 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_kn_acc'} +2024-05-31 10:45:14,153 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 10:45:14,153 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1233, 'value': 0.2535559678416821} +2024-05-31 10:45:14,215 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 10:45:14,853 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 10:45:14,853 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:14,978 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 10:45:14,978 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:15,104 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 10:45:15,104 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:15,230 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 10:45:15,230 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 10:45:15,230 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 10:45:15,357 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 10:45:15,357 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_kn_acc_norm'} +2024-05-31 10:45:15,421 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 10:45:15,421 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1234, 'value': 0.2797066878699532} +2024-05-31 10:45:15,484 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 63%|███████████████████████████████████████████████████████████████████▉ | 78/124 [51:57:44<67:34:14, 5288.13s/it]['mmlu_ml'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 10:45:16,110 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 10:45:16,110 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:16,233 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 10:45:16,233 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:16,356 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 10:45:16,356 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 10:45:16,478 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 10:45:16,479 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 10:45:16,479 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_ml'} +2024-05-31 10:45:16,603 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_ml task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1669 examples [00:00, 13853.00 examples/s][A + Generating test split: 4974 examples [00:00, 24261.40 examples/s][A + Generating test split: 8010 examples [00:00, 26922.48 examples/s][A Generating test split: 11028 examples [00:00, 26175.03 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 265 examples [00:00, 24013.02 examples/s] +Running loglikelihood requests + + mmlu_ml: 0%| | 0/345 [00:00<?, ?it/s][A + mmlu_ml: 0%|▎ | 1/345 [00:23<2:16:11, 23.75s/it][A + mmlu_ml: 1%|▋ | 2/345 [00:48<2:17:51, 24.11s/it][A + mmlu_ml: 1%|█ | 3/345 [01:10<2:13:33, 23.43s/it][A + mmlu_ml: 1%|█▎ | 4/345 [01:34<2:14:06, 23.60s/it][A + mmlu_ml: 1%|█▋ | 5/345 [01:54<2:06:49, 22.38s/it][A + mmlu_ml: 2%|██ | 6/345 [02:15<2:02:35, 21.70s/it][A + mmlu_ml: 2%|██▎ | 7/345 [02:35<1:59:55, 21.29s/it][A + mmlu_ml: 2%|██▋ | 8/345 [02:59<2:04:11, 22.11s/it][A + mmlu_ml: 3%|███ | 9/345 [03:26<2:12:44, 23.70s/it][A + mmlu_ml: 3%|███▎ | 10/345 [03:47<2:06:41, 22.69s/it][A + mmlu_ml: 3%|███▋ | 11/345 [04:09<2:05:20, 22.52s/it][A + mmlu_ml: 3%|████ | 12/345 [04:36<2:13:12, 24.00s/it][A + mmlu_ml: 4%|████▎ | 13/345 [04:55<2:04:00, 22.41s/it][A + mmlu_ml: 4%|████▋ | 14/345 [05:16<2:01:47, 22.08s/it][A + mmlu_ml: 4%|█████ | 15/345 [05:38<2:01:23, 22.07s/it][A + mmlu_ml: 5%|█████▍ | 16/345 [05:59<1:58:40, 21.64s/it][A + mmlu_ml: 5%|█████▋ | 17/345 [06:24<2:04:16, 22.73s/it][A + mmlu_ml: 5%|██████ | 18/345 [06:44<1:59:33, 21.94s/it][A + mmlu_ml: 6%|██████▍ | 19/345 [07:07<2:00:28, 22.17s/it][A + mmlu_ml: 6%|██████▋ | 20/345 [07:29<2:00:05, 22.17s/it][A + mmlu_ml: 6%|███████ | 21/345 [07:51<1:58:48, 22.00s/it][A + mmlu_ml: 6%|███████▍ | 22/345 [08:12<1:56:39, 21.67s/it][A + mmlu_ml: 7%|███████▋ | 23/345 [08:30<1:51:12, 20.72s/it][A + mmlu_ml: 7%|████████ | 24/345 [08:51<1:51:39, 20.87s/it][A + mmlu_ml: 7%|████████▍ | 25/345 [09:22<2:06:47, 23.77s/it][A + mmlu_ml: 8%|████████▋ | 26/345 [09:45<2:05:47, 23.66s/it][A + mmlu_ml: 8%|█████████ | 27/345 [10:06<1:59:51, 22.61s/it][A + mmlu_ml: 8%|█████████▍ | 28/345 [10:25<1:53:48, 21.54s/it][A + mmlu_ml: 8%|█████████▊ | 29/345 [10:41<1:46:01, 20.13s/it][A + mmlu_ml: 9%|██████████ | 30/345 [11:09<1:57:55, 22.46s/it][A + mmlu_ml: 9%|██████████▍ | 31/345 [11:41<2:11:32, 25.14s/it][A + mmlu_ml: 9%|██████████▊ | 32/345 [12:04<2:08:26, 24.62s/it][A + mmlu_ml: 10%|███████████ | 33/345 [12:26<2:03:02, 23.66s/it][A + mmlu_ml: 10%|███████████▍ | 34/345 [12:48<2:00:30, 23.25s/it][A + mmlu_ml: 10%|███████████▊ | 35/345 [13:12<2:01:58, 23.61s/it][A + mmlu_ml: 10%|████████████ | 36/345 [13:37<2:04:07, 24.10s/it][A + mmlu_ml: 11%|████████████▍ | 37/345 [13:58<1:57:39, 22.92s/it][A + mmlu_ml: 11%|████████████▊ | 38/345 [14:22<2:00:06, 23.47s/it][A + mmlu_ml: 11%|█████████████ | 39/345 [14:42<1:53:03, 22.17s/it][A + mmlu_ml: 12%|█████████████▍ | 40/345 [15:02<1:49:35, 21.56s/it][A + mmlu_ml: 12%|█████████████▊ | 41/345 [15:29<1:57:50, 23.26s/it][A + mmlu_ml: 12%|██████████████ | 42/345 [15:56<2:03:29, 24.45s/it][A + mmlu_ml: 12%|██████████████▍ | 43/345 [16:17<1:58:15, 23.49s/it][A + mmlu_ml: 13%|██████████████▊ | 44/345 [16:48<2:08:26, 25.60s/it][A + mmlu_ml: 13%|███████████████▏ | 45/345 [17:10<2:02:27, 24.49s/it][A + mmlu_ml: 13%|███████████████▍ | 46/345 [17:35<2:02:37, 24.61s/it][A + mmlu_ml: 14%|███████████████▊ | 47/345 [17:54<1:55:03, 23.16s/it][A + mmlu_ml: 14%|████████████████▏ | 48/345 [18:15<1:50:40, 22.36s/it][A + mmlu_ml: 14%|████████████████▍ | 49/345 [18:32<1:42:17, 20.74s/it][A + mmlu_ml: 14%|████████████████▊ | 50/345 [18:49<1:35:48, 19.49s/it][A + mmlu_ml: 15%|█████████████████▏ | 51/345 [19:10<1:37:49, 19.96s/it][A + mmlu_ml: 15%|█████████████████▍ | 52/345 [19:30<1:38:40, 20.21s/it][A + mmlu_ml: 15%|█████████████████▊ | 53/345 [20:00<1:51:45, 22.97s/it][A + mmlu_ml: 16%|██████████████████▏ | 54/345 [20:21<1:49:27, 22.57s/it][A + mmlu_ml: 16%|██████████████████▍ | 55/345 [20:50<1:57:47, 24.37s/it][A + mmlu_ml: 16%|██████████████████▊ | 56/345 [21:13<1:55:16, 23.93s/it][A + mmlu_ml: 17%|███████████████████▏ | 57/345 [21:37<1:55:51, 24.14s/it][A + mmlu_ml: 17%|███████████████████▌ | 58/345 [22:00<1:53:02, 23.63s/it][A + mmlu_ml: 17%|███████████████████▊ | 59/345 [22:22<1:50:14, 23.13s/it][A + mmlu_ml: 17%|████████████████████▏ | 60/345 [22:41<1:44:49, 22.07s/it][A + mmlu_ml: 18%|████████████████████▌ | 61/345 [23:07<1:49:27, 23.12s/it][A + mmlu_ml: 18%|████████████████████▊ | 62/345 [23:29<1:47:26, 22.78s/it][A + mmlu_ml: 18%|█████████████████████▏ | 63/345 [23:49<1:43:42, 22.06s/it][A + mmlu_ml: 19%|█████████████████████▌ | 64/345 [24:15<1:48:21, 23.14s/it][A + mmlu_ml: 19%|█████████████████████▊ | 65/345 [24:40<1:50:00, 23.57s/it][A + mmlu_ml: 19%|██████████████████████▏ | 66/345 [25:05<1:51:56, 24.07s/it][A + mmlu_ml: 19%|██████████████████████▌ | 67/345 [25:29<1:52:03, 24.19s/it][A + mmlu_ml: 20%|██████████████████████▊ | 68/345 [25:52<1:48:59, 23.61s/it][A + mmlu_ml: 20%|███████████████████████▏ | 69/345 [26:11<1:42:58, 22.39s/it][A + mmlu_ml: 20%|███████████████████████▌ | 70/345 [26:35<1:45:13, 22.96s/it][A + mmlu_ml: 21%|███████████████████████▊ | 71/345 [27:00<1:46:41, 23.36s/it][A + mmlu_ml: 21%|████████████████████████▏ | 72/345 [27:22<1:44:34, 22.98s/it][A + mmlu_ml: 21%|████████████████████████▌ | 73/345 [27:43<1:41:52, 22.47s/it][A + mmlu_ml: 21%|████████████████████████▉ | 74/345 [28:03<1:38:19, 21.77s/it][A + mmlu_ml: 22%|█████████████████████████▏ | 75/345 [28:24<1:35:58, 21.33s/it][A + mmlu_ml: 22%|█████████████████████████▌ | 76/345 [28:42<1:31:04, 20.32s/it][A + mmlu_ml: 22%|█████████████████████████▉ | 77/345 [29:04<1:33:16, 20.88s/it][A + mmlu_ml: 23%|██████████████████████████▏ | 78/345 [29:24<1:31:49, 20.64s/it][A + mmlu_ml: 23%|██████████████████████████▌ | 79/345 [29:47<1:35:19, 21.50s/it][A + mmlu_ml: 23%|██████████████████████████▉ | 80/345 [30:10<1:36:39, 21.89s/it][A + mmlu_ml: 23%|███████████████████████████▏ | 81/345 [30:35<1:40:53, 22.93s/it][A + mmlu_ml: 24%|███████████████████████████▌ | 82/345 [31:04<1:47:27, 24.51s/it][A + mmlu_ml: 24%|███████████████████████████▉ | 83/345 [31:22<1:39:11, 22.71s/it][A + mmlu_ml: 24%|████████████████████████████▏ | 84/345 [31:41<1:33:38, 21.53s/it][A + mmlu_ml: 25%|████████████████████████████▌ | 85/345 [32:03<1:34:33, 21.82s/it][A + mmlu_ml: 25%|████████████████████████████▉ | 86/345 [32:27<1:36:22, 22.33s/it][A + mmlu_ml: 25%|█████████████████████████████▎ | 87/345 [32:53<1:41:26, 23.59s/it][A + mmlu_ml: 26%|█████████████████████████████▌ | 88/345 [33:15<1:38:45, 23.06s/it][A + mmlu_ml: 26%|█████████████████████████████▉ | 89/345 [33:42<1:43:12, 24.19s/it][A + mmlu_ml: 26%|██████████████████████████████▎ | 90/345 [34:06<1:42:25, 24.10s/it][A + mmlu_ml: 26%|██████████████████████████████▌ | 91/345 [34:30<1:41:43, 24.03s/it][A + mmlu_ml: 27%|██████████████████████████████▉ | 92/345 [34:51<1:37:03, 23.02s/it][A + mmlu_ml: 27%|███████████████████████████████▎ | 93/345 [35:14<1:37:27, 23.20s/it][A + mmlu_ml: 27%|███████████████████████████████▌ | 94/345 [35:46<1:47:25, 25.68s/it][A + mmlu_ml: 28%|███████████████████████████████▉ | 95/345 [36:09<1:44:37, 25.11s/it][A + mmlu_ml: 28%|████████████████████████████████▎ | 96/345 [36:33<1:41:56, 24.56s/it][A + mmlu_ml: 28%|████████████████████████████████▌ | 97/345 [36:55<1:38:48, 23.90s/it][A + mmlu_ml: 28%|████████████████████████████████▉ | 98/345 [37:16<1:34:20, 22.92s/it][A + mmlu_ml: 29%|█████████████████████████████████▎ | 99/345 [37:38<1:32:46, 22.63s/it][A + mmlu_ml: 29%|█████████████████████████████████▎ | 100/345 [37:58<1:29:28, 21.91s/it][A + mmlu_ml: 29%|█████████████████████████████████▋ | 101/345 [38:18<1:27:06, 21.42s/it][A + mmlu_ml: 30%|██████████████████████████████████ | 102/345 [38:37<1:23:16, 20.56s/it][A + mmlu_ml: 30%|██████████████████████████████████▎ | 103/345 [38:58<1:23:26, 20.69s/it][A + mmlu_ml: 30%|██████████████████████████████████▋ | 104/345 [39:14<1:17:34, 19.31s/it][A + mmlu_ml: 30%|███████████████████████████████████ | 105/345 [39:40<1:25:21, 21.34s/it][A + mmlu_ml: 31%|███████████████████████████████████▎ | 106/345 [40:03<1:27:17, 21.92s/it][A + mmlu_ml: 31%|███████████████████████████████████▋ | 107/345 [40:23<1:24:11, 21.23s/it][A + mmlu_ml: 31%|████████████████████████████████████ | 108/345 [40:50<1:30:23, 22.88s/it][A + mmlu_ml: 32%|████████████████████████████████████▎ | 109/345 [41:14<1:32:15, 23.46s/it][A + mmlu_ml: 32%|████████████████████████████████████▋ | 110/345 [41:34<1:27:56, 22.45s/it][A + mmlu_ml: 32%|█████████████████████████████████████ | 111/345 [41:56<1:26:16, 22.12s/it][A + mmlu_ml: 32%|█████████████████████████████████████▎ | 112/345 [42:14<1:21:26, 20.97s/it][A + mmlu_ml: 33%|█████████████████████████████████████▋ | 113/345 [42:35<1:20:35, 20.84s/it][A + mmlu_ml: 33%|██████████████████████████████████████ | 114/345 [43:00<1:25:51, 22.30s/it][A + mmlu_ml: 33%|██████████████████████████████████████▎ | 115/345 [43:22<1:24:37, 22.07s/it][A + mmlu_ml: 34%|██████████████████████████████████████▋ | 116/345 [43:46<1:27:05, 22.82s/it][A + mmlu_ml: 34%|███████████████████████████████████████ | 117/345 [44:05<1:21:49, 21.53s/it][A + mmlu_ml: 34%|███████████████████████████████████████▎ | 118/345 [44:29<1:23:47, 22.15s/it][A + mmlu_ml: 34%|███████████████████████████████████████▋ | 119/345 [44:47<1:19:46, 21.18s/it][A + mmlu_ml: 35%|████████████████████████████████████████ | 120/345 [45:06<1:16:48, 20.48s/it][A + mmlu_ml: 35%|████████████████████████████████████████▎ | 121/345 [45:28<1:17:45, 20.83s/it][A + mmlu_ml: 35%|████████████████████████████████████████▋ | 122/345 [45:51<1:20:13, 21.58s/it][A + mmlu_ml: 36%|█████████████████████████████████████████ | 123/345 [46:18<1:25:27, 23.10s/it][A + mmlu_ml: 36%|█████████████████████████████████████████▎ | 124/345 [46:39<1:23:17, 22.61s/it][A + mmlu_ml: 36%|█████████████████████████████████████████▋ | 125/345 [46:59<1:19:48, 21.76s/it][A + mmlu_ml: 37%|██████████████████████████████████████████ | 126/345 [47:21<1:19:05, 21.67s/it][A + mmlu_ml: 37%|██████████████████████████████████████████▎ | 127/345 [47:39<1:15:29, 20.78s/it][A + mmlu_ml: 37%|██████████████████████████████████████████▋ | 128/345 [48:03<1:17:47, 21.51s/it][A + mmlu_ml: 37%|███████████████████████████████████████████ | 129/345 [48:20<1:13:14, 20.34s/it][A + mmlu_ml: 38%|███████████████████████████████████████████▎ | 130/345 [48:47<1:20:23, 22.44s/it][A + mmlu_ml: 38%|███████████████████████████████████████████▋ | 131/345 [49:11<1:21:21, 22.81s/it][A + mmlu_ml: 38%|████████████████████████████████████████████ | 132/345 [49:35<1:21:57, 23.09s/it][A + mmlu_ml: 39%|████████████████████████████████████████████▎ | 133/345 [49:56<1:19:18, 22.45s/it][A + mmlu_ml: 39%|████████████████████████████████████████████▋ | 134/345 [50:18<1:19:01, 22.47s/it][A + mmlu_ml: 39%|█████████████████████████████████████████████ | 135/345 [50:39<1:16:44, 21.93s/it][A + mmlu_ml: 39%|█████████████████████████████████████████████▎ | 136/345 [50:57<1:12:15, 20.74s/it][A + mmlu_ml: 40%|█████████████████████████████████████████████▋ | 137/345 [51:17<1:11:16, 20.56s/it][A + mmlu_ml: 40%|██████████████████████████████████████████████ | 138/345 [51:42<1:15:33, 21.90s/it][A + mmlu_ml: 40%|██████████████████████████████████████████████▎ | 139/345 [52:04<1:14:43, 21.76s/it][A + mmlu_ml: 41%|██████████████████████████████████████████████▋ | 140/345 [52:27<1:16:22, 22.35s/it][A + mmlu_ml: 41%|███████████████████████████████████████████████ | 141/345 [52:49<1:15:37, 22.25s/it][A + mmlu_ml: 41%|███████████████████████████████████████████████▎ | 142/345 [53:11<1:14:15, 21.95s/it][A + mmlu_ml: 41%|███████████████████████████████████████████████▋ | 143/345 [53:34<1:15:21, 22.38s/it][A + mmlu_ml: 42%|████████████████████████████████████████████████ | 144/345 [54:01<1:20:07, 23.92s/it][A + mmlu_ml: 42%|████████████████████████████████████████████████▎ | 145/345 [54:22<1:16:07, 22.84s/it][A + mmlu_ml: 42%|████████████████████████████████████████████████▋ | 146/345 [54:42<1:13:00, 22.01s/it][A + mmlu_ml: 43%|█████████████████████████████████████████████████ | 147/345 [55:06<1:14:37, 22.61s/it][A + mmlu_ml: 43%|█████████████████████████████████████████████████▎ | 148/345 [55:28<1:13:43, 22.45s/it][A + mmlu_ml: 43%|█████████████████████████████████████████████████▋ | 149/345 [55:53<1:15:49, 23.21s/it][A + mmlu_ml: 43%|██████████████████████████████████████████████████ | 150/345 [56:11<1:10:29, 21.69s/it][A + mmlu_ml: 44%|██████████████████████████████████████████████████▎ | 151/345 [56:32<1:09:23, 21.46s/it][A + mmlu_ml: 44%|██████████████████████████████████████████████████▋ | 152/345 [56:55<1:10:25, 21.89s/it][A + mmlu_ml: 44%|███████████████████████████████████████████████████ | 153/345 [57:13<1:06:23, 20.75s/it][A + mmlu_ml: 45%|███████████████████████████████████████████████████▎ | 154/345 [57:35<1:07:08, 21.09s/it][A + mmlu_ml: 45%|███████████████████████████████████████████████████▋ | 155/345 [57:53<1:04:22, 20.33s/it][A + mmlu_ml: 45%|████████████████████████████████████████████████████ | 156/345 [58:18<1:08:27, 21.73s/it][A + mmlu_ml: 46%|████████████████████████████████████████████████████▎ | 157/345 [58:36<1:04:19, 20.53s/it][A + mmlu_ml: 46%|████████████████████████████████████████████████████▋ | 158/345 [59:01<1:08:22, 21.94s/it][A + mmlu_ml: 46%|█████████████████████████████████████████████████████ | 159/345 [59:27<1:11:09, 22.95s/it][A + mmlu_ml: 46%|█████████████████████████████████████████████████████▎ | 160/345 [59:46<1:07:11, 21.79s/it][A + mmlu_ml: 47%|████████████████████████████████████████████████████▋ | 161/345 [1:00:08<1:07:01, 21.85s/it][A + mmlu_ml: 47%|█████████████████████████████████████████████████████ | 162/345 [1:00:31<1:07:33, 22.15s/it][A + mmlu_ml: 47%|█████████████████████████████████████████████████████▍ | 163/345 [1:00:50<1:04:33, 21.29s/it][A + mmlu_ml: 48%|█████████████████████████████████████████████████████▋ | 164/345 [1:01:10<1:03:12, 20.95s/it][A + mmlu_ml: 48%|██████████████████████████████████████████████████████ | 165/345 [1:01:29<1:00:37, 20.21s/it][A + mmlu_ml: 48%|██████████████████████████████████████████████████████▎ | 166/345 [1:01:51<1:01:59, 20.78s/it][A + mmlu_ml: 48%|██████████████████████████████████████████████████████▋ | 167/345 [1:02:19<1:08:36, 23.12s/it][A + mmlu_ml: 49%|███████████████████████████████████████████████████████ | 168/345 [1:02:39<1:05:32, 22.22s/it][A + mmlu_ml: 49%|███████████████████████████████████████████████████████▎ | 169/345 [1:03:05<1:07:51, 23.14s/it][A + mmlu_ml: 49%|███████████████████████████████████████████████████████▋ | 170/345 [1:03:23<1:03:41, 21.84s/it][A + mmlu_ml: 50%|████████████████████████████████████████████████████████ | 171/345 [1:03:54<1:10:36, 24.35s/it][A + mmlu_ml: 50%|████████████████████████████████████████████████████████▎ | 172/345 [1:04:10<1:03:22, 21.98s/it][A + mmlu_ml: 50%|████████████████████████████████████████████████████████▋ | 173/345 [1:04:32<1:02:44, 21.89s/it][A + mmlu_ml: 50%|████████████████████████████████████████████████████████▉ | 174/345 [1:04:52<1:00:39, 21.29s/it][A + mmlu_ml: 51%|██████████████████████████████████████████████████████████▎ | 175/345 [1:05:08<56:08, 19.82s/it][A + mmlu_ml: 51%|██████████████████████████████████████████████████████████▋ | 176/345 [1:05:24<52:29, 18.64s/it][A + mmlu_ml: 51%|███████████████████████████████████████████████████████████ | 177/345 [1:05:46<54:46, 19.56s/it][A + mmlu_ml: 52%|███████████████████████████████████████████████████████████▎ | 178/345 [1:06:06<55:02, 19.77s/it][A + mmlu_ml: 52%|███████████████████████████████████████████████████████████▋ | 179/345 [1:06:24<53:29, 19.33s/it][A + mmlu_ml: 52%|████████████████████████████████████████████████████████████ | 180/345 [1:06:49<57:17, 20.83s/it][A + mmlu_ml: 52%|████████████████████████████████████████████████████████████▎ | 181/345 [1:07:11<58:24, 21.37s/it][A + mmlu_ml: 53%|████████████████████████████████████████████████████████████▋ | 182/345 [1:07:34<59:13, 21.80s/it][A + mmlu_ml: 53%|█████████████████████████████████████████████████████████████ | 183/345 [1:07:55<58:36, 21.71s/it][A + mmlu_ml: 53%|█████████████████████████████████████████████████████████████▎ | 184/345 [1:08:16<57:17, 21.35s/it][A + mmlu_ml: 54%|████████████████████████████████████████████████████████████▌ | 185/345 [1:08:41<1:00:06, 22.54s/it][A + mmlu_ml: 54%|████████████████████████████████████████████████████████████▉ | 186/345 [1:09:09<1:03:47, 24.07s/it][A + mmlu_ml: 54%|█████████████████████████████████████████████████████████████▏ | 187/345 [1:09:30<1:01:03, 23.19s/it][A + mmlu_ml: 54%|██████████████████████████████████████████████████████████████▋ | 188/345 [1:09:48<56:41, 21.66s/it][A + mmlu_ml: 55%|██████████████████████████████████████████████████████████████▉ | 189/345 [1:10:13<58:31, 22.51s/it][A + mmlu_ml: 55%|███████████████████████████████████████████████████████████████▎ | 190/345 [1:10:35<57:54, 22.42s/it][A + mmlu_ml: 55%|███████████████████████████████████████████████████████████████▋ | 191/345 [1:10:56<56:18, 21.94s/it][A + mmlu_ml: 56%|████████████████████████████████████████████████████████████████ | 192/345 [1:11:20<57:35, 22.58s/it][A + mmlu_ml: 56%|████████████████████████████████████████████████████████████████▎ | 193/345 [1:11:39<54:21, 21.45s/it][A + mmlu_ml: 56%|███████████████████████████████████████████████████████████████▌ | 194/345 [1:12:09<1:00:37, 24.09s/it][A + mmlu_ml: 57%|█████████████████████████████████████████████████████████████████ | 195/345 [1:12:32<59:40, 23.87s/it][A + mmlu_ml: 57%|████████████████████████████████████████████████████████████████▏ | 196/345 [1:13:01<1:02:39, 25.23s/it][A + mmlu_ml: 57%|████████████████████████████████████████████████████████████████▌ | 197/345 [1:13:25<1:01:33, 24.96s/it][A + mmlu_ml: 57%|████████████████████████████████████████████████████████████████▊ | 198/345 [1:13:51<1:02:16, 25.42s/it][A + mmlu_ml: 58%|██████████████████████████████████████████████████████████████████▎ | 199/345 [1:14:11<57:41, 23.71s/it][A + mmlu_ml: 58%|██████████████████████████████████████████████████████████████████▋ | 200/345 [1:14:31<54:23, 22.51s/it][A + mmlu_ml: 58%|███████████████████████████████████████████████████████████████████ | 201/345 [1:14:48<50:21, 20.98s/it][A + mmlu_ml: 59%|███████████████████████████████████████████████████████████████████▎ | 202/345 [1:15:09<50:07, 21.03s/it][A + mmlu_ml: 59%|███████████████████████████████████████████████████████████████████▋ | 203/345 [1:15:38<55:26, 23.43s/it][A + mmlu_ml: 59%|████████████████████████████████████████████████████████████████████ | 204/345 [1:16:04<56:36, 24.09s/it][A + mmlu_ml: 59%|███████████████████████████████████████████████████████████████████▏ | 205/345 [1:16:34<1:00:23, 25.88s/it][A + mmlu_ml: 60%|████████████████████████████████████████████████████████████████████▋ | 206/345 [1:16:58<58:30, 25.26s/it][A + mmlu_ml: 60%|█████████████████████████████████████████████████████████████████████ | 207/345 [1:17:20<56:11, 24.43s/it][A + mmlu_ml: 60%|█████████████████████████████████████████████████████████████████████▎ | 208/345 [1:17:47<57:14, 25.07s/it][A + mmlu_ml: 61%|█████████████████████████████████████████████████████████████████████▋ | 209/345 [1:18:09<54:28, 24.04s/it][A + mmlu_ml: 61%|██████████████████████████████████████████████████████████████████████ | 210/345 [1:18:32<53:47, 23.91s/it][A + mmlu_ml: 61%|██████████████████████████████████████████████████████████████████████▎ | 211/345 [1:18:59<55:13, 24.73s/it][A + mmlu_ml: 61%|██████████████████████████████████████████████████████████████████████▋ | 212/345 [1:19:24<54:55, 24.77s/it][A + mmlu_ml: 62%|███████████████████████████████████████████████████████████████████████ | 213/345 [1:19:46<52:51, 24.03s/it][A + mmlu_ml: 62%|███████████████████████████████████████████████████████████████████████▎ | 214/345 [1:20:09<51:46, 23.71s/it][A + mmlu_ml: 62%|███████████████████████████████████████████████████████████████████████▋ | 215/345 [1:20:33<51:15, 23.66s/it][A + mmlu_ml: 63%|████████████████████████████████████████████████████████████████████████ | 216/345 [1:20:57<51:06, 23.77s/it][A + mmlu_ml: 63%|████████████████████████████████████████████████████████████████████████▎ | 217/345 [1:21:17<48:49, 22.89s/it][A + mmlu_ml: 63%|████████████████████████████████████████████████████████████████████████▋ | 218/345 [1:21:40<48:14, 22.79s/it][A + mmlu_ml: 63%|█████████████████████████████████████████████████████████████████████████ | 219/345 [1:22:04<48:22, 23.03s/it][A + mmlu_ml: 64%|█████████████████████████████████████████████████████████████████████████▎ | 220/345 [1:22:31<50:48, 24.39s/it][A + mmlu_ml: 64%|█████████████████████████████████████████████████████████████████████████▋ | 221/345 [1:22:52<48:20, 23.39s/it][A + mmlu_ml: 64%|██████████████████████████████████████████████████████████████████████████ | 222/345 [1:23:14<47:06, 22.98s/it][A + mmlu_ml: 65%|██████████████████████████████████████████████████████████████████████████▎ | 223/345 [1:23:39<47:45, 23.49s/it][A + mmlu_ml: 65%|██████████████████████████████████████████████████████████████████████████▋ | 224/345 [1:24:06<49:51, 24.72s/it][A + mmlu_ml: 65%|███████████████████████████████████████████████████████████████████████████ | 225/345 [1:24:23<44:25, 22.22s/it][A + mmlu_ml: 66%|███████████████████████████████████████████████████████████████████████████▎ | 226/345 [1:24:48<45:37, 23.00s/it][A + mmlu_ml: 66%|███████████████████████████████████████████████████████████████████████████▋ | 227/345 [1:25:08<43:22, 22.06s/it][A + mmlu_ml: 66%|████████████████████████████████████████████████████████████████████████████ | 228/345 [1:25:36<46:56, 24.07s/it][A + mmlu_ml: 66%|████████████████████████████████████████████████████████████████████████████▎ | 229/345 [1:25:58<45:21, 23.47s/it][A + mmlu_ml: 67%|████████████████████████████████████████████████████████████████████████████▋ | 230/345 [1:26:26<47:35, 24.83s/it][A + mmlu_ml: 67%|█████████████████████████████████████████████████████████████████████████████ | 231/345 [1:26:45<43:43, 23.02s/it][A + mmlu_ml: 67%|█████████████████████████████████████████████████████████████████████████████▎ | 232/345 [1:27:07<42:25, 22.52s/it][A + mmlu_ml: 68%|█████████████████████████████████████████████████████████████████████████████▋ | 233/345 [1:27:29<41:54, 22.45s/it][A + mmlu_ml: 68%|██████████████████████████████████████████████████████████████████████████████ | 234/345 [1:27:59<46:01, 24.88s/it][A + mmlu_ml: 68%|██████████████████████████████████████████████████████████████████████████████▎ | 235/345 [1:28:23<44:57, 24.53s/it][A + mmlu_ml: 68%|██████████████████████████████████████████████████████████████████████████████▋ | 236/345 [1:28:44<42:45, 23.54s/it][A + mmlu_ml: 69%|███████████████████████████████████████████████████████████████████████████████ | 237/345 [1:29:06<41:25, 23.02s/it][A + mmlu_ml: 69%|███████████████████████████████████████████████████████████████████████████████▎ | 238/345 [1:29:29<40:53, 22.93s/it][A + mmlu_ml: 69%|███████████████████████████████████████████████████████████████████████████████▋ | 239/345 [1:29:54<41:31, 23.51s/it][A + mmlu_ml: 70%|████████████████████████████████████████████████████████████████████████████████ | 240/345 [1:30:12<38:20, 21.91s/it][A + mmlu_ml: 70%|████████████████████████████████████████████████████████████████████████████████▎ | 241/345 [1:30:37<39:36, 22.86s/it][A + mmlu_ml: 70%|████████████████████████████████████████████████████████████████████████████████▋ | 242/345 [1:30:56<37:09, 21.65s/it][A + mmlu_ml: 70%|█████████████████████████████████████████████████████████████████████████████████ | 243/345 [1:31:14<34:53, 20.53s/it][A + mmlu_ml: 71%|█████████████████████████████████████████████████████████████████████████████████▎ | 244/345 [1:31:38<36:40, 21.79s/it][A + mmlu_ml: 71%|█████████████████████████████████████████████████████████████████████████████████▋ | 245/345 [1:32:02<37:02, 22.23s/it][A + mmlu_ml: 71%|██████████████████████████████████████████████████████████████████████████████████ | 246/345 [1:32:22<35:39, 21.61s/it][A + mmlu_ml: 72%|██████████████████████████████████████████████████████████████████████████████████▎ | 247/345 [1:32:42<34:27, 21.10s/it][A + mmlu_ml: 72%|██████████████████████████████████████████████████████████████████████████████████▋ | 248/345 [1:33:04<34:42, 21.47s/it][A + mmlu_ml: 72%|███████████████████████████████████████████████████████████████████████████████████ | 249/345 [1:33:25<33:59, 21.24s/it][A + mmlu_ml: 72%|███████████████████████████████████████████████████████████████████████████████████▎ | 250/345 [1:33:51<36:03, 22.77s/it][A + mmlu_ml: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 251/345 [1:34:14<35:46, 22.84s/it][A + mmlu_ml: 73%|████████████████████████████████████████████████████████████████████████████████████ | 252/345 [1:34:41<37:19, 24.08s/it][A + mmlu_ml: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 253/345 [1:35:06<37:27, 24.43s/it][A + mmlu_ml: 74%|████████████████████████████████████████████████████████████████████████████████████▋ | 254/345 [1:35:22<33:07, 21.84s/it][A + mmlu_ml: 74%|█████████████████████████████████████████████████████████████████████████████████████ | 255/345 [1:35:41<31:23, 20.93s/it][A + mmlu_ml: 74%|█████████████████████████████████████████████████████████████████████████████████████▎ | 256/345 [1:36:02<31:07, 20.98s/it][A + mmlu_ml: 74%|█████████████████████████████████████████████████████████████████████████████████████▋ | 257/345 [1:36:26<32:11, 21.95s/it][A + mmlu_ml: 75%|██████████████████████████████████████████████████████████████████████████████████████ | 258/345 [1:36:51<32:50, 22.65s/it][A + mmlu_ml: 75%|██████████████████████████████████████████████████████████████████████████████████████▎ | 259/345 [1:37:14<32:55, 22.97s/it][A + mmlu_ml: 75%|██████████████████████████████████████████████████████████████████████████████████████▋ | 260/345 [1:37:35<31:24, 22.17s/it][A + mmlu_ml: 76%|███████████████████████████████████████████████████████████████████████████████████████ | 261/345 [1:37:56<30:53, 22.07s/it][A + mmlu_ml: 76%|███████████████████████████████████████████████████████████████████████████████████████▎ | 262/345 [1:38:14<28:30, 20.61s/it][A + mmlu_ml: 76%|███████████████████████████████████████████████████████████████████████████████████████▋ | 263/345 [1:38:32<27:20, 20.00s/it][A + mmlu_ml: 77%|████████████████████████████████████████████████████████████████████████████████████████ | 264/345 [1:38:57<29:04, 21.53s/it][A + mmlu_ml: 77%|████████████████████████████████████████████████████████████████████████████████████████▎ | 265/345 [1:39:22<30:07, 22.59s/it][A + mmlu_ml: 77%|████████████████████████████████████████████████████████████████████████████████████████▋ | 266/345 [1:39:49<31:23, 23.85s/it][A + mmlu_ml: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 267/345 [1:40:07<28:39, 22.05s/it][A + mmlu_ml: 78%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 268/345 [1:40:29<28:20, 22.08s/it][A + mmlu_ml: 78%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 269/345 [1:40:57<30:07, 23.78s/it][A + mmlu_ml: 78%|██████████████████████████████████████████████████████████████████████████████████████████ | 270/345 [1:41:16<28:07, 22.50s/it][A + mmlu_ml: 79%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 271/345 [1:41:37<27:13, 22.07s/it][A + mmlu_ml: 79%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 272/345 [1:42:06<29:21, 24.12s/it][A + mmlu_ml: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 273/345 [1:42:29<28:32, 23.78s/it][A + mmlu_ml: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 274/345 [1:42:57<29:25, 24.87s/it][A + mmlu_ml: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 275/345 [1:43:21<28:52, 24.75s/it][A + mmlu_ml: 80%|████████████████████████████████████████████████████████████████████████████████████████████ | 276/345 [1:43:43<27:16, 23.71s/it][A + mmlu_ml: 80%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 277/345 [1:44:02<25:30, 22.51s/it][A + mmlu_ml: 81%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 278/345 [1:44:25<25:06, 22.49s/it][A + mmlu_ml: 81%|█████████████████████████████████████████████████████████████████████████████████████████████ | 279/345 [1:44:44<23:49, 21.65s/it][A + mmlu_ml: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 280/345 [1:45:11<25:03, 23.13s/it][A + mmlu_ml: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 281/345 [1:45:33<24:22, 22.86s/it][A + mmlu_ml: 82%|██████████████████████████████████████████████████████████████████████████████████████████████ | 282/345 [1:45:52<22:51, 21.76s/it][A + mmlu_ml: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 283/345 [1:46:16<22:59, 22.25s/it][A + mmlu_ml: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 284/345 [1:46:33<21:09, 20.81s/it][A + mmlu_ml: 83%|███████████████████████████████████████████████████████████████████████████████████████████████ | 285/345 [1:46:52<20:11, 20.20s/it][A + mmlu_ml: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 286/345 [1:47:16<20:58, 21.33s/it][A + mmlu_ml: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 287/345 [1:47:35<20:03, 20.75s/it][A + mmlu_ml: 83%|████████████████████████████████████████████████████████████████████████████████████████████████ | 288/345 [1:48:02<21:16, 22.39s/it][A + mmlu_ml: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 289/345 [1:48:24<20:59, 22.49s/it][A + mmlu_ml: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 290/345 [1:48:47<20:48, 22.70s/it][A + mmlu_ml: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 291/345 [1:49:09<20:04, 22.31s/it][A + mmlu_ml: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 292/345 [1:49:29<19:13, 21.76s/it][A + mmlu_ml: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 293/345 [1:49:48<18:03, 20.84s/it][A + mmlu_ml: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 294/345 [1:50:20<20:38, 24.28s/it][A + mmlu_ml: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 295/345 [1:50:46<20:29, 24.59s/it][A + mmlu_ml: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 296/345 [1:51:05<18:47, 23.01s/it][A + mmlu_ml: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 297/345 [1:51:26<17:59, 22.49s/it][A + mmlu_ml: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 298/345 [1:51:43<16:21, 20.89s/it][A + mmlu_ml: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 299/345 [1:52:01<15:18, 19.96s/it][A + mmlu_ml: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 300/345 [1:52:25<15:47, 21.07s/it][A + mmlu_ml: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 301/345 [1:52:51<16:33, 22.59s/it][A + mmlu_ml: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 302/345 [1:53:12<15:44, 21.97s/it][A + mmlu_ml: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 303/345 [1:53:36<15:47, 22.57s/it][A + mmlu_ml: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 304/345 [1:53:55<14:45, 21.59s/it][A + mmlu_ml: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 305/345 [1:54:14<13:51, 20.79s/it][A + mmlu_ml: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 306/345 [1:54:38<14:10, 21.81s/it][A + mmlu_ml: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 307/345 [1:55:02<14:11, 22.41s/it][A + mmlu_ml: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 308/345 [1:55:24<13:51, 22.47s/it][A + mmlu_ml: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 309/345 [1:55:53<14:35, 24.33s/it][A + mmlu_ml: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 310/345 [1:56:19<14:25, 24.73s/it][A + mmlu_ml: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 311/345 [1:56:39<13:13, 23.35s/it][A + mmlu_ml: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 312/345 [1:57:04<13:03, 23.76s/it][A + mmlu_ml: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 313/345 [1:57:29<12:54, 24.20s/it][A + mmlu_ml: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 314/345 [1:57:56<12:59, 25.14s/it][A + mmlu_ml: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 315/345 [1:58:12<11:09, 22.33s/it][A + mmlu_ml: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 316/345 [1:58:32<10:31, 21.79s/it][A + mmlu_ml: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 317/345 [1:58:58<10:42, 22.93s/it][A + mmlu_ml: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 318/345 [1:59:19<10:03, 22.35s/it][A + mmlu_ml: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 319/345 [1:59:43<09:51, 22.74s/it][A + mmlu_ml: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 320/345 [2:00:05<09:25, 22.61s/it][A + mmlu_ml: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 321/345 [2:00:28<09:04, 22.70s/it][A + mmlu_ml: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 322/345 [2:00:45<08:04, 21.04s/it][A + mmlu_ml: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 323/345 [2:01:12<08:20, 22.73s/it][A + mmlu_ml: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 324/345 [2:01:29<07:25, 21.20s/it][A + mmlu_ml: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 325/345 [2:01:49<06:54, 20.74s/it][A + mmlu_ml: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 326/345 [2:02:11<06:42, 21.16s/it][A + mmlu_ml: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 327/345 [2:02:27<05:53, 19.65s/it][A + mmlu_ml: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 328/345 [2:02:49<05:45, 20.33s/it][A + mmlu_ml: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 329/345 [2:03:11<05:32, 20.76s/it][A + mmlu_ml: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 330/345 [2:03:38<05:41, 22.74s/it][A + mmlu_ml: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 331/345 [2:04:01<05:18, 22.76s/it][A + mmlu_ml: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 332/345 [2:04:24<04:56, 22.81s/it][A + mmlu_ml: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 333/345 [2:04:43<04:18, 21.55s/it][A + mmlu_ml: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 334/345 [2:05:08<04:09, 22.70s/it][A + mmlu_ml: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 335/345 [2:05:32<03:52, 23.21s/it][A + mmlu_ml: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 336/345 [2:05:53<03:21, 22.35s/it][A + mmlu_ml: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 337/345 [2:06:18<03:05, 23.16s/it][A + mmlu_ml: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 338/345 [2:06:40<02:40, 22.95s/it][A + mmlu_ml: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 339/345 [2:07:03<02:18, 23.01s/it][A + mmlu_ml: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 340/345 [2:07:23<01:50, 22.06s/it][A + mmlu_ml: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 341/345 [2:07:48<01:31, 22.99s/it][A + mmlu_ml: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 342/345 [2:08:13<01:10, 23.38s/it][A + mmlu_ml: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 343/345 [2:08:32<00:44, 22.05s/it][A + mmlu_ml: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 344/345 [2:08:51<00:21, 21.29s/it][A + mmlu_ml: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 345/345 [2:09:08<00:00, 19.92s/it][A mmlu_ml: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 345/345 [2:09:08<00:00, 22.46s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ml_acc 0.24546608632571637 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ml_acc_norm 0.2714000725426188 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 12:54:27,241 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 12:54:27,241 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:27,369 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 12:54:27,369 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:27,498 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 12:54:27,498 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:27,626 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 12:54:27,627 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 12:54:27,627 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 12:54:27,757 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 12:54:27,757 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ml_acc'} +2024-05-31 12:54:27,822 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 12:54:27,822 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1235, 'value': 0.24546608632571637} +2024-05-31 12:54:27,888 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 12:54:28,547 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 12:54:28,547 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:28,676 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 12:54:28,676 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:28,806 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 12:54:28,806 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:28,936 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 12:54:28,937 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 12:54:28,937 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 12:54:29,067 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 12:54:29,067 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_ml_acc_norm'} +2024-05-31 12:54:29,133 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 12:54:29,133 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1236, 'value': 0.2714000725426188} +2024-05-31 12:54:29,199 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 64%|████████████████████████████████████████████████████████████████████▊ | 79/124 [54:06:58<75:20:51, 6027.81s/it]['mmlu_mr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 12:54:29,864 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 12:54:29,864 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:29,995 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 12:54:29,996 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:30,127 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 12:54:30,127 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 12:54:30,258 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 12:54:30,258 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 12:54:30,258 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_mr'} +2024-05-31 12:54:30,390 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_mr task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1659 examples [00:00, 13386.23 examples/s][A + Generating test split: 4979 examples [00:00, 23992.96 examples/s][A + Generating test split: 8056 examples [00:00, 26925.93 examples/s][A + Generating test split: 11392 examples [00:00, 29382.84 examples/s][A Generating test split: 12313 examples [00:00, 26676.04 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 221 examples [00:00, 25545.42 examples/s] +Running loglikelihood requests + + mmlu_mr: 0%| | 0/385 [00:00<?, ?it/s][A + mmlu_mr: 0%|▎ | 1/385 [00:13<1:27:16, 13.64s/it][A + mmlu_mr: 1%|▌ | 2/385 [00:27<1:26:09, 13.50s/it][A + mmlu_mr: 1%|▉ | 3/385 [00:41<1:27:19, 13.71s/it][A + mmlu_mr: 1%|█▏ | 4/385 [00:54<1:27:35, 13.79s/it][A + mmlu_mr: 1%|█▌ | 5/385 [01:11<1:34:27, 14.92s/it][A + mmlu_mr: 2%|█▊ | 6/385 [01:29<1:40:22, 15.89s/it][A + mmlu_mr: 2%|██▏ | 7/385 [01:46<1:42:23, 16.25s/it][A + mmlu_mr: 2%|██▍ | 8/385 [02:00<1:37:08, 15.46s/it][A + mmlu_mr: 2%|██▋ | 9/385 [02:16<1:39:05, 15.81s/it][A + mmlu_mr: 3%|███ | 10/385 [02:34<1:41:24, 16.23s/it][A + mmlu_mr: 3%|███▎ | 11/385 [02:52<1:45:09, 16.87s/it][A + mmlu_mr: 3%|███▌ | 12/385 [03:08<1:42:26, 16.48s/it][A + mmlu_mr: 3%|███▉ | 13/385 [03:24<1:42:06, 16.47s/it][A + mmlu_mr: 4%|████▏ | 14/385 [03:42<1:44:25, 16.89s/it][A + mmlu_mr: 4%|████▌ | 15/385 [03:58<1:42:44, 16.66s/it][A + mmlu_mr: 4%|████▊ | 16/385 [04:13<1:39:34, 16.19s/it][A + mmlu_mr: 4%|█████ | 17/385 [04:30<1:41:35, 16.56s/it][A + mmlu_mr: 5%|█████▍ | 18/385 [04:48<1:42:18, 16.73s/it][A + mmlu_mr: 5%|█████▋ | 19/385 [05:02<1:38:03, 16.08s/it][A + mmlu_mr: 5%|██████ | 20/385 [05:19<1:38:43, 16.23s/it][A + mmlu_mr: 5%|██████▎ | 21/385 [05:33<1:34:26, 15.57s/it][A + mmlu_mr: 6%|██████▋ | 22/385 [05:51<1:39:40, 16.47s/it][A + mmlu_mr: 6%|██████▉ | 23/385 [06:08<1:40:03, 16.58s/it][A + mmlu_mr: 6%|███████▏ | 24/385 [06:23<1:37:25, 16.19s/it][A + mmlu_mr: 6%|███████▌ | 25/385 [06:42<1:40:34, 16.76s/it][A + mmlu_mr: 7%|███████▊ | 26/385 [06:58<1:38:49, 16.52s/it][A + mmlu_mr: 7%|████████▏ | 27/385 [07:15<1:39:28, 16.67s/it][A + mmlu_mr: 7%|████████▍ | 28/385 [07:30<1:36:46, 16.26s/it][A + mmlu_mr: 8%|████████▋ | 29/385 [07:49<1:41:11, 17.05s/it][A + mmlu_mr: 8%|█████████ | 30/385 [08:02<1:34:18, 15.94s/it][A + mmlu_mr: 8%|█████████▎ | 31/385 [08:19<1:36:27, 16.35s/it][A + mmlu_mr: 8%|█████████▋ | 32/385 [08:40<1:43:06, 17.53s/it][A + mmlu_mr: 9%|█████████▉ | 33/385 [08:57<1:43:13, 17.59s/it][A + mmlu_mr: 9%|██████████▏ | 34/385 [09:13<1:39:29, 17.01s/it][A + mmlu_mr: 9%|██████████▌ | 35/385 [09:32<1:42:05, 17.50s/it][A + mmlu_mr: 9%|██████████▊ | 36/385 [09:48<1:39:58, 17.19s/it][A + mmlu_mr: 10%|███████████▏ | 37/385 [10:05<1:38:44, 17.02s/it][A + mmlu_mr: 10%|███████████▍ | 38/385 [10:21<1:37:15, 16.82s/it][A + mmlu_mr: 10%|███████████▊ | 39/385 [10:36<1:33:12, 16.16s/it][A + mmlu_mr: 10%|████████████ | 40/385 [10:53<1:35:35, 16.63s/it][A + mmlu_mr: 11%|████████████▎ | 41/385 [11:07<1:29:48, 15.66s/it][A + mmlu_mr: 11%|████████████▋ | 42/385 [11:20<1:24:59, 14.87s/it][A + mmlu_mr: 11%|████████████▉ | 43/385 [11:36<1:26:51, 15.24s/it][A + mmlu_mr: 11%|█████████████▎ | 44/385 [11:53<1:29:01, 15.67s/it][A + mmlu_mr: 12%|█████████████▌ | 45/385 [12:11<1:32:58, 16.41s/it][A + mmlu_mr: 12%|█████████████▊ | 46/385 [12:30<1:37:24, 17.24s/it][A + mmlu_mr: 12%|██████████████▏ | 47/385 [12:50<1:41:24, 18.00s/it][A + mmlu_mr: 12%|██████████████▍ | 48/385 [13:07<1:39:49, 17.77s/it][A + mmlu_mr: 13%|██████████████▊ | 49/385 [13:21<1:33:56, 16.78s/it][A + mmlu_mr: 13%|███████████████ | 50/385 [13:39<1:35:31, 17.11s/it][A + mmlu_mr: 13%|███████████████▎ | 51/385 [13:59<1:38:46, 17.74s/it][A + mmlu_mr: 14%|███████████████▋ | 52/385 [14:12<1:31:29, 16.49s/it][A + mmlu_mr: 14%|███████████████▉ | 53/385 [14:29<1:31:44, 16.58s/it][A + mmlu_mr: 14%|████████████████▎ | 54/385 [14:45<1:30:21, 16.38s/it][A + mmlu_mr: 14%|████████████████▌ | 55/385 [14:58<1:24:47, 15.42s/it][A + mmlu_mr: 15%|████████████████▊ | 56/385 [15:14<1:26:14, 15.73s/it][A + mmlu_mr: 15%|█████████████████▏ | 57/385 [15:35<1:33:34, 17.12s/it][A + mmlu_mr: 15%|█████████████████▍ | 58/385 [15:50<1:30:39, 16.64s/it][A + mmlu_mr: 15%|█████████████████▊ | 59/385 [16:10<1:35:29, 17.58s/it][A + mmlu_mr: 16%|██████████████████ | 60/385 [16:25<1:31:23, 16.87s/it][A + mmlu_mr: 16%|██████████████████▍ | 61/385 [16:40<1:28:06, 16.32s/it][A + mmlu_mr: 16%|██████████████████▋ | 62/385 [16:57<1:28:01, 16.35s/it][A + mmlu_mr: 16%|██████████████████▉ | 63/385 [17:15<1:31:12, 16.99s/it][A + mmlu_mr: 17%|███████████████████▎ | 64/385 [17:35<1:35:08, 17.78s/it][A + mmlu_mr: 17%|███████████████████▌ | 65/385 [17:53<1:35:50, 17.97s/it][A + mmlu_mr: 17%|███████████████████▉ | 66/385 [18:08<1:29:56, 16.92s/it][A + mmlu_mr: 17%|████████████████████▏ | 67/385 [18:29<1:36:27, 18.20s/it][A + mmlu_mr: 18%|████████████████████▍ | 68/385 [18:45<1:33:01, 17.61s/it][A + mmlu_mr: 18%|████████████████████▊ | 69/385 [19:01<1:29:34, 17.01s/it][A + mmlu_mr: 18%|█████████████████████ | 70/385 [19:15<1:24:19, 16.06s/it][A + mmlu_mr: 18%|█████████████████████▍ | 71/385 [19:29<1:21:38, 15.60s/it][A + mmlu_mr: 19%|█████████████████████▋ | 72/385 [19:43<1:19:16, 15.20s/it][A + mmlu_mr: 19%|█████████████████████▉ | 73/385 [19:57<1:16:25, 14.70s/it][A + mmlu_mr: 19%|██████████████████████▎ | 74/385 [20:16<1:22:12, 15.86s/it][A + mmlu_mr: 19%|██████████████████████▌ | 75/385 [20:31<1:21:32, 15.78s/it][A + mmlu_mr: 20%|██████████████████████▉ | 76/385 [20:47<1:20:41, 15.67s/it][A + mmlu_mr: 20%|███████████████████████▏ | 77/385 [21:05<1:24:39, 16.49s/it][A + mmlu_mr: 20%|███████████████████████▌ | 78/385 [21:21<1:23:28, 16.32s/it][A + mmlu_mr: 21%|███████████████████████▊ | 79/385 [21:36<1:20:58, 15.88s/it][A + mmlu_mr: 21%|████████████████████████ | 80/385 [21:56<1:26:53, 17.09s/it][A + mmlu_mr: 21%|████████████████████████▍ | 81/385 [22:12<1:26:12, 17.01s/it][A + mmlu_mr: 21%|████████████████████████▋ | 82/385 [22:31<1:28:38, 17.55s/it][A + mmlu_mr: 22%|█████████████████████████ | 83/385 [22:44<1:21:20, 16.16s/it][A + mmlu_mr: 22%|█████████████████████████▎ | 84/385 [23:01<1:21:31, 16.25s/it][A + mmlu_mr: 22%|█████████████████████████▌ | 85/385 [23:14<1:17:15, 15.45s/it][A + mmlu_mr: 22%|█████████████████████████▉ | 86/385 [23:30<1:17:49, 15.62s/it][A + mmlu_mr: 23%|██████████████████████████▏ | 87/385 [23:50<1:23:35, 16.83s/it][A + mmlu_mr: 23%|██████████████████████████▌ | 88/385 [24:06<1:22:08, 16.60s/it][A + mmlu_mr: 23%|██████████████████████████▊ | 89/385 [24:22<1:21:08, 16.45s/it][A + mmlu_mr: 23%|███████████████████████████ | 90/385 [24:38<1:20:00, 16.27s/it][A + mmlu_mr: 24%|███████████████████████████▍ | 91/385 [24:52<1:16:41, 15.65s/it][A + mmlu_mr: 24%|███████████████████████████▋ | 92/385 [25:07<1:15:37, 15.49s/it][A + mmlu_mr: 24%|████████████████████████████ | 93/385 [25:25<1:18:43, 16.18s/it][A + mmlu_mr: 24%|████████████████████████████▎ | 94/385 [25:42<1:19:58, 16.49s/it][A + mmlu_mr: 25%|████████████████████████████▌ | 95/385 [25:55<1:13:51, 15.28s/it][A + mmlu_mr: 25%|████████████████████████████▉ | 96/385 [26:08<1:10:38, 14.67s/it][A + mmlu_mr: 25%|█████████████████████████████▏ | 97/385 [26:25<1:13:49, 15.38s/it][A + mmlu_mr: 25%|█████████████████████████████▌ | 98/385 [26:42<1:15:18, 15.74s/it][A + mmlu_mr: 26%|█████████████████████████████▊ | 99/385 [26:57<1:15:15, 15.79s/it][A + mmlu_mr: 26%|█████████████████████████████▊ | 100/385 [27:12<1:13:19, 15.44s/it][A + mmlu_mr: 26%|██████████████████████████████▏ | 101/385 [27:28<1:13:39, 15.56s/it][A + mmlu_mr: 26%|██████████████████████████████▍ | 102/385 [27:45<1:16:06, 16.14s/it][A + mmlu_mr: 27%|██████████████████████████████▊ | 103/385 [28:02<1:16:27, 16.27s/it][A + mmlu_mr: 27%|███████████████████████████████ | 104/385 [28:20<1:18:14, 16.71s/it][A + mmlu_mr: 27%|███████████████████████████████▎ | 105/385 [28:37<1:18:30, 16.82s/it][A + mmlu_mr: 28%|███████████████████████████████▋ | 106/385 [28:53<1:16:44, 16.51s/it][A + mmlu_mr: 28%|███████████████████████████████▉ | 107/385 [29:11<1:19:31, 17.16s/it][A + mmlu_mr: 28%|████████████████████████████████▎ | 108/385 [29:31<1:22:09, 17.79s/it][A + mmlu_mr: 28%|████████████████████████████████▌ | 109/385 [29:47<1:20:31, 17.51s/it][A + mmlu_mr: 29%|████████████████████████████████▊ | 110/385 [30:03<1:17:15, 16.86s/it][A + mmlu_mr: 29%|█████████████████████████████████▏ | 111/385 [30:18<1:15:28, 16.53s/it][A + mmlu_mr: 29%|█████████████████████████████████▍ | 112/385 [30:35<1:15:38, 16.63s/it][A + mmlu_mr: 29%|█████████████████████████████████▊ | 113/385 [30:52<1:15:16, 16.60s/it][A + mmlu_mr: 30%|██████████████████████████████████ | 114/385 [31:07<1:12:54, 16.14s/it][A + mmlu_mr: 30%|██████████████████████████████████▎ | 115/385 [31:23<1:12:33, 16.12s/it][A + mmlu_mr: 30%|██████████████████████████████████▋ | 116/385 [31:38<1:10:48, 15.79s/it][A + mmlu_mr: 30%|██████████████████████████████████▉ | 117/385 [31:56<1:13:30, 16.46s/it][A + mmlu_mr: 31%|███████████████████████████████████▏ | 118/385 [32:16<1:17:24, 17.39s/it][A + mmlu_mr: 31%|███████████████████████████████████▌ | 119/385 [32:32<1:16:23, 17.23s/it][A + mmlu_mr: 31%|███████████████████████████████████▊ | 120/385 [32:50<1:17:03, 17.45s/it][A + mmlu_mr: 31%|████████████████████████████████████▏ | 121/385 [33:09<1:18:18, 17.80s/it][A + mmlu_mr: 32%|████████████████████████████████████▍ | 122/385 [33:24<1:14:33, 17.01s/it][A + mmlu_mr: 32%|████████████████████████████████████▋ | 123/385 [33:39<1:11:01, 16.26s/it][A + mmlu_mr: 32%|█████████████████████████████████████ | 124/385 [33:59<1:15:24, 17.33s/it][A + mmlu_mr: 32%|█████████████████████████████████████▎ | 125/385 [34:13<1:11:38, 16.53s/it][A + mmlu_mr: 33%|█████████████████████████████████████▋ | 126/385 [34:32<1:14:32, 17.27s/it][A + mmlu_mr: 33%|█████████████████████████████████████▉ | 127/385 [34:49<1:13:48, 17.16s/it][A + mmlu_mr: 33%|██████████████████████████████████████▏ | 128/385 [35:07<1:14:00, 17.28s/it][A + mmlu_mr: 34%|██████████████████████████████████████▌ | 129/385 [35:26<1:15:57, 17.80s/it][A + mmlu_mr: 34%|██████████████████████████████████████▊ | 130/385 [35:42<1:13:20, 17.26s/it][A + mmlu_mr: 34%|███████████████████████████████████████▏ | 131/385 [36:00<1:14:44, 17.66s/it][A + mmlu_mr: 34%|███████████████████████████████████████▍ | 132/385 [36:17<1:12:38, 17.23s/it][A + mmlu_mr: 35%|███████████████████████████████████████▋ | 133/385 [36:31<1:08:49, 16.39s/it][A + mmlu_mr: 35%|████████████████████████████████████████ | 134/385 [36:43<1:03:16, 15.13s/it][A + mmlu_mr: 35%|████████████████████████████████████████▎ | 135/385 [37:00<1:05:03, 15.61s/it][A + mmlu_mr: 35%|████████████████████████████████████████▌ | 136/385 [37:18<1:08:02, 16.40s/it][A + mmlu_mr: 36%|████████████████████████████████████████▉ | 137/385 [37:35<1:08:05, 16.47s/it][A + mmlu_mr: 36%|█████████████████████████████████████████▏ | 138/385 [37:51<1:08:03, 16.53s/it][A + mmlu_mr: 36%|█████████████████████████████████████████▌ | 139/385 [38:09<1:09:30, 16.95s/it][A + mmlu_mr: 36%|█████████████████████████████████████████▊ | 140/385 [38:23<1:05:32, 16.05s/it][A + mmlu_mr: 37%|██████████████████████████████████████████ | 141/385 [38:38<1:03:05, 15.51s/it][A + mmlu_mr: 37%|██████████████████████████████████████████▍ | 142/385 [38:52<1:01:51, 15.27s/it][A + mmlu_mr: 37%|██████████████████████████████████████████▋ | 143/385 [39:08<1:01:46, 15.32s/it][A + mmlu_mr: 37%|███████████████████████████████████████████ | 144/385 [39:22<1:00:00, 14.94s/it][A + mmlu_mr: 38%|████████████████████████████████████████████ | 145/385 [39:37<59:45, 14.94s/it][A + mmlu_mr: 38%|███████████████████████████████████████████▌ | 146/385 [39:54<1:01:55, 15.55s/it][A + mmlu_mr: 38%|███████████████████████████████████████████▉ | 147/385 [40:13<1:06:12, 16.69s/it][A + mmlu_mr: 38%|████████████████████████████████████████████▏ | 148/385 [40:30<1:05:59, 16.71s/it][A + mmlu_mr: 39%|████████████████████████████████████████████▌ | 149/385 [40:47<1:06:25, 16.89s/it][A + mmlu_mr: 39%|████████████████████████████████████████████▊ | 150/385 [41:02<1:03:42, 16.27s/it][A + mmlu_mr: 39%|█████████████████████████████████████████████ | 151/385 [41:18<1:03:05, 16.18s/it][A + mmlu_mr: 39%|█████████████████████████████████████████████▍ | 152/385 [41:35<1:03:38, 16.39s/it][A + mmlu_mr: 40%|█████████████████████████████████████████████▋ | 153/385 [41:50<1:02:00, 16.04s/it][A + mmlu_mr: 40%|██████████████████████████████████████████████ | 154/385 [42:06<1:01:37, 16.01s/it][A + mmlu_mr: 40%|██████████████████████████████████████████████▎ | 155/385 [42:25<1:04:43, 16.88s/it][A + mmlu_mr: 41%|██████████████████████████████████████████████▌ | 156/385 [42:42<1:05:19, 17.12s/it][A + mmlu_mr: 41%|██████████████████████████████████████████████▉ | 157/385 [42:58<1:03:04, 16.60s/it][A + mmlu_mr: 41%|███████████████████████████████████████████████▏ | 158/385 [43:15<1:03:27, 16.77s/it][A + mmlu_mr: 41%|███████████████████████████████████████████████▍ | 159/385 [43:32<1:03:05, 16.75s/it][A + mmlu_mr: 42%|███████████████████████████████████████████████▊ | 160/385 [43:47<1:01:26, 16.39s/it][A + mmlu_mr: 42%|████████████████████████████████████████████████▉ | 161/385 [44:02<59:43, 16.00s/it][A + mmlu_mr: 42%|█████████████████████████████████████████████████▏ | 162/385 [44:17<58:05, 15.63s/it][A + mmlu_mr: 42%|█████████████████████████████████████████████████▌ | 163/385 [44:31<56:17, 15.21s/it][A + mmlu_mr: 43%|█████████████████████████████████████████████████▊ | 164/385 [44:48<57:45, 15.68s/it][A + mmlu_mr: 43%|██████████████████████████████████████████████████▏ | 165/385 [45:05<58:34, 15.98s/it][A + mmlu_mr: 43%|██████████████████████████████████████████████████▍ | 166/385 [45:21<58:38, 16.07s/it][A + mmlu_mr: 43%|██████████████████████████████████████████████████▊ | 167/385 [45:38<59:27, 16.37s/it][A + mmlu_mr: 44%|███████████████████████████████████████████████████ | 168/385 [45:52<56:01, 15.49s/it][A + mmlu_mr: 44%|███████████████████████████████████████████████████▎ | 169/385 [46:08<57:01, 15.84s/it][A + mmlu_mr: 44%|███████████████████████████████████████████████████▋ | 170/385 [46:21<53:56, 15.05s/it][A + mmlu_mr: 44%|███████████████████████████████████████████████████▉ | 171/385 [46:38<55:37, 15.59s/it][A + mmlu_mr: 45%|████████████████████████████████████████████████████▎ | 172/385 [46:55<56:20, 15.87s/it][A + mmlu_mr: 45%|████████████████████████████████████████████████████▌ | 173/385 [47:12<57:25, 16.25s/it][A + mmlu_mr: 45%|████████████████████████████████████████████████████▉ | 174/385 [47:28<56:34, 16.09s/it][A + mmlu_mr: 45%|█████████████████████████████████████████████████████▏ | 175/385 [47:40<52:30, 15.00s/it][A + mmlu_mr: 46%|█████████████████████████████████████████████████████▍ | 176/385 [47:55<52:17, 15.01s/it][A + mmlu_mr: 46%|█████████████████████████████████████████████████████▊ | 177/385 [48:11<53:14, 15.36s/it][A + mmlu_mr: 46%|██████████████████████████████████████████████████████ | 178/385 [48:27<53:22, 15.47s/it][A + mmlu_mr: 46%|██████████████████████████████████████████████████████▍ | 179/385 [48:46<56:11, 16.37s/it][A + mmlu_mr: 47%|██████████████████████████████████████████████████████▋ | 180/385 [49:03<57:04, 16.70s/it][A + mmlu_mr: 47%|███████████████████████████████████████████████████████ | 181/385 [49:21<57:35, 16.94s/it][A + mmlu_mr: 47%|███████████████████████████████████████████████████████▎ | 182/385 [49:37<57:18, 16.94s/it][A + mmlu_mr: 48%|███████████████████████████████████████████████████████▌ | 183/385 [49:57<59:58, 17.81s/it][A + mmlu_mr: 48%|███████████████████████████████████████████████████████▉ | 184/385 [50:11<55:49, 16.66s/it][A + mmlu_mr: 48%|████████████████████████████████████████████████████████▏ | 185/385 [50:27<54:37, 16.39s/it][A + mmlu_mr: 48%|████████████████████████████████████████████████████████▌ | 186/385 [50:45<56:14, 16.96s/it][A + mmlu_mr: 49%|████████████████████████████████████████████████████████▊ | 187/385 [50:58<51:39, 15.66s/it][A + mmlu_mr: 49%|█████████████████████████████████████████████████████████▏ | 188/385 [51:15<53:04, 16.16s/it][A + mmlu_mr: 49%|█████████████████████████████████████████████████████████▍ | 189/385 [51:31<52:25, 16.05s/it][A + mmlu_mr: 49%|█████████████████████████████████████████████████████████▋ | 190/385 [51:45<49:57, 15.37s/it][A + mmlu_mr: 50%|██████████████████████████████████████████████████████████ | 191/385 [52:05<54:31, 16.86s/it][A + mmlu_mr: 50%|██████████████████████████████████████████████████████████▎ | 192/385 [52:26<57:37, 17.91s/it][A + mmlu_mr: 50%|██████████████████████████████████████████████████████████▋ | 193/385 [52:46<59:19, 18.54s/it][A + mmlu_mr: 50%|██████████████████████████████████████████████████████████▉ | 194/385 [53:03<58:03, 18.24s/it][A + mmlu_mr: 51%|███████████████████████████████████████████████████████████▎ | 195/385 [53:20<56:43, 17.91s/it][A + mmlu_mr: 51%|███████████████████████████████████████████████████████████▌ | 196/385 [53:39<56:56, 18.08s/it][A + mmlu_mr: 51%|███████████████████████████████████████████████████████████▊ | 197/385 [53:53<52:35, 16.79s/it][A + mmlu_mr: 51%|████████████████████████████████████████████████████████████▏ | 198/385 [54:11<54:08, 17.37s/it][A + mmlu_mr: 52%|████████████████████████████████████████████████████████████▍ | 199/385 [54:27<52:23, 16.90s/it][A + mmlu_mr: 52%|████████████████████████████████████████████████████████████▊ | 200/385 [54:44<51:53, 16.83s/it][A + mmlu_mr: 52%|█████████████████████████████████████████████████████████████ | 201/385 [55:02<53:21, 17.40s/it][A + mmlu_mr: 52%|█████████████████████████████████████████████████████████████▍ | 202/385 [55:19<52:03, 17.07s/it][A + mmlu_mr: 53%|█████████████████████████████████████████████████████████████▋ | 203/385 [55:35<51:12, 16.88s/it][A + mmlu_mr: 53%|█████████████████████████████████████████████████████████████▉ | 204/385 [55:52<51:12, 16.98s/it][A + mmlu_mr: 53%|██████████████████████████████████████████████████████████████▎ | 205/385 [56:08<49:27, 16.48s/it][A + mmlu_mr: 54%|██████████████████████████████████████████████████████████████▌ | 206/385 [56:22<47:33, 15.94s/it][A + mmlu_mr: 54%|██████████████████████████████████████████████████████████████▉ | 207/385 [56:42<50:20, 16.97s/it][A + mmlu_mr: 54%|███████████████████████████████████████████████████████████████▏ | 208/385 [56:56<47:36, 16.14s/it][A + mmlu_mr: 54%|███████████████████████████████████████████████████████████████▌ | 209/385 [57:14<48:53, 16.67s/it][A + mmlu_mr: 55%|███████████████████████████████████████████████████████████████▊ | 210/385 [57:28<46:19, 15.88s/it][A + mmlu_mr: 55%|████████████████████████████████████████████████████████████████ | 211/385 [57:43<45:09, 15.57s/it][A + mmlu_mr: 55%|████████████████████████████████████████████████████████████████▍ | 212/385 [57:59<45:13, 15.68s/it][A + mmlu_mr: 55%|████████████████████████████████████████████████████████████████▋ | 213/385 [58:16<46:17, 16.15s/it][A + mmlu_mr: 56%|█████████████████████████████████████████████████████████████████ | 214/385 [58:30<43:54, 15.41s/it][A + mmlu_mr: 56%|█████████████████████████████████████████████████████████████████▎ | 215/385 [58:43<42:16, 14.92s/it][A + mmlu_mr: 56%|█████████████████████████████████████████████████████████████████▋ | 216/385 [59:00<43:06, 15.30s/it][A + mmlu_mr: 56%|█████████████████████████████████████████████████████████████████▉ | 217/385 [59:19<46:04, 16.45s/it][A + mmlu_mr: 57%|██████████████████████████████████████████████████████████████████▏ | 218/385 [59:35<46:02, 16.54s/it][A + mmlu_mr: 57%|██████████████████████████████████████████████████████████████████▌ | 219/385 [59:50<44:18, 16.01s/it][A + mmlu_mr: 57%|█████████████████████████████████████████████████████████████████▋ | 220/385 [1:00:07<44:58, 16.35s/it][A + mmlu_mr: 57%|██████████████████████████████████████████████████████████████████ | 221/385 [1:00:26<46:20, 16.96s/it][A + mmlu_mr: 58%|██████████████████████████████████████████████████████████████████▎ | 222/385 [1:00:43<45:56, 16.91s/it][A + mmlu_mr: 58%|██████████████████████████████████████████████████████████████████▌ | 223/385 [1:01:00<46:10, 17.10s/it][A + mmlu_mr: 58%|██████████████████████████████████████████████████████████████████▉ | 224/385 [1:01:17<45:36, 17.00s/it][A + mmlu_mr: 58%|███████████████████████████████████████████████████████████████████▏ | 225/385 [1:01:35<46:24, 17.40s/it][A + mmlu_mr: 59%|███████████████████████████████████████████████████████████████████▌ | 226/385 [1:01:51<44:53, 16.94s/it][A + mmlu_mr: 59%|███████████████████████████████████████████████████████████████████▊ | 227/385 [1:02:07<44:07, 16.75s/it][A + mmlu_mr: 59%|████████████████████████████████████████████████████████████████████ | 228/385 [1:02:23<42:31, 16.25s/it][A + mmlu_mr: 59%|████████████████████████████████████████████████████████████████████▍ | 229/385 [1:02:40<43:11, 16.61s/it][A + mmlu_mr: 60%|████████████████████████████████████████████████████████████████████▋ | 230/385 [1:02:56<42:37, 16.50s/it][A + mmlu_mr: 60%|█████████████████████████████████████████████████████████████████████ | 231/385 [1:03:15<44:19, 17.27s/it][A + mmlu_mr: 60%|█████████████████████████████████████████████████████████████████████▎ | 232/385 [1:03:32<43:51, 17.20s/it][A + mmlu_mr: 61%|█████████████████████████████████████████████████████████████████████▌ | 233/385 [1:03:49<42:58, 16.96s/it][A + mmlu_mr: 61%|█████████████████████████████████████████████████████████████████████▉ | 234/385 [1:04:05<42:29, 16.89s/it][A + mmlu_mr: 61%|██████████████████████████████████████████████████████████████████████▏ | 235/385 [1:04:22<42:08, 16.86s/it][A + mmlu_mr: 61%|██████████████████████████████████████████████████████████████████████▍ | 236/385 [1:04:37<40:32, 16.33s/it][A + mmlu_mr: 62%|██████████████████████████████████████████████████████████████████████▊ | 237/385 [1:04:54<40:53, 16.58s/it][A + mmlu_mr: 62%|███████████████████████████████████████████████████████████████████████ | 238/385 [1:05:09<39:25, 16.10s/it][A + mmlu_mr: 62%|███████████████████████████████████████████████████████████████████████▍ | 239/385 [1:05:27<39:58, 16.42s/it][A + mmlu_mr: 62%|███████████████████████████████████████████████████████████████████████▋ | 240/385 [1:05:41<37:55, 15.69s/it][A + mmlu_mr: 63%|███████████████████████████████████████████████████████████████████████▉ | 241/385 [1:06:00<39:58, 16.65s/it][A + mmlu_mr: 63%|████████████████████████████████████████████████████████████████████████▎ | 242/385 [1:06:15<39:02, 16.38s/it][A + mmlu_mr: 63%|████████████████████████████████████████████████████████████████████████▌ | 243/385 [1:06:29<36:41, 15.50s/it][A + mmlu_mr: 63%|████████████████████████████████████████████████████████████████████████▉ | 244/385 [1:06:43<35:25, 15.08s/it][A + mmlu_mr: 64%|█████████████████████████████████████████████████████████████████████████▏ | 245/385 [1:06:58<35:18, 15.13s/it][A + mmlu_mr: 64%|█████████████████████████████████████████████████████████████████████████▍ | 246/385 [1:07:12<34:27, 14.87s/it][A + mmlu_mr: 64%|█████████████████████████████████████████████████████████████████████████▊ | 247/385 [1:07:27<34:01, 14.79s/it][A + mmlu_mr: 64%|██████████████████████████████████████████████████████████████████████████ | 248/385 [1:07:43<34:50, 15.26s/it][A + mmlu_mr: 65%|██████████████████████████████████████████████████████████████████████████▍ | 249/385 [1:07:56<33:10, 14.63s/it][A + mmlu_mr: 65%|██████████████████████████████████████████████████████████████████████████▋ | 250/385 [1:08:17<36:43, 16.32s/it][A + mmlu_mr: 65%|██████████████████████████████████████████████████████████████████████████▉ | 251/385 [1:08:34<37:02, 16.59s/it][A + mmlu_mr: 65%|███████████████████████████████████████████████████████████████████████████▎ | 252/385 [1:08:53<38:25, 17.33s/it][A + mmlu_mr: 66%|███████████████████████████████████████████████████████████████████████████▌ | 253/385 [1:09:07<35:52, 16.30s/it][A + mmlu_mr: 66%|███████████████████████████████████████████████████████████████████████████▊ | 254/385 [1:09:22<34:46, 15.92s/it][A + mmlu_mr: 66%|████████████████████████████████████████████████████████████████████████████▏ | 255/385 [1:09:38<34:19, 15.85s/it][A + mmlu_mr: 66%|████████████████████████████████████████████████████████████████████████████▍ | 256/385 [1:09:55<34:56, 16.25s/it][A + mmlu_mr: 67%|████████████████████████████████████████████████████████████████████████████▊ | 257/385 [1:10:09<33:38, 15.77s/it][A + mmlu_mr: 67%|█████████████████████████████████████████████████████████████████████████████ | 258/385 [1:10:26<33:50, 15.99s/it][A + mmlu_mr: 67%|█████████████████████████████████████████████████████████████████████████████▎ | 259/385 [1:10:42<33:41, 16.05s/it][A + mmlu_mr: 68%|█████████████████████████████████████████████████████████████████████████████▋ | 260/385 [1:11:03<36:39, 17.60s/it][A + mmlu_mr: 68%|█████████████████████████████████████████████████████████████████████████████▉ | 261/385 [1:11:19<35:12, 17.04s/it][A + mmlu_mr: 68%|██████████████████████████████████████████████████████████████████████████████▎ | 262/385 [1:11:38<35:47, 17.46s/it][A + mmlu_mr: 68%|██████████████████████████████████████████████████████████████████████████████▌ | 263/385 [1:11:52<33:27, 16.45s/it][A + mmlu_mr: 69%|██████████████████████████████████████████████████████████████████████████████▊ | 264/385 [1:12:07<32:15, 15.99s/it][A + mmlu_mr: 69%|███████████████████████████████████████████████████████████████████████████████▏ | 265/385 [1:12:21<30:47, 15.39s/it][A + mmlu_mr: 69%|███████████████████████████████████████████████████████████████████████████████▍ | 266/385 [1:12:34<29:37, 14.94s/it][A + mmlu_mr: 69%|███████████████████████████████████████████████████████████████████████████████▊ | 267/385 [1:12:50<29:44, 15.13s/it][A + mmlu_mr: 70%|████████████████████████████████████████████████████████████████████████████████ | 268/385 [1:13:05<29:16, 15.02s/it][A + mmlu_mr: 70%|████████████████████████████████████████████████████████████████████████████████▎ | 269/385 [1:13:19<28:50, 14.91s/it][A + mmlu_mr: 70%|████████████████████████████████████████████████████████████████████████████████▋ | 270/385 [1:13:35<28:52, 15.07s/it][A + mmlu_mr: 70%|████████████████████████████████████████████████████████████████████████████████▉ | 271/385 [1:13:49<28:14, 14.87s/it][A + mmlu_mr: 71%|█████████████████████████████████████████████████████████████████████████████████▏ | 272/385 [1:14:06<28:48, 15.30s/it][A + mmlu_mr: 71%|█████████████████████████████████████████████████████████████████████████████████▌ | 273/385 [1:14:21<28:49, 15.44s/it][A + mmlu_mr: 71%|█████████████████████████████████████████████████████████████████████████████████▊ | 274/385 [1:14:38<29:28, 15.93s/it][A + mmlu_mr: 71%|██████████████████████████████████████████████████████████████████████████████████▏ | 275/385 [1:14:52<28:01, 15.28s/it][A + mmlu_mr: 72%|██████████████████████████████████████████████████████████████████████████████████▍ | 276/385 [1:15:06<27:06, 14.92s/it][A + mmlu_mr: 72%|██████████████████████████████████████████████████████████████████████████████████▋ | 277/385 [1:15:24<28:17, 15.72s/it][A + mmlu_mr: 72%|███████████████████████████████████████████████████████████████████████████████████ | 278/385 [1:15:39<28:01, 15.71s/it][A + mmlu_mr: 72%|███████████████████████████████████████████████████████████████████████████████████▎ | 279/385 [1:15:56<28:21, 16.05s/it][A + mmlu_mr: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 280/385 [1:16:13<28:30, 16.30s/it][A + mmlu_mr: 73%|███████████████████████████████████████████████████████████████████████████████████▉ | 281/385 [1:16:29<27:54, 16.10s/it][A + mmlu_mr: 73%|████████████████████████████████████████████████████████████████████████████████████▏ | 282/385 [1:16:47<28:29, 16.60s/it][A + mmlu_mr: 74%|████████████████████████████████████████████████████████████████████████████████████▌ | 283/385 [1:17:03<28:01, 16.48s/it][A + mmlu_mr: 74%|████████████████████████████████████████████████████████████████████████████████████▊ | 284/385 [1:17:16<26:14, 15.59s/it][A + mmlu_mr: 74%|█████████████████████████████████████████████████████████████████████████████████████▏ | 285/385 [1:17:31<25:27, 15.27s/it][A + mmlu_mr: 74%|█████████████████████████████████████████████████████████████████████████████████████▍ | 286/385 [1:17:51<27:40, 16.78s/it][A + mmlu_mr: 75%|█████████████████████████████████████████████████████████████████████████████████████▋ | 287/385 [1:18:04<25:38, 15.69s/it][A + mmlu_mr: 75%|██████████████████████████████████████████████████████████████████████████████████████ | 288/385 [1:18:21<25:51, 16.00s/it][A + mmlu_mr: 75%|██████████████████████████████████████████████████████████████████████████████████████▎ | 289/385 [1:18:38<25:57, 16.22s/it][A + mmlu_mr: 75%|██████████████████████████████████████████████████████████████████████████████████████▌ | 290/385 [1:18:53<25:08, 15.88s/it][A + mmlu_mr: 76%|██████████████████████████████████████████████████████████████████████████████████████▉ | 291/385 [1:19:06<23:41, 15.13s/it][A + mmlu_mr: 76%|███████████████████████████████████████████████████████████████████████████████████████▏ | 292/385 [1:19:25<24:59, 16.13s/it][A + mmlu_mr: 76%|███████████████████████████████████████████████████████████████████████████████████████▌ | 293/385 [1:19:39<24:06, 15.72s/it][A + mmlu_mr: 76%|███████████████████████████████████████████████████████████████████████████████████████▊ | 294/385 [1:19:57<24:49, 16.37s/it][A + mmlu_mr: 77%|████████████████████████████████████████████████████████████████████████████████████████ | 295/385 [1:20:15<25:01, 16.68s/it][A + mmlu_mr: 77%|████████████████████████████████████████████████████████████████████████████████████████▍ | 296/385 [1:20:30<24:12, 16.32s/it][A + mmlu_mr: 77%|████████████████████████████████████████████████████████████████████████████████████████▋ | 297/385 [1:20:44<22:42, 15.49s/it][A + mmlu_mr: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 298/385 [1:21:02<23:52, 16.46s/it][A + mmlu_mr: 78%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 299/385 [1:21:21<24:35, 17.16s/it][A + mmlu_mr: 78%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 300/385 [1:21:35<23:00, 16.25s/it][A + mmlu_mr: 78%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 301/385 [1:21:57<25:06, 17.93s/it][A + mmlu_mr: 78%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 302/385 [1:22:11<22:59, 16.62s/it][A + mmlu_mr: 79%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 303/385 [1:22:27<22:34, 16.52s/it][A + mmlu_mr: 79%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 304/385 [1:22:45<22:52, 16.95s/it][A + mmlu_mr: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 305/385 [1:23:01<22:15, 16.69s/it][A + mmlu_mr: 79%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 306/385 [1:23:22<23:30, 17.85s/it][A + mmlu_mr: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 307/385 [1:23:36<21:55, 16.87s/it][A + mmlu_mr: 80%|████████████████████████████████████████████████████████████████████████████████████████████ | 308/385 [1:23:52<21:07, 16.46s/it][A + mmlu_mr: 80%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 309/385 [1:24:05<19:48, 15.63s/it][A + mmlu_mr: 81%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 310/385 [1:24:23<20:18, 16.25s/it][A + mmlu_mr: 81%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 311/385 [1:24:39<19:49, 16.07s/it][A + mmlu_mr: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 312/385 [1:24:52<18:34, 15.27s/it][A + mmlu_mr: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 313/385 [1:25:08<18:28, 15.40s/it][A + mmlu_mr: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 314/385 [1:25:23<18:03, 15.26s/it][A + mmlu_mr: 82%|██████████████████████████████████████████████████████████████████████████████████████████████ | 315/385 [1:25:36<16:53, 14.48s/it][A + mmlu_mr: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 316/385 [1:25:50<16:40, 14.50s/it][A + mmlu_mr: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 317/385 [1:26:07<17:11, 15.16s/it][A + mmlu_mr: 83%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 318/385 [1:26:27<18:31, 16.59s/it][A + mmlu_mr: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 319/385 [1:26:41<17:39, 16.05s/it][A + mmlu_mr: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 320/385 [1:26:57<17:11, 15.86s/it][A + mmlu_mr: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 321/385 [1:27:15<17:36, 16.50s/it][A + mmlu_mr: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 322/385 [1:27:31<17:14, 16.43s/it][A + mmlu_mr: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 323/385 [1:27:52<18:18, 17.71s/it][A + mmlu_mr: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 324/385 [1:28:08<17:24, 17.12s/it][A + mmlu_mr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 325/385 [1:28:23<16:44, 16.74s/it][A + mmlu_mr: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 326/385 [1:28:41<16:44, 17.03s/it][A + mmlu_mr: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 327/385 [1:29:03<17:52, 18.49s/it][A + mmlu_mr: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 328/385 [1:29:19<16:48, 17.70s/it][A + mmlu_mr: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 329/385 [1:29:36<16:13, 17.39s/it][A + mmlu_mr: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 330/385 [1:29:52<15:35, 17.01s/it][A + mmlu_mr: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 331/385 [1:30:08<15:07, 16.81s/it][A + mmlu_mr: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 332/385 [1:30:25<14:45, 16.70s/it][A + mmlu_mr: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 333/385 [1:30:41<14:20, 16.55s/it][A + mmlu_mr: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 334/385 [1:30:57<13:57, 16.42s/it][A + mmlu_mr: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 335/385 [1:31:16<14:18, 17.18s/it][A + mmlu_mr: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 336/385 [1:31:32<13:47, 16.89s/it][A + mmlu_mr: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/385 [1:31:48<13:12, 16.50s/it][A + mmlu_mr: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/385 [1:32:03<12:35, 16.08s/it][A + mmlu_mr: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 339/385 [1:32:19<12:27, 16.24s/it][A + mmlu_mr: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 340/385 [1:32:34<11:53, 15.85s/it][A + mmlu_mr: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 341/385 [1:32:49<11:17, 15.39s/it][A + mmlu_mr: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 342/385 [1:33:06<11:26, 15.97s/it][A + mmlu_mr: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 343/385 [1:33:24<11:42, 16.73s/it][A + mmlu_mr: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 344/385 [1:33:41<11:19, 16.57s/it][A + mmlu_mr: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 345/385 [1:34:01<11:43, 17.59s/it][A + mmlu_mr: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 346/385 [1:34:16<10:59, 16.92s/it][A + mmlu_mr: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 347/385 [1:34:34<10:57, 17.31s/it][A + mmlu_mr: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 348/385 [1:34:54<11:14, 18.22s/it][A + mmlu_mr: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 349/385 [1:35:09<10:21, 17.25s/it][A + mmlu_mr: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 350/385 [1:35:26<09:52, 16.93s/it][A + mmlu_mr: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 351/385 [1:35:42<09:30, 16.79s/it][A + mmlu_mr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 352/385 [1:35:57<08:57, 16.28s/it][A + mmlu_mr: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 353/385 [1:36:16<09:04, 17.01s/it][A + mmlu_mr: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 354/385 [1:36:32<08:37, 16.71s/it][A + mmlu_mr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 355/385 [1:36:49<08:24, 16.82s/it][A + mmlu_mr: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 356/385 [1:37:06<08:09, 16.86s/it][A + mmlu_mr: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 357/385 [1:37:25<08:06, 17.37s/it][A + mmlu_mr: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 358/385 [1:37:38<07:17, 16.21s/it][A + mmlu_mr: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 359/385 [1:37:55<07:04, 16.34s/it][A + mmlu_mr: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 360/385 [1:38:10<06:37, 15.92s/it][A + mmlu_mr: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 361/385 [1:38:25<06:16, 15.70s/it][A + mmlu_mr: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 362/385 [1:38:41<06:02, 15.78s/it][A + mmlu_mr: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 363/385 [1:39:00<06:07, 16.68s/it][A + mmlu_mr: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 364/385 [1:39:16<05:47, 16.53s/it][A + mmlu_mr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 365/385 [1:39:32<05:26, 16.33s/it][A + mmlu_mr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 366/385 [1:39:46<04:56, 15.62s/it][A + mmlu_mr: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 367/385 [1:39:59<04:30, 15.01s/it][A + mmlu_mr: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 368/385 [1:40:16<04:24, 15.56s/it][A + mmlu_mr: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 369/385 [1:40:33<04:15, 15.95s/it][A + mmlu_mr: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 370/385 [1:40:48<03:53, 15.57s/it][A + mmlu_mr: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 371/385 [1:41:04<03:43, 15.99s/it][A + mmlu_mr: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 372/385 [1:41:22<03:32, 16.31s/it][A + mmlu_mr: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 373/385 [1:41:35<03:06, 15.56s/it][A + mmlu_mr: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 374/385 [1:41:51<02:52, 15.70s/it][A + mmlu_mr: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 375/385 [1:42:11<02:49, 16.95s/it][A + mmlu_mr: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 376/385 [1:42:29<02:34, 17.19s/it][A + mmlu_mr: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 377/385 [1:42:45<02:15, 16.88s/it][A + mmlu_mr: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 378/385 [1:43:02<01:58, 16.95s/it][A + mmlu_mr: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 379/385 [1:43:19<01:41, 16.95s/it][A + mmlu_mr: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 380/385 [1:43:33<01:20, 16.02s/it][A + mmlu_mr: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 381/385 [1:43:52<01:07, 16.84s/it][A + mmlu_mr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 382/385 [1:44:09<00:50, 16.84s/it][A + mmlu_mr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 383/385 [1:44:25<00:33, 16.70s/it][A + mmlu_mr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 384/385 [1:44:42<00:16, 16.90s/it][A + mmlu_mr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 385/385 [1:44:57<00:00, 16.07s/it][A mmlu_mr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 385/385 [1:44:57<00:00, 16.36s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_mr_acc 0.2565581093153578 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_mr_acc_norm 0.2812474620319987 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 14:39:30,122 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 14:39:30,122 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:30,251 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 14:39:30,251 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:30,380 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 14:39:30,380 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:30,509 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 14:39:30,509 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 14:39:30,509 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 14:39:30,639 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 14:39:30,640 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_mr_acc'} +2024-05-31 14:39:30,705 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 14:39:30,705 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1237, 'value': 0.2565581093153578} +2024-05-31 14:39:30,771 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 14:39:31,423 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 14:39:31,423 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:31,551 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 14:39:31,552 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:31,680 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 14:39:31,680 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:31,808 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 14:39:31,808 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 14:39:31,808 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 14:39:31,938 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 14:39:31,938 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_mr_acc_norm'} +2024-05-31 14:39:32,003 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 14:39:32,003 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1238, 'value': 0.2812474620319987} +2024-05-31 14:39:32,068 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 65%|█████████████████████████████████████████████████████████████████████▋ | 80/124 [55:52:01<74:40:54, 6110.33s/it]['mmlu_ne'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 14:39:32,731 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 14:39:32,732 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:32,862 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 14:39:32,862 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:32,993 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 14:39:32,993 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 14:39:33,124 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 14:39:33,125 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 14:39:33,125 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_ne'} +2024-05-31 14:39:33,257 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_ne task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 9.47 examples/s][A + Generating test split: 3262 examples [00:00, 18754.60 examples/s][A + Generating test split: 6787 examples [00:00, 25707.39 examples/s][A + Generating test split: 10000 examples [00:00, 27948.71 examples/s][A Generating test split: 12453 examples [00:00, 25227.16 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 215 examples [00:00, 25633.91 examples/s] +Running loglikelihood requests + + mmlu_ne: 0%| | 0/390 [00:00<?, ?it/s][A + mmlu_ne: 0%|▎ | 1/390 [00:15<1:38:54, 15.26s/it][A + mmlu_ne: 1%|▌ | 2/390 [00:31<1:43:00, 15.93s/it][A + mmlu_ne: 1%|▉ | 3/390 [00:50<1:52:16, 17.41s/it][A + mmlu_ne: 1%|█▏ | 4/390 [01:05<1:44:38, 16.26s/it][A + mmlu_ne: 1%|█▌ | 5/390 [01:20<1:41:55, 15.88s/it][A + mmlu_ne: 2%|█▊ | 6/390 [01:38<1:46:24, 16.63s/it][A + mmlu_ne: 2%|██ | 7/390 [01:53<1:41:34, 15.91s/it][A + mmlu_ne: 2%|██▍ | 8/390 [02:10<1:43:41, 16.29s/it][A + mmlu_ne: 2%|██▋ | 9/390 [02:27<1:44:36, 16.47s/it][A + mmlu_ne: 3%|██▉ | 10/390 [02:45<1:48:35, 17.15s/it][A + mmlu_ne: 3%|███▎ | 11/390 [02:58<1:40:27, 15.90s/it][A + mmlu_ne: 3%|███▌ | 12/390 [03:12<1:36:11, 15.27s/it][A + mmlu_ne: 3%|███▊ | 13/390 [03:28<1:37:11, 15.47s/it][A + mmlu_ne: 4%|████▏ | 14/390 [03:45<1:39:51, 15.94s/it][A + mmlu_ne: 4%|████▍ | 15/390 [03:59<1:36:24, 15.43s/it][A + mmlu_ne: 4%|████▊ | 16/390 [04:16<1:38:39, 15.83s/it][A + mmlu_ne: 4%|█████ | 17/390 [04:29<1:33:39, 15.07s/it][A + mmlu_ne: 5%|█████▎ | 18/390 [04:43<1:31:42, 14.79s/it][A + mmlu_ne: 5%|█████▋ | 19/390 [04:57<1:29:25, 14.46s/it][A + mmlu_ne: 5%|█████▉ | 20/390 [05:09<1:25:06, 13.80s/it][A + mmlu_ne: 5%|██████▏ | 21/390 [05:25<1:27:31, 14.23s/it][A + mmlu_ne: 6%|██████▌ | 22/390 [05:38<1:25:08, 13.88s/it][A + mmlu_ne: 6%|██████▊ | 23/390 [05:55<1:30:25, 14.78s/it][A + mmlu_ne: 6%|███████▏ | 24/390 [06:11<1:32:21, 15.14s/it][A + mmlu_ne: 6%|███████▍ | 25/390 [06:29<1:38:02, 16.12s/it][A + mmlu_ne: 7%|███████▋ | 26/390 [06:43<1:33:19, 15.38s/it][A + mmlu_ne: 7%|████████ | 27/390 [06:59<1:35:25, 15.77s/it][A + mmlu_ne: 7%|████████▎ | 28/390 [07:14<1:33:40, 15.53s/it][A + mmlu_ne: 7%|████████▋ | 29/390 [07:29<1:31:10, 15.15s/it][A + mmlu_ne: 8%|████████▉ | 30/390 [07:46<1:34:31, 15.75s/it][A + mmlu_ne: 8%|█████████▏ | 31/390 [08:00<1:32:20, 15.43s/it][A + mmlu_ne: 8%|█████████▌ | 32/390 [08:18<1:35:58, 16.09s/it][A + mmlu_ne: 8%|█████████▊ | 33/390 [08:34<1:34:56, 15.96s/it][A + mmlu_ne: 9%|██████████ | 34/390 [08:50<1:35:19, 16.07s/it][A + mmlu_ne: 9%|██████████▍ | 35/390 [09:06<1:34:57, 16.05s/it][A + mmlu_ne: 9%|██████████▋ | 36/390 [09:24<1:37:52, 16.59s/it][A + mmlu_ne: 9%|███████████ | 37/390 [09:40<1:36:59, 16.48s/it][A + mmlu_ne: 10%|███████████▎ | 38/390 [09:56<1:35:19, 16.25s/it][A + mmlu_ne: 10%|███████████▌ | 39/390 [10:07<1:26:56, 14.86s/it][A + mmlu_ne: 10%|███████████▉ | 40/390 [10:24<1:29:43, 15.38s/it][A + mmlu_ne: 11%|████████████▏ | 41/390 [10:41<1:32:30, 15.90s/it][A + mmlu_ne: 11%|████████████▍ | 42/390 [10:55<1:29:28, 15.43s/it][A + mmlu_ne: 11%|████████████▊ | 43/390 [11:10<1:26:55, 15.03s/it][A + mmlu_ne: 11%|█████████████ | 44/390 [11:23<1:23:54, 14.55s/it][A + mmlu_ne: 12%|█████████████▍ | 45/390 [11:38<1:23:54, 14.59s/it][A + mmlu_ne: 12%|█████████████▋ | 46/390 [11:52<1:23:55, 14.64s/it][A + mmlu_ne: 12%|█████████████▉ | 47/390 [12:07<1:23:45, 14.65s/it][A + mmlu_ne: 12%|██████████████▎ | 48/390 [12:21<1:21:34, 14.31s/it][A + mmlu_ne: 13%|██████████████▌ | 49/390 [12:34<1:19:11, 13.93s/it][A + mmlu_ne: 13%|██████████████▊ | 50/390 [12:49<1:20:34, 14.22s/it][A + mmlu_ne: 13%|███████████████▏ | 51/390 [13:03<1:21:01, 14.34s/it][A + mmlu_ne: 13%|███████████████▍ | 52/390 [13:18<1:21:34, 14.48s/it][A + mmlu_ne: 14%|███████████████▊ | 53/390 [13:31<1:18:51, 14.04s/it][A + mmlu_ne: 14%|████████████████ | 54/390 [13:46<1:20:21, 14.35s/it][A + mmlu_ne: 14%|████████████████▎ | 55/390 [14:03<1:23:54, 15.03s/it][A + mmlu_ne: 14%|████████████████▋ | 56/390 [14:17<1:21:58, 14.73s/it][A + mmlu_ne: 15%|████████████████▉ | 57/390 [14:33<1:23:34, 15.06s/it][A + mmlu_ne: 15%|█████████████████▎ | 58/390 [14:48<1:23:51, 15.16s/it][A + mmlu_ne: 15%|█████████████████▌ | 59/390 [15:01<1:20:38, 14.62s/it][A + mmlu_ne: 15%|█████████████████▊ | 60/390 [15:17<1:21:34, 14.83s/it][A + mmlu_ne: 16%|██████████████████▏ | 61/390 [15:32<1:21:55, 14.94s/it][A + mmlu_ne: 16%|██████████████████▍ | 62/390 [15:47<1:21:15, 14.86s/it][A + mmlu_ne: 16%|██████████████████▋ | 63/390 [16:07<1:30:19, 16.57s/it][A + mmlu_ne: 16%|███████████████████ | 64/390 [16:24<1:30:51, 16.72s/it][A + mmlu_ne: 17%|███████████████████▎ | 65/390 [16:40<1:29:28, 16.52s/it][A + mmlu_ne: 17%|███████████████████▋ | 66/390 [16:57<1:29:10, 16.51s/it][A + mmlu_ne: 17%|███████████████████▉ | 67/390 [17:12<1:27:06, 16.18s/it][A + mmlu_ne: 17%|████████████████████▏ | 68/390 [17:28<1:26:15, 16.07s/it][A + mmlu_ne: 18%|████████████████████▌ | 69/390 [17:42<1:22:36, 15.44s/it][A + mmlu_ne: 18%|████████████████████▊ | 70/390 [17:56<1:19:43, 14.95s/it][A + mmlu_ne: 18%|█████████████████████ | 71/390 [18:12<1:22:09, 15.45s/it][A + mmlu_ne: 18%|█████████████████████▍ | 72/390 [18:28<1:22:35, 15.58s/it][A + mmlu_ne: 19%|█████████████████████▋ | 73/390 [18:44<1:23:11, 15.74s/it][A + mmlu_ne: 19%|██████████████████████ | 74/390 [18:56<1:15:49, 14.40s/it][A + mmlu_ne: 19%|██████████████████████▎ | 75/390 [19:11<1:16:40, 14.60s/it][A + mmlu_ne: 19%|██████████████████████▌ | 76/390 [19:26<1:17:28, 14.80s/it][A + mmlu_ne: 20%|██████████████████████▉ | 77/390 [19:43<1:20:12, 15.38s/it][A + mmlu_ne: 20%|███████████████████████▏ | 78/390 [19:57<1:18:10, 15.03s/it][A + mmlu_ne: 20%|███████████████████████▍ | 79/390 [20:14<1:21:10, 15.66s/it][A + mmlu_ne: 21%|███████████████████████▊ | 80/390 [20:29<1:20:24, 15.56s/it][A + mmlu_ne: 21%|████████████████████████ | 81/390 [20:45<1:20:24, 15.61s/it][A + mmlu_ne: 21%|████████████████████████▍ | 82/390 [20:59<1:17:55, 15.18s/it][A + mmlu_ne: 21%|████████████████████████▋ | 83/390 [21:14<1:17:10, 15.08s/it][A + mmlu_ne: 22%|████████████████████████▉ | 84/390 [21:31<1:20:11, 15.72s/it][A + mmlu_ne: 22%|█████████████████████████▎ | 85/390 [21:45<1:17:18, 15.21s/it][A + mmlu_ne: 22%|█████████████████████████▌ | 86/390 [22:00<1:16:38, 15.13s/it][A + mmlu_ne: 22%|█████████████████████████▉ | 87/390 [22:14<1:14:14, 14.70s/it][A + mmlu_ne: 23%|██████████████████████████▏ | 88/390 [22:33<1:20:09, 15.93s/it][A + mmlu_ne: 23%|██████████████████████████▍ | 89/390 [22:51<1:23:06, 16.57s/it][A + mmlu_ne: 23%|██████████████████████████▊ | 90/390 [23:02<1:15:23, 15.08s/it][A + mmlu_ne: 23%|███████████████████████████ | 91/390 [23:17<1:14:36, 14.97s/it][A + mmlu_ne: 24%|███████████████████████████▎ | 92/390 [23:32<1:14:13, 14.95s/it][A + mmlu_ne: 24%|███████████████████████████▋ | 93/390 [23:48<1:15:23, 15.23s/it][A + mmlu_ne: 24%|███████████████████████████▉ | 94/390 [24:03<1:14:39, 15.13s/it][A + mmlu_ne: 24%|████████████████████████████▎ | 95/390 [24:19<1:16:18, 15.52s/it][A + mmlu_ne: 25%|████████████████████████████▌ | 96/390 [24:36<1:17:24, 15.80s/it][A + mmlu_ne: 25%|████████████████████████████▊ | 97/390 [24:52<1:17:37, 15.90s/it][A + mmlu_ne: 25%|█████████████████████████████▏ | 98/390 [25:08<1:17:04, 15.84s/it][A + mmlu_ne: 25%|█████████████████████████████▍ | 99/390 [25:21<1:13:21, 15.13s/it][A + mmlu_ne: 26%|█████████████████████████████▍ | 100/390 [25:41<1:20:08, 16.58s/it][A + mmlu_ne: 26%|█████████████████████████████▊ | 101/390 [25:58<1:19:57, 16.60s/it][A + mmlu_ne: 26%|██████████████████████████████ | 102/390 [26:11<1:15:35, 15.75s/it][A + mmlu_ne: 26%|██████████████████████████████▎ | 103/390 [26:30<1:18:57, 16.51s/it][A + mmlu_ne: 27%|██████████████████████████████▋ | 104/390 [26:48<1:21:13, 17.04s/it][A + mmlu_ne: 27%|██████████████████████████████▉ | 105/390 [27:04<1:19:22, 16.71s/it][A + mmlu_ne: 27%|███████████████████████████████▎ | 106/390 [27:21<1:19:47, 16.86s/it][A + mmlu_ne: 27%|███████████████████████████████▌ | 107/390 [27:35<1:15:59, 16.11s/it][A + mmlu_ne: 28%|███████████████████████████████▊ | 108/390 [27:54<1:19:37, 16.94s/it][A + mmlu_ne: 28%|████████████████████████████████▏ | 109/390 [28:12<1:20:53, 17.27s/it][A + mmlu_ne: 28%|████████████████████████████████▍ | 110/390 [28:26<1:15:32, 16.19s/it][A + mmlu_ne: 28%|████████████████████████████████▋ | 111/390 [28:41<1:13:53, 15.89s/it][A + mmlu_ne: 29%|█████████████████████████████████ | 112/390 [28:56<1:11:53, 15.52s/it][A + mmlu_ne: 29%|█████████████████████████████████▎ | 113/390 [29:12<1:12:59, 15.81s/it][A + mmlu_ne: 29%|█████████████████████████████████▌ | 114/390 [29:28<1:12:40, 15.80s/it][A + mmlu_ne: 29%|█████████████████████████████████▉ | 115/390 [29:43<1:10:49, 15.45s/it][A + mmlu_ne: 30%|██████████████████████████████████▏ | 116/390 [29:57<1:08:52, 15.08s/it][A + mmlu_ne: 30%|██████████████████████████████████▌ | 117/390 [30:15<1:13:00, 16.05s/it][A + mmlu_ne: 30%|██████████████████████████████████▊ | 118/390 [30:32<1:13:56, 16.31s/it][A + mmlu_ne: 31%|███████████████████████████████████ | 119/390 [30:50<1:15:53, 16.80s/it][A + mmlu_ne: 31%|███████████████████████████████████▍ | 120/390 [31:10<1:19:32, 17.67s/it][A + mmlu_ne: 31%|███████████████████████████████████▋ | 121/390 [31:26<1:16:44, 17.12s/it][A + mmlu_ne: 31%|███████████████████████████████████▉ | 122/390 [31:42<1:15:10, 16.83s/it][A + mmlu_ne: 32%|████████████████████████████████████▎ | 123/390 [32:02<1:19:34, 17.88s/it][A + mmlu_ne: 32%|████████████████████████████████████▌ | 124/390 [32:19<1:17:24, 17.46s/it][A + mmlu_ne: 32%|████████████████████████████████████▊ | 125/390 [32:30<1:09:06, 15.65s/it][A + mmlu_ne: 32%|█████████████████████████████████████▏ | 126/390 [32:44<1:07:01, 15.23s/it][A + mmlu_ne: 33%|█████████████████████████████████████▍ | 127/390 [32:59<1:06:10, 15.10s/it][A + mmlu_ne: 33%|█████████████████████████████████████▋ | 128/390 [33:14<1:05:43, 15.05s/it][A + mmlu_ne: 33%|██████████████████████████████████████ | 129/390 [33:31<1:07:42, 15.56s/it][A + mmlu_ne: 33%|██████████████████████████████████████▎ | 130/390 [33:48<1:09:44, 16.09s/it][A + mmlu_ne: 34%|██████████████████████████████████████▋ | 131/390 [34:03<1:07:24, 15.61s/it][A + mmlu_ne: 34%|██████████████████████████████████████▉ | 132/390 [34:16<1:04:47, 15.07s/it][A + mmlu_ne: 34%|███████████████████████████████████████▏ | 133/390 [34:33<1:06:25, 15.51s/it][A + mmlu_ne: 34%|███████████████████████████████████████▌ | 134/390 [34:52<1:10:10, 16.45s/it][A + mmlu_ne: 35%|███████████████████████████████████████▊ | 135/390 [35:10<1:12:21, 17.02s/it][A + mmlu_ne: 35%|████████████████████████████████████████ | 136/390 [35:25<1:09:17, 16.37s/it][A + mmlu_ne: 35%|████████████████████████████████████████▍ | 137/390 [35:38<1:05:32, 15.54s/it][A + mmlu_ne: 35%|████████████████████████████████████████▋ | 138/390 [35:53<1:04:22, 15.33s/it][A + mmlu_ne: 36%|████████████████████████████████████████▉ | 139/390 [36:07<1:02:41, 14.99s/it][A + mmlu_ne: 36%|█████████████████████████████████████████▎ | 140/390 [36:23<1:02:37, 15.03s/it][A + mmlu_ne: 36%|█████████████████████████████████████████▌ | 141/390 [36:39<1:04:42, 15.59s/it][A + mmlu_ne: 36%|█████████████████████████████████████████▊ | 142/390 [36:58<1:07:33, 16.35s/it][A + mmlu_ne: 37%|██████████████████████████████████████████▏ | 143/390 [37:16<1:09:52, 16.97s/it][A + mmlu_ne: 37%|██████████████████████████████████████████▍ | 144/390 [37:30<1:05:27, 15.97s/it][A + mmlu_ne: 37%|██████████████████████████████████████████▊ | 145/390 [37:46<1:06:08, 16.20s/it][A + mmlu_ne: 37%|███████████████████████████████████████████ | 146/390 [38:00<1:02:59, 15.49s/it][A + mmlu_ne: 38%|███████████████████████████████████████████▎ | 147/390 [38:17<1:04:26, 15.91s/it][A + mmlu_ne: 38%|███████████████████████████████████████████▋ | 148/390 [38:34<1:05:55, 16.34s/it][A + mmlu_ne: 38%|███████████████████████████████████████████▉ | 149/390 [38:50<1:04:37, 16.09s/it][A + mmlu_ne: 38%|████████████████████████████████████████████▏ | 150/390 [39:06<1:04:08, 16.03s/it][A + mmlu_ne: 39%|████████████████████████████████████████████▌ | 151/390 [39:22<1:03:33, 15.95s/it][A + mmlu_ne: 39%|████████████████████████████████████████████▊ | 152/390 [39:37<1:02:10, 15.67s/it][A + mmlu_ne: 39%|█████████████████████████████████████████████ | 153/390 [39:52<1:01:51, 15.66s/it][A + mmlu_ne: 39%|██████████████████████████████████████████████▏ | 154/390 [40:06<58:45, 14.94s/it][A + mmlu_ne: 40%|██████████████████████████████████████████████▌ | 155/390 [40:21<59:27, 15.18s/it][A + mmlu_ne: 40%|██████████████████████████████████████████████▊ | 156/390 [40:36<59:06, 15.16s/it][A + mmlu_ne: 40%|███████████████████████████████████████████████ | 157/390 [40:50<56:39, 14.59s/it][A + mmlu_ne: 41%|███████████████████████████████████████████████▍ | 158/390 [41:04<55:46, 14.43s/it][A + mmlu_ne: 41%|███████████████████████████████████████████████▋ | 159/390 [41:18<55:06, 14.31s/it][A + mmlu_ne: 41%|████████████████████████████████████████████████ | 160/390 [41:35<58:18, 15.21s/it][A + mmlu_ne: 41%|████████████████████████████████████████████████▎ | 161/390 [41:48<55:28, 14.53s/it][A + mmlu_ne: 42%|████████████████████████████████████████████████▌ | 162/390 [42:01<53:15, 14.01s/it][A + mmlu_ne: 42%|████████████████████████████████████████████████▉ | 163/390 [42:17<55:20, 14.63s/it][A + mmlu_ne: 42%|█████████████████████████████████████████████████▏ | 164/390 [42:30<53:08, 14.11s/it][A + mmlu_ne: 42%|█████████████████████████████████████████████████▌ | 165/390 [42:48<57:25, 15.32s/it][A + mmlu_ne: 43%|█████████████████████████████████████████████████▊ | 166/390 [43:04<57:48, 15.48s/it][A + mmlu_ne: 43%|█████████████████████████████████████████████████▏ | 167/390 [43:23<1:01:14, 16.48s/it][A + mmlu_ne: 43%|█████████████████████████████████████████████████▌ | 168/390 [43:38<1:00:20, 16.31s/it][A + mmlu_ne: 43%|██████████████████████████████████████████████████▋ | 169/390 [43:54<59:43, 16.21s/it][A + mmlu_ne: 44%|███████████████████████████████████████████████████ | 170/390 [44:11<59:54, 16.34s/it][A + mmlu_ne: 44%|██████████████████████████████████████████████████▍ | 171/390 [44:28<1:00:03, 16.45s/it][A + mmlu_ne: 44%|██████████████████████████████████████████████████▋ | 172/390 [44:45<1:00:42, 16.71s/it][A + mmlu_ne: 44%|███████████████████████████████████████████████████▉ | 173/390 [45:00<57:57, 16.03s/it][A + mmlu_ne: 45%|████████████████████████████████████████████████████▏ | 174/390 [45:17<58:57, 16.38s/it][A + mmlu_ne: 45%|████████████████████████████████████████████████████▌ | 175/390 [45:31<56:24, 15.74s/it][A + mmlu_ne: 45%|████████████████████████████████████████████████████▊ | 176/390 [45:45<54:30, 15.28s/it][A + mmlu_ne: 45%|█████████████████████████████████████████████████████ | 177/390 [46:01<54:58, 15.48s/it][A + mmlu_ne: 46%|█████████████████████████████████████████████████████▍ | 178/390 [46:14<51:25, 14.56s/it][A + mmlu_ne: 46%|█████████████████████████████████████████████████████▋ | 179/390 [46:29<52:11, 14.84s/it][A + mmlu_ne: 46%|██████████████████████████████████████████████████████ | 180/390 [46:44<52:26, 14.98s/it][A + mmlu_ne: 46%|██████████████████████████████████████████████████████▎ | 181/390 [47:02<54:46, 15.73s/it][A + mmlu_ne: 47%|██████████████████████████████████████████████████████▌ | 182/390 [47:17<54:02, 15.59s/it][A + mmlu_ne: 47%|██████████████████████████████████████████████████████▉ | 183/390 [47:33<54:17, 15.74s/it][A + mmlu_ne: 47%|███████████████████████████████████████████████████████▏ | 184/390 [47:50<55:14, 16.09s/it][A + mmlu_ne: 47%|███████████████████████████████████████████████████████▌ | 185/390 [48:07<55:50, 16.34s/it][A + mmlu_ne: 48%|███████████████████████████████████████████████████████▊ | 186/390 [48:22<54:36, 16.06s/it][A + mmlu_ne: 48%|████████████████████████████████████████████████████████ | 187/390 [48:38<54:00, 15.96s/it][A + mmlu_ne: 48%|████████████████████████████████████████████████████████▍ | 188/390 [48:51<50:21, 14.96s/it][A + mmlu_ne: 48%|████████████████████████████████████████████████████████▋ | 189/390 [49:07<51:03, 15.24s/it][A + mmlu_ne: 49%|█████████████████████████████████████████████████████████ | 190/390 [49:22<50:56, 15.28s/it][A + mmlu_ne: 49%|█████████████████████████████████████████████████████████▎ | 191/390 [49:38<51:08, 15.42s/it][A + mmlu_ne: 49%|█████████████████████████████████████████████████████████▌ | 192/390 [49:54<51:30, 15.61s/it][A + mmlu_ne: 49%|█████████████████████████████████████████████████████████▉ | 193/390 [50:10<52:06, 15.87s/it][A + mmlu_ne: 50%|██████████████████████████████████████████████████████████▏ | 194/390 [50:25<50:40, 15.51s/it][A + mmlu_ne: 50%|██████████████████████████████████████████████████████████▌ | 195/390 [50:42<52:13, 16.07s/it][A + mmlu_ne: 50%|██████████████████████████████████████████████████████████▊ | 196/390 [50:57<50:36, 15.65s/it][A + mmlu_ne: 51%|███████████████████████████████████████████████████████████ | 197/390 [51:10<48:10, 14.97s/it][A + mmlu_ne: 51%|███████████████████████████████████████████████████████████▍ | 198/390 [51:28<50:34, 15.80s/it][A + mmlu_ne: 51%|███████████████████████████████████████████████████████████▋ | 199/390 [51:44<50:01, 15.71s/it][A + mmlu_ne: 51%|███████████████████████████████████████████████████████████▉ | 200/390 [52:00<50:03, 15.81s/it][A + mmlu_ne: 52%|████████████████████████████████████████████████████████████▎ | 201/390 [52:15<49:32, 15.73s/it][A + mmlu_ne: 52%|████████████████████████████████████████████████████████████▌ | 202/390 [52:30<48:44, 15.56s/it][A + mmlu_ne: 52%|████████████████████████████████████████████████████████████▉ | 203/390 [52:46<48:14, 15.48s/it][A + mmlu_ne: 52%|█████████████████████████████████████████████████████████████▏ | 204/390 [52:58<44:57, 14.50s/it][A + mmlu_ne: 53%|█████████████████████████████████████████████████████████████▌ | 205/390 [53:12<44:40, 14.49s/it][A + mmlu_ne: 53%|█████████████████████████████████████████████████████████████▊ | 206/390 [53:29<46:33, 15.18s/it][A + mmlu_ne: 53%|██████████████████████████████████████████████████████████████ | 207/390 [53:45<46:59, 15.41s/it][A + mmlu_ne: 53%|██████████████████████████████████████████████████████████████▍ | 208/390 [54:03<49:21, 16.27s/it][A + mmlu_ne: 54%|██████████████████████████████████████████████████████████████▋ | 209/390 [54:19<48:46, 16.17s/it][A + mmlu_ne: 54%|███████████████████████████████████████████████████████████████ | 210/390 [54:35<48:20, 16.11s/it][A + mmlu_ne: 54%|███████████████████████████████████████████████████████████████▎ | 211/390 [54:51<47:17, 15.85s/it][A + mmlu_ne: 54%|███████████████████████████████████████████████████████████████▌ | 212/390 [55:04<44:39, 15.05s/it][A + mmlu_ne: 55%|███████████████████████████████████████████████████████████████▉ | 213/390 [55:19<44:52, 15.21s/it][A + mmlu_ne: 55%|████████████████████████████████████████████████████████████████▏ | 214/390 [55:33<43:35, 14.86s/it][A + mmlu_ne: 55%|████████████████████████████████████████████████████████████████▌ | 215/390 [55:50<44:41, 15.32s/it][A + mmlu_ne: 55%|████████████████████████████████████████████████████████████████▊ | 216/390 [56:10<48:19, 16.66s/it][A + mmlu_ne: 56%|█████████████████████████████████████████████████████████████████ | 217/390 [56:25<46:35, 16.16s/it][A + mmlu_ne: 56%|█████████████████████████████████████████████████████████████████▍ | 218/390 [56:39<45:03, 15.72s/it][A + mmlu_ne: 56%|█████████████████████████████████████████████████████████████████▋ | 219/390 [56:55<44:23, 15.58s/it][A + mmlu_ne: 56%|██████████████████████████████████████████████████████████████████ | 220/390 [57:13<46:29, 16.41s/it][A + mmlu_ne: 57%|██████████████████████████████████████████████████████████████████▎ | 221/390 [57:27<44:34, 15.82s/it][A + mmlu_ne: 57%|██████████████████████████████████████████████████████████████████▌ | 222/390 [57:41<42:48, 15.29s/it][A + mmlu_ne: 57%|██████████████████████████████████████████████████████████████████▉ | 223/390 [57:55<41:04, 14.76s/it][A + mmlu_ne: 57%|███████████████████████████████████████████████████████████████████▏ | 224/390 [58:10<41:01, 14.83s/it][A + mmlu_ne: 58%|███████████████████████████████████████████████████████████████████▌ | 225/390 [58:26<41:45, 15.19s/it][A + mmlu_ne: 58%|███████████████████████████████████████████████████████████████████▊ | 226/390 [58:42<42:20, 15.49s/it][A + mmlu_ne: 58%|████████████████████████████████████████████████████████████████████ | 227/390 [59:01<45:03, 16.58s/it][A + mmlu_ne: 58%|████████████████████████████████████████████████████████████████████▍ | 228/390 [59:18<45:02, 16.68s/it][A + mmlu_ne: 59%|████████████████████████████████████████████████████████████████████▋ | 229/390 [59:37<46:13, 17.23s/it][A + mmlu_ne: 59%|█████████████████████████████████████████████████████████████████████ | 230/390 [59:49<42:13, 15.83s/it][A + mmlu_ne: 59%|████████████████████████████████████████████████████████████████████ | 231/390 [1:00:03<40:35, 15.32s/it][A + mmlu_ne: 59%|████████████████████████████████████████████████████████████████████▍ | 232/390 [1:00:18<40:12, 15.27s/it][A + mmlu_ne: 60%|████████████████████████████████████████████████████████████████████▋ | 233/390 [1:00:36<41:56, 16.03s/it][A + mmlu_ne: 60%|█████████████████████████████████████████████████████████████████████ | 234/390 [1:00:52<41:25, 15.93s/it][A + mmlu_ne: 60%|█████████████████████████████████████████████████████████████████████▎ | 235/390 [1:01:06<39:37, 15.34s/it][A + mmlu_ne: 61%|█████████████████████████████████████████████████████████████████████▌ | 236/390 [1:01:21<38:46, 15.11s/it][A + mmlu_ne: 61%|█████████████████████████████████████████████████████████████████████▉ | 237/390 [1:01:36<39:06, 15.34s/it][A + mmlu_ne: 61%|██████████████████████████████████████████████████████████████████████▏ | 238/390 [1:01:52<38:41, 15.28s/it][A + mmlu_ne: 61%|██████████████████████████████████████████████████████████████████████▍ | 239/390 [1:02:08<39:35, 15.73s/it][A + mmlu_ne: 62%|██████████████████████████████████████████████████████████████████████▊ | 240/390 [1:02:24<39:05, 15.63s/it][A + mmlu_ne: 62%|███████████████████████████████████████████████████████████████████████ | 241/390 [1:02:38<37:37, 15.15s/it][A + mmlu_ne: 62%|███████████████████████████████████████████████████████████████████████▎ | 242/390 [1:02:51<36:00, 14.60s/it][A + mmlu_ne: 62%|███████████████████████████████████████████████████████████████████████▋ | 243/390 [1:03:07<36:44, 15.00s/it][A + mmlu_ne: 63%|███████████████████████████████████████████████████████████████████████▉ | 244/390 [1:03:23<37:00, 15.21s/it][A + mmlu_ne: 63%|████████████████████████████████████████████████████████████████████████▏ | 245/390 [1:03:36<35:10, 14.55s/it][A + mmlu_ne: 63%|████████████████████████████████████████████████████████████████████████▌ | 246/390 [1:03:50<34:50, 14.52s/it][A + mmlu_ne: 63%|████████████████████████████████████████████████████████████████████████▊ | 247/390 [1:04:06<35:53, 15.06s/it][A + mmlu_ne: 64%|█████████████████████████████████████████████████████████████████████████▏ | 248/390 [1:04:25<37:56, 16.03s/it][A + mmlu_ne: 64%|█████████████████████████████████████████████████████████████████████████▍ | 249/390 [1:04:39<36:10, 15.39s/it][A + mmlu_ne: 64%|█████████████████████████████████████████████████████████████████████████▋ | 250/390 [1:04:55<36:20, 15.58s/it][A + mmlu_ne: 64%|██████████████████████████████████████████████████████████████████████████ | 251/390 [1:05:08<34:25, 14.86s/it][A + mmlu_ne: 65%|██████████████████████████████████████████████████████████████████████████▎ | 252/390 [1:05:24<35:16, 15.33s/it][A + mmlu_ne: 65%|██████████████████████████████████████████████████████████████████████████▌ | 253/390 [1:05:40<35:22, 15.49s/it][A + mmlu_ne: 65%|██████████████████████████████████████████████████████████████████████████▉ | 254/390 [1:05:54<33:42, 14.87s/it][A + mmlu_ne: 65%|███████████████████████████████████████████████████████████████████████████▏ | 255/390 [1:06:11<35:16, 15.68s/it][A + mmlu_ne: 66%|███████████████████████████████████████████████████████████████████████████▍ | 256/390 [1:06:28<35:48, 16.03s/it][A + mmlu_ne: 66%|███████████████████████████████████████████████████████████████████████████▊ | 257/390 [1:06:44<35:30, 16.02s/it][A + mmlu_ne: 66%|████████████████████████████████████████████████████████████████████████████ | 258/390 [1:06:56<32:50, 14.93s/it][A + mmlu_ne: 66%|████████████████████████████████████████████████████████████████████████████▎ | 259/390 [1:07:12<33:11, 15.20s/it][A + mmlu_ne: 67%|████████████████████████████████████████████████████████████████████████████▋ | 260/390 [1:07:25<31:11, 14.40s/it][A + mmlu_ne: 67%|████████████████████████████████████████████████████████████████████████████▉ | 261/390 [1:07:38<30:11, 14.04s/it][A + mmlu_ne: 67%|█████████████████████████████████████████████████████████████████████████████▎ | 262/390 [1:07:55<31:39, 14.84s/it][A + mmlu_ne: 67%|█████████████████████████████████████████████████████████████████████████████▌ | 263/390 [1:08:09<30:51, 14.58s/it][A + mmlu_ne: 68%|█████████████████████████████████████████████████████████████████████████████▊ | 264/390 [1:08:24<31:01, 14.77s/it][A + mmlu_ne: 68%|██████████████████████████████████████████████████████████████████████████████▏ | 265/390 [1:08:39<31:05, 14.92s/it][A + mmlu_ne: 68%|██████████████████████████████████████████████████████████████████████████████▍ | 266/390 [1:08:57<32:37, 15.79s/it][A + mmlu_ne: 68%|██████████████████████████████████████████████████████████████████████████████▋ | 267/390 [1:09:11<31:05, 15.17s/it][A + mmlu_ne: 69%|███████████████████████████████████████████████████████████████████████████████ | 268/390 [1:09:28<32:18, 15.89s/it][A + mmlu_ne: 69%|███████████████████████████████████████████████████████████████████████████████▎ | 269/390 [1:09:45<32:35, 16.16s/it][A + mmlu_ne: 69%|███████████████████████████████████████████████████████████████████████████████▌ | 270/390 [1:09:59<30:52, 15.44s/it][A + mmlu_ne: 69%|███████████████████████████████████████████████████████████████████████████████▉ | 271/390 [1:10:16<31:26, 15.85s/it][A + mmlu_ne: 70%|████████████████████████████████████████████████████████████████████████████████▏ | 272/390 [1:10:32<31:40, 16.11s/it][A + mmlu_ne: 70%|████████████████████████████████████████████████████████████████████████████████▌ | 273/390 [1:10:53<33:51, 17.36s/it][A + mmlu_ne: 70%|████████████████████████████████████████████████████████████████████████████████▊ | 274/390 [1:11:07<31:34, 16.33s/it][A + mmlu_ne: 71%|█████████████████████████████████████████████████████████████████████████████████ | 275/390 [1:11:23<31:38, 16.51s/it][A + mmlu_ne: 71%|█████████████████████████████████████████████████████████████████████████████████▍ | 276/390 [1:11:39<30:42, 16.17s/it][A + mmlu_ne: 71%|█████████████████████████████████████████████████████████████████████████████████▋ | 277/390 [1:11:56<31:18, 16.62s/it][A + mmlu_ne: 71%|█████████████████████████████████████████████████████████████████████████████████▉ | 278/390 [1:12:16<32:35, 17.46s/it][A + mmlu_ne: 72%|██████████████████████████████████████████████████████████████████████████████████▎ | 279/390 [1:12:31<30:59, 16.76s/it][A + mmlu_ne: 72%|██████████████████████████████████████████████████████████████████████████████████▌ | 280/390 [1:12:47<30:19, 16.54s/it][A + mmlu_ne: 72%|██████████████████████████████████████████████████████████████████████████████████▊ | 281/390 [1:13:05<30:57, 17.04s/it][A + mmlu_ne: 72%|███████████████████████████████████████████████████████████████████████████████████▏ | 282/390 [1:13:21<29:48, 16.56s/it][A + mmlu_ne: 73%|███████████████████████████████████████████████████████████████████████████████████▍ | 283/390 [1:13:36<28:50, 16.18s/it][A + mmlu_ne: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 284/390 [1:13:47<25:57, 14.70s/it][A + mmlu_ne: 73%|████████████████████████████████████████████████████████████████████████████████████ | 285/390 [1:14:00<24:55, 14.24s/it][A + mmlu_ne: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 286/390 [1:14:18<26:35, 15.34s/it][A + mmlu_ne: 74%|████████████████████████████████████████████████████████████████████████████████████▋ | 287/390 [1:14:33<26:03, 15.18s/it][A + mmlu_ne: 74%|████████████████████████████████████████████████████████████████████████████████████▉ | 288/390 [1:14:48<25:36, 15.06s/it][A + mmlu_ne: 74%|█████████████████████████████████████████████████████████████████████████████████████▏ | 289/390 [1:15:02<24:38, 14.64s/it][A + mmlu_ne: 74%|█████████████████████████████████████████████████████████████████████████████████████▌ | 290/390 [1:15:17<24:50, 14.90s/it][A + mmlu_ne: 75%|█████████████████████████████████████████████████████████████████████████████████████▊ | 291/390 [1:15:31<24:01, 14.56s/it][A + mmlu_ne: 75%|██████████████████████████████████████████████████████████████████████████████████████ | 292/390 [1:15:45<23:40, 14.49s/it][A + mmlu_ne: 75%|██████████████████████████████████████████████████████████████████████████████████████▍ | 293/390 [1:16:03<25:02, 15.49s/it][A + mmlu_ne: 75%|██████████████████████████████████████████████████████████████████████████████████████▋ | 294/390 [1:16:18<24:20, 15.22s/it][A + mmlu_ne: 76%|██████████████████████████████████████████████████████████████████████████████████████▉ | 295/390 [1:16:34<24:53, 15.73s/it][A + mmlu_ne: 76%|███████████████████████████████████████████████████████████████████████████████████████▎ | 296/390 [1:16:46<22:35, 14.42s/it][A + mmlu_ne: 76%|███████████████████████████████████████████████████████████████████████████████████████▌ | 297/390 [1:17:00<22:06, 14.27s/it][A + mmlu_ne: 76%|███████████████████████████████████████████████████████████████████████████████████████▊ | 298/390 [1:17:12<20:55, 13.65s/it][A + mmlu_ne: 77%|████████████████████████████████████████████████████████████████████████████████████████▏ | 299/390 [1:17:28<21:37, 14.26s/it][A + mmlu_ne: 77%|████████████████████████████████████████████████████████████████████████████████████████▍ | 300/390 [1:17:45<22:34, 15.05s/it][A + mmlu_ne: 77%|████████████████████████████████████████████████████████████████████████████████████████▊ | 301/390 [1:18:06<25:14, 17.02s/it][A + mmlu_ne: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 302/390 [1:18:23<24:55, 17.00s/it][A + mmlu_ne: 78%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 303/390 [1:18:40<24:36, 16.97s/it][A + mmlu_ne: 78%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 304/390 [1:19:01<25:50, 18.03s/it][A + mmlu_ne: 78%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 305/390 [1:19:15<23:49, 16.82s/it][A + mmlu_ne: 78%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 306/390 [1:19:30<22:52, 16.34s/it][A + mmlu_ne: 79%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 307/390 [1:19:47<23:01, 16.65s/it][A + mmlu_ne: 79%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 308/390 [1:20:09<24:43, 18.09s/it][A + mmlu_ne: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 309/390 [1:20:24<23:12, 17.19s/it][A + mmlu_ne: 79%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 310/390 [1:20:38<21:38, 16.23s/it][A + mmlu_ne: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 311/390 [1:20:54<21:23, 16.25s/it][A + mmlu_ne: 80%|████████████████████████████████████████████████████████████████████████████████████████████ | 312/390 [1:21:07<19:59, 15.38s/it][A + mmlu_ne: 80%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 313/390 [1:21:20<18:51, 14.70s/it][A + mmlu_ne: 81%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 314/390 [1:21:36<19:03, 15.05s/it][A + mmlu_ne: 81%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 315/390 [1:21:52<18:59, 15.19s/it][A + mmlu_ne: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 316/390 [1:22:05<17:55, 14.54s/it][A + mmlu_ne: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 317/390 [1:22:20<18:06, 14.88s/it][A + mmlu_ne: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 318/390 [1:22:35<17:41, 14.74s/it][A + mmlu_ne: 82%|██████████████████████████████████████████████████████████████████████████████████████████████ | 319/390 [1:22:50<17:33, 14.84s/it][A + mmlu_ne: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 320/390 [1:23:05<17:20, 14.87s/it][A + mmlu_ne: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 321/390 [1:23:20<17:15, 15.00s/it][A + mmlu_ne: 83%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 322/390 [1:23:38<18:06, 15.98s/it][A + mmlu_ne: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 323/390 [1:23:53<17:19, 15.51s/it][A + mmlu_ne: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 324/390 [1:24:08<16:55, 15.38s/it][A + mmlu_ne: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 325/390 [1:24:24<16:47, 15.50s/it][A + mmlu_ne: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 326/390 [1:24:45<18:29, 17.33s/it][A + mmlu_ne: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 327/390 [1:25:00<17:28, 16.64s/it][A + mmlu_ne: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 328/390 [1:25:17<17:07, 16.58s/it][A + mmlu_ne: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 329/390 [1:25:33<16:46, 16.50s/it][A + mmlu_ne: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 330/390 [1:25:51<16:46, 16.78s/it][A + mmlu_ne: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 331/390 [1:26:08<16:43, 17.02s/it][A + mmlu_ne: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 332/390 [1:26:21<15:12, 15.73s/it][A + mmlu_ne: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 333/390 [1:26:36<14:47, 15.56s/it][A + mmlu_ne: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 334/390 [1:26:53<14:59, 16.05s/it][A + mmlu_ne: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 335/390 [1:27:08<14:26, 15.76s/it][A + mmlu_ne: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 336/390 [1:27:24<14:16, 15.86s/it][A + mmlu_ne: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 337/390 [1:27:42<14:24, 16.31s/it][A + mmlu_ne: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 338/390 [1:27:58<14:02, 16.20s/it][A + mmlu_ne: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 339/390 [1:28:15<14:05, 16.57s/it][A + mmlu_ne: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 340/390 [1:28:30<13:20, 16.01s/it][A + mmlu_ne: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 341/390 [1:28:47<13:19, 16.31s/it][A + mmlu_ne: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 342/390 [1:29:04<13:18, 16.63s/it][A + mmlu_ne: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 343/390 [1:29:21<13:00, 16.60s/it][A + mmlu_ne: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 344/390 [1:29:36<12:31, 16.34s/it][A + mmlu_ne: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 345/390 [1:29:57<13:08, 17.51s/it][A + mmlu_ne: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 346/390 [1:30:11<12:13, 16.66s/it][A + mmlu_ne: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 347/390 [1:30:28<11:50, 16.53s/it][A + mmlu_ne: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 348/390 [1:30:43<11:14, 16.07s/it][A + mmlu_ne: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 349/390 [1:31:00<11:10, 16.35s/it][A + mmlu_ne: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 350/390 [1:31:15<10:37, 15.93s/it][A + mmlu_ne: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 351/390 [1:31:28<09:49, 15.11s/it][A + mmlu_ne: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 352/390 [1:31:46<10:05, 15.93s/it][A + mmlu_ne: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 353/390 [1:32:02<09:58, 16.17s/it][A + mmlu_ne: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 354/390 [1:32:18<09:34, 15.96s/it][A + mmlu_ne: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 355/390 [1:32:32<09:04, 15.57s/it][A + mmlu_ne: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 356/390 [1:32:47<08:40, 15.30s/it][A + mmlu_ne: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 357/390 [1:33:01<08:12, 14.93s/it][A + mmlu_ne: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 358/390 [1:33:16<07:58, 14.94s/it][A + mmlu_ne: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 359/390 [1:33:32<07:47, 15.08s/it][A + mmlu_ne: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 360/390 [1:33:47<07:38, 15.27s/it][A + mmlu_ne: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 361/390 [1:34:01<07:09, 14.80s/it][A + mmlu_ne: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 362/390 [1:34:16<06:54, 14.81s/it][A + mmlu_ne: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 363/390 [1:34:32<06:48, 15.14s/it][A + mmlu_ne: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 364/390 [1:34:47<06:33, 15.13s/it][A + mmlu_ne: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 365/390 [1:35:02<06:17, 15.09s/it][A + mmlu_ne: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 366/390 [1:35:16<05:56, 14.84s/it][A + mmlu_ne: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 367/390 [1:35:30<05:37, 14.69s/it][A + mmlu_ne: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 368/390 [1:35:44<05:13, 14.25s/it][A + mmlu_ne: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 369/390 [1:35:59<05:07, 14.64s/it][A + mmlu_ne: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/390 [1:36:13<04:49, 14.46s/it][A + mmlu_ne: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 371/390 [1:36:28<04:36, 14.58s/it][A + mmlu_ne: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 372/390 [1:36:42<04:16, 14.24s/it][A + mmlu_ne: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/390 [1:36:55<03:59, 14.07s/it][A + mmlu_ne: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 374/390 [1:37:10<03:48, 14.28s/it][A + mmlu_ne: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 375/390 [1:37:25<03:36, 14.46s/it][A + mmlu_ne: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 376/390 [1:37:38<03:16, 14.03s/it][A + mmlu_ne: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 377/390 [1:37:53<03:05, 14.23s/it][A + mmlu_ne: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 378/390 [1:38:06<02:49, 14.10s/it][A + mmlu_ne: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 379/390 [1:38:21<02:36, 14.24s/it][A + mmlu_ne: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 380/390 [1:38:39<02:34, 15.48s/it][A + mmlu_ne: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 381/390 [1:38:57<02:24, 16.10s/it][A + mmlu_ne: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 382/390 [1:39:13<02:09, 16.15s/it][A + mmlu_ne: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 383/390 [1:39:29<01:52, 16.00s/it][A + mmlu_ne: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 384/390 [1:39:47<01:39, 16.58s/it][A + mmlu_ne: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 385/390 [1:40:01<01:19, 15.90s/it][A + mmlu_ne: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 386/390 [1:40:20<01:07, 16.84s/it][A + mmlu_ne: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 387/390 [1:40:37<00:50, 16.75s/it][A + mmlu_ne: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 388/390 [1:40:53<00:33, 16.76s/it][A + mmlu_ne: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 389/390 [1:41:08<00:16, 16.01s/it][A + mmlu_ne: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 390/390 [1:41:13<00:00, 12.92s/it][A mmlu_ne: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 390/390 [1:41:13<00:00, 15.57s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ne_acc 0.26138279932546377 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ne_acc_norm 0.28322492572070984 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 16:20:49,590 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 16:20:49,590 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:49,719 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 16:20:49,719 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:49,847 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 16:20:49,847 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:49,976 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 16:20:49,977 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 16:20:49,977 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 16:20:50,108 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 16:20:50,108 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ne_acc'} +2024-05-31 16:20:50,174 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 16:20:50,174 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1239, 'value': 0.26138279932546377} +2024-05-31 16:20:50,240 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 16:20:50,889 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 16:20:50,889 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:51,017 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 16:20:51,017 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:51,145 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 16:20:51,145 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:51,273 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 16:20:51,273 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 16:20:51,273 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 16:20:51,402 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 16:20:51,403 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_ne_acc_norm'} +2024-05-31 16:20:51,467 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 16:20:51,467 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1240, 'value': 0.28322492572070984} +2024-05-31 16:20:51,532 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 65%|██████████████████████████████████████████████████████████████████████▌ | 81/124 [57:33:20<72:52:25, 6101.07s/it]['mmlu_nl'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 16:20:52,187 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 16:20:52,187 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:52,316 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 16:20:52,316 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:52,445 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 16:20:52,445 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 16:20:52,574 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 16:20:52,575 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 16:20:52,575 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_nl'} +2024-05-31 16:20:52,705 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_nl task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1809 examples [00:00, 15819.71 examples/s][A + Generating test split: 5290 examples [00:00, 26362.98 examples/s][A + Generating test split: 8929 examples [00:00, 30795.07 examples/s][A + Generating test split: 12417 examples [00:00, 32375.51 examples/s][A Generating test split: 13177 examples [00:00, 29857.04 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 280 examples [00:00, 27933.43 examples/s] +Running loglikelihood requests + + mmlu_nl: 0%| | 0/412 [00:00<?, ?it/s][A + mmlu_nl: 0%|▎ | 1/412 [00:08<55:26, 8.09s/it][A + mmlu_nl: 0%|▌ | 2/412 [00:15<54:06, 7.92s/it][A + mmlu_nl: 1%|▊ | 3/412 [00:23<52:00, 7.63s/it][A + mmlu_nl: 1%|█▏ | 4/412 [00:29<49:11, 7.23s/it][A + mmlu_nl: 1%|█▍ | 5/412 [00:37<50:55, 7.51s/it][A + mmlu_nl: 1%|█▋ | 6/412 [00:45<51:35, 7.63s/it][A + mmlu_nl: 2%|██ | 7/412 [00:53<52:09, 7.73s/it][A + mmlu_nl: 2%|██▎ | 8/412 [01:00<51:10, 7.60s/it][A + mmlu_nl: 2%|██▌ | 9/412 [01:09<53:47, 8.01s/it][A + mmlu_nl: 2%|██▊ | 10/412 [01:17<53:28, 7.98s/it][A + mmlu_nl: 3%|███▏ | 11/412 [01:24<51:14, 7.67s/it][A + mmlu_nl: 3%|███▍ | 12/412 [01:33<52:55, 7.94s/it][A + mmlu_nl: 3%|███▋ | 13/412 [01:40<50:39, 7.62s/it][A + mmlu_nl: 3%|████ | 14/412 [01:47<50:01, 7.54s/it][A + mmlu_nl: 4%|████▎ | 15/412 [01:55<50:55, 7.70s/it][A + mmlu_nl: 4%|████▌ | 16/412 [02:02<49:26, 7.49s/it][A + mmlu_nl: 4%|████▊ | 17/412 [02:10<50:38, 7.69s/it][A + mmlu_nl: 4%|█████▏ | 18/412 [02:18<51:21, 7.82s/it][A + mmlu_nl: 5%|█████▍ | 19/412 [02:27<52:04, 7.95s/it][A + mmlu_nl: 5%|█████▋ | 20/412 [02:34<51:08, 7.83s/it][A + mmlu_nl: 5%|██████ | 21/412 [02:43<52:35, 8.07s/it][A + mmlu_nl: 5%|██████▎ | 22/412 [02:50<51:19, 7.90s/it][A + mmlu_nl: 6%|██████▌ | 23/412 [02:59<51:56, 8.01s/it][A + mmlu_nl: 6%|██████▊ | 24/412 [03:06<50:57, 7.88s/it][A + mmlu_nl: 6%|███████▏ | 25/412 [03:13<49:02, 7.60s/it][A + mmlu_nl: 6%|███████▍ | 26/412 [03:21<50:16, 7.81s/it][A + mmlu_nl: 7%|███████▋ | 27/412 [03:30<50:56, 7.94s/it][A + mmlu_nl: 7%|████████ | 28/412 [03:37<50:01, 7.82s/it][A + mmlu_nl: 7%|████████▎ | 29/412 [03:45<49:20, 7.73s/it][A + mmlu_nl: 7%|████████▌ | 30/412 [03:52<49:02, 7.70s/it][A + mmlu_nl: 8%|████████▉ | 31/412 [04:00<49:01, 7.72s/it][A + mmlu_nl: 8%|█████████▏ | 32/412 [04:07<48:04, 7.59s/it][A + mmlu_nl: 8%|█████████▍ | 33/412 [04:15<47:28, 7.52s/it][A + mmlu_nl: 8%|█████████▋ | 34/412 [04:22<46:09, 7.33s/it][A + mmlu_nl: 8%|██████████ | 35/412 [04:30<47:17, 7.53s/it][A + mmlu_nl: 9%|██████████▎ | 36/412 [04:36<45:56, 7.33s/it][A + mmlu_nl: 9%|██████████▌ | 37/412 [04:43<45:15, 7.24s/it][A + mmlu_nl: 9%|██████████▉ | 38/412 [04:52<47:41, 7.65s/it][A + mmlu_nl: 9%|███████████▏ | 39/412 [05:01<49:11, 7.91s/it][A + mmlu_nl: 10%|███████████▍ | 40/412 [05:08<47:23, 7.64s/it][A + mmlu_nl: 10%|███████████▋ | 41/412 [05:15<46:22, 7.50s/it][A + mmlu_nl: 10%|████████████ | 42/412 [05:23<47:01, 7.62s/it][A + mmlu_nl: 10%|████████████▎ | 43/412 [05:30<46:05, 7.50s/it][A + mmlu_nl: 11%|████████████▌ | 44/412 [05:37<45:19, 7.39s/it][A + mmlu_nl: 11%|████████████▉ | 45/412 [05:45<46:26, 7.59s/it][A + mmlu_nl: 11%|█████████████▏ | 46/412 [05:53<47:28, 7.78s/it][A + mmlu_nl: 11%|█████████████▍ | 47/412 [06:01<47:10, 7.75s/it][A + mmlu_nl: 12%|█████████████▋ | 48/412 [06:09<46:36, 7.68s/it][A + mmlu_nl: 12%|██████████████ | 49/412 [06:16<46:12, 7.64s/it][A + mmlu_nl: 12%|██████████████▎ | 50/412 [06:24<46:10, 7.65s/it][A + mmlu_nl: 12%|██████████████▌ | 51/412 [06:31<46:09, 7.67s/it][A + mmlu_nl: 13%|██████████████▉ | 52/412 [06:40<47:18, 7.88s/it][A + mmlu_nl: 13%|███████████████▏ | 53/412 [06:48<48:10, 8.05s/it][A + mmlu_nl: 13%|███████████████▍ | 54/412 [06:55<45:53, 7.69s/it][A + mmlu_nl: 13%|███████████████▊ | 55/412 [07:02<44:49, 7.53s/it][A + mmlu_nl: 14%|████████████████ | 56/412 [07:10<45:09, 7.61s/it][A + mmlu_nl: 14%|████████████████▎ | 57/412 [07:18<44:55, 7.59s/it][A + mmlu_nl: 14%|████████████████▌ | 58/412 [07:25<45:05, 7.64s/it][A + mmlu_nl: 14%|████████████████▉ | 59/412 [07:33<44:47, 7.61s/it][A + mmlu_nl: 15%|█████████████████▏ | 60/412 [07:40<44:23, 7.57s/it][A + mmlu_nl: 15%|█████████████████▍ | 61/412 [07:48<44:06, 7.54s/it][A + mmlu_nl: 15%|█████████████████▊ | 62/412 [07:55<42:48, 7.34s/it][A + mmlu_nl: 15%|██████████████████ | 63/412 [08:02<41:44, 7.18s/it][A + mmlu_nl: 16%|██████████████████▎ | 64/412 [08:09<42:24, 7.31s/it][A + mmlu_nl: 16%|██████████████████▌ | 65/412 [08:17<42:52, 7.41s/it][A + mmlu_nl: 16%|██████████████████▉ | 66/412 [08:26<45:23, 7.87s/it][A + mmlu_nl: 16%|███████████████████▏ | 67/412 [08:34<45:17, 7.88s/it][A + mmlu_nl: 17%|███████████████████▍ | 68/412 [08:42<45:55, 8.01s/it][A + mmlu_nl: 17%|███████████████████▊ | 69/412 [08:49<44:15, 7.74s/it][A + mmlu_nl: 17%|████████████████████ | 70/412 [08:57<43:58, 7.71s/it][A + mmlu_nl: 17%|████████████████████▎ | 71/412 [09:04<42:49, 7.54s/it][A + mmlu_nl: 17%|████████████████████▌ | 72/412 [09:12<43:29, 7.68s/it][A + mmlu_nl: 18%|████████████████████▉ | 73/412 [09:18<41:11, 7.29s/it][A + mmlu_nl: 18%|█████████████████████▏ | 74/412 [09:26<41:27, 7.36s/it][A + mmlu_nl: 18%|█████████████████████▍ | 75/412 [09:34<42:15, 7.52s/it][A + mmlu_nl: 18%|█████████████████████▊ | 76/412 [09:41<41:40, 7.44s/it][A + mmlu_nl: 19%|██████████████████████ | 77/412 [09:50<43:41, 7.83s/it][A + mmlu_nl: 19%|██████████████████████▎ | 78/412 [09:57<42:07, 7.57s/it][A + mmlu_nl: 19%|██████████████████████▋ | 79/412 [10:05<43:36, 7.86s/it][A + mmlu_nl: 19%|██████████████████████▉ | 80/412 [10:13<43:05, 7.79s/it][A + mmlu_nl: 20%|███████████████████████▏ | 81/412 [10:20<42:02, 7.62s/it][A + mmlu_nl: 20%|███████████████████████▍ | 82/412 [10:27<41:34, 7.56s/it][A + mmlu_nl: 20%|███████████████████████▊ | 83/412 [10:35<41:43, 7.61s/it][A + mmlu_nl: 20%|████████████████████████ | 84/412 [10:42<41:00, 7.50s/it][A + mmlu_nl: 21%|████████████████████████▎ | 85/412 [10:51<42:02, 7.71s/it][A + mmlu_nl: 21%|████████████████████████▋ | 86/412 [10:58<42:00, 7.73s/it][A + mmlu_nl: 21%|████████████████████████▉ | 87/412 [11:06<41:54, 7.74s/it][A + mmlu_nl: 21%|█████████████████████████▏ | 88/412 [11:14<41:22, 7.66s/it][A + mmlu_nl: 22%|█████████████████████████▍ | 89/412 [11:21<41:28, 7.70s/it][A + mmlu_nl: 22%|█████████████████████████▊ | 90/412 [11:29<41:08, 7.67s/it][A + mmlu_nl: 22%|██████████████████████████ | 91/412 [11:38<42:36, 7.97s/it][A + mmlu_nl: 22%|██████████████████████████▎ | 92/412 [11:45<41:15, 7.74s/it][A + mmlu_nl: 23%|██████████████████████████▋ | 93/412 [11:53<41:07, 7.73s/it][A + mmlu_nl: 23%|██████████████████████████▉ | 94/412 [12:01<41:20, 7.80s/it][A + mmlu_nl: 23%|███████████████████████████▏ | 95/412 [12:08<39:56, 7.56s/it][A + mmlu_nl: 23%|███████████████████████████▍ | 96/412 [12:17<42:58, 8.16s/it][A + mmlu_nl: 24%|███████████████████████████▊ | 97/412 [12:25<42:34, 8.11s/it][A + mmlu_nl: 24%|████████████████████████████ | 98/412 [12:33<41:56, 8.01s/it][A + mmlu_nl: 24%|████████████████████████████▎ | 99/412 [12:40<40:39, 7.79s/it][A + mmlu_nl: 24%|████████████████████████████▍ | 100/412 [12:47<39:04, 7.51s/it][A + mmlu_nl: 25%|████████████████████████████▋ | 101/412 [12:54<38:04, 7.35s/it][A + mmlu_nl: 25%|████████████████████████████▉ | 102/412 [13:01<37:45, 7.31s/it][A + mmlu_nl: 25%|█████████████████████████████▎ | 103/412 [13:08<37:12, 7.22s/it][A + mmlu_nl: 25%|█████████████████████████████▌ | 104/412 [13:16<37:26, 7.29s/it][A + mmlu_nl: 25%|█████████████████████████████▊ | 105/412 [13:24<38:15, 7.48s/it][A + mmlu_nl: 26%|██████████████████████████████ | 106/412 [13:32<39:10, 7.68s/it][A + mmlu_nl: 26%|██████████████████████████████▍ | 107/412 [13:39<37:53, 7.45s/it][A + mmlu_nl: 26%|██████████████████████████████▋ | 108/412 [13:46<38:05, 7.52s/it][A + mmlu_nl: 26%|██████████████████████████████▉ | 109/412 [13:54<38:18, 7.58s/it][A + mmlu_nl: 27%|███████████████████████████████▏ | 110/412 [14:02<38:09, 7.58s/it][A + mmlu_nl: 27%|███████████████████████████████▌ | 111/412 [14:09<37:18, 7.44s/it][A + mmlu_nl: 27%|███████████████████████████████▊ | 112/412 [14:15<35:54, 7.18s/it][A + mmlu_nl: 27%|████████████████████████████████ | 113/412 [14:23<37:08, 7.45s/it][A + mmlu_nl: 28%|████████████████████████████████▎ | 114/412 [14:31<36:23, 7.33s/it][A + mmlu_nl: 28%|████████████████████████████████▋ | 115/412 [14:38<36:36, 7.40s/it][A + mmlu_nl: 28%|████████████████████████████████▉ | 116/412 [14:46<36:55, 7.49s/it][A + mmlu_nl: 28%|█████████████████████████████████▏ | 117/412 [14:53<36:22, 7.40s/it][A + mmlu_nl: 29%|█████████████████████████████████▌ | 118/412 [15:01<36:45, 7.50s/it][A + mmlu_nl: 29%|█████████████████████████████████▊ | 119/412 [15:09<37:25, 7.66s/it][A + mmlu_nl: 29%|██████████████████████████████████ | 120/412 [15:17<37:56, 7.80s/it][A + mmlu_nl: 29%|██████████████████████████████████▎ | 121/412 [15:25<37:49, 7.80s/it][A + mmlu_nl: 30%|██████████████████████████████████▋ | 122/412 [15:32<36:54, 7.64s/it][A + mmlu_nl: 30%|██████████████████████████████████▉ | 123/412 [15:39<35:52, 7.45s/it][A + mmlu_nl: 30%|███████████████████████████████████▏ | 124/412 [15:46<35:42, 7.44s/it][A + mmlu_nl: 30%|███████████████████████████████████▍ | 125/412 [15:55<36:53, 7.71s/it][A + mmlu_nl: 31%|███████████████████████████████████▊ | 126/412 [16:02<36:23, 7.64s/it][A + mmlu_nl: 31%|████████████████████████████████████ | 127/412 [16:10<36:42, 7.73s/it][A + mmlu_nl: 31%|████████████████████████████████████▎ | 128/412 [16:18<36:42, 7.76s/it][A + mmlu_nl: 31%|████████████████████████████████████▋ | 129/412 [16:25<35:48, 7.59s/it][A + mmlu_nl: 32%|████████████████████████████████████▉ | 130/412 [16:33<35:35, 7.57s/it][A + mmlu_nl: 32%|█████████████████████████████████████▏ | 131/412 [16:40<34:42, 7.41s/it][A + mmlu_nl: 32%|█████████████████████████████████████▍ | 132/412 [16:47<34:03, 7.30s/it][A + mmlu_nl: 32%|█████████████████████████████████████▊ | 133/412 [16:55<35:21, 7.61s/it][A + mmlu_nl: 33%|██████████████████████████████████████ | 134/412 [17:03<35:20, 7.63s/it][A + mmlu_nl: 33%|██████████████████████████████████████▎ | 135/412 [17:11<35:40, 7.73s/it][A + mmlu_nl: 33%|██████████████████████████████████████▌ | 136/412 [17:20<37:19, 8.12s/it][A + mmlu_nl: 33%|██████████████████████████████████████▉ | 137/412 [17:27<36:41, 8.01s/it][A + mmlu_nl: 33%|███████████████████████████████████████▏ | 138/412 [17:35<36:04, 7.90s/it][A + mmlu_nl: 34%|███████████████████████████████████████▍ | 139/412 [17:43<35:26, 7.79s/it][A + mmlu_nl: 34%|███████████████████████████████████████▊ | 140/412 [17:51<36:45, 8.11s/it][A + mmlu_nl: 34%|████████████████████████████████████████ | 141/412 [17:59<35:49, 7.93s/it][A + mmlu_nl: 34%|████████████████████████████████████████▎ | 142/412 [18:08<36:38, 8.14s/it][A + mmlu_nl: 35%|████████████████████████████████████████▌ | 143/412 [18:15<35:33, 7.93s/it][A + mmlu_nl: 35%|████████████████████████████████████████▉ | 144/412 [18:23<35:23, 7.92s/it][A + mmlu_nl: 35%|█████████████████████████████████████████▏ | 145/412 [18:30<34:23, 7.73s/it][A + mmlu_nl: 35%|█████████████████████████████████████████▍ | 146/412 [18:38<34:41, 7.83s/it][A + mmlu_nl: 36%|█████████████████████████████████████████▋ | 147/412 [18:46<34:36, 7.84s/it][A + mmlu_nl: 36%|██████████████████████████████████████████ | 148/412 [18:54<34:07, 7.76s/it][A + mmlu_nl: 36%|██████████████████████████████████████████▎ | 149/412 [19:02<34:09, 7.79s/it][A + mmlu_nl: 36%|██████████████████████████████████████████▌ | 150/412 [19:09<33:07, 7.58s/it][A + mmlu_nl: 37%|██████████████████████████████████████████▉ | 151/412 [19:17<33:21, 7.67s/it][A + mmlu_nl: 37%|███████████████████████████████████████████▏ | 152/412 [19:23<32:13, 7.44s/it][A + mmlu_nl: 37%|███████████████████████████████████████████▍ | 153/412 [19:31<32:03, 7.43s/it][A + mmlu_nl: 37%|███████████████████████████████████████████▋ | 154/412 [19:38<31:14, 7.27s/it][A + mmlu_nl: 38%|████████████████████████████████████████████ | 155/412 [19:45<31:21, 7.32s/it][A + mmlu_nl: 38%|████████████████████████████████████████████▎ | 156/412 [19:53<31:58, 7.49s/it][A + mmlu_nl: 38%|████████████████████████████████████████████▌ | 157/412 [20:00<31:21, 7.38s/it][A + mmlu_nl: 38%|████████████████████████████████████████████▊ | 158/412 [20:08<31:56, 7.55s/it][A + mmlu_nl: 39%|█████████████████████████████████████████████▏ | 159/412 [20:16<32:27, 7.70s/it][A + mmlu_nl: 39%|█████████████████████████████████████████████▍ | 160/412 [20:24<32:31, 7.74s/it][A + mmlu_nl: 39%|█████████████████████████████████████████████▋ | 161/412 [20:32<32:03, 7.66s/it][A + mmlu_nl: 39%|██████████████████████████████████████████████ | 162/412 [20:39<31:20, 7.52s/it][A + mmlu_nl: 40%|██████████████████████████████████████████████▎ | 163/412 [20:47<31:47, 7.66s/it][A + mmlu_nl: 40%|██████████████████████████████████████████████▌ | 164/412 [20:55<32:14, 7.80s/it][A + mmlu_nl: 40%|██████████████████████████████████████████████▊ | 165/412 [21:03<33:10, 8.06s/it][A + mmlu_nl: 40%|███████████████████████████████████████████████▏ | 166/412 [21:10<31:34, 7.70s/it][A + mmlu_nl: 41%|███████████████████████████████████████████████▍ | 167/412 [21:19<32:17, 7.91s/it][A + mmlu_nl: 41%|███████████████████████████████████████████████▋ | 168/412 [21:26<31:07, 7.65s/it][A + mmlu_nl: 41%|███████████████████████████████████████████████▉ | 169/412 [21:34<31:20, 7.74s/it][A + mmlu_nl: 41%|████████████████████████████████████████████████▎ | 170/412 [21:41<30:06, 7.47s/it][A + mmlu_nl: 42%|████████████████████████████████████████████████▌ | 171/412 [21:49<30:44, 7.66s/it][A + mmlu_nl: 42%|████████████████████████████████████████████████▊ | 172/412 [21:57<31:54, 7.98s/it][A + mmlu_nl: 42%|█████████████████████████████████████████████████▏ | 173/412 [22:05<31:17, 7.86s/it][A + mmlu_nl: 42%|█████████████████████████████████████████████████▍ | 174/412 [22:12<30:15, 7.63s/it][A + mmlu_nl: 42%|█████████████████████████████████████████████████▋ | 175/412 [22:20<30:42, 7.77s/it][A + mmlu_nl: 43%|█████████████████████████████████████████████████▉ | 176/412 [22:28<30:15, 7.69s/it][A + mmlu_nl: 43%|██████████████████████████████████████████████████▎ | 177/412 [22:35<29:15, 7.47s/it][A + mmlu_nl: 43%|██████████████████████████████████████████████████▌ | 178/412 [22:42<29:19, 7.52s/it][A + mmlu_nl: 43%|██████████████████████████████████████████████████▊ | 179/412 [22:50<29:41, 7.65s/it][A + mmlu_nl: 44%|███████████████████████████████████████████████████ | 180/412 [22:59<30:22, 7.86s/it][A + mmlu_nl: 44%|███████████████████████████████████████████████████▍ | 181/412 [23:06<29:41, 7.71s/it][A + mmlu_nl: 44%|███████████████████████████████████████████████████▋ | 182/412 [23:14<29:50, 7.78s/it][A + mmlu_nl: 44%|███████████████████████████████████████████████████▉ | 183/412 [23:21<29:04, 7.62s/it][A + mmlu_nl: 45%|████████████████████████████████████████████████████▎ | 184/412 [23:29<29:28, 7.76s/it][A + mmlu_nl: 45%|████████████████████████████████████████████████████▌ | 185/412 [23:36<28:49, 7.62s/it][A + mmlu_nl: 45%|████████████████████████████████████████████████████▊ | 186/412 [23:44<28:45, 7.64s/it][A + mmlu_nl: 45%|█████████████████████████████████████████████████████ | 187/412 [23:52<28:43, 7.66s/it][A + mmlu_nl: 46%|█████████████████████████████████████████████████████▍ | 188/412 [23:59<27:54, 7.48s/it][A + mmlu_nl: 46%|█████████████████████████████████████████████████████▋ | 189/412 [24:06<27:25, 7.38s/it][A + mmlu_nl: 46%|█████████████████████████████████████████████████████▉ | 190/412 [24:14<27:34, 7.45s/it][A + mmlu_nl: 46%|██████████████████████████████████████████████████████▏ | 191/412 [24:21<27:33, 7.48s/it][A + mmlu_nl: 47%|██████████████████████████████████████████████████████▌ | 192/412 [24:29<27:15, 7.43s/it][A + mmlu_nl: 47%|██████████████████████████████████████████████████████▊ | 193/412 [24:36<27:05, 7.42s/it][A + mmlu_nl: 47%|███████████████████████████████████████████████████████ | 194/412 [24:44<27:17, 7.51s/it][A + mmlu_nl: 47%|███████████████████████████████████████████████████████▍ | 195/412 [24:51<26:33, 7.34s/it][A + mmlu_nl: 48%|███████████████████████████████████████████████████████▋ | 196/412 [24:58<26:48, 7.45s/it][A + mmlu_nl: 48%|███████████████████████████████████████████████████████▉ | 197/412 [25:05<26:01, 7.26s/it][A + mmlu_nl: 48%|████████████████████████████████████████████████████████▏ | 198/412 [25:12<25:54, 7.26s/it][A + mmlu_nl: 48%|████████████████████████████████████████████████████████▌ | 199/412 [25:20<26:05, 7.35s/it][A + mmlu_nl: 49%|████████████████████████████████████████████████████████▊ | 200/412 [25:28<26:22, 7.46s/it][A + mmlu_nl: 49%|█████████████████████████████████████████████████████████ | 201/412 [25:35<26:12, 7.45s/it][A + mmlu_nl: 49%|█████████████████████████████████████████████████████████▎ | 202/412 [25:44<27:09, 7.76s/it][A + mmlu_nl: 49%|█████████████████████████████████████████████████████████▋ | 203/412 [25:52<27:47, 7.98s/it][A + mmlu_nl: 50%|█████████████████████████████████████████████████████████▉ | 204/412 [25:59<26:45, 7.72s/it][A + mmlu_nl: 50%|██████████████████████████████████████████████████████████▏ | 205/412 [26:08<28:06, 8.15s/it][A + mmlu_nl: 50%|██████████████████████████████████████████████████████████▌ | 206/412 [26:16<27:07, 7.90s/it][A + mmlu_nl: 50%|██████████████████████████████████████████████████████████▊ | 207/412 [26:23<26:28, 7.75s/it][A + mmlu_nl: 50%|███████████████████████████████████████████████████████████ | 208/412 [26:32<27:38, 8.13s/it][A + mmlu_nl: 51%|███████████████████████████████████████████████████████████▎ | 209/412 [26:40<27:11, 8.03s/it][A + mmlu_nl: 51%|███████████████████████████████████████████████████████████▋ | 210/412 [26:47<26:09, 7.77s/it][A + mmlu_nl: 51%|███████████████████████████████████████████████████████████▉ | 211/412 [26:55<25:59, 7.76s/it][A + mmlu_nl: 51%|████████████████████████████████████████████████████████████▏ | 212/412 [27:02<25:31, 7.66s/it][A + mmlu_nl: 52%|████████████████████████████████████████████████████████████▍ | 213/412 [27:09<24:48, 7.48s/it][A + mmlu_nl: 52%|████████████████████████████████████████████████████████████▊ | 214/412 [27:16<24:08, 7.32s/it][A + mmlu_nl: 52%|█████████████████████████████████████████████████████████████ | 215/412 [27:24<24:19, 7.41s/it][A + mmlu_nl: 52%|█████████████████████████████████████████████████████████████▎ | 216/412 [27:31<23:53, 7.31s/it][A + mmlu_nl: 53%|█████████████████████████████████████████████████████████████▌ | 217/412 [27:40<25:28, 7.84s/it][A + mmlu_nl: 53%|█████████████████████████████████████████████████████████████▉ | 218/412 [27:47<24:32, 7.59s/it][A + mmlu_nl: 53%|██████████████████████████████████████████████████████████████▏ | 219/412 [27:55<24:22, 7.58s/it][A + mmlu_nl: 53%|██████████████████████████████████████████████████████████████▍ | 220/412 [28:02<23:42, 7.41s/it][A + mmlu_nl: 54%|██████████████████████████████████████████████████████████████▊ | 221/412 [28:09<23:40, 7.44s/it][A + mmlu_nl: 54%|███████████████████████████████████████████████████████████████ | 222/412 [28:17<23:53, 7.55s/it][A + mmlu_nl: 54%|███████████████████████████████████████████████████████████████▎ | 223/412 [28:25<24:15, 7.70s/it][A + mmlu_nl: 54%|███████████████████████████████████████████████████████████████▌ | 224/412 [28:33<24:00, 7.66s/it][A + mmlu_nl: 55%|███████████████████████████████████████████████████████████████▉ | 225/412 [28:40<23:59, 7.70s/it][A + mmlu_nl: 55%|████████████████████████████████████████████████████████████████▏ | 226/412 [28:47<23:18, 7.52s/it][A + mmlu_nl: 55%|████████████████████████████████████████████████████████████████▍ | 227/412 [28:55<23:08, 7.51s/it][A + mmlu_nl: 55%|████████████████████████████████████████████████████████████████▋ | 228/412 [29:03<23:30, 7.67s/it][A + mmlu_nl: 56%|█████████████████████████████████████████████████████████████████ | 229/412 [29:12<24:26, 8.01s/it][A + mmlu_nl: 56%|█████████████████████████████████████████████████████████████████▎ | 230/412 [29:19<23:32, 7.76s/it][A + mmlu_nl: 56%|█████████████████████████████████████████████████████████████████▌ | 231/412 [29:27<23:37, 7.83s/it][A + mmlu_nl: 56%|█████████████████████████████████████████████████████████████████▉ | 232/412 [29:35<23:33, 7.85s/it][A + mmlu_nl: 57%|██████████████████████████████████████████████████████████████████▏ | 233/412 [29:42<22:40, 7.60s/it][A + mmlu_nl: 57%|██████████████████████████████████████████████████████████████████▍ | 234/412 [29:49<22:29, 7.58s/it][A + mmlu_nl: 57%|██████████████████████████████████████████████████████████████████▋ | 235/412 [29:58<23:24, 7.94s/it][A + mmlu_nl: 57%|███████████████████████████████████████████████████████████████████ | 236/412 [30:05<22:32, 7.68s/it][A + mmlu_nl: 58%|███████████████████████████████████████████████████████████████████▎ | 237/412 [30:12<21:57, 7.53s/it][A + mmlu_nl: 58%|███████████████████████████████████████████████████████████████████▌ | 238/412 [30:20<22:06, 7.62s/it][A + mmlu_nl: 58%|███████████████████████████████████████████████████████████████████▊ | 239/412 [30:28<22:19, 7.74s/it][A + mmlu_nl: 58%|████████████████████████████████████████████████████████████████████▏ | 240/412 [30:36<22:07, 7.72s/it][A + mmlu_nl: 58%|████████████████████████████████████████████████████████████████████▍ | 241/412 [30:43<21:47, 7.65s/it][A + mmlu_nl: 59%|████████████████████████████████████████████████████████████████████▋ | 242/412 [30:51<21:36, 7.63s/it][A + mmlu_nl: 59%|█████████████████████████████████████████████████████████████████████ | 243/412 [30:59<22:10, 7.87s/it][A + mmlu_nl: 59%|█████████████████████████████████████████████████████████████████████▎ | 244/412 [31:07<21:42, 7.75s/it][A + mmlu_nl: 59%|█████████████████████████████████████████████████████████████████████▌ | 245/412 [31:14<20:45, 7.46s/it][A + mmlu_nl: 60%|█████████████████████████████████████████████████████████████████████▊ | 246/412 [31:22<21:18, 7.70s/it][A + mmlu_nl: 60%|██████████████████████████████████████████████████████████████████████▏ | 247/412 [31:30<21:44, 7.90s/it][A + mmlu_nl: 60%|██████████████████████████████████████████████████████████████████████▍ | 248/412 [31:39<22:19, 8.17s/it][A + mmlu_nl: 60%|██████████████████████████████████████████████████████████████████████▋ | 249/412 [31:47<22:08, 8.15s/it][A + mmlu_nl: 61%|██████████████████████████████████████████████████████████████████████▉ | 250/412 [31:55<21:50, 8.09s/it][A + mmlu_nl: 61%|███████████████████████████████████████████████████████████████████████▎ | 251/412 [32:03<21:24, 7.98s/it][A + mmlu_nl: 61%|███████████████████████████████████████████████████████████████████████▌ | 252/412 [32:11<21:25, 8.03s/it][A + mmlu_nl: 61%|███████████████████████████████████████████████████████████████████████▊ | 253/412 [32:19<21:06, 7.97s/it][A + mmlu_nl: 62%|████████████████████████████████████████████████████████████████████████▏ | 254/412 [32:27<21:18, 8.09s/it][A + mmlu_nl: 62%|████████████████████████████████████████████████████████████████████████▍ | 255/412 [32:35<21:17, 8.14s/it][A + mmlu_nl: 62%|████████████████████████████████████████████████████████████████████████▋ | 256/412 [32:42<20:14, 7.79s/it][A + mmlu_nl: 62%|████████████████████████████████████████████████████████████████████████▉ | 257/412 [32:50<20:08, 7.79s/it][A + mmlu_nl: 63%|█████████████████████████████████████████████████████████████████████████▎ | 258/412 [32:58<19:44, 7.69s/it][A + mmlu_nl: 63%|█████████████████████████████████████████████████████████████████████████▌ | 259/412 [33:06<20:10, 7.91s/it][A + mmlu_nl: 63%|█████████████████████████████████████████████████████████████████████████▊ | 260/412 [33:13<19:37, 7.74s/it][A + mmlu_nl: 63%|██████████████████████████████████████████████████████████████████████████ | 261/412 [33:21<19:15, 7.65s/it][A + mmlu_nl: 64%|██████████████████████████████████████████████████████████████████████████▍ | 262/412 [33:28<18:26, 7.38s/it][A + mmlu_nl: 64%|██████████████████████████████████████████████████████████████████████████▋ | 263/412 [33:34<17:51, 7.19s/it][A + mmlu_nl: 64%|██████████████████████████████████████████████████████████████████████████▉ | 264/412 [33:42<18:09, 7.36s/it][A + mmlu_nl: 64%|███████████████████████████████████████████████████████████████████████████▎ | 265/412 [33:50<18:05, 7.38s/it][A + mmlu_nl: 65%|███████████████████████████████████████████████████████████████████████████▌ | 266/412 [33:58<19:02, 7.82s/it][A + mmlu_nl: 65%|███████████████████████████████████████████████████████████████████████████▊ | 267/412 [34:07<19:21, 8.01s/it][A + mmlu_nl: 65%|████████████████████████████████████████████████████████████████████████████ | 268/412 [34:15<19:19, 8.05s/it][A + mmlu_nl: 65%|████████████████████████████████████████████████████████████████████████████▍ | 269/412 [34:23<19:02, 7.99s/it][A + mmlu_nl: 66%|████████████████████████████████████████████████████████████████████████████▋ | 270/412 [34:31<18:51, 7.97s/it][A + mmlu_nl: 66%|████████████████████████████████████████████████████████████████████████████▉ | 271/412 [34:38<18:27, 7.86s/it][A + mmlu_nl: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 272/412 [34:46<18:20, 7.86s/it][A + mmlu_nl: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 273/412 [34:53<17:43, 7.65s/it][A + mmlu_nl: 67%|█████████████████████████████████████████████████████████████████████████████▊ | 274/412 [35:00<17:09, 7.46s/it][A + mmlu_nl: 67%|██████████████████████████████████████████████████████████████████████████████ | 275/412 [35:08<16:51, 7.38s/it][A + mmlu_nl: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 276/412 [35:15<16:33, 7.31s/it][A + mmlu_nl: 67%|██████████████████████████████████████████████████████████████████████████████▋ | 277/412 [35:23<17:17, 7.69s/it][A + mmlu_nl: 67%|██████████████████████████████████████████████████████████████████████████████▉ | 278/412 [35:31<16:54, 7.57s/it][A + mmlu_nl: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 279/412 [35:39<16:58, 7.65s/it][A + mmlu_nl: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 280/412 [35:47<17:24, 7.91s/it][A + mmlu_nl: 68%|███████████████████████████████████████████████████████████████████████████████▊ | 281/412 [35:54<16:53, 7.74s/it][A + mmlu_nl: 68%|████████████████████████████████████████████████████████████████████████████████ | 282/412 [36:03<17:04, 7.88s/it][A + mmlu_nl: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 283/412 [36:10<16:54, 7.86s/it][A + mmlu_nl: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 284/412 [36:19<17:03, 7.99s/it][A + mmlu_nl: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 285/412 [36:26<16:44, 7.91s/it][A + mmlu_nl: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 286/412 [36:34<16:08, 7.69s/it][A + mmlu_nl: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 287/412 [36:41<15:47, 7.58s/it][A + mmlu_nl: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 288/412 [36:49<16:00, 7.74s/it][A + mmlu_nl: 70%|██████████████████████████████████████████████████████████████████████████████████ | 289/412 [36:58<16:50, 8.22s/it][A + mmlu_nl: 70%|██████████████████████████████████████████████████████████████████████████████████▎ | 290/412 [37:07<16:58, 8.35s/it][A + mmlu_nl: 71%|██████████████████████████████████████████████████████████████████████████████████▋ | 291/412 [37:16<17:16, 8.57s/it][A + mmlu_nl: 71%|██████████████████████████████████████████████████████████████████████████████████▉ | 292/412 [37:23<16:12, 8.11s/it][A + mmlu_nl: 71%|███████████████████████████████████████████████████████████████████████████████████▏ | 293/412 [37:31<16:13, 8.18s/it][A + mmlu_nl: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 294/412 [37:40<16:21, 8.32s/it][A + mmlu_nl: 72%|███████████████████████████████████████████████████████████████████████████████████▊ | 295/412 [37:47<15:27, 7.93s/it][A + mmlu_nl: 72%|████████████████████████████████████████████████████████████████████████████████████ | 296/412 [37:56<15:50, 8.19s/it][A + mmlu_nl: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 297/412 [38:04<15:42, 8.19s/it][A + mmlu_nl: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 298/412 [38:11<14:53, 7.84s/it][A + mmlu_nl: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 299/412 [38:19<14:32, 7.72s/it][A + mmlu_nl: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 300/412 [38:26<14:23, 7.71s/it][A + mmlu_nl: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 301/412 [38:34<14:27, 7.82s/it][A + mmlu_nl: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 302/412 [38:42<14:01, 7.65s/it][A + mmlu_nl: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 303/412 [38:49<13:35, 7.48s/it][A + mmlu_nl: 74%|██████████████████████████████████████████████████████████████████████████████████████▎ | 304/412 [38:56<13:21, 7.42s/it][A + mmlu_nl: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 305/412 [39:03<12:58, 7.28s/it][A + mmlu_nl: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 306/412 [39:10<12:52, 7.29s/it][A + mmlu_nl: 75%|███████████████████████████████████████████████████████████████████████████████████████▏ | 307/412 [39:18<13:09, 7.52s/it][A + mmlu_nl: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 308/412 [39:26<12:52, 7.43s/it][A + mmlu_nl: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 309/412 [39:34<13:16, 7.73s/it][A + mmlu_nl: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 310/412 [39:42<13:25, 7.89s/it][A + mmlu_nl: 75%|████████████████████████████████████████████████████████████████████████████████████████▎ | 311/412 [39:49<12:48, 7.61s/it][A + mmlu_nl: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 312/412 [39:57<12:50, 7.71s/it][A + mmlu_nl: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 313/412 [40:04<12:33, 7.61s/it][A + mmlu_nl: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 314/412 [40:11<12:06, 7.41s/it][A + mmlu_nl: 76%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 315/412 [40:20<12:27, 7.71s/it][A + mmlu_nl: 77%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 316/412 [40:27<11:54, 7.44s/it][A + mmlu_nl: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 317/412 [40:34<11:48, 7.46s/it][A + mmlu_nl: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 318/412 [40:42<11:52, 7.58s/it][A + mmlu_nl: 77%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 319/412 [40:50<11:44, 7.58s/it][A + mmlu_nl: 78%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 320/412 [40:57<11:36, 7.57s/it][A + mmlu_nl: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 321/412 [41:04<11:11, 7.38s/it][A + mmlu_nl: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 322/412 [41:11<11:05, 7.39s/it][A + mmlu_nl: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 323/412 [41:19<11:14, 7.58s/it][A + mmlu_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 324/412 [41:27<10:57, 7.47s/it][A + mmlu_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 325/412 [41:36<11:28, 7.91s/it][A + mmlu_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 326/412 [41:43<10:58, 7.66s/it][A + mmlu_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 327/412 [41:50<10:53, 7.69s/it][A + mmlu_nl: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 328/412 [41:58<10:44, 7.67s/it][A + mmlu_nl: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 329/412 [42:06<10:43, 7.75s/it][A + mmlu_nl: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 330/412 [42:15<10:58, 8.04s/it][A + mmlu_nl: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 331/412 [42:23<10:49, 8.01s/it][A + mmlu_nl: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 332/412 [42:30<10:23, 7.79s/it][A + mmlu_nl: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 333/412 [42:38<10:23, 7.90s/it][A + mmlu_nl: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 334/412 [42:45<09:55, 7.64s/it][A + mmlu_nl: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 335/412 [42:53<09:58, 7.77s/it][A + mmlu_nl: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 336/412 [43:00<09:38, 7.61s/it][A + mmlu_nl: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/412 [43:08<09:35, 7.67s/it][A + mmlu_nl: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/412 [43:17<09:49, 7.97s/it][A + mmlu_nl: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 339/412 [43:24<09:26, 7.76s/it][A + mmlu_nl: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 340/412 [43:32<09:20, 7.78s/it][A + mmlu_nl: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 341/412 [43:40<09:09, 7.74s/it][A + mmlu_nl: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 342/412 [43:47<08:51, 7.59s/it][A + mmlu_nl: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 343/412 [43:55<08:44, 7.60s/it][A + mmlu_nl: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 344/412 [44:02<08:28, 7.48s/it][A + mmlu_nl: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 345/412 [44:09<08:17, 7.42s/it][A + mmlu_nl: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 346/412 [44:16<08:04, 7.34s/it][A + mmlu_nl: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 347/412 [44:25<08:30, 7.86s/it][A + mmlu_nl: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 348/412 [44:33<08:25, 7.90s/it][A + mmlu_nl: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 349/412 [44:40<08:03, 7.67s/it][A + mmlu_nl: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 350/412 [44:48<07:59, 7.74s/it][A + mmlu_nl: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 351/412 [44:55<07:34, 7.44s/it][A + mmlu_nl: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 352/412 [45:02<07:25, 7.42s/it][A + mmlu_nl: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 353/412 [45:11<07:32, 7.67s/it][A + mmlu_nl: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 354/412 [45:18<07:17, 7.54s/it][A + mmlu_nl: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 355/412 [45:26<07:10, 7.55s/it][A + mmlu_nl: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 356/412 [45:33<06:59, 7.49s/it][A + mmlu_nl: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 357/412 [45:40<06:42, 7.32s/it][A + mmlu_nl: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 358/412 [45:48<06:48, 7.56s/it][A + mmlu_nl: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 359/412 [45:55<06:33, 7.42s/it][A + mmlu_nl: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 360/412 [46:03<06:39, 7.68s/it][A + mmlu_nl: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 361/412 [46:12<06:42, 7.90s/it][A + mmlu_nl: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 362/412 [46:19<06:23, 7.67s/it][A + mmlu_nl: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 363/412 [46:27<06:18, 7.72s/it][A + mmlu_nl: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 364/412 [46:36<06:33, 8.19s/it][A + mmlu_nl: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 365/412 [46:43<06:13, 7.94s/it][A + mmlu_nl: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 366/412 [46:51<06:06, 7.97s/it][A + mmlu_nl: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 367/412 [46:59<05:48, 7.74s/it][A + mmlu_nl: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 368/412 [47:06<05:30, 7.52s/it][A + mmlu_nl: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 369/412 [47:13<05:27, 7.61s/it][A + mmlu_nl: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/412 [47:22<05:34, 7.97s/it][A + mmlu_nl: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 371/412 [47:29<05:12, 7.61s/it][A + mmlu_nl: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 372/412 [47:36<04:57, 7.45s/it][A + mmlu_nl: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/412 [47:44<04:52, 7.51s/it][A + mmlu_nl: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 374/412 [47:50<04:36, 7.28s/it][A + mmlu_nl: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 375/412 [47:58<04:28, 7.26s/it][A + mmlu_nl: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 376/412 [48:07<04:46, 7.96s/it][A + mmlu_nl: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 377/412 [48:14<04:28, 7.67s/it][A + mmlu_nl: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 378/412 [48:22<04:17, 7.58s/it][A + mmlu_nl: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 379/412 [48:30<04:15, 7.73s/it][A + mmlu_nl: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 380/412 [48:37<04:02, 7.57s/it][A + mmlu_nl: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 381/412 [48:45<03:56, 7.62s/it][A + mmlu_nl: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 382/412 [48:52<03:44, 7.49s/it][A + mmlu_nl: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 383/412 [49:00<03:45, 7.78s/it][A + mmlu_nl: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 384/412 [49:07<03:26, 7.39s/it][A + mmlu_nl: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 385/412 [49:15<03:25, 7.61s/it][A + mmlu_nl: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 386/412 [49:22<03:14, 7.49s/it][A + mmlu_nl: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 387/412 [49:28<02:59, 7.16s/it][A + mmlu_nl: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 388/412 [49:36<02:57, 7.38s/it][A + mmlu_nl: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 389/412 [49:43<02:47, 7.30s/it][A + mmlu_nl: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 390/412 [49:50<02:38, 7.21s/it][A + mmlu_nl: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 391/412 [49:58<02:31, 7.23s/it][A + mmlu_nl: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 392/412 [50:05<02:22, 7.11s/it][A + mmlu_nl: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 393/412 [50:13<02:19, 7.36s/it][A + mmlu_nl: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 394/412 [50:20<02:12, 7.37s/it][A + mmlu_nl: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 395/412 [50:27<02:02, 7.22s/it][A + mmlu_nl: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 396/412 [50:34<01:55, 7.21s/it][A + mmlu_nl: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 397/412 [50:42<01:51, 7.46s/it][A + mmlu_nl: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 398/412 [50:50<01:46, 7.58s/it][A + mmlu_nl: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 399/412 [50:57<01:37, 7.53s/it][A + mmlu_nl: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 400/412 [51:05<01:31, 7.66s/it][A + mmlu_nl: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 401/412 [51:12<01:21, 7.44s/it][A + mmlu_nl: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 402/412 [51:20<01:16, 7.67s/it][A + mmlu_nl: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 403/412 [51:28<01:08, 7.60s/it][A + mmlu_nl: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 404/412 [51:35<00:59, 7.49s/it][A + mmlu_nl: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 405/412 [51:42<00:52, 7.48s/it][A + mmlu_nl: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [51:50<00:45, 7.60s/it][A + mmlu_nl: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [51:58<00:37, 7.47s/it][A + mmlu_nl: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [52:06<00:30, 7.66s/it][A + mmlu_nl: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [52:13<00:22, 7.62s/it][A + mmlu_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [52:21<00:15, 7.81s/it][A + mmlu_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [52:28<00:07, 7.59s/it][A + mmlu_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:36<00:00, 7.56s/it][A mmlu_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:36<00:00, 7.66s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_nl_acc 0.38293997116187295 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_nl_acc_norm 0.3433254913865068 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 17:13:31,187 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 17:13:31,188 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:31,317 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 17:13:31,318 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:31,447 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 17:13:31,447 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:31,577 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 17:13:31,578 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 17:13:31,578 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 17:13:31,710 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 17:13:31,710 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_nl_acc'} +2024-05-31 17:13:31,776 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 17:13:31,776 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1241, 'value': 0.38293997116187295} +2024-05-31 17:13:31,842 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 17:13:32,493 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 17:13:32,493 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:32,621 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 17:13:32,621 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:32,749 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 17:13:32,749 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:32,877 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 17:13:32,877 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 17:13:32,877 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 17:13:33,006 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 17:13:33,006 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_nl_acc_norm'} +2024-05-31 17:13:33,071 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 17:13:33,071 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1242, 'value': 0.3433254913865068} +2024-05-31 17:13:33,136 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 66%|███████████████████████████████████████████████████████████████████████▍ | 82/124 [58:26:02<60:53:27, 5219.23s/it]['mmlu_pt'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 17:13:33,794 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 17:13:33,794 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:33,923 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 17:13:33,923 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:34,053 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 17:13:34,053 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 17:13:34,182 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 17:13:34,183 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 17:13:34,183 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_pt'} +2024-05-31 17:13:34,314 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_pt task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1761 examples [00:00, 13633.35 examples/s][A + Generating test split: 5101 examples [00:00, 24004.86 examples/s][A + Generating test split: 8595 examples [00:00, 28688.81 examples/s][A + Generating test split: 12000 examples [00:00, 30524.05 examples/s][A Generating test split: 13324 examples [00:00, 28023.01 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 280 examples [00:00, 27604.48 examples/s] +Running loglikelihood requests + + mmlu_pt: 0%| | 0/417 [00:00<?, ?it/s][A + mmlu_pt: 0%|▎ | 1/417 [00:08<1:01:17, 8.84s/it][A + mmlu_pt: 0%|▌ | 2/417 [00:15<53:23, 7.72s/it][A + mmlu_pt: 1%|▊ | 3/417 [00:23<51:54, 7.52s/it][A + mmlu_pt: 1%|█▏ | 4/417 [00:30<51:14, 7.45s/it][A + mmlu_pt: 1%|█▍ | 5/417 [00:37<51:23, 7.48s/it][A + mmlu_pt: 1%|█▋ | 6/417 [00:45<50:49, 7.42s/it][A + mmlu_pt: 2%|█▉ | 7/417 [00:52<50:37, 7.41s/it][A + mmlu_pt: 2%|██▎ | 8/417 [01:00<52:08, 7.65s/it][A + mmlu_pt: 2%|██▌ | 9/417 [01:07<50:34, 7.44s/it][A + mmlu_pt: 2%|██▊ | 10/417 [01:14<49:20, 7.27s/it][A + mmlu_pt: 3%|███ | 11/417 [01:21<48:46, 7.21s/it][A + mmlu_pt: 3%|███▍ | 12/417 [01:28<48:39, 7.21s/it][A + mmlu_pt: 3%|███▋ | 13/417 [01:35<47:14, 7.02s/it][A + mmlu_pt: 3%|███▉ | 14/417 [01:42<47:54, 7.13s/it][A + mmlu_pt: 4%|████▏ | 15/417 [01:50<47:48, 7.14s/it][A + mmlu_pt: 4%|████▌ | 16/417 [01:58<49:55, 7.47s/it][A + mmlu_pt: 4%|████▊ | 17/417 [02:06<50:34, 7.59s/it][A + mmlu_pt: 4%|█████ | 18/417 [02:14<52:41, 7.92s/it][A + mmlu_pt: 5%|█████▍ | 19/417 [02:21<50:41, 7.64s/it][A + mmlu_pt: 5%|█████▋ | 20/417 [02:28<49:23, 7.47s/it][A + mmlu_pt: 5%|█████▉ | 21/417 [02:36<50:16, 7.62s/it][A + mmlu_pt: 5%|██████▏ | 22/417 [02:44<51:02, 7.75s/it][A + mmlu_pt: 6%|██████▌ | 23/417 [02:51<49:18, 7.51s/it][A + mmlu_pt: 6%|██████▊ | 24/417 [02:59<48:44, 7.44s/it][A + mmlu_pt: 6%|███████ | 25/417 [03:06<47:53, 7.33s/it][A + mmlu_pt: 6%|███████▎ | 26/417 [03:13<48:02, 7.37s/it][A + mmlu_pt: 6%|███████▋ | 27/417 [03:20<46:55, 7.22s/it][A + mmlu_pt: 7%|███████▉ | 28/417 [03:28<48:16, 7.45s/it][A + mmlu_pt: 7%|████████▏ | 29/417 [03:34<45:17, 7.00s/it][A + mmlu_pt: 7%|████████▍ | 30/417 [03:41<44:49, 6.95s/it][A + mmlu_pt: 7%|████████▊ | 31/417 [03:48<44:21, 6.90s/it][A + mmlu_pt: 8%|█████████ | 32/417 [03:55<44:25, 6.92s/it][A + mmlu_pt: 8%|█████████▎ | 33/417 [04:03<46:42, 7.30s/it][A + mmlu_pt: 8%|█████████▌ | 34/417 [04:10<46:24, 7.27s/it][A + mmlu_pt: 8%|█████████▉ | 35/417 [04:18<48:31, 7.62s/it][A + mmlu_pt: 9%|██████████▏ | 36/417 [04:26<47:37, 7.50s/it][A + mmlu_pt: 9%|██████████▍ | 37/417 [04:32<46:06, 7.28s/it][A + mmlu_pt: 9%|██████████▊ | 38/417 [04:40<46:42, 7.39s/it][A + mmlu_pt: 9%|███████████ | 39/417 [04:47<45:54, 7.29s/it][A + mmlu_pt: 10%|███████████▎ | 40/417 [04:54<45:32, 7.25s/it][A + mmlu_pt: 10%|███████████▌ | 41/417 [05:01<44:39, 7.13s/it][A + mmlu_pt: 10%|███████████▉ | 42/417 [05:08<44:05, 7.06s/it][A + mmlu_pt: 10%|████████████▏ | 43/417 [05:15<43:27, 6.97s/it][A + mmlu_pt: 11%|████████████▍ | 44/417 [05:22<43:20, 6.97s/it][A + mmlu_pt: 11%|████████████▋ | 45/417 [05:29<43:29, 7.02s/it][A + mmlu_pt: 11%|█████████████ | 46/417 [05:36<43:08, 6.98s/it][A + mmlu_pt: 11%|█████████████▎ | 47/417 [05:43<42:37, 6.91s/it][A + mmlu_pt: 12%|█████████████▌ | 48/417 [05:50<42:39, 6.94s/it][A + mmlu_pt: 12%|█████████████▊ | 49/417 [05:57<43:35, 7.11s/it][A + mmlu_pt: 12%|██████████████▏ | 50/417 [06:04<43:23, 7.10s/it][A + mmlu_pt: 12%|██████████████▍ | 51/417 [06:11<43:17, 7.10s/it][A + mmlu_pt: 12%|██████████████▋ | 52/417 [06:18<42:33, 7.00s/it][A + mmlu_pt: 13%|██████████████▉ | 53/417 [06:25<41:46, 6.89s/it][A + mmlu_pt: 13%|███████████████▎ | 54/417 [06:33<44:05, 7.29s/it][A + mmlu_pt: 13%|███████████████▌ | 55/417 [06:39<42:41, 7.08s/it][A + mmlu_pt: 13%|███████████████▊ | 56/417 [06:48<45:49, 7.62s/it][A + mmlu_pt: 14%|████████████████▏ | 57/417 [06:55<44:50, 7.47s/it][A + mmlu_pt: 14%|████████████████▍ | 58/417 [07:02<43:57, 7.35s/it][A + mmlu_pt: 14%|████████████████▋ | 59/417 [07:10<45:00, 7.54s/it][A + mmlu_pt: 14%|████████████████▉ | 60/417 [07:18<45:28, 7.64s/it][A + mmlu_pt: 15%|█████████████████▎ | 61/417 [07:25<43:42, 7.37s/it][A + mmlu_pt: 15%|█████████████████▌ | 62/417 [07:32<43:15, 7.31s/it][A + mmlu_pt: 15%|█████████████████▊ | 63/417 [07:39<42:36, 7.22s/it][A + mmlu_pt: 15%|██████████████████ | 64/417 [07:46<42:27, 7.22s/it][A + mmlu_pt: 16%|██████████████████▍ | 65/417 [07:55<44:14, 7.54s/it][A + mmlu_pt: 16%|██████████████████▋ | 66/417 [08:03<44:33, 7.62s/it][A + mmlu_pt: 16%|██████████████████▉ | 67/417 [08:11<45:16, 7.76s/it][A + mmlu_pt: 16%|███████████████████▏ | 68/417 [08:17<42:04, 7.23s/it][A + mmlu_pt: 17%|███████████████████▌ | 69/417 [08:24<41:58, 7.24s/it][A + mmlu_pt: 17%|███████████████████▊ | 70/417 [08:32<43:25, 7.51s/it][A + mmlu_pt: 17%|████████████████████ | 71/417 [08:40<44:34, 7.73s/it][A + mmlu_pt: 17%|████████████████████▎ | 72/417 [08:48<43:36, 7.58s/it][A + mmlu_pt: 18%|████████████████████▋ | 73/417 [08:54<41:56, 7.32s/it][A + mmlu_pt: 18%|████████████████████▉ | 74/417 [09:02<42:02, 7.35s/it][A + mmlu_pt: 18%|█████████████████████▏ | 75/417 [09:09<42:20, 7.43s/it][A + mmlu_pt: 18%|█████████████████████▌ | 76/417 [09:17<42:12, 7.43s/it][A + mmlu_pt: 18%|█████████████████████▊ | 77/417 [09:25<43:58, 7.76s/it][A + mmlu_pt: 19%|██████████████████████ | 78/417 [09:32<42:31, 7.53s/it][A + mmlu_pt: 19%|██████████████████████▎ | 79/417 [09:40<42:33, 7.55s/it][A + mmlu_pt: 19%|██████████████████████▋ | 80/417 [09:47<41:40, 7.42s/it][A + mmlu_pt: 19%|██████████████████████▉ | 81/417 [09:54<40:37, 7.25s/it][A + mmlu_pt: 20%|███████████████████████▏ | 82/417 [10:01<39:46, 7.12s/it][A + mmlu_pt: 20%|███████████████████████▍ | 83/417 [10:08<40:00, 7.19s/it][A + mmlu_pt: 20%|███████████████████████▊ | 84/417 [10:15<40:15, 7.25s/it][A + mmlu_pt: 20%|████████████████████████ | 85/417 [10:23<41:06, 7.43s/it][A + mmlu_pt: 21%|████████████████████████▎ | 86/417 [10:30<39:51, 7.22s/it][A + mmlu_pt: 21%|████████████████████████▌ | 87/417 [10:37<40:18, 7.33s/it][A + mmlu_pt: 21%|████████████████████████▉ | 88/417 [10:45<39:44, 7.25s/it][A + mmlu_pt: 21%|█████████████████████████▏ | 89/417 [10:51<39:02, 7.14s/it][A + mmlu_pt: 22%|█████████████████████████▍ | 90/417 [10:59<40:09, 7.37s/it][A + mmlu_pt: 22%|█████████████████████████▊ | 91/417 [11:07<40:54, 7.53s/it][A + mmlu_pt: 22%|██████████████████████████ | 92/417 [11:15<40:20, 7.45s/it][A + mmlu_pt: 22%|██████████████████████████▎ | 93/417 [11:21<39:24, 7.30s/it][A + mmlu_pt: 23%|██████████████████████████▌ | 94/417 [11:29<39:16, 7.30s/it][A + mmlu_pt: 23%|██████████████████████████▉ | 95/417 [11:36<39:14, 7.31s/it][A + mmlu_pt: 23%|███████████████████████████▏ | 96/417 [11:45<41:05, 7.68s/it][A + mmlu_pt: 23%|███████████████████████████▍ | 97/417 [11:53<42:35, 7.99s/it][A + mmlu_pt: 24%|███████████████████████████▋ | 98/417 [12:01<42:07, 7.92s/it][A + mmlu_pt: 24%|████████████████████████████ | 99/417 [12:09<41:40, 7.86s/it][A + mmlu_pt: 24%|████████████████████████████ | 100/417 [12:16<40:39, 7.70s/it][A + mmlu_pt: 24%|████████████████████████████▎ | 101/417 [12:23<39:34, 7.51s/it][A + mmlu_pt: 24%|████████████████████████████▌ | 102/417 [12:31<39:14, 7.47s/it][A + mmlu_pt: 25%|████████████████████████████▉ | 103/417 [12:38<38:55, 7.44s/it][A + mmlu_pt: 25%|█████████████████████████████▏ | 104/417 [12:45<38:17, 7.34s/it][A + mmlu_pt: 25%|█████████████████████████████▍ | 105/417 [12:53<39:39, 7.63s/it][A + mmlu_pt: 25%|█████████████████████████████▋ | 106/417 [13:01<38:52, 7.50s/it][A + mmlu_pt: 26%|██████████████████████████████ | 107/417 [13:09<39:58, 7.74s/it][A + mmlu_pt: 26%|██████████████████████████████▎ | 108/417 [13:16<38:42, 7.52s/it][A + mmlu_pt: 26%|██████████████████████████████▌ | 109/417 [13:23<37:51, 7.38s/it][A + mmlu_pt: 26%|██████████████████████████████▊ | 110/417 [13:30<37:37, 7.35s/it][A + mmlu_pt: 27%|███████████████████████████████▏ | 111/417 [13:36<35:49, 7.02s/it][A + mmlu_pt: 27%|███████████████████████████████▍ | 112/417 [13:43<35:15, 6.93s/it][A + mmlu_pt: 27%|███████████████████████████████▋ | 113/417 [13:51<35:46, 7.06s/it][A + mmlu_pt: 27%|███████████████████████████████▉ | 114/417 [13:58<36:05, 7.15s/it][A + mmlu_pt: 28%|████████████████████████████████▎ | 115/417 [14:06<37:22, 7.43s/it][A + mmlu_pt: 28%|████████████████████████████████▌ | 116/417 [14:14<37:28, 7.47s/it][A + mmlu_pt: 28%|████████████████████████████████▊ | 117/417 [14:20<36:04, 7.21s/it][A + mmlu_pt: 28%|█████████████████████████████████ | 118/417 [14:27<35:05, 7.04s/it][A + mmlu_pt: 29%|█████████████████████████████████▍ | 119/417 [14:34<35:04, 7.06s/it][A + mmlu_pt: 29%|█████████████████████████████████▋ | 120/417 [14:42<36:26, 7.36s/it][A + mmlu_pt: 29%|█████████████████████████████████▉ | 121/417 [14:50<36:46, 7.45s/it][A + mmlu_pt: 29%|██████████████████████████████████▏ | 122/417 [14:57<36:03, 7.33s/it][A + mmlu_pt: 29%|██████████████████████████████████▌ | 123/417 [15:04<35:46, 7.30s/it][A + mmlu_pt: 30%|██████████████████████████████████▊ | 124/417 [15:12<36:28, 7.47s/it][A + mmlu_pt: 30%|███████████████████████████████████ | 125/417 [15:20<37:09, 7.64s/it][A + mmlu_pt: 30%|███████████████████████████████████▎ | 126/417 [15:28<37:48, 7.80s/it][A + mmlu_pt: 30%|███████████████████████████████████▋ | 127/417 [15:35<37:14, 7.70s/it][A + mmlu_pt: 31%|███████████████████████████████████▉ | 128/417 [15:42<35:28, 7.36s/it][A + mmlu_pt: 31%|████████████████████████████████████▏ | 129/417 [15:49<34:55, 7.28s/it][A + mmlu_pt: 31%|████████████████████████████████████▍ | 130/417 [15:56<34:42, 7.26s/it][A + mmlu_pt: 31%|████████████████████████████████████▊ | 131/417 [16:03<33:51, 7.10s/it][A + mmlu_pt: 32%|█████████████████████████████████████ | 132/417 [16:10<34:04, 7.17s/it][A + mmlu_pt: 32%|█████████████████████████████████████▎ | 133/417 [16:18<34:54, 7.38s/it][A + mmlu_pt: 32%|█████████████████████████████████████▌ | 134/417 [16:25<34:17, 7.27s/it][A + mmlu_pt: 32%|█████████████████████████████████████▉ | 135/417 [16:32<33:52, 7.21s/it][A + mmlu_pt: 33%|██████████████████████████████████████▏ | 136/417 [16:39<33:33, 7.16s/it][A + mmlu_pt: 33%|██████████████████████████████████████▍ | 137/417 [16:46<33:13, 7.12s/it][A + mmlu_pt: 33%|██████████████████████████████████████▋ | 138/417 [16:54<33:57, 7.30s/it][A + mmlu_pt: 33%|███████████████████████████████████████ | 139/417 [17:02<34:47, 7.51s/it][A + mmlu_pt: 34%|███████████████████████████████████████▎ | 140/417 [17:10<34:28, 7.47s/it][A + mmlu_pt: 34%|███████████████████████████████████████▌ | 141/417 [17:16<33:32, 7.29s/it][A + mmlu_pt: 34%|███████████████████████████████████████▊ | 142/417 [17:24<33:20, 7.28s/it][A + mmlu_pt: 34%|████████████████████████████████████████ | 143/417 [17:30<32:30, 7.12s/it][A + mmlu_pt: 35%|████████████████████████████████████████▍ | 144/417 [17:38<32:29, 7.14s/it][A + mmlu_pt: 35%|████████████████████████████████████████▋ | 145/417 [17:45<32:50, 7.24s/it][A + mmlu_pt: 35%|████████████████████████████████████████▉ | 146/417 [17:52<32:08, 7.12s/it][A + mmlu_pt: 35%|█████████████████████████████████████████▏ | 147/417 [17:58<31:21, 6.97s/it][A + mmlu_pt: 35%|█████████████████████████████████████████▌ | 148/417 [18:06<31:26, 7.01s/it][A + mmlu_pt: 36%|█████████████████████████████████████████▊ | 149/417 [18:13<32:07, 7.19s/it][A + mmlu_pt: 36%|██████████████████████████████████████████ | 150/417 [18:20<31:48, 7.15s/it][A + mmlu_pt: 36%|██████████████████████████████████████████▎ | 151/417 [18:27<31:31, 7.11s/it][A + mmlu_pt: 36%|██████████████████████████████████████████▋ | 152/417 [18:34<31:30, 7.13s/it][A + mmlu_pt: 37%|██████████████████████████████████████████▉ | 153/417 [18:43<32:44, 7.44s/it][A + mmlu_pt: 37%|███████████████████████████████████████████▏ | 154/417 [18:51<33:16, 7.59s/it][A + mmlu_pt: 37%|███████████████████████████████████████████▍ | 155/417 [18:58<33:21, 7.64s/it][A + mmlu_pt: 37%|███████████████████████████████████████████▊ | 156/417 [19:06<32:45, 7.53s/it][A + mmlu_pt: 38%|████████████████████████████████████████████ | 157/417 [19:12<31:46, 7.33s/it][A + mmlu_pt: 38%|████████████████████████████████████████████▎ | 158/417 [19:20<31:18, 7.25s/it][A + mmlu_pt: 38%|████████████████████████████████████████████▌ | 159/417 [19:28<33:06, 7.70s/it][A + mmlu_pt: 38%|████████████████████████████████████████████▉ | 160/417 [19:36<33:28, 7.81s/it][A + mmlu_pt: 39%|█████████████████████████████████████████████▏ | 161/417 [19:43<32:19, 7.58s/it][A + mmlu_pt: 39%|█████████████████████████████████████████████▍ | 162/417 [19:51<32:07, 7.56s/it][A + mmlu_pt: 39%|█████████████████████████████████████████████▋ | 163/417 [19:59<32:06, 7.59s/it][A + mmlu_pt: 39%|██████████████████████████████████████████████ | 164/417 [20:05<31:07, 7.38s/it][A + mmlu_pt: 40%|██████████████████████████████████████████████▎ | 165/417 [20:13<31:06, 7.41s/it][A + mmlu_pt: 40%|██████████████████████████████████████████████▌ | 166/417 [20:21<31:19, 7.49s/it][A + mmlu_pt: 40%|██████████████████████████████████████████████▊ | 167/417 [20:28<31:09, 7.48s/it][A + mmlu_pt: 40%|███████████████████████████████████████████████▏ | 168/417 [20:35<30:16, 7.29s/it][A + mmlu_pt: 41%|███████████████████████████████████████████████▍ | 169/417 [20:42<29:47, 7.21s/it][A + mmlu_pt: 41%|███████████████████████████████████████████████▋ | 170/417 [20:49<29:48, 7.24s/it][A + mmlu_pt: 41%|███████████████████████████████████████████████▉ | 171/417 [20:57<30:18, 7.39s/it][A + mmlu_pt: 41%|████████████████████████████████████████████████▎ | 172/417 [21:05<31:08, 7.63s/it][A + mmlu_pt: 41%|████████████████████████████████████████████████▌ | 173/417 [21:12<30:24, 7.48s/it][A + mmlu_pt: 42%|████████████████████████████████████████████████▊ | 174/417 [21:19<29:34, 7.30s/it][A + mmlu_pt: 42%|█████████████████████████████████████████████████ | 175/417 [21:26<29:19, 7.27s/it][A + mmlu_pt: 42%|█████████████████████████████████████████████████▍ | 176/417 [21:34<29:40, 7.39s/it][A + mmlu_pt: 42%|█████████████████████████████████████████████████▋ | 177/417 [21:41<29:23, 7.35s/it][A + mmlu_pt: 43%|█████████████████████████████████████████████████▉ | 178/417 [21:49<29:12, 7.33s/it][A + mmlu_pt: 43%|██████████████████████████████████████████████████▏ | 179/417 [21:56<29:23, 7.41s/it][A + mmlu_pt: 43%|██████████████████████████████████████████████████▌ | 180/417 [22:03<28:45, 7.28s/it][A + mmlu_pt: 43%|██████████████████████████████████████████████████▊ | 181/417 [22:10<28:07, 7.15s/it][A + mmlu_pt: 44%|███████████████████████████████████████████████████ | 182/417 [22:17<28:09, 7.19s/it][A + mmlu_pt: 44%|███████████████████████████████████████████████████▎ | 183/417 [22:25<28:28, 7.30s/it][A + mmlu_pt: 44%|███████████████████████████████████████████████████▋ | 184/417 [22:32<27:51, 7.17s/it][A + mmlu_pt: 44%|███████████████████████████████████████████████████▉ | 185/417 [22:39<27:49, 7.20s/it][A + mmlu_pt: 45%|████████████████████████████████████████████████████▏ | 186/417 [22:47<29:00, 7.54s/it][A + mmlu_pt: 45%|████████████████████████████████████████████████████▍ | 187/417 [22:55<29:05, 7.59s/it][A + mmlu_pt: 45%|████████████████████████████████████████████████████▋ | 188/417 [23:03<29:08, 7.63s/it][A + mmlu_pt: 45%|█████████████████████████████████████████████████████ | 189/417 [23:11<29:54, 7.87s/it][A + mmlu_pt: 46%|█████████████████████████████████████████████████████▎ | 190/417 [23:19<29:32, 7.81s/it][A + mmlu_pt: 46%|█████████████████████████████████████████████████████▌ | 191/417 [23:26<28:21, 7.53s/it][A + mmlu_pt: 46%|█████████████████████████████████████████████████████▊ | 192/417 [23:33<27:51, 7.43s/it][A + mmlu_pt: 46%|██████████████████████████████████████████████████████▏ | 193/417 [23:40<27:07, 7.27s/it][A + mmlu_pt: 47%|██████████████████████████████████████████████████████▍ | 194/417 [23:48<27:37, 7.43s/it][A + mmlu_pt: 47%|██████████████████████████████████████████████████████▋ | 195/417 [23:54<26:05, 7.05s/it][A + mmlu_pt: 47%|██████████████████████████████████████████████████████▉ | 196/417 [24:02<27:17, 7.41s/it][A + mmlu_pt: 47%|███████████████████████████████████████████████████████▎ | 197/417 [24:09<26:48, 7.31s/it][A + mmlu_pt: 47%|███████████████████████████████████████████████████████▌ | 198/417 [24:16<26:20, 7.21s/it][A + mmlu_pt: 48%|███████████████████████████████████████████████████████▊ | 199/417 [24:23<26:19, 7.25s/it][A + mmlu_pt: 48%|████████████████████████████████████████████████████████ | 200/417 [24:31<26:16, 7.27s/it][A + mmlu_pt: 48%|████████████████████████████████████████████████████████▍ | 201/417 [24:38<26:17, 7.30s/it][A + mmlu_pt: 48%|████████████████████████████████████████████████████████▋ | 202/417 [24:45<26:07, 7.29s/it][A + mmlu_pt: 49%|████████████████████████████████████████████████████████▉ | 203/417 [24:53<26:13, 7.35s/it][A + mmlu_pt: 49%|█████████████████████████████████████████████████████████▏ | 204/417 [25:00<26:16, 7.40s/it][A + mmlu_pt: 49%|█████████████████████████████████████████████████████████▌ | 205/417 [25:07<25:44, 7.28s/it][A + mmlu_pt: 49%|█████████████████████████████████████████████████████████▊ | 206/417 [25:15<25:57, 7.38s/it][A + mmlu_pt: 50%|██████████████████████████████████████████████████████████ | 207/417 [25:23<25:58, 7.42s/it][A + mmlu_pt: 50%|██████████████████████████████████████████████████████████▎ | 208/417 [25:30<25:37, 7.36s/it][A + mmlu_pt: 50%|██████████████████████████████████████████████████████████▋ | 209/417 [25:37<25:01, 7.22s/it][A + mmlu_pt: 50%|██████████████████████████████████████████████████████████▉ | 210/417 [25:43<24:26, 7.08s/it][A + mmlu_pt: 51%|███████████████████████████████████████████████████████████▏ | 211/417 [25:50<24:18, 7.08s/it][A + mmlu_pt: 51%|███████████████████████████████████████████████████████████▍ | 212/417 [25:59<25:42, 7.52s/it][A + mmlu_pt: 51%|███████████████████████████████████████████████████████████▊ | 213/417 [26:08<26:49, 7.89s/it][A + mmlu_pt: 51%|████████████████████████████████████████████████████████████ | 214/417 [26:15<26:24, 7.81s/it][A + mmlu_pt: 52%|████████████████████████████████████████████████████████████▎ | 215/417 [26:22<25:26, 7.56s/it][A + mmlu_pt: 52%|████████████████████████████████████████████████████████████▌ | 216/417 [26:30<25:33, 7.63s/it][A + mmlu_pt: 52%|████████████████████████████████████████████████████████████▉ | 217/417 [26:37<24:50, 7.45s/it][A + mmlu_pt: 52%|█████████████████████████████████████████████████████████████▏ | 218/417 [26:45<24:47, 7.48s/it][A + mmlu_pt: 53%|█████████████████████████████████████████████████████████████▍ | 219/417 [26:52<24:27, 7.41s/it][A + mmlu_pt: 53%|█████████████████████████████████████████████████████████████▋ | 220/417 [27:00<24:26, 7.44s/it][A + mmlu_pt: 53%|██████████████████████████████████████████████████████████████ | 221/417 [27:07<24:01, 7.35s/it][A + mmlu_pt: 53%|██████████████████████████████████████████████████████████████▎ | 222/417 [27:15<24:49, 7.64s/it][A + mmlu_pt: 53%|██████████████████████████████████████████████████████████████▌ | 223/417 [27:23<24:41, 7.64s/it][A + mmlu_pt: 54%|██████████████████████████████████████████████████████████████▊ | 224/417 [27:30<24:32, 7.63s/it][A + mmlu_pt: 54%|███████████████████████████████████████████████████████████████▏ | 225/417 [27:38<24:46, 7.74s/it][A + mmlu_pt: 54%|███████████████████████████████████████████████████████████████▍ | 226/417 [27:46<24:18, 7.63s/it][A + mmlu_pt: 54%|███████████████████████████████████████████████████████████████▋ | 227/417 [27:53<24:07, 7.62s/it][A + mmlu_pt: 55%|███████████████████████████████████████████████████████████████▉ | 228/417 [28:00<23:22, 7.42s/it][A + mmlu_pt: 55%|████████████████████████████████████████████████████████████████▎ | 229/417 [28:07<23:06, 7.37s/it][A + mmlu_pt: 55%|████████████████████████████████████████████████████████████████▌ | 230/417 [28:14<22:32, 7.23s/it][A + mmlu_pt: 55%|████████████████████████████████████████████████████████████████▊ | 231/417 [28:22<22:32, 7.27s/it][A + mmlu_pt: 56%|█████████████████████████████████████████████████████████████████ | 232/417 [28:29<22:10, 7.19s/it][A + mmlu_pt: 56%|█████████████████████████████████████████████████████████████████▎ | 233/417 [28:35<21:10, 6.90s/it][A + mmlu_pt: 56%|█████████████████████████████████████████████████████████████████▋ | 234/417 [28:42<21:01, 6.89s/it][A + mmlu_pt: 56%|█████████████████████████████████████████████████████████████████▉ | 235/417 [28:49<20:50, 6.87s/it][A + mmlu_pt: 57%|██████████████████████████████████████████████████████████████████▏ | 236/417 [28:56<20:59, 6.96s/it][A + mmlu_pt: 57%|██████████████████████████████████████████████████████████████████▍ | 237/417 [29:03<21:16, 7.09s/it][A + mmlu_pt: 57%|██████████████████████████████████████████████████████████████████▊ | 238/417 [29:11<21:27, 7.19s/it][A + mmlu_pt: 57%|███████████████████████████████████████████████████████████████████ | 239/417 [29:19<22:20, 7.53s/it][A + mmlu_pt: 58%|███████████████████████████████████████████████████████████████████▎ | 240/417 [29:26<22:15, 7.54s/it][A + mmlu_pt: 58%|███████████████████████████████████████████████████████████████████▌ | 241/417 [29:34<21:44, 7.41s/it][A + mmlu_pt: 58%|███████████████████████████████████████████████████████████████████▉ | 242/417 [29:41<21:36, 7.41s/it][A + mmlu_pt: 58%|████████████████████████████████████████████████████████████████████▏ | 243/417 [29:49<22:01, 7.59s/it][A + mmlu_pt: 59%|████████████████████████████████████████████████████████████████████▍ | 244/417 [29:57<22:13, 7.71s/it][A + mmlu_pt: 59%|████████████████████████████████████████████████████████████████████▋ | 245/417 [30:04<21:49, 7.61s/it][A + mmlu_pt: 59%|█████████████████████████████████████████████████████████████████████ | 246/417 [30:12<21:24, 7.51s/it][A + mmlu_pt: 59%|█████████████████████████████████████████████████████████████████████▎ | 247/417 [30:18<20:35, 7.27s/it][A + mmlu_pt: 59%|█████████████████████████████████████████████████████████████████████▌ | 248/417 [30:25<20:13, 7.18s/it][A + mmlu_pt: 60%|█████████████████████████████████████████████████████████████████████▊ | 249/417 [30:33<20:11, 7.21s/it][A + mmlu_pt: 60%|██████████████████████████████████████████████████████████████████████▏ | 250/417 [30:40<20:08, 7.24s/it][A + mmlu_pt: 60%|██████████████████████████████████████████████████████████████████████▍ | 251/417 [30:48<20:51, 7.54s/it][A + mmlu_pt: 60%|██████████████████████████████████████████████████████████████████████▋ | 252/417 [30:55<20:11, 7.34s/it][A + mmlu_pt: 61%|██████████████████████████████████████████████████████████████████████▉ | 253/417 [31:02<19:50, 7.26s/it][A + mmlu_pt: 61%|███████████████████████████████████████████████████████████████████████▎ | 254/417 [31:10<19:54, 7.33s/it][A + mmlu_pt: 61%|███████████████████████████████████████████████████████████████████████▌ | 255/417 [31:17<19:30, 7.22s/it][A + mmlu_pt: 61%|███████████████████████████████████████████████████████████████████████▊ | 256/417 [31:24<19:28, 7.26s/it][A + mmlu_pt: 62%|████████████████████████████████████████████████████████████████████████ | 257/417 [31:31<18:57, 7.11s/it][A + mmlu_pt: 62%|████████████████████████████████████████████████████████████████████████▍ | 258/417 [31:38<19:12, 7.25s/it][A + mmlu_pt: 62%|████████████████████████████████████████████████████████████████████████▋ | 259/417 [31:45<18:46, 7.13s/it][A + mmlu_pt: 62%|████████████████████████████████████████████████████████████████████████▉ | 260/417 [31:53<19:21, 7.40s/it][A + mmlu_pt: 63%|█████████████████████████████████████████████████████████████████████████▏ | 261/417 [32:01<19:46, 7.60s/it][A + mmlu_pt: 63%|█████████████████████████████████████████████████████████████████████████▌ | 262/417 [32:08<19:03, 7.38s/it][A + mmlu_pt: 63%|█████████████████████████████████████████████████████████████████████████▊ | 263/417 [32:15<18:52, 7.35s/it][A + mmlu_pt: 63%|██████████████████████████████████████████████████████████████████████████ | 264/417 [32:22<18:31, 7.27s/it][A + mmlu_pt: 64%|██████████████████████████████████████████████████████████████████████████▎ | 265/417 [32:29<18:15, 7.21s/it][A + mmlu_pt: 64%|██████████████████████████████████████████████████████████████████████████▋ | 266/417 [32:37<18:04, 7.18s/it][A + mmlu_pt: 64%|██████████████████████████████████████████████████████████████████████████▉ | 267/417 [32:44<18:22, 7.35s/it][A + mmlu_pt: 64%|███████████████████████████████████████████████████████████████████████████▏ | 268/417 [32:51<18:04, 7.28s/it][A + mmlu_pt: 65%|███████████████████████████████████████████████████████████████████████████▍ | 269/417 [32:59<18:03, 7.32s/it][A + mmlu_pt: 65%|███████████████████████████████████████████████████████████████████████████▊ | 270/417 [33:07<18:25, 7.52s/it][A + mmlu_pt: 65%|████████████████████████████████████████████████████████████████████████████ | 271/417 [33:15<18:38, 7.66s/it][A + mmlu_pt: 65%|████████████████████████████████████████████████████████████████████████████▎ | 272/417 [33:22<17:59, 7.44s/it][A + mmlu_pt: 65%|████████████████████████████████████████████████████████████████████████████▌ | 273/417 [33:29<17:32, 7.31s/it][A + mmlu_pt: 66%|████████████████████████████████████████████████████████████████████████████▉ | 274/417 [33:36<17:06, 7.18s/it][A + mmlu_pt: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 275/417 [33:43<16:53, 7.14s/it][A + mmlu_pt: 66%|█████████████████████████████████████████████████████████████████████████████▍ | 276/417 [33:50<17:06, 7.28s/it][A + mmlu_pt: 66%|█████████████████████████████████████████████████████████████████████████████▋ | 277/417 [33:58<17:23, 7.46s/it][A + mmlu_pt: 67%|██████████████████████████████████████████████████████████████████████████████ | 278/417 [34:06<17:36, 7.60s/it][A + mmlu_pt: 67%|██████████████████████████████████████████████████████████████████████████████▎ | 279/417 [34:13<17:12, 7.48s/it][A + mmlu_pt: 67%|██████████████████████████████████████████████████████████████████████████████▌ | 280/417 [34:21<16:56, 7.42s/it][A + mmlu_pt: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 281/417 [34:27<16:26, 7.26s/it][A + mmlu_pt: 68%|███████████████████████████████████████████████████████████████████████████████ | 282/417 [34:35<16:29, 7.33s/it][A + mmlu_pt: 68%|███████████████████████████████████████████████████████████████████████████████▍ | 283/417 [34:42<16:01, 7.18s/it][A + mmlu_pt: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 284/417 [34:50<16:47, 7.58s/it][A + mmlu_pt: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 285/417 [34:58<16:52, 7.67s/it][A + mmlu_pt: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 286/417 [35:06<16:43, 7.66s/it][A + mmlu_pt: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 287/417 [35:14<16:39, 7.69s/it][A + mmlu_pt: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 288/417 [35:21<16:31, 7.68s/it][A + mmlu_pt: 69%|█████████████████████████████████████████████████████████████████████████████████ | 289/417 [35:29<16:09, 7.57s/it][A + mmlu_pt: 70%|█████████████████████████████████████████████████████████████████████████████████▎ | 290/417 [35:35<15:26, 7.29s/it][A + mmlu_pt: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 291/417 [35:44<16:13, 7.73s/it][A + mmlu_pt: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 292/417 [35:51<15:45, 7.56s/it][A + mmlu_pt: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 293/417 [36:00<16:09, 7.82s/it][A + mmlu_pt: 71%|██████████████████████████████████████████████████████████████████████████████████▍ | 294/417 [36:07<15:38, 7.63s/it][A + mmlu_pt: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 295/417 [36:15<16:10, 7.96s/it][A + mmlu_pt: 71%|███████████████████████████████████████████████████████████████████████████████████ | 296/417 [36:23<15:36, 7.74s/it][A + mmlu_pt: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 297/417 [36:30<15:23, 7.69s/it][A + mmlu_pt: 71%|███████████████████████████████████████████████████████████████████████████████████▌ | 298/417 [36:37<14:56, 7.53s/it][A + mmlu_pt: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 299/417 [36:45<14:39, 7.45s/it][A + mmlu_pt: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 300/417 [36:52<14:30, 7.44s/it][A + mmlu_pt: 72%|████████████████████████████████████████████████████████████████████████████████████▍ | 301/417 [37:01<15:25, 7.98s/it][A + mmlu_pt: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 302/417 [37:08<14:33, 7.60s/it][A + mmlu_pt: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 303/417 [37:15<14:05, 7.42s/it][A + mmlu_pt: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 304/417 [37:23<14:16, 7.58s/it][A + mmlu_pt: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 305/417 [37:31<14:38, 7.84s/it][A + mmlu_pt: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 306/417 [37:38<13:48, 7.47s/it][A + mmlu_pt: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 307/417 [37:47<14:30, 7.92s/it][A + mmlu_pt: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 308/417 [37:56<14:47, 8.14s/it][A + mmlu_pt: 74%|██████████████████████████████████████████████████████████████████████████████████████▋ | 309/417 [38:03<13:56, 7.74s/it][A + mmlu_pt: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 310/417 [38:10<13:46, 7.72s/it][A + mmlu_pt: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 311/417 [38:17<13:14, 7.49s/it][A + mmlu_pt: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 312/417 [38:24<12:54, 7.38s/it][A + mmlu_pt: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 313/417 [38:31<12:31, 7.23s/it][A + mmlu_pt: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 314/417 [38:38<12:04, 7.04s/it][A + mmlu_pt: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 315/417 [38:44<11:47, 6.94s/it][A + mmlu_pt: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 316/417 [38:51<11:38, 6.92s/it][A + mmlu_pt: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 317/417 [38:59<11:51, 7.12s/it][A + mmlu_pt: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 318/417 [39:07<12:15, 7.43s/it][A + mmlu_pt: 76%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 319/417 [39:14<12:02, 7.38s/it][A + mmlu_pt: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 320/417 [39:22<12:11, 7.54s/it][A + mmlu_pt: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 321/417 [39:29<11:44, 7.34s/it][A + mmlu_pt: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 322/417 [39:36<11:25, 7.22s/it][A + mmlu_pt: 77%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 323/417 [39:44<11:28, 7.33s/it][A + mmlu_pt: 78%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 324/417 [39:51<11:16, 7.27s/it][A + mmlu_pt: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 325/417 [39:57<10:54, 7.12s/it][A + mmlu_pt: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 326/417 [40:04<10:43, 7.07s/it][A + mmlu_pt: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 327/417 [40:12<10:44, 7.16s/it][A + mmlu_pt: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 328/417 [40:19<10:39, 7.18s/it][A + mmlu_pt: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 329/417 [40:26<10:25, 7.11s/it][A + mmlu_pt: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 330/417 [40:34<10:48, 7.45s/it][A + mmlu_pt: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 331/417 [40:42<10:57, 7.64s/it][A + mmlu_pt: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 332/417 [40:50<10:45, 7.60s/it][A + mmlu_pt: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 333/417 [40:57<10:30, 7.51s/it][A + mmlu_pt: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 334/417 [41:05<10:27, 7.56s/it][A + mmlu_pt: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 335/417 [41:12<10:09, 7.43s/it][A + mmlu_pt: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 336/417 [41:19<09:58, 7.38s/it][A + mmlu_pt: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 337/417 [41:27<09:50, 7.38s/it][A + mmlu_pt: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 338/417 [41:34<09:39, 7.34s/it][A + mmlu_pt: 81%|███████████████████████████████████████████████████████████████████████████████████████████████ | 339/417 [41:40<09:17, 7.14s/it][A + mmlu_pt: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 340/417 [41:48<09:20, 7.28s/it][A + mmlu_pt: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 341/417 [41:56<09:17, 7.34s/it][A + mmlu_pt: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 342/417 [42:03<09:09, 7.32s/it][A + mmlu_pt: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 343/417 [42:10<09:03, 7.34s/it][A + mmlu_pt: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 344/417 [42:17<08:46, 7.21s/it][A + mmlu_pt: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 345/417 [42:23<08:19, 6.93s/it][A + mmlu_pt: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 346/417 [42:31<08:26, 7.13s/it][A + mmlu_pt: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 347/417 [42:38<08:08, 6.98s/it][A + mmlu_pt: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 348/417 [42:45<08:15, 7.19s/it][A + mmlu_pt: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 349/417 [42:53<08:13, 7.26s/it][A + mmlu_pt: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 350/417 [43:01<08:32, 7.65s/it][A + mmlu_pt: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 351/417 [43:09<08:19, 7.57s/it][A + mmlu_pt: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 352/417 [43:17<08:17, 7.65s/it][A + mmlu_pt: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 353/417 [43:24<08:09, 7.65s/it][A + mmlu_pt: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 354/417 [43:31<07:50, 7.47s/it][A + mmlu_pt: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 355/417 [43:39<07:47, 7.54s/it][A + mmlu_pt: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 356/417 [43:46<07:37, 7.50s/it][A + mmlu_pt: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 357/417 [43:54<07:26, 7.45s/it][A + mmlu_pt: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 358/417 [44:02<07:37, 7.75s/it][A + mmlu_pt: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 359/417 [44:10<07:32, 7.79s/it][A + mmlu_pt: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 360/417 [44:17<07:12, 7.59s/it][A + mmlu_pt: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 361/417 [44:24<06:56, 7.43s/it][A + mmlu_pt: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 362/417 [44:31<06:38, 7.25s/it][A + mmlu_pt: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 363/417 [44:38<06:29, 7.21s/it][A + mmlu_pt: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 364/417 [44:45<06:23, 7.24s/it][A + mmlu_pt: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 365/417 [44:54<06:33, 7.57s/it][A + mmlu_pt: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 366/417 [45:02<06:30, 7.66s/it][A + mmlu_pt: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 367/417 [45:08<06:09, 7.38s/it][A + mmlu_pt: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 368/417 [45:16<06:01, 7.37s/it][A + mmlu_pt: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 369/417 [45:23<05:44, 7.18s/it][A + mmlu_pt: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 370/417 [45:30<05:36, 7.16s/it][A + mmlu_pt: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 371/417 [45:37<05:31, 7.21s/it][A + mmlu_pt: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 372/417 [45:44<05:23, 7.19s/it][A + mmlu_pt: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 373/417 [45:51<05:18, 7.24s/it][A + mmlu_pt: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 374/417 [45:59<05:15, 7.35s/it][A + mmlu_pt: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 375/417 [46:06<05:07, 7.32s/it][A + mmlu_pt: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 376/417 [46:13<04:52, 7.13s/it][A + mmlu_pt: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 377/417 [46:20<04:47, 7.18s/it][A + mmlu_pt: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 378/417 [46:28<04:49, 7.41s/it][A + mmlu_pt: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 379/417 [46:35<04:38, 7.32s/it][A + mmlu_pt: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 380/417 [46:42<04:25, 7.19s/it][A + mmlu_pt: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 381/417 [46:50<04:25, 7.37s/it][A + mmlu_pt: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 382/417 [46:59<04:31, 7.76s/it][A + mmlu_pt: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 383/417 [47:07<04:32, 8.01s/it][A + mmlu_pt: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 384/417 [47:14<04:13, 7.68s/it][A + mmlu_pt: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 385/417 [47:21<04:01, 7.54s/it][A + mmlu_pt: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 386/417 [47:29<03:52, 7.50s/it][A + mmlu_pt: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 387/417 [47:36<03:44, 7.48s/it][A + mmlu_pt: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 388/417 [47:45<03:45, 7.79s/it][A + mmlu_pt: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 389/417 [47:52<03:35, 7.70s/it][A + mmlu_pt: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 390/417 [48:00<03:29, 7.77s/it][A + mmlu_pt: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 391/417 [48:08<03:20, 7.71s/it][A + mmlu_pt: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 392/417 [48:15<03:08, 7.52s/it][A + mmlu_pt: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 393/417 [48:23<03:02, 7.62s/it][A + mmlu_pt: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 394/417 [48:30<02:56, 7.67s/it][A + mmlu_pt: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 395/417 [48:38<02:49, 7.70s/it][A + mmlu_pt: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 396/417 [48:46<02:39, 7.59s/it][A + mmlu_pt: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 397/417 [48:53<02:31, 7.57s/it][A + mmlu_pt: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 398/417 [49:00<02:19, 7.35s/it][A + mmlu_pt: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 399/417 [49:08<02:14, 7.46s/it][A + mmlu_pt: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 400/417 [49:16<02:13, 7.85s/it][A + mmlu_pt: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 401/417 [49:25<02:07, 7.98s/it][A + mmlu_pt: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 402/417 [49:32<01:55, 7.73s/it][A + mmlu_pt: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 403/417 [49:41<01:53, 8.08s/it][A + mmlu_pt: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 404/417 [49:49<01:44, 8.07s/it][A + mmlu_pt: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 405/417 [49:56<01:32, 7.75s/it][A + mmlu_pt: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 406/417 [50:03<01:24, 7.71s/it][A + mmlu_pt: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 407/417 [50:10<01:14, 7.45s/it][A + mmlu_pt: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 408/417 [50:18<01:06, 7.41s/it][A + mmlu_pt: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 409/417 [50:25<00:58, 7.36s/it][A + mmlu_pt: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 410/417 [50:33<00:52, 7.55s/it][A + mmlu_pt: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 411/417 [50:40<00:44, 7.46s/it][A + mmlu_pt: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 412/417 [50:47<00:37, 7.46s/it][A + mmlu_pt: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 413/417 [50:55<00:29, 7.33s/it][A + mmlu_pt: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 414/417 [51:01<00:21, 7.23s/it][A + mmlu_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 415/417 [51:09<00:14, 7.19s/it][A + mmlu_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 416/417 [51:16<00:07, 7.24s/it][A + mmlu_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [51:22<00:00, 6.87s/it][A mmlu_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [51:22<00:00, 7.39s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_pt_acc 0.3815670969678775 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_pt_acc_norm 0.34058841188832184 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 18:04:59,593 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 18:04:59,594 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:04:59,726 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 18:04:59,726 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:04:59,858 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 18:04:59,858 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:04:59,990 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 18:04:59,991 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 18:04:59,991 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 18:05:00,129 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 18:05:00,129 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_pt_acc'} +2024-05-31 18:05:00,196 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 18:05:00,197 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1243, 'value': 0.3815670969678775} +2024-05-31 18:05:00,264 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 18:05:00,913 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 18:05:00,913 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:05:01,040 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 18:05:01,040 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:05:01,167 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 18:05:01,167 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:05:01,294 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 18:05:01,295 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 18:05:01,295 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 18:05:01,424 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 18:05:01,424 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_pt_acc_norm'} +2024-05-31 18:05:01,488 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 18:05:01,489 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1244, 'value': 0.34058841188832184} +2024-05-31 18:05:01,553 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 67%|████████████████████████████████████████████████████████████████████████▎ | 83/124 [59:17:30<52:09:39, 4579.98s/it]['mmlu_ro'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 18:05:02,207 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 18:05:02,208 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:05:02,336 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 18:05:02,337 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:05:02,465 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 18:05:02,466 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 18:05:02,594 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 18:05:02,595 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 18:05:02,595 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ro'} +2024-05-31 18:05:02,725 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_ro task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1771 examples [00:00, 13441.36 examples/s][A + Generating test split: 5086 examples [00:00, 23688.85 examples/s][A + Generating test split: 8589 examples [00:00, 28520.27 examples/s][A + Generating test split: 12000 examples [00:00, 30390.77 examples/s][A Generating test split: 13240 examples [00:00, 27777.99 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 272 examples [00:00, 26848.60 examples/s] +Running loglikelihood requests + + mmlu_ro: 0%| | 0/414 [00:00<?, ?it/s][A + mmlu_ro: 0%|▎ | 1/414 [00:09<1:06:11, 9.62s/it][A + mmlu_ro: 0%|▌ | 2/414 [00:18<1:02:50, 9.15s/it][A + mmlu_ro: 1%|▊ | 3/414 [00:26<1:00:40, 8.86s/it][A + mmlu_ro: 1%|█▏ | 4/414 [00:36<1:01:35, 9.01s/it][A + mmlu_ro: 1%|█▍ | 5/414 [00:43<58:21, 8.56s/it][A + mmlu_ro: 1%|█▋ | 6/414 [00:52<59:15, 8.71s/it][A + mmlu_ro: 2%|██ | 7/414 [01:01<59:02, 8.70s/it][A + mmlu_ro: 2%|██▎ | 8/414 [01:10<59:25, 8.78s/it][A + mmlu_ro: 2%|██▌ | 9/414 [01:19<59:26, 8.81s/it][A + mmlu_ro: 2%|██▊ | 10/414 [01:27<56:46, 8.43s/it][A + mmlu_ro: 3%|███▏ | 11/414 [01:36<57:49, 8.61s/it][A + mmlu_ro: 3%|███▍ | 12/414 [01:43<55:46, 8.33s/it][A + mmlu_ro: 3%|███▋ | 13/414 [01:52<56:18, 8.42s/it][A + mmlu_ro: 3%|███▉ | 14/414 [02:01<57:06, 8.57s/it][A + mmlu_ro: 4%|████▏ | 15/414 [02:11<1:00:22, 9.08s/it][A + mmlu_ro: 4%|████▍ | 16/414 [02:20<1:00:22, 9.10s/it][A + mmlu_ro: 4%|████▊ | 17/414 [02:29<58:47, 8.89s/it][A + mmlu_ro: 4%|█████▏ | 18/414 [02:37<57:40, 8.74s/it][A + mmlu_ro: 5%|█████▍ | 19/414 [02:45<55:43, 8.47s/it][A + mmlu_ro: 5%|█████▋ | 20/414 [02:54<56:39, 8.63s/it][A + mmlu_ro: 5%|█████▉ | 21/414 [03:03<57:03, 8.71s/it][A + mmlu_ro: 5%|██████▎ | 22/414 [03:12<58:28, 8.95s/it][A + mmlu_ro: 6%|██████▌ | 23/414 [03:21<58:24, 8.96s/it][A + mmlu_ro: 6%|██████▊ | 24/414 [03:29<56:15, 8.66s/it][A + mmlu_ro: 6%|███████▏ | 25/414 [03:39<57:28, 8.86s/it][A + mmlu_ro: 6%|███████▍ | 26/414 [03:46<55:28, 8.58s/it][A + mmlu_ro: 7%|███████▋ | 27/414 [03:55<55:56, 8.67s/it][A + mmlu_ro: 7%|███████▉ | 28/414 [04:05<56:54, 8.85s/it][A + mmlu_ro: 7%|████████▎ | 29/414 [04:14<57:27, 8.96s/it][A + mmlu_ro: 7%|████████▌ | 30/414 [04:23<58:07, 9.08s/it][A + mmlu_ro: 7%|████████▊ | 31/414 [04:31<55:52, 8.75s/it][A + mmlu_ro: 8%|█████████ | 32/414 [04:39<54:26, 8.55s/it][A + mmlu_ro: 8%|█████████▍ | 33/414 [04:48<55:08, 8.68s/it][A + mmlu_ro: 8%|█████████▋ | 34/414 [04:56<53:25, 8.44s/it][A + mmlu_ro: 8%|█████████▉ | 35/414 [05:04<52:12, 8.27s/it][A + mmlu_ro: 9%|██████████▎ | 36/414 [05:12<51:37, 8.20s/it][A + mmlu_ro: 9%|██████████▌ | 37/414 [05:21<52:15, 8.32s/it][A + mmlu_ro: 9%|██████████▊ | 38/414 [05:30<54:12, 8.65s/it][A + mmlu_ro: 9%|███████████ | 39/414 [05:38<52:54, 8.46s/it][A + mmlu_ro: 10%|███████████▍ | 40/414 [05:46<51:19, 8.23s/it][A + mmlu_ro: 10%|███████████▋ | 41/414 [05:55<52:46, 8.49s/it][A + mmlu_ro: 10%|███████████▉ | 42/414 [06:03<52:54, 8.53s/it][A + mmlu_ro: 10%|████████████▎ | 43/414 [06:11<51:27, 8.32s/it][A + mmlu_ro: 11%|████████████▌ | 44/414 [06:19<50:32, 8.20s/it][A + mmlu_ro: 11%|████████████▊ | 45/414 [06:27<48:56, 7.96s/it][A + mmlu_ro: 11%|█████████████ | 46/414 [06:35<49:58, 8.15s/it][A + mmlu_ro: 11%|█████████████▍ | 47/414 [06:43<48:40, 7.96s/it][A + mmlu_ro: 12%|█████████████▋ | 48/414 [06:51<48:38, 7.97s/it][A + mmlu_ro: 12%|█████████████▉ | 49/414 [06:59<49:13, 8.09s/it][A + mmlu_ro: 12%|██████████████▎ | 50/414 [07:07<48:41, 8.03s/it][A + mmlu_ro: 12%|██████████████▌ | 51/414 [07:16<50:28, 8.34s/it][A + mmlu_ro: 13%|██████████████▊ | 52/414 [07:24<50:30, 8.37s/it][A + mmlu_ro: 13%|███████████████ | 53/414 [07:33<51:27, 8.55s/it][A + mmlu_ro: 13%|███████████████▍ | 54/414 [07:42<51:37, 8.60s/it][A + mmlu_ro: 13%|███████████████▋ | 55/414 [07:51<51:04, 8.54s/it][A + mmlu_ro: 14%|███████████████▉ | 56/414 [07:59<50:20, 8.44s/it][A + mmlu_ro: 14%|████████████████▏ | 57/414 [08:07<49:22, 8.30s/it][A + mmlu_ro: 14%|████████████████▌ | 58/414 [08:15<49:27, 8.34s/it][A + mmlu_ro: 14%|████████████████▊ | 59/414 [08:23<48:33, 8.21s/it][A + mmlu_ro: 14%|█████████████████ | 60/414 [08:32<49:54, 8.46s/it][A + mmlu_ro: 15%|█████████████████▍ | 61/414 [08:41<49:59, 8.50s/it][A + mmlu_ro: 15%|█████████████████▋ | 62/414 [08:48<48:26, 8.26s/it][A + mmlu_ro: 15%|█████████████████▉ | 63/414 [08:57<48:54, 8.36s/it][A + mmlu_ro: 15%|██████████████████▏ | 64/414 [09:06<49:25, 8.47s/it][A + mmlu_ro: 16%|██████████████████▌ | 65/414 [09:14<49:42, 8.55s/it][A + mmlu_ro: 16%|██████████████████▊ | 66/414 [09:23<49:22, 8.51s/it][A + mmlu_ro: 16%|███████████████████ | 67/414 [09:32<49:29, 8.56s/it][A + mmlu_ro: 16%|███████████████████▍ | 68/414 [09:39<48:13, 8.36s/it][A + mmlu_ro: 17%|███████████████████▋ | 69/414 [09:48<47:45, 8.31s/it][A + mmlu_ro: 17%|███████████████████▉ | 70/414 [09:56<48:35, 8.47s/it][A + mmlu_ro: 17%|████████████████████▏ | 71/414 [10:04<47:16, 8.27s/it][A + mmlu_ro: 17%|████████████████████▌ | 72/414 [10:12<46:20, 8.13s/it][A + mmlu_ro: 18%|████████████████████▊ | 73/414 [10:21<47:09, 8.30s/it][A + mmlu_ro: 18%|█████████████████████ | 74/414 [10:30<48:46, 8.61s/it][A + mmlu_ro: 18%|█████████████████████▍ | 75/414 [10:38<46:42, 8.27s/it][A + mmlu_ro: 18%|█████████████████████▋ | 76/414 [10:46<47:29, 8.43s/it][A + mmlu_ro: 19%|█████████████████████▉ | 77/414 [10:54<46:28, 8.28s/it][A + mmlu_ro: 19%|██████████████████████▏ | 78/414 [11:04<48:15, 8.62s/it][A + mmlu_ro: 19%|██████████████████████▌ | 79/414 [11:13<49:19, 8.83s/it][A + mmlu_ro: 19%|██████████████████████▊ | 80/414 [11:21<47:17, 8.50s/it][A + mmlu_ro: 20%|███████████████████████ | 81/414 [11:29<45:56, 8.28s/it][A + mmlu_ro: 20%|███████████████████████▎ | 82/414 [11:36<45:07, 8.15s/it][A + mmlu_ro: 20%|███████████████████████▋ | 83/414 [11:45<46:21, 8.40s/it][A + mmlu_ro: 20%|███████████████████████▉ | 84/414 [11:53<45:13, 8.22s/it][A + mmlu_ro: 21%|████████████████████████▏ | 85/414 [12:02<45:58, 8.39s/it][A + mmlu_ro: 21%|████████████████████████▌ | 86/414 [12:10<44:56, 8.22s/it][A + mmlu_ro: 21%|████████████████████████▊ | 87/414 [12:19<45:39, 8.38s/it][A + mmlu_ro: 21%|█████████████████████████ | 88/414 [12:27<45:04, 8.29s/it][A + mmlu_ro: 21%|█████████████████████████▎ | 89/414 [12:35<44:48, 8.27s/it][A + mmlu_ro: 22%|█████████████████████████▋ | 90/414 [12:43<44:52, 8.31s/it][A + mmlu_ro: 22%|█████████████████████████▉ | 91/414 [12:52<45:44, 8.50s/it][A + mmlu_ro: 22%|██████████████████████████▏ | 92/414 [13:01<46:01, 8.58s/it][A + mmlu_ro: 22%|██████████████████████████▌ | 93/414 [13:10<46:43, 8.73s/it][A + mmlu_ro: 23%|██████████████████████████▊ | 94/414 [13:18<45:59, 8.62s/it][A + mmlu_ro: 23%|███████████████████████████ | 95/414 [13:26<43:36, 8.20s/it][A + mmlu_ro: 23%|███████████████████████████▎ | 96/414 [13:34<43:53, 8.28s/it][A + mmlu_ro: 23%|███████████████████████████▋ | 97/414 [13:43<45:18, 8.58s/it][A + mmlu_ro: 24%|███████████████████████████▉ | 98/414 [13:52<45:19, 8.61s/it][A + mmlu_ro: 24%|████████████████████████████▏ | 99/414 [14:00<44:52, 8.55s/it][A + mmlu_ro: 24%|████████████████████████████▎ | 100/414 [14:09<44:48, 8.56s/it][A + mmlu_ro: 24%|████████████████████████████▌ | 101/414 [14:19<46:25, 8.90s/it][A + mmlu_ro: 25%|████████████████████████████▊ | 102/414 [14:29<48:21, 9.30s/it][A + mmlu_ro: 25%|█████████████████████████████ | 103/414 [14:37<45:51, 8.85s/it][A + mmlu_ro: 25%|█████████████████████████████▍ | 104/414 [14:44<43:44, 8.47s/it][A + mmlu_ro: 25%|█████████████████████████████▋ | 105/414 [14:53<43:42, 8.49s/it][A + mmlu_ro: 26%|█████████████████████████████▉ | 106/414 [15:02<44:39, 8.70s/it][A + mmlu_ro: 26%|██████████████████████████████▏ | 107/414 [15:10<42:53, 8.38s/it][A + mmlu_ro: 26%|██████████████████████████████▌ | 108/414 [15:18<42:07, 8.26s/it][A + mmlu_ro: 26%|██████████████████████████████▊ | 109/414 [15:27<43:22, 8.53s/it][A + mmlu_ro: 27%|███████████████████████████████ | 110/414 [15:35<42:25, 8.37s/it][A + mmlu_ro: 27%|███████████████████████████████▎ | 111/414 [15:44<43:08, 8.54s/it][A + mmlu_ro: 27%|███████████████████████████████▋ | 112/414 [15:53<43:23, 8.62s/it][A + mmlu_ro: 27%|███████████████████████████████▉ | 113/414 [16:01<43:18, 8.63s/it][A + mmlu_ro: 28%|████████████████████████████████▏ | 114/414 [16:09<41:25, 8.29s/it][A + mmlu_ro: 28%|████████████████████████████████▌ | 115/414 [16:17<41:10, 8.26s/it][A + mmlu_ro: 28%|████████████████████████████████▊ | 116/414 [16:25<40:37, 8.18s/it][A + mmlu_ro: 28%|█████████████████████████████████ | 117/414 [16:33<40:58, 8.28s/it][A + mmlu_ro: 29%|█████████████████████████████████▎ | 118/414 [16:41<39:33, 8.02s/it][A + mmlu_ro: 29%|█████████████████████████████████▋ | 119/414 [16:49<39:08, 7.96s/it][A + mmlu_ro: 29%|█████████████████████████████████▉ | 120/414 [16:57<39:54, 8.15s/it][A + mmlu_ro: 29%|██████████████████████████████████▏ | 121/414 [17:06<40:38, 8.32s/it][A + mmlu_ro: 29%|██████████████████████████████████▍ | 122/414 [17:15<41:26, 8.51s/it][A + mmlu_ro: 30%|██████████████████████████████████▊ | 123/414 [17:24<42:37, 8.79s/it][A + mmlu_ro: 30%|███████████████████████████████████ | 124/414 [17:33<41:51, 8.66s/it][A + mmlu_ro: 30%|███████████████████████████████████▎ | 125/414 [17:41<41:22, 8.59s/it][A + mmlu_ro: 30%|███████████████████████████████████▌ | 126/414 [17:49<40:46, 8.49s/it][A + mmlu_ro: 31%|███████████████████████████████████▉ | 127/414 [17:59<42:06, 8.80s/it][A + mmlu_ro: 31%|████████████████████████████████████▏ | 128/414 [18:08<42:17, 8.87s/it][A + mmlu_ro: 31%|████████████████████████████████████▍ | 129/414 [18:17<42:45, 9.00s/it][A + mmlu_ro: 31%|████████████████████████████████████▋ | 130/414 [18:26<41:38, 8.80s/it][A + mmlu_ro: 32%|█████████████████████████████████████ | 131/414 [18:35<41:41, 8.84s/it][A + mmlu_ro: 32%|█████████████████████████████████████▎ | 132/414 [18:43<41:31, 8.83s/it][A + mmlu_ro: 32%|█████████████████████████████████████▌ | 133/414 [18:52<41:23, 8.84s/it][A + mmlu_ro: 32%|█████████████████████████████████████▊ | 134/414 [19:00<40:00, 8.57s/it][A + mmlu_ro: 33%|██████████████████████████████████████▏ | 135/414 [19:09<39:41, 8.53s/it][A + mmlu_ro: 33%|██████████████████████████████████████▍ | 136/414 [19:18<40:22, 8.71s/it][A + mmlu_ro: 33%|██████████████████████████████████████▋ | 137/414 [19:27<40:50, 8.85s/it][A + mmlu_ro: 33%|███████████████████████████████████████ | 138/414 [19:36<40:50, 8.88s/it][A + mmlu_ro: 34%|███████████████████████████████████████▎ | 139/414 [19:44<39:08, 8.54s/it][A + mmlu_ro: 34%|███████████████████████████████████████▌ | 140/414 [19:52<38:08, 8.35s/it][A + mmlu_ro: 34%|███████████████████████████████████████▊ | 141/414 [19:59<36:54, 8.11s/it][A + mmlu_ro: 34%|████████████████████████████████████████▏ | 142/414 [20:08<37:59, 8.38s/it][A + mmlu_ro: 35%|████████████████████████████████████████▍ | 143/414 [20:16<37:05, 8.21s/it][A + mmlu_ro: 35%|████████████████████████████████████████▋ | 144/414 [20:24<36:59, 8.22s/it][A + mmlu_ro: 35%|████████████████████████████████████████▉ | 145/414 [20:32<36:53, 8.23s/it][A + mmlu_ro: 35%|█████████████████████████████████████████▎ | 146/414 [20:42<38:43, 8.67s/it][A + mmlu_ro: 36%|█████████████████████████████████████████▌ | 147/414 [20:50<37:19, 8.39s/it][A + mmlu_ro: 36%|█████████████████████████████████████████▊ | 148/414 [20:59<38:02, 8.58s/it][A + mmlu_ro: 36%|██████████████████████████████████████████ | 149/414 [21:07<37:46, 8.55s/it][A + mmlu_ro: 36%|██████████████████████████████████████████▍ | 150/414 [21:17<38:50, 8.83s/it][A + mmlu_ro: 36%|██████████████████████████████████████████▋ | 151/414 [21:25<38:10, 8.71s/it][A + mmlu_ro: 37%|██████████████████████████████████████████▉ | 152/414 [21:34<37:32, 8.60s/it][A + mmlu_ro: 37%|███████████████████████████████████████████▏ | 153/414 [21:42<36:49, 8.47s/it][A + mmlu_ro: 37%|███████████████████████████████████████████▌ | 154/414 [21:50<36:57, 8.53s/it][A + mmlu_ro: 37%|███████████████████████████████████████████▊ | 155/414 [21:59<36:40, 8.50s/it][A + mmlu_ro: 38%|████████████████████████████████████████████ | 156/414 [22:08<36:53, 8.58s/it][A + mmlu_ro: 38%|████████████████████████████████████████████▎ | 157/414 [22:16<36:55, 8.62s/it][A + mmlu_ro: 38%|████████████████████████████████████████████▋ | 158/414 [22:25<36:29, 8.55s/it][A + mmlu_ro: 38%|████████████████████████████████████████████▉ | 159/414 [22:33<35:27, 8.34s/it][A + mmlu_ro: 39%|█████████████████████████████████████████████▏ | 160/414 [22:41<35:11, 8.31s/it][A + mmlu_ro: 39%|█████████████████████████████████████████████▌ | 161/414 [22:49<35:00, 8.30s/it][A + mmlu_ro: 39%|█████████████████████████████████████████████▊ | 162/414 [22:57<34:35, 8.24s/it][A + mmlu_ro: 39%|██████████████████████████████████████████████ | 163/414 [23:06<34:35, 8.27s/it][A + mmlu_ro: 40%|██████████████████████████████████████████████▎ | 164/414 [23:14<34:54, 8.38s/it][A + mmlu_ro: 40%|██████████████████████████████████████████████▋ | 165/414 [23:23<35:16, 8.50s/it][A + mmlu_ro: 40%|██████████████████████████████████████████████▉ | 166/414 [23:31<34:02, 8.24s/it][A + mmlu_ro: 40%|███████████████████████████████████████████████▏ | 167/414 [23:38<32:47, 7.97s/it][A + mmlu_ro: 41%|███████████████████████████████████████████████▍ | 168/414 [23:46<33:11, 8.09s/it][A + mmlu_ro: 41%|███████████████████████████████████████████████▊ | 169/414 [23:54<32:23, 7.93s/it][A + mmlu_ro: 41%|████████████████████████████████████████████████ | 170/414 [24:03<33:50, 8.32s/it][A + mmlu_ro: 41%|████████████████████████████████████████████████▎ | 171/414 [24:12<33:55, 8.37s/it][A + mmlu_ro: 42%|████████████████████████████████████████████████▌ | 172/414 [24:20<33:55, 8.41s/it][A + mmlu_ro: 42%|████████████████████████████████████████████████▉ | 173/414 [24:29<34:41, 8.64s/it][A + mmlu_ro: 42%|█████████████████████████████████████████████████▏ | 174/414 [24:39<36:02, 9.01s/it][A + mmlu_ro: 42%|█████████████████████████████████████████████████▍ | 175/414 [24:48<35:26, 8.90s/it][A + mmlu_ro: 43%|█████████████████████████████████████████████████▋ | 176/414 [24:56<34:57, 8.81s/it][A + mmlu_ro: 43%|██████████████████████████████████████████████████ | 177/414 [25:05<34:50, 8.82s/it][A + mmlu_ro: 43%|██████████████████████████████████████████████████▎ | 178/414 [25:13<33:43, 8.57s/it][A + mmlu_ro: 43%|██████████████████████████████████████████████████▌ | 179/414 [25:22<33:34, 8.57s/it][A + mmlu_ro: 43%|██████████████████████████████████████████████████▊ | 180/414 [25:31<34:01, 8.72s/it][A + mmlu_ro: 44%|███████████████████████████████████████████████████▏ | 181/414 [25:39<33:10, 8.54s/it][A + mmlu_ro: 44%|███████████████████████████████████████████████████▍ | 182/414 [25:48<33:11, 8.58s/it][A + mmlu_ro: 44%|███████████████████████████████████████████████████▋ | 183/414 [25:56<32:21, 8.40s/it][A + mmlu_ro: 44%|████████████████████████████████████████████████████ | 184/414 [26:05<33:00, 8.61s/it][A + mmlu_ro: 45%|████████████████████████████████████████████████████▎ | 185/414 [26:13<33:02, 8.66s/it][A + mmlu_ro: 45%|████████████████████████████████████████████████████▌ | 186/414 [26:22<33:17, 8.76s/it][A + mmlu_ro: 45%|████████████████████████████████████████████████████▊ | 187/414 [26:31<33:11, 8.77s/it][A + mmlu_ro: 45%|█████████████████████████████████████████████████████▏ | 188/414 [26:40<32:55, 8.74s/it][A + mmlu_ro: 46%|█████████████████████████████████████████████████████▍ | 189/414 [26:48<32:18, 8.62s/it][A + mmlu_ro: 46%|█████████████████████████████████████████████████████▋ | 190/414 [26:58<32:51, 8.80s/it][A + mmlu_ro: 46%|█████████████████████████████████████████████████████▉ | 191/414 [27:05<31:24, 8.45s/it][A + mmlu_ro: 46%|██████████████████████████████████████████████████████▎ | 192/414 [27:13<30:57, 8.37s/it][A + mmlu_ro: 47%|██████████████████████████████████████████████████████▌ | 193/414 [27:22<30:55, 8.40s/it][A + mmlu_ro: 47%|██████████████████████████████████████████████████████▊ | 194/414 [27:30<30:51, 8.42s/it][A + mmlu_ro: 47%|███████████████████████████████████████████████████████ | 195/414 [27:39<31:02, 8.50s/it][A + mmlu_ro: 47%|███████████████████████████████████████████████████████▍ | 196/414 [27:47<30:30, 8.40s/it][A + mmlu_ro: 48%|███████████████████████████████████████████████████████▋ | 197/414 [27:56<30:27, 8.42s/it][A + mmlu_ro: 48%|███████████████████████████████████████████████████████▉ | 198/414 [28:04<30:28, 8.46s/it][A + mmlu_ro: 48%|████████████████████████████████████████████████████████▏ | 199/414 [28:13<31:03, 8.67s/it][A + mmlu_ro: 48%|████████████████████████████████████████████████████████▌ | 200/414 [28:21<30:09, 8.46s/it][A + mmlu_ro: 49%|████████████████████████████████████████████████████████▊ | 201/414 [28:30<30:04, 8.47s/it][A + mmlu_ro: 49%|█████████████████████████████████████████████████████████ | 202/414 [28:38<29:43, 8.41s/it][A + mmlu_ro: 49%|█████████████████████████████████████████████████████████▎ | 203/414 [28:47<29:39, 8.43s/it][A + mmlu_ro: 49%|█████████████████████████████████████████████████████████▋ | 204/414 [28:55<29:15, 8.36s/it][A + mmlu_ro: 50%|█████████████████████████████████████████████████████████▉ | 205/414 [29:03<29:04, 8.35s/it][A + mmlu_ro: 50%|██████████████████████████████████████████████████████████▏ | 206/414 [29:11<28:07, 8.11s/it][A + mmlu_ro: 50%|██████████████████████████████████████████████████████████▌ | 207/414 [29:19<28:15, 8.19s/it][A + mmlu_ro: 50%|██████████████████████████████████████████████████████████▊ | 208/414 [29:26<27:09, 7.91s/it][A + mmlu_ro: 50%|███████████████████████████████████████████████████████████ | 209/414 [29:34<27:18, 7.99s/it][A + mmlu_ro: 51%|███████████████████████████████████████████████████████████▎ | 210/414 [29:44<28:29, 8.38s/it][A + mmlu_ro: 51%|███████████████████████████████████████████████████████████▋ | 211/414 [29:51<27:30, 8.13s/it][A + mmlu_ro: 51%|███████████████████████████████████████████████████████████▉ | 212/414 [29:59<27:01, 8.03s/it][A + mmlu_ro: 51%|████████████████████████████████████████████████████████████▏ | 213/414 [30:08<27:26, 8.19s/it][A + mmlu_ro: 52%|████████████████████████████████████████████████████████████▍ | 214/414 [30:16<27:58, 8.39s/it][A + mmlu_ro: 52%|████████████████████████████████████████████████████████████▊ | 215/414 [30:25<27:30, 8.29s/it][A + mmlu_ro: 52%|█████████████████████████████████████████████████████████████ | 216/414 [30:33<27:20, 8.29s/it][A + mmlu_ro: 52%|█████████████████████████████████████████████████████████████▎ | 217/414 [30:41<27:22, 8.34s/it][A + mmlu_ro: 53%|█████████████████████████████████████████████████████████████▌ | 218/414 [30:48<25:46, 7.89s/it][A + mmlu_ro: 53%|█████████████████████████████████████████████████████████████▉ | 219/414 [30:57<26:17, 8.09s/it][A + mmlu_ro: 53%|██████████████████████████████████████████████████████████████▏ | 220/414 [31:07<28:04, 8.68s/it][A + mmlu_ro: 53%|██████████████████████████████████████████████████████████████▍ | 221/414 [31:14<26:59, 8.39s/it][A + mmlu_ro: 54%|██████████████████████████████████████████████████████████████▋ | 222/414 [31:24<28:01, 8.76s/it][A + mmlu_ro: 54%|███████████████████████████████████████████████████████████████ | 223/414 [31:31<26:06, 8.20s/it][A + mmlu_ro: 54%|███████████████████████████████████████████████████████████████▎ | 224/414 [31:40<26:22, 8.33s/it][A + mmlu_ro: 54%|███████████████████████████████████████████████████████████████▌ | 225/414 [31:48<25:57, 8.24s/it][A + mmlu_ro: 55%|███████████████████████████████████████████████████████████████▊ | 226/414 [31:56<25:48, 8.23s/it][A + mmlu_ro: 55%|████████████████████████████████████████████████████████████████▏ | 227/414 [32:04<26:04, 8.36s/it][A + mmlu_ro: 55%|████████████████████████████████████████████████████████████████▍ | 228/414 [32:13<25:48, 8.32s/it][A + mmlu_ro: 55%|████████████████████████████████████████████████████████████████▋ | 229/414 [32:22<26:12, 8.50s/it][A + mmlu_ro: 56%|█████████████████████████████████████████████████████████████████ | 230/414 [32:30<26:08, 8.52s/it][A + mmlu_ro: 56%|█████████████████████████████████████████████████████████████████▎ | 231/414 [32:39<26:26, 8.67s/it][A + mmlu_ro: 56%|█████████████████████████████████████████████████████████████████▌ | 232/414 [32:47<25:18, 8.34s/it][A + mmlu_ro: 56%|█████████████████████████████████████████████████████████████████▊ | 233/414 [32:56<25:44, 8.54s/it][A + mmlu_ro: 57%|██████████████████████████████████████████████████████████████████▏ | 234/414 [33:04<25:08, 8.38s/it][A + mmlu_ro: 57%|██████████████████████████████████████████████████████████████████▍ | 235/414 [33:13<25:42, 8.62s/it][A + mmlu_ro: 57%|██████████████████████████████████████████████████████████████████▋ | 236/414 [33:21<25:21, 8.55s/it][A + mmlu_ro: 57%|██████████████████████████████████████████████████████████████████▉ | 237/414 [33:31<25:50, 8.76s/it][A + mmlu_ro: 57%|███████████████████████████████████████████████████████████████████▎ | 238/414 [33:38<24:56, 8.50s/it][A + mmlu_ro: 58%|███████████████████████████████████████████████████████████████████▌ | 239/414 [33:47<24:31, 8.41s/it][A + mmlu_ro: 58%|███████████████████████████████████████████████████████████████████▊ | 240/414 [33:55<24:13, 8.35s/it][A + mmlu_ro: 58%|████████████████████████████████████████████████████████████████████ | 241/414 [34:04<24:28, 8.49s/it][A + mmlu_ro: 58%|████████████████████████████████████████████████████████████████████▍ | 242/414 [34:13<24:51, 8.67s/it][A + mmlu_ro: 59%|████████████████████████████████████████████████████████████████████▋ | 243/414 [34:22<25:21, 8.90s/it][A + mmlu_ro: 59%|████████████████████████████████████████████████████████████████████▉ | 244/414 [34:31<24:58, 8.81s/it][A + mmlu_ro: 59%|█████████████████████████████████████████████████████████████████████▏ | 245/414 [34:39<24:16, 8.62s/it][A + mmlu_ro: 59%|█████████████████████████████████████████████████████████████████████▌ | 246/414 [34:48<24:15, 8.66s/it][A + mmlu_ro: 60%|█████████████████████████████████████████████████████████████████████▊ | 247/414 [34:55<23:17, 8.37s/it][A + mmlu_ro: 60%|██████████████████████████████████████████████████████████████████████ | 248/414 [35:03<22:51, 8.26s/it][A + mmlu_ro: 60%|██████████████████████████████████████████████████████████████████████▎ | 249/414 [35:11<22:13, 8.08s/it][A + mmlu_ro: 60%|██████████████████████████████████████████████████████████████████████▋ | 250/414 [35:19<22:16, 8.15s/it][A + mmlu_ro: 61%|██████████████████████████████████████████████████████████████████████▉ | 251/414 [35:28<22:27, 8.27s/it][A + mmlu_ro: 61%|███████████████████████████████████████████████████████████████████████▏ | 252/414 [35:37<22:45, 8.43s/it][A + mmlu_ro: 61%|███████████████████████████████████████████████████████████████████████▌ | 253/414 [35:44<22:00, 8.20s/it][A + mmlu_ro: 61%|███████████████████████████████████████████████████████████████████████▊ | 254/414 [35:54<22:51, 8.57s/it][A + mmlu_ro: 62%|████████████████████████████████████████████████████████████████████████ | 255/414 [36:02<22:14, 8.39s/it][A + mmlu_ro: 62%|████████████████████████████████████████████████████████████████████████▎ | 256/414 [36:11<22:28, 8.53s/it][A + mmlu_ro: 62%|████████████████████████████████████████████████████████████████████████▋ | 257/414 [36:18<21:40, 8.28s/it][A + mmlu_ro: 62%|████████████████████████████████████████████████████████████████████████▉ | 258/414 [36:26<21:19, 8.20s/it][A + mmlu_ro: 63%|█████████████████████████████████████████████████████████████████████████▏ | 259/414 [36:36<22:00, 8.52s/it][A + mmlu_ro: 63%|█████████████████████████████████████████████████████████████████████████▍ | 260/414 [36:44<21:59, 8.57s/it][A + mmlu_ro: 63%|█████████████████████████████████████████████████████████████████████████▊ | 261/414 [36:53<21:51, 8.57s/it][A + mmlu_ro: 63%|██████████████████████████████████████████████████████████████████████████ | 262/414 [37:02<22:00, 8.69s/it][A + mmlu_ro: 64%|██████████████████████████████████████████████████████████████████████████▎ | 263/414 [37:10<21:25, 8.51s/it][A + mmlu_ro: 64%|██████████████████████████████████████████████████████████████████████████▌ | 264/414 [37:18<20:39, 8.26s/it][A + mmlu_ro: 64%|██████████████████████████████████████████████████████████████████████████▉ | 265/414 [37:26<20:42, 8.34s/it][A + mmlu_ro: 64%|███████████████████████████████████████████████████████████████████████████▏ | 266/414 [37:34<20:16, 8.22s/it][A + mmlu_ro: 64%|███████████████████████████████████████████████████████████████████████████▍ | 267/414 [37:43<20:29, 8.36s/it][A + mmlu_ro: 65%|███████████████████████████████████████████████████████████████████████████▋ | 268/414 [37:52<20:57, 8.61s/it][A + mmlu_ro: 65%|████████████████████████████████████████████████████████████████████████████ | 269/414 [37:59<19:41, 8.15s/it][A + mmlu_ro: 65%|████████████████████████████████████████████████████████████████████████████▎ | 270/414 [38:07<19:15, 8.02s/it][A + mmlu_ro: 65%|████████████████████████████████████████████████████████████████████████████▌ | 271/414 [38:16<19:35, 8.22s/it][A + mmlu_ro: 66%|████████████████████████████████████████████████████████████████████████████▊ | 272/414 [38:23<19:13, 8.12s/it][A + mmlu_ro: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 273/414 [38:31<18:25, 7.84s/it][A + mmlu_ro: 66%|█████████████████████████████████████████████████████████████████████████████▍ | 274/414 [38:38<18:13, 7.81s/it][A + mmlu_ro: 66%|█████████████████████████████████████████████████████████████████████████████▋ | 275/414 [38:46<17:57, 7.75s/it][A + mmlu_ro: 67%|██████████████████████████████████████████████████████████████████████████████ | 276/414 [38:55<18:22, 7.99s/it][A + mmlu_ro: 67%|██████████████████████████████████████████████████████████████████████████████▎ | 277/414 [39:03<18:29, 8.10s/it][A + mmlu_ro: 67%|██████████████████████████████████████████████████████████████████████████████▌ | 278/414 [39:11<18:39, 8.23s/it][A + mmlu_ro: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 279/414 [39:20<18:30, 8.23s/it][A + mmlu_ro: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 280/414 [39:28<18:46, 8.41s/it][A + mmlu_ro: 68%|███████████████████████████████████████████████████████████████████████████████▍ | 281/414 [39:37<18:37, 8.40s/it][A + mmlu_ro: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 282/414 [39:46<18:55, 8.60s/it][A + mmlu_ro: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 283/414 [39:55<19:15, 8.82s/it][A + mmlu_ro: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 284/414 [40:03<18:44, 8.65s/it][A + mmlu_ro: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 285/414 [40:13<19:01, 8.85s/it][A + mmlu_ro: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 286/414 [40:20<18:00, 8.44s/it][A + mmlu_ro: 69%|█████████████████████████████████████████████████████████████████████████████████ | 287/414 [40:29<17:45, 8.39s/it][A + mmlu_ro: 70%|█████████████████████████████████████████████████████████████████████████████████▍ | 288/414 [40:38<18:10, 8.65s/it][A + mmlu_ro: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 289/414 [40:46<17:42, 8.50s/it][A + mmlu_ro: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 290/414 [40:55<17:54, 8.67s/it][A + mmlu_ro: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 291/414 [41:03<17:14, 8.41s/it][A + mmlu_ro: 71%|██████████████████████████████████████████████████████████████████████████████████▌ | 292/414 [41:13<18:02, 8.87s/it][A + mmlu_ro: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 293/414 [41:20<17:10, 8.52s/it][A + mmlu_ro: 71%|███████████████████████████████████████████████████████████████████████████████████ | 294/414 [41:29<17:10, 8.59s/it][A + mmlu_ro: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 295/414 [41:37<16:34, 8.36s/it][A + mmlu_ro: 71%|███████████████████████████████████████████████████████████████████████████████████▋ | 296/414 [41:46<16:39, 8.47s/it][A + mmlu_ro: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 297/414 [41:54<16:34, 8.50s/it][A + mmlu_ro: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 298/414 [42:03<16:32, 8.56s/it][A + mmlu_ro: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 299/414 [42:11<16:07, 8.41s/it][A + mmlu_ro: 72%|████████████████████████████████████████████████████████████████████████████████████▊ | 300/414 [42:19<15:57, 8.40s/it][A + mmlu_ro: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 301/414 [42:29<16:25, 8.72s/it][A + mmlu_ro: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 302/414 [42:38<16:25, 8.80s/it][A + mmlu_ro: 73%|█████████████████████████████████████████████████████████████████████████████████████▋ | 303/414 [42:47<16:27, 8.90s/it][A + mmlu_ro: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 304/414 [42:56<16:12, 8.85s/it][A + mmlu_ro: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 305/414 [43:04<15:51, 8.73s/it][A + mmlu_ro: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 306/414 [43:14<16:03, 8.92s/it][A + mmlu_ro: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 307/414 [43:23<16:01, 8.99s/it][A + mmlu_ro: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 308/414 [43:31<15:32, 8.79s/it][A + mmlu_ro: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 309/414 [43:40<15:34, 8.90s/it][A + mmlu_ro: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 310/414 [43:48<14:40, 8.46s/it][A + mmlu_ro: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 311/414 [43:56<14:37, 8.52s/it][A + mmlu_ro: 75%|████████████████████████████████████████████████████████████████████████████████████████▏ | 312/414 [44:05<14:42, 8.65s/it][A + mmlu_ro: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 313/414 [44:13<14:17, 8.49s/it][A + mmlu_ro: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 314/414 [44:23<14:28, 8.69s/it][A + mmlu_ro: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 315/414 [44:31<14:20, 8.69s/it][A + mmlu_ro: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 316/414 [44:40<14:25, 8.84s/it][A + mmlu_ro: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 317/414 [44:50<14:30, 8.98s/it][A + mmlu_ro: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 318/414 [44:58<13:54, 8.69s/it][A + mmlu_ro: 77%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 319/414 [45:06<13:26, 8.49s/it][A + mmlu_ro: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 320/414 [45:14<13:00, 8.31s/it][A + mmlu_ro: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 321/414 [45:24<13:35, 8.77s/it][A + mmlu_ro: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 322/414 [45:34<14:16, 9.31s/it][A + mmlu_ro: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 323/414 [45:44<14:28, 9.54s/it][A + mmlu_ro: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 324/414 [45:52<13:42, 9.13s/it][A + mmlu_ro: 79%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 325/414 [46:01<13:22, 9.02s/it][A + mmlu_ro: 79%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 326/414 [46:09<12:44, 8.69s/it][A + mmlu_ro: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 327/414 [46:19<12:59, 8.96s/it][A + mmlu_ro: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 328/414 [46:27<12:38, 8.82s/it][A + mmlu_ro: 79%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/414 [46:35<12:13, 8.64s/it][A + mmlu_ro: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 330/414 [46:43<11:48, 8.44s/it][A + mmlu_ro: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 331/414 [46:52<11:37, 8.40s/it][A + mmlu_ro: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 332/414 [47:00<11:34, 8.46s/it][A + mmlu_ro: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 333/414 [47:08<11:03, 8.19s/it][A + mmlu_ro: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 334/414 [47:16<11:05, 8.31s/it][A + mmlu_ro: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 335/414 [47:26<11:29, 8.73s/it][A + mmlu_ro: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 336/414 [47:35<11:21, 8.74s/it][A + mmlu_ro: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 337/414 [47:44<11:31, 8.98s/it][A + mmlu_ro: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 338/414 [47:53<11:04, 8.74s/it][A + mmlu_ro: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 339/414 [48:01<10:47, 8.64s/it][A + mmlu_ro: 82%|████████████████████████████████████████████████████████████████████████████████████████████████ | 340/414 [48:09<10:24, 8.44s/it][A + mmlu_ro: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 341/414 [48:17<10:01, 8.24s/it][A + mmlu_ro: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 342/414 [48:25<09:59, 8.32s/it][A + mmlu_ro: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 343/414 [48:33<09:37, 8.14s/it][A + mmlu_ro: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 344/414 [48:41<09:34, 8.21s/it][A + mmlu_ro: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 345/414 [48:49<09:24, 8.19s/it][A + mmlu_ro: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 346/414 [48:57<09:11, 8.11s/it][A + mmlu_ro: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 347/414 [49:05<08:55, 7.99s/it][A + mmlu_ro: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 348/414 [49:13<08:50, 8.03s/it][A + mmlu_ro: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 349/414 [49:23<09:11, 8.49s/it][A + mmlu_ro: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 350/414 [49:31<08:59, 8.42s/it][A + mmlu_ro: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 351/414 [49:40<09:00, 8.58s/it][A + mmlu_ro: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 352/414 [49:48<08:35, 8.32s/it][A + mmlu_ro: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 353/414 [49:55<08:14, 8.10s/it][A + mmlu_ro: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 354/414 [50:04<08:23, 8.40s/it][A + mmlu_ro: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 355/414 [50:13<08:21, 8.49s/it][A + mmlu_ro: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 356/414 [50:22<08:17, 8.59s/it][A + mmlu_ro: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 357/414 [50:30<07:57, 8.38s/it][A + mmlu_ro: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 358/414 [50:38<07:51, 8.42s/it][A + mmlu_ro: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/414 [50:46<07:38, 8.33s/it][A + mmlu_ro: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/414 [50:56<07:52, 8.74s/it][A + mmlu_ro: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/414 [51:04<07:36, 8.61s/it][A + mmlu_ro: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 362/414 [51:14<07:38, 8.81s/it][A + mmlu_ro: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 363/414 [51:22<07:22, 8.69s/it][A + mmlu_ro: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 364/414 [51:31<07:12, 8.65s/it][A + mmlu_ro: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 365/414 [51:40<07:08, 8.74s/it][A + mmlu_ro: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 366/414 [51:48<06:57, 8.69s/it][A + mmlu_ro: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 367/414 [51:56<06:41, 8.55s/it][A + mmlu_ro: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 368/414 [52:06<06:43, 8.76s/it][A + mmlu_ro: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 369/414 [52:14<06:28, 8.63s/it][A + mmlu_ro: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 370/414 [52:22<06:05, 8.31s/it][A + mmlu_ro: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 371/414 [52:30<06:03, 8.45s/it][A + mmlu_ro: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 372/414 [52:39<05:54, 8.44s/it][A + mmlu_ro: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 373/414 [52:48<05:54, 8.65s/it][A + mmlu_ro: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 374/414 [52:56<05:45, 8.64s/it][A + mmlu_ro: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 375/414 [53:05<05:40, 8.73s/it][A + mmlu_ro: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 376/414 [53:13<05:22, 8.49s/it][A + mmlu_ro: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 377/414 [53:22<05:12, 8.44s/it][A + mmlu_ro: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 378/414 [53:29<04:55, 8.22s/it][A + mmlu_ro: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 379/414 [53:38<04:49, 8.28s/it][A + mmlu_ro: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 380/414 [53:46<04:41, 8.28s/it][A + mmlu_ro: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 381/414 [53:54<04:33, 8.29s/it][A + mmlu_ro: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 382/414 [54:03<04:28, 8.40s/it][A + mmlu_ro: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 383/414 [54:13<04:31, 8.77s/it][A + mmlu_ro: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/414 [54:21<04:16, 8.56s/it][A + mmlu_ro: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/414 [54:30<04:16, 8.85s/it][A + mmlu_ro: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 386/414 [54:39<04:09, 8.89s/it][A + mmlu_ro: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 387/414 [54:48<03:56, 8.77s/it][A + mmlu_ro: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 388/414 [54:55<03:39, 8.45s/it][A + mmlu_ro: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 389/414 [55:04<03:30, 8.41s/it][A + mmlu_ro: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 390/414 [55:12<03:19, 8.30s/it][A + mmlu_ro: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 391/414 [55:20<03:12, 8.35s/it][A + mmlu_ro: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 392/414 [55:29<03:08, 8.55s/it][A + mmlu_ro: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 393/414 [55:37<02:55, 8.36s/it][A + mmlu_ro: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 394/414 [55:46<02:47, 8.36s/it][A + mmlu_ro: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 395/414 [55:55<02:45, 8.73s/it][A + mmlu_ro: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 396/414 [56:03<02:32, 8.47s/it][A + mmlu_ro: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 397/414 [56:11<02:21, 8.35s/it][A + mmlu_ro: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 398/414 [56:20<02:15, 8.45s/it][A + mmlu_ro: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 399/414 [56:28<02:04, 8.33s/it][A + mmlu_ro: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 400/414 [56:37<01:59, 8.51s/it][A + mmlu_ro: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 401/414 [56:47<01:56, 8.97s/it][A + mmlu_ro: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 402/414 [56:55<01:45, 8.80s/it][A + mmlu_ro: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 403/414 [57:04<01:35, 8.70s/it][A + mmlu_ro: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 404/414 [57:12<01:25, 8.55s/it][A + mmlu_ro: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 405/414 [57:20<01:15, 8.36s/it][A + mmlu_ro: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 406/414 [57:28<01:06, 8.32s/it][A + mmlu_ro: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 407/414 [57:36<00:57, 8.25s/it][A + mmlu_ro: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 408/414 [57:45<00:49, 8.33s/it][A + mmlu_ro: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 409/414 [57:53<00:42, 8.48s/it][A + mmlu_ro: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 410/414 [58:03<00:34, 8.72s/it][A + mmlu_ro: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 411/414 [58:11<00:25, 8.50s/it][A + mmlu_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 412/414 [58:19<00:17, 8.50s/it][A + mmlu_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 413/414 [58:28<00:08, 8.58s/it][A + mmlu_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [58:35<00:00, 8.20s/it][A mmlu_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [58:35<00:00, 8.49s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ro_acc 0.379607250755287 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ro_acc_norm 0.3402567975830816 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 19:03:40,603 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 19:03:40,603 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:40,729 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 19:03:40,729 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:40,855 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 19:03:40,855 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:40,980 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 19:03:40,981 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 19:03:40,981 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 19:03:41,108 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 19:03:41,108 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'mmlu_ro_acc'} +2024-05-31 19:03:41,172 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 19:03:41,172 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1245, 'value': 0.379607250755287} +2024-05-31 19:03:41,236 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 19:03:41,873 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 19:03:41,873 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:41,999 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 19:03:41,999 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:42,124 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 19:03:42,124 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:42,250 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 19:03:42,250 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 19:03:42,250 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 19:03:42,377 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 19:03:42,377 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ro_acc_norm'} +2024-05-31 19:03:42,441 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 19:03:42,441 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1246, 'value': 0.3402567975830816} +2024-05-31 19:03:42,504 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 68%|█████████████████████████████████████████████████████████████████████████▏ | 84/124 [60:16:11<47:21:30, 4262.27s/it]['mmlu_ru'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 19:03:43,141 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 19:03:43,141 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:43,266 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 19:03:43,266 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:43,391 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 19:03:43,391 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 19:03:43,515 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 19:03:43,516 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 19:03:43,516 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ru'} +2024-05-31 19:03:43,645 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_ru task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1686 examples [00:00, 14512.21 examples/s][A + Generating test split: 5000 examples [00:00, 24110.18 examples/s][A + Generating test split: 8371 examples [00:00, 28275.01 examples/s][A + Generating test split: 11783 examples [00:00, 30354.04 examples/s][A Generating test split: 13007 examples [00:00, 27560.50 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 279 examples [00:00, 25679.41 examples/s] +Running loglikelihood requests + + mmlu_ru: 0%| | 0/407 [00:00<?, ?it/s][A + mmlu_ru: 0%|▎ | 1/407 [00:13<1:31:44, 13.56s/it][A + mmlu_ru: 0%|▌ | 2/407 [00:24<1:22:53, 12.28s/it][A + mmlu_ru: 1%|▊ | 3/407 [00:37<1:24:40, 12.58s/it][A + mmlu_ru: 1%|█▏ | 4/407 [00:49<1:22:49, 12.33s/it][A + mmlu_ru: 1%|█▍ | 5/407 [01:02<1:23:43, 12.50s/it][A + mmlu_ru: 1%|█▋ | 6/407 [01:18<1:30:26, 13.53s/it][A + mmlu_ru: 2%|██ | 7/407 [01:29<1:25:54, 12.89s/it][A + mmlu_ru: 2%|██▎ | 8/407 [01:42<1:25:10, 12.81s/it][A + mmlu_ru: 2%|██▌ | 9/407 [01:56<1:26:59, 13.11s/it][A + mmlu_ru: 2%|██▊ | 10/407 [02:10<1:29:38, 13.55s/it][A + mmlu_ru: 3%|███▏ | 11/407 [02:22<1:26:27, 13.10s/it][A + mmlu_ru: 3%|███▍ | 12/407 [02:35<1:24:37, 12.86s/it][A + mmlu_ru: 3%|███▋ | 13/407 [02:48<1:26:13, 13.13s/it][A + mmlu_ru: 3%|███▉ | 14/407 [03:00<1:23:31, 12.75s/it][A + mmlu_ru: 4%|████▎ | 15/407 [03:14<1:25:34, 13.10s/it][A + mmlu_ru: 4%|████▌ | 16/407 [03:26<1:23:41, 12.84s/it][A + mmlu_ru: 4%|████▊ | 17/407 [03:37<1:19:55, 12.30s/it][A + mmlu_ru: 4%|█████▏ | 18/407 [03:50<1:21:21, 12.55s/it][A + mmlu_ru: 5%|█████▍ | 19/407 [04:03<1:21:11, 12.56s/it][A + mmlu_ru: 5%|█████▋ | 20/407 [04:15<1:20:21, 12.46s/it][A + mmlu_ru: 5%|█████▉ | 21/407 [04:30<1:24:38, 13.16s/it][A + mmlu_ru: 5%|██████▎ | 22/407 [04:42<1:21:18, 12.67s/it][A + mmlu_ru: 6%|██████▌ | 23/407 [04:53<1:18:42, 12.30s/it][A + mmlu_ru: 6%|██████▊ | 24/407 [05:05<1:18:25, 12.28s/it][A + mmlu_ru: 6%|███████▏ | 25/407 [05:16<1:15:58, 11.93s/it][A + mmlu_ru: 6%|███████▍ | 26/407 [05:28<1:15:42, 11.92s/it][A + mmlu_ru: 7%|███████▋ | 27/407 [05:41<1:17:50, 12.29s/it][A + mmlu_ru: 7%|███████▉ | 28/407 [05:54<1:17:28, 12.26s/it][A + mmlu_ru: 7%|████████▎ | 29/407 [06:04<1:13:57, 11.74s/it][A + mmlu_ru: 7%|████████▌ | 30/407 [06:18<1:16:46, 12.22s/it][A + mmlu_ru: 8%|████████▊ | 31/407 [06:34<1:23:49, 13.38s/it][A + mmlu_ru: 8%|█████████ | 32/407 [06:46<1:21:26, 13.03s/it][A + mmlu_ru: 8%|█████████▍ | 33/407 [06:57<1:18:35, 12.61s/it][A + mmlu_ru: 8%|█████████▋ | 34/407 [07:09<1:15:56, 12.22s/it][A + mmlu_ru: 9%|█████████▉ | 35/407 [07:23<1:19:50, 12.88s/it][A + mmlu_ru: 9%|██████████▎ | 36/407 [07:35<1:17:39, 12.56s/it][A + mmlu_ru: 9%|██████████▌ | 37/407 [07:48<1:17:23, 12.55s/it][A + mmlu_ru: 9%|██████████▊ | 38/407 [07:59<1:15:17, 12.24s/it][A + mmlu_ru: 10%|███████████ | 39/407 [08:15<1:22:11, 13.40s/it][A + mmlu_ru: 10%|███████████▍ | 40/407 [08:30<1:24:51, 13.87s/it][A + mmlu_ru: 10%|███████████▋ | 41/407 [08:44<1:24:21, 13.83s/it][A + mmlu_ru: 10%|███████████▉ | 42/407 [08:58<1:25:32, 14.06s/it][A + mmlu_ru: 11%|████████████▎ | 43/407 [09:12<1:25:12, 14.04s/it][A + mmlu_ru: 11%|████████████▌ | 44/407 [09:26<1:23:54, 13.87s/it][A + mmlu_ru: 11%|████████████▊ | 45/407 [09:39<1:22:17, 13.64s/it][A + mmlu_ru: 11%|█████████████ | 46/407 [09:54<1:23:37, 13.90s/it][A + mmlu_ru: 12%|█████████████▍ | 47/407 [10:05<1:18:36, 13.10s/it][A + mmlu_ru: 12%|█████████████▋ | 48/407 [10:17<1:16:20, 12.76s/it][A + mmlu_ru: 12%|█████████████▉ | 49/407 [10:30<1:17:04, 12.92s/it][A + mmlu_ru: 12%|██████████████▎ | 50/407 [10:45<1:20:04, 13.46s/it][A + mmlu_ru: 13%|██████████████▌ | 51/407 [10:56<1:16:01, 12.81s/it][A + mmlu_ru: 13%|██████████████▊ | 52/407 [11:10<1:18:21, 13.24s/it][A + mmlu_ru: 13%|███████████████ | 53/407 [11:23<1:17:27, 13.13s/it][A + mmlu_ru: 13%|███████████████▍ | 54/407 [11:36<1:16:09, 12.94s/it][A + mmlu_ru: 14%|███████████████▋ | 55/407 [11:50<1:17:48, 13.26s/it][A + mmlu_ru: 14%|███████████████▉ | 56/407 [12:02<1:16:49, 13.13s/it][A + mmlu_ru: 14%|████████████████▏ | 57/407 [12:14<1:13:05, 12.53s/it][A + mmlu_ru: 14%|████████████████▌ | 58/407 [12:27<1:13:32, 12.64s/it][A + mmlu_ru: 14%|████████████████▊ | 59/407 [12:40<1:15:15, 12.97s/it][A + mmlu_ru: 15%|█████████████████ | 60/407 [12:51<1:11:03, 12.29s/it][A + mmlu_ru: 15%|█████████████████▍ | 61/407 [13:02<1:09:09, 11.99s/it][A + mmlu_ru: 15%|█████████████████▋ | 62/407 [13:18<1:15:20, 13.10s/it][A + mmlu_ru: 15%|█████████████████▉ | 63/407 [13:31<1:15:35, 13.18s/it][A + mmlu_ru: 16%|██████████████████▏ | 64/407 [13:45<1:16:13, 13.33s/it][A + mmlu_ru: 16%|██████████████████▌ | 65/407 [13:57<1:13:43, 12.93s/it][A + mmlu_ru: 16%|██████████████████▊ | 66/407 [14:10<1:13:13, 12.88s/it][A + mmlu_ru: 16%|███████████████████ | 67/407 [14:24<1:14:32, 13.15s/it][A + mmlu_ru: 17%|███████████████████▍ | 68/407 [14:37<1:14:46, 13.23s/it][A + mmlu_ru: 17%|███████████████████▋ | 69/407 [14:49<1:12:46, 12.92s/it][A + mmlu_ru: 17%|███████████████████▉ | 70/407 [15:03<1:13:27, 13.08s/it][A + mmlu_ru: 17%|████████████████████▏ | 71/407 [15:15<1:11:41, 12.80s/it][A + mmlu_ru: 18%|████████████████████▌ | 72/407 [15:30<1:15:24, 13.50s/it][A + mmlu_ru: 18%|████████████████████▊ | 73/407 [15:43<1:15:08, 13.50s/it][A + mmlu_ru: 18%|█████████████████████ | 74/407 [15:56<1:13:35, 13.26s/it][A + mmlu_ru: 18%|█████████████████████▍ | 75/407 [16:11<1:15:25, 13.63s/it][A + mmlu_ru: 19%|█████████████████████▋ | 76/407 [16:24<1:14:08, 13.44s/it][A + mmlu_ru: 19%|█████████████████████▉ | 77/407 [16:38<1:15:30, 13.73s/it][A + mmlu_ru: 19%|██████████████████████▏ | 78/407 [16:49<1:11:26, 13.03s/it][A + mmlu_ru: 19%|██████████████████████▌ | 79/407 [17:05<1:14:47, 13.68s/it][A + mmlu_ru: 20%|██████████████████████▊ | 80/407 [17:18<1:14:21, 13.64s/it][A + mmlu_ru: 20%|███████████████████████ | 81/407 [17:31<1:13:32, 13.54s/it][A + mmlu_ru: 20%|███████████████████████▎ | 82/407 [17:45<1:14:06, 13.68s/it][A + mmlu_ru: 20%|███████████████████████▋ | 83/407 [17:58<1:12:25, 13.41s/it][A + mmlu_ru: 21%|███████████████████████▉ | 84/407 [18:09<1:08:26, 12.71s/it][A + mmlu_ru: 21%|████████████████████████▏ | 85/407 [18:22<1:08:22, 12.74s/it][A + mmlu_ru: 21%|████████████████████████▌ | 86/407 [18:35<1:08:18, 12.77s/it][A + mmlu_ru: 21%|████████████████████████▊ | 87/407 [18:49<1:10:10, 13.16s/it][A + mmlu_ru: 22%|█████████████████████████ | 88/407 [19:01<1:07:55, 12.78s/it][A + mmlu_ru: 22%|█████████████████████████▎ | 89/407 [19:14<1:07:54, 12.81s/it][A + mmlu_ru: 22%|█████████████████████████▋ | 90/407 [19:27<1:07:47, 12.83s/it][A + mmlu_ru: 22%|█████████████████████████▉ | 91/407 [19:40<1:08:42, 13.05s/it][A + mmlu_ru: 23%|██████████████████████████▏ | 92/407 [19:51<1:05:31, 12.48s/it][A + mmlu_ru: 23%|██████████████████████████▌ | 93/407 [20:05<1:07:31, 12.90s/it][A + mmlu_ru: 23%|██████████████████████████▊ | 94/407 [20:19<1:08:08, 13.06s/it][A + mmlu_ru: 23%|███████████████████████████ | 95/407 [20:31<1:06:04, 12.71s/it][A + mmlu_ru: 24%|███████████████████████████▎ | 96/407 [20:42<1:03:31, 12.25s/it][A + mmlu_ru: 24%|███████████████████████████▋ | 97/407 [20:55<1:04:57, 12.57s/it][A + mmlu_ru: 24%|███████████████████████████▉ | 98/407 [21:08<1:04:28, 12.52s/it][A + mmlu_ru: 24%|████████████████████████████▏ | 99/407 [21:20<1:03:40, 12.40s/it][A + mmlu_ru: 25%|████████████████████████████▎ | 100/407 [21:32<1:02:59, 12.31s/it][A + mmlu_ru: 25%|████████████████████████████▌ | 101/407 [21:46<1:05:58, 12.94s/it][A + mmlu_ru: 25%|████████████████████████████▊ | 102/407 [22:02<1:10:06, 13.79s/it][A + mmlu_ru: 25%|█████████████████████████████ | 103/407 [22:17<1:11:59, 14.21s/it][A + mmlu_ru: 26%|█████████████████████████████▍ | 104/407 [22:31<1:11:39, 14.19s/it][A + mmlu_ru: 26%|█████████████████████████████▋ | 105/407 [22:43<1:07:40, 13.45s/it][A + mmlu_ru: 26%|█████████████████████████████▉ | 106/407 [22:56<1:06:34, 13.27s/it][A + mmlu_ru: 26%|██████████████████████████████▏ | 107/407 [23:07<1:03:11, 12.64s/it][A + mmlu_ru: 27%|██████████████████████████████▌ | 108/407 [23:19<1:02:03, 12.45s/it][A + mmlu_ru: 27%|██████████████████████████████▊ | 109/407 [23:31<1:01:52, 12.46s/it][A + mmlu_ru: 27%|███████████████████████████████ | 110/407 [23:45<1:02:54, 12.71s/it][A + mmlu_ru: 27%|███████████████████████████████▎ | 111/407 [23:57<1:01:25, 12.45s/it][A + mmlu_ru: 28%|███████████████████████████████▋ | 112/407 [24:11<1:04:44, 13.17s/it][A + mmlu_ru: 28%|███████████████████████████████▉ | 113/407 [24:24<1:03:38, 12.99s/it][A + mmlu_ru: 28%|████████████████████████████████▏ | 114/407 [24:37<1:04:01, 13.11s/it][A + mmlu_ru: 28%|████████████████████████████████▍ | 115/407 [24:50<1:02:55, 12.93s/it][A + mmlu_ru: 29%|████████████████████████████████▊ | 116/407 [25:06<1:07:18, 13.88s/it][A + mmlu_ru: 29%|█████████████████████████████████ | 117/407 [25:18<1:04:10, 13.28s/it][A + mmlu_ru: 29%|█████████████████████████████████▎ | 118/407 [25:32<1:05:47, 13.66s/it][A + mmlu_ru: 29%|█████████████████████████████████▌ | 119/407 [25:47<1:07:00, 13.96s/it][A + mmlu_ru: 29%|█████████████████████████████████▉ | 120/407 [25:59<1:03:35, 13.29s/it][A + mmlu_ru: 30%|██████████████████████████████████▏ | 121/407 [26:13<1:04:42, 13.57s/it][A + mmlu_ru: 30%|██████████████████████████████████▍ | 122/407 [26:25<1:02:36, 13.18s/it][A + mmlu_ru: 30%|██████████████████████████████████▊ | 123/407 [26:38<1:01:40, 13.03s/it][A + mmlu_ru: 30%|███████████████████████████████████ | 124/407 [26:51<1:01:47, 13.10s/it][A + mmlu_ru: 31%|███████████████████████████████████▉ | 125/407 [27:03<59:45, 12.72s/it][A + mmlu_ru: 31%|████████████████████████████████████▏ | 126/407 [27:14<57:29, 12.27s/it][A + mmlu_ru: 31%|████████████████████████████████████▌ | 127/407 [27:28<58:49, 12.61s/it][A + mmlu_ru: 31%|████████████████████████████████████▏ | 128/407 [27:41<1:00:13, 12.95s/it][A + mmlu_ru: 32%|█████████████████████████████████████ | 129/407 [27:53<58:38, 12.66s/it][A + mmlu_ru: 32%|████████████████████████████████████▋ | 130/407 [28:09<1:02:18, 13.49s/it][A + mmlu_ru: 32%|█████████████████████████████████████▋ | 131/407 [28:20<58:51, 12.79s/it][A + mmlu_ru: 32%|█████████████████████████████████████▉ | 132/407 [28:33<59:23, 12.96s/it][A + mmlu_ru: 33%|██████████████████████████████████████▏ | 133/407 [28:45<57:14, 12.53s/it][A + mmlu_ru: 33%|██████████████████████████████████████▌ | 134/407 [28:58<58:10, 12.79s/it][A + mmlu_ru: 33%|██████████████████████████████████████▊ | 135/407 [29:11<57:54, 12.77s/it][A + mmlu_ru: 33%|███████████████████████████████████████ | 136/407 [29:23<56:24, 12.49s/it][A + mmlu_ru: 34%|███████████████████████████████████████▍ | 137/407 [29:35<56:20, 12.52s/it][A + mmlu_ru: 34%|███████████████████████████████████████▋ | 138/407 [29:46<53:25, 11.92s/it][A + mmlu_ru: 34%|███████████████████████████████████████▉ | 139/407 [29:58<52:50, 11.83s/it][A + mmlu_ru: 34%|████████████████████████████████████████▏ | 140/407 [30:08<51:11, 11.50s/it][A + mmlu_ru: 35%|████████████████████████████████████████▌ | 141/407 [30:21<52:17, 11.79s/it][A + mmlu_ru: 35%|████████████████████████████████████████▊ | 142/407 [30:36<56:08, 12.71s/it][A + mmlu_ru: 35%|█████████████████████████████████████████ | 143/407 [30:48<55:41, 12.66s/it][A + mmlu_ru: 35%|█████████████████████████████████████████▍ | 144/407 [31:01<55:31, 12.67s/it][A + mmlu_ru: 36%|█████████████████████████████████████████▋ | 145/407 [31:14<56:25, 12.92s/it][A + mmlu_ru: 36%|█████████████████████████████████████████▉ | 146/407 [31:28<56:48, 13.06s/it][A + mmlu_ru: 36%|██████████████████████████████████████████▎ | 147/407 [31:42<57:37, 13.30s/it][A + mmlu_ru: 36%|██████████████████████████████████████████▌ | 148/407 [31:53<55:07, 12.77s/it][A + mmlu_ru: 37%|██████████████████████████████████████████▊ | 149/407 [32:06<54:33, 12.69s/it][A + mmlu_ru: 37%|███████████████████████████████████████████ | 150/407 [32:17<52:40, 12.30s/it][A + mmlu_ru: 37%|███████████████████████████████████████████▍ | 151/407 [32:29<51:33, 12.08s/it][A + mmlu_ru: 37%|███████████████████████████████████████████▋ | 152/407 [32:41<51:44, 12.17s/it][A + mmlu_ru: 38%|███████████████████████████████████████████▉ | 153/407 [32:54<52:50, 12.48s/it][A + mmlu_ru: 38%|████████████████████████████████████████████▎ | 154/407 [33:08<54:09, 12.85s/it][A + mmlu_ru: 38%|████████████████████████████████████████████▌ | 155/407 [33:18<51:01, 12.15s/it][A + mmlu_ru: 38%|████████████████████████████████████████████▊ | 156/407 [33:31<51:31, 12.32s/it][A + mmlu_ru: 39%|█████████████████████████████████████████████▏ | 157/407 [33:45<52:36, 12.63s/it][A + mmlu_ru: 39%|█████████████████████████████████████████████▍ | 158/407 [33:58<53:57, 13.00s/it][A + mmlu_ru: 39%|█████████████████████████████████████████████▋ | 159/407 [34:12<54:54, 13.29s/it][A + mmlu_ru: 39%|█████████████████████████████████████████████▉ | 160/407 [34:24<52:34, 12.77s/it][A + mmlu_ru: 40%|██████████████████████████████████████████████▎ | 161/407 [34:36<51:53, 12.66s/it][A + mmlu_ru: 40%|██████████████████████████████████████████████▌ | 162/407 [34:50<52:32, 12.87s/it][A + mmlu_ru: 40%|██████████████████████████████████████████████▊ | 163/407 [35:02<52:08, 12.82s/it][A + mmlu_ru: 40%|███████████████████████████████████████████████▏ | 164/407 [35:15<51:56, 12.82s/it][A + mmlu_ru: 41%|███████████████████████████████████████████████▍ | 165/407 [35:30<53:52, 13.36s/it][A + mmlu_ru: 41%|███████████████████████████████████████████████▋ | 166/407 [35:42<51:40, 12.87s/it][A + mmlu_ru: 41%|████████████████████████████████████████████████ | 167/407 [35:54<51:22, 12.84s/it][A + mmlu_ru: 41%|████████████████████████████████████████████████▎ | 168/407 [36:06<49:24, 12.40s/it][A + mmlu_ru: 42%|████████████████████████████████████████████████▌ | 169/407 [36:18<48:44, 12.29s/it][A + mmlu_ru: 42%|████████████████████████████████████████████████▊ | 170/407 [36:29<46:52, 11.87s/it][A + mmlu_ru: 42%|█████████████████████████████████████████████████▏ | 171/407 [36:42<47:54, 12.18s/it][A + mmlu_ru: 42%|█████████████████████████████████████████████████▍ | 172/407 [36:56<50:12, 12.82s/it][A + mmlu_ru: 43%|█████████████████████████████████████████████████▋ | 173/407 [37:11<52:41, 13.51s/it][A + mmlu_ru: 43%|██████████████████████████████████████████████████ | 174/407 [37:23<50:44, 13.07s/it][A + mmlu_ru: 43%|██████████████████████████████████████████████████▎ | 175/407 [37:36<49:56, 12.92s/it][A + mmlu_ru: 43%|██████████████████████████████████████████████████▌ | 176/407 [37:49<50:19, 13.07s/it][A + mmlu_ru: 43%|██████████████████████████████████████████████████▉ | 177/407 [38:04<52:21, 13.66s/it][A + mmlu_ru: 44%|███████████████████████████████████████████████████▏ | 178/407 [38:18<52:10, 13.67s/it][A + mmlu_ru: 44%|███████████████████████████████████████████████████▍ | 179/407 [38:31<52:05, 13.71s/it][A + mmlu_ru: 44%|███████████████████████████████████████████████████▋ | 180/407 [38:44<50:54, 13.46s/it][A + mmlu_ru: 44%|████████████████████████████████████████████████████ | 181/407 [38:58<51:15, 13.61s/it][A + mmlu_ru: 45%|████████████████████████████████████████████████████▎ | 182/407 [39:11<50:26, 13.45s/it][A + mmlu_ru: 45%|████████████████████████████████████████████████████▌ | 183/407 [39:24<49:12, 13.18s/it][A + mmlu_ru: 45%|████████████████████████████████████████████████████▉ | 184/407 [39:36<48:14, 12.98s/it][A + mmlu_ru: 45%|█████████████████████████████████████████████████████▏ | 185/407 [39:51<49:14, 13.31s/it][A + mmlu_ru: 46%|█████████████████████████████████████████████████████▍ | 186/407 [40:04<48:53, 13.27s/it][A + mmlu_ru: 46%|█████████████████████████████████████████████████████▊ | 187/407 [40:16<47:37, 12.99s/it][A + mmlu_ru: 46%|██████████████████████████████████████████████████████ | 188/407 [40:29<47:40, 13.06s/it][A + mmlu_ru: 46%|██████████████████████████████████████████████████████▎ | 189/407 [40:43<48:38, 13.39s/it][A + mmlu_ru: 47%|██████████████████████████████████████████████████████▌ | 190/407 [40:57<48:55, 13.53s/it][A + mmlu_ru: 47%|██████████████████████████████████████████████████████▉ | 191/407 [41:10<47:32, 13.20s/it][A + mmlu_ru: 47%|███████████████████████████████████████████████████████▏ | 192/407 [41:20<44:22, 12.38s/it][A + mmlu_ru: 47%|███████████████████████████████████████████████████████▍ | 193/407 [41:32<43:23, 12.17s/it][A + mmlu_ru: 48%|███████████████████████████████████████████████████████▊ | 194/407 [41:46<45:05, 12.70s/it][A + mmlu_ru: 48%|████████████████████████████████████████████████████████ | 195/407 [41:57<43:42, 12.37s/it][A + mmlu_ru: 48%|████████████████████████████████████████████████████████▎ | 196/407 [42:08<41:27, 11.79s/it][A + mmlu_ru: 48%|████████████████████████████████████████████████████████▋ | 197/407 [42:20<42:07, 12.04s/it][A + mmlu_ru: 49%|████████████████████████████████████████████████████████▉ | 198/407 [42:32<41:11, 11.82s/it][A + mmlu_ru: 49%|█████████████████████████████████████████████████████████▏ | 199/407 [42:44<41:43, 12.04s/it][A + mmlu_ru: 49%|█████████████████████████████████████████████████████████▍ | 200/407 [42:57<42:17, 12.26s/it][A + mmlu_ru: 49%|█████████████████████████████████████████████████████████▊ | 201/407 [43:11<43:17, 12.61s/it][A + mmlu_ru: 50%|██████████████████████████████████████████████████████████ | 202/407 [43:23<43:11, 12.64s/it][A + mmlu_ru: 50%|██████████████████████████████████████████████████████████▎ | 203/407 [43:36<43:29, 12.79s/it][A + mmlu_ru: 50%|██████████████████████████████████████████████████████████▋ | 204/407 [43:49<43:27, 12.85s/it][A + mmlu_ru: 50%|██████████████████████████████████████████████████████████▉ | 205/407 [44:04<45:25, 13.49s/it][A + mmlu_ru: 51%|███████████████████████████████████████████████████████████▏ | 206/407 [44:17<44:26, 13.27s/it][A + mmlu_ru: 51%|███████████████████████████████████████████████████████████▌ | 207/407 [44:29<42:55, 12.88s/it][A + mmlu_ru: 51%|███████████████████████████████████████████████████████████▊ | 208/407 [44:43<43:24, 13.09s/it][A + mmlu_ru: 51%|████████████████████████████████████████████████████████████ | 209/407 [44:55<42:17, 12.81s/it][A + mmlu_ru: 52%|████████████████████████████████████████████████████████████▎ | 210/407 [45:11<45:01, 13.72s/it][A + mmlu_ru: 52%|████████████████████████████████████████████████████████████▋ | 211/407 [45:25<45:05, 13.80s/it][A + mmlu_ru: 52%|████████████████████████████████████████████████████████████▉ | 212/407 [45:37<43:38, 13.43s/it][A + mmlu_ru: 52%|█████████████████████████████████████████████████████████████▏ | 213/407 [45:51<43:35, 13.48s/it][A + mmlu_ru: 53%|█████████████████████████████████████████████████████████████▌ | 214/407 [46:02<41:33, 12.92s/it][A + mmlu_ru: 53%|█████████████████████████████████████████████████████████████▊ | 215/407 [46:14<40:03, 12.52s/it][A + mmlu_ru: 53%|██████████████████████████████████████████████████████████████ | 216/407 [46:26<39:46, 12.50s/it][A + mmlu_ru: 53%|██████████████████████████████████████████████████████████████▍ | 217/407 [46:38<39:05, 12.34s/it][A + mmlu_ru: 54%|██████████████████████████████████████████████████████████████▋ | 218/407 [46:49<37:25, 11.88s/it][A + mmlu_ru: 54%|██████████████████████████████████████████████████████████████▉ | 219/407 [47:01<37:13, 11.88s/it][A + mmlu_ru: 54%|███████████████████████████████████████████████████████████████▏ | 220/407 [47:14<37:59, 12.19s/it][A + mmlu_ru: 54%|███████████████████████████████████████████████████████████████▌ | 221/407 [47:25<37:01, 11.94s/it][A + mmlu_ru: 55%|███████████████████████████████████████████████████████████████▊ | 222/407 [47:39<38:14, 12.41s/it][A + mmlu_ru: 55%|████████████████████████████████████████████████████████████████ | 223/407 [47:51<37:52, 12.35s/it][A + mmlu_ru: 55%|████████████████████████████████████████████████████████████████▍ | 224/407 [48:06<40:19, 13.22s/it][A + mmlu_ru: 55%|████████████████████████████████████████████████████████████████▋ | 225/407 [48:20<40:24, 13.32s/it][A + mmlu_ru: 56%|████████████████████████████████████████████████████████████████▉ | 226/407 [48:30<37:34, 12.46s/it][A + mmlu_ru: 56%|█████████████████████████████████████████████████████████████████▎ | 227/407 [48:44<38:34, 12.86s/it][A + mmlu_ru: 56%|█████████████████████████████████████████████████████████████████▌ | 228/407 [48:57<38:24, 12.88s/it][A + mmlu_ru: 56%|█████████████████████████████████████████████████████████████████▊ | 229/407 [49:10<38:23, 12.94s/it][A + mmlu_ru: 57%|██████████████████████████████████████████████████████████████████ | 230/407 [49:22<37:24, 12.68s/it][A + mmlu_ru: 57%|██████████████████████████████████████████████████████████████████▍ | 231/407 [49:35<37:18, 12.72s/it][A + mmlu_ru: 57%|██████████████████████████████████████████████████████████████████▋ | 232/407 [49:47<36:32, 12.53s/it][A + mmlu_ru: 57%|██████████████████████████████████████████████████████████████████▉ | 233/407 [49:59<35:54, 12.38s/it][A + mmlu_ru: 57%|███████████████████████████████████████████████████████████████████▎ | 234/407 [50:14<37:41, 13.07s/it][A + mmlu_ru: 58%|███████████████████████████████████████████████████████████████████▌ | 235/407 [50:27<37:20, 13.03s/it][A + mmlu_ru: 58%|███████████████████████████████████████████████████████████████████▊ | 236/407 [50:39<36:24, 12.78s/it][A + mmlu_ru: 58%|████████████████████████████████████████████████████████████████████▏ | 237/407 [50:53<37:12, 13.13s/it][A + mmlu_ru: 58%|████████████████████████████████████████████████████████████████████▍ | 238/407 [51:07<37:51, 13.44s/it][A + mmlu_ru: 59%|████████████████████████████████████████████████████████████████████▋ | 239/407 [51:21<38:01, 13.58s/it][A + mmlu_ru: 59%|████████████████████████████████████████████████████████████████████▉ | 240/407 [51:33<36:28, 13.10s/it][A + mmlu_ru: 59%|█████████████████████████████████████████████████████████████████████▎ | 241/407 [51:48<37:47, 13.66s/it][A + mmlu_ru: 59%|█████████████████████████████████████████████████████████████████████▌ | 242/407 [52:03<38:18, 13.93s/it][A + mmlu_ru: 60%|█████████████████████████████████████████████████████████████████████▊ | 243/407 [52:17<38:38, 14.13s/it][A + mmlu_ru: 60%|██████████████████████████████████████████████████████████████████████▏ | 244/407 [52:31<38:16, 14.09s/it][A + mmlu_ru: 60%|██████████████████████████████████████████████████████████████████████▍ | 245/407 [52:44<36:57, 13.69s/it][A + mmlu_ru: 60%|██████████████████████████████████████████████████████████████████████▋ | 246/407 [52:54<34:08, 12.72s/it][A + mmlu_ru: 61%|███████████████████████████████████████████████████████████████████████ | 247/407 [53:07<34:16, 12.85s/it][A + mmlu_ru: 61%|███████████████████████████████████████████████████████████████████████▎ | 248/407 [53:21<34:35, 13.05s/it][A + mmlu_ru: 61%|███████████████████████████████████████████████████████████████████████▌ | 249/407 [53:33<33:33, 12.74s/it][A + mmlu_ru: 61%|███████████████████████████████████████████████████████████████████████▊ | 250/407 [53:48<35:20, 13.50s/it][A + mmlu_ru: 62%|████████████████████████████████████████████████████████████████████████▏ | 251/407 [54:01<34:40, 13.34s/it][A + mmlu_ru: 62%|████████████████████████████████████████████████████████████████████████▍ | 252/407 [54:14<34:09, 13.22s/it][A + mmlu_ru: 62%|████████████████████████████████████████████████████████████████████████▋ | 253/407 [54:28<34:12, 13.33s/it][A + mmlu_ru: 62%|█████████████████████████████████████████████████████████████████████████ | 254/407 [54:40<32:53, 12.90s/it][A + mmlu_ru: 63%|█████████████████████████████████████████████████████████████████████████▎ | 255/407 [54:54<33:46, 13.34s/it][A + mmlu_ru: 63%|█████████████████████████████████████████████████████████████████████████▌ | 256/407 [55:09<35:08, 13.97s/it][A + mmlu_ru: 63%|█████████████████████████████████████████████████████████████████████████▉ | 257/407 [55:23<34:49, 13.93s/it][A + mmlu_ru: 63%|██████████████████████████████████████████████████████████████████████████▏ | 258/407 [55:37<34:24, 13.86s/it][A + mmlu_ru: 64%|██████████████████████████████████████████████████████████████████████████▍ | 259/407 [55:53<35:32, 14.41s/it][A + mmlu_ru: 64%|██████████████████████████████████████████████████████████████████████████▋ | 260/407 [56:05<33:40, 13.74s/it][A + mmlu_ru: 64%|███████████████████████████████████████████████████████████████████████████ | 261/407 [56:18<32:59, 13.56s/it][A + mmlu_ru: 64%|███████████████████████████████████████████████████████████████████████████▎ | 262/407 [56:34<34:29, 14.28s/it][A + mmlu_ru: 65%|███████████████████████████████████████████████████████████████████████████▌ | 263/407 [56:48<34:15, 14.28s/it][A + mmlu_ru: 65%|███████████████████████████████████████████████████████████████████████████▉ | 264/407 [57:03<34:42, 14.56s/it][A + mmlu_ru: 65%|████████████████████████████████████████████████████████████████████████████▏ | 265/407 [57:16<32:40, 13.81s/it][A + mmlu_ru: 65%|████████████████████████████████████████████████████████████████████████████▍ | 266/407 [57:30<32:41, 13.91s/it][A + mmlu_ru: 66%|████████████████████████████████████████████████████████████████████████████▊ | 267/407 [57:43<31:53, 13.67s/it][A + mmlu_ru: 66%|█████████████████████████████████████████████████████████████████████████████ | 268/407 [57:56<31:24, 13.56s/it][A + mmlu_ru: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 269/407 [58:10<31:20, 13.63s/it][A + mmlu_ru: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 270/407 [58:25<32:27, 14.22s/it][A + mmlu_ru: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 271/407 [58:38<31:21, 13.84s/it][A + mmlu_ru: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 272/407 [58:52<30:53, 13.73s/it][A + mmlu_ru: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 273/407 [59:03<28:56, 12.96s/it][A + mmlu_ru: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 274/407 [59:16<28:24, 12.82s/it][A + mmlu_ru: 68%|███████████████████████████████████████████████████████████████████████████████ | 275/407 [59:30<29:18, 13.32s/it][A + mmlu_ru: 68%|███████████████████████████████████████████████████████████████████████████████▎ | 276/407 [59:44<29:27, 13.49s/it][A + mmlu_ru: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 277/407 [59:56<28:19, 13.07s/it][A + mmlu_ru: 68%|██████████████████████████████████████████████████████████████████████████████▌ | 278/407 [1:00:12<29:44, 13.84s/it][A + mmlu_ru: 69%|██████████████████████████████████████████████████████████████████████████████▊ | 279/407 [1:00:25<29:06, 13.65s/it][A + mmlu_ru: 69%|███████████████████████████████████████████████████████████████████████████████ | 280/407 [1:00:38<28:19, 13.38s/it][A + mmlu_ru: 69%|███████████████████████████████████████████████████████████████████████████████▍ | 281/407 [1:00:52<29:01, 13.82s/it][A + mmlu_ru: 69%|███████████████████████████████████████████████████████████████████████████████▋ | 282/407 [1:01:04<27:31, 13.21s/it][A + mmlu_ru: 70%|███████████████████████████████████████████████████████████████████████████████▉ | 283/407 [1:01:17<27:16, 13.20s/it][A + mmlu_ru: 70%|████████████████████████████████████████████████████████████████████████████████▏ | 284/407 [1:01:31<27:12, 13.28s/it][A + mmlu_ru: 70%|████████████████████████████████████████████████████████████████████████████████▌ | 285/407 [1:01:43<26:10, 12.87s/it][A + mmlu_ru: 70%|████████████████████████████████████████████████████████████████████████████████▊ | 286/407 [1:01:54<24:59, 12.39s/it][A + mmlu_ru: 71%|█████████████████████████████████████████████████████████████████████████████████ | 287/407 [1:02:05<23:46, 11.89s/it][A + mmlu_ru: 71%|█████████████████████████████████████████████████████████████████████████████████▍ | 288/407 [1:02:16<23:22, 11.78s/it][A + mmlu_ru: 71%|█████████████████████████████████████████████████████████████████████████████████▋ | 289/407 [1:02:31<24:50, 12.63s/it][A + mmlu_ru: 71%|█████████████████████████████████████████████████████████████████████████████████▉ | 290/407 [1:02:44<24:39, 12.65s/it][A + mmlu_ru: 71%|██████████████████████████████████████████████████████████████████████████████████▏ | 291/407 [1:02:56<24:29, 12.67s/it][A + mmlu_ru: 72%|██████████████████████████████████████████████████████████████████████████████████▌ | 292/407 [1:03:08<23:55, 12.48s/it][A + mmlu_ru: 72%|██████████████████████████████████████████████████████████████████████████████████▊ | 293/407 [1:03:23<24:58, 13.14s/it][A + mmlu_ru: 72%|███████████████████████████████████████████████████████████████████████████████████ | 294/407 [1:03:36<24:47, 13.17s/it][A + mmlu_ru: 72%|███████████████████████████████████████████████████████████████████████████████████▎ | 295/407 [1:03:50<24:52, 13.32s/it][A + mmlu_ru: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 296/407 [1:04:03<24:24, 13.19s/it][A + mmlu_ru: 73%|███████████████████████████████████████████████████████████████████████████████████▉ | 297/407 [1:04:17<24:51, 13.56s/it][A + mmlu_ru: 73%|████████████████████████████████████████████████████████████████████████████████████▏ | 298/407 [1:04:32<25:13, 13.88s/it][A + mmlu_ru: 73%|████████████████████████████████████████████████████████████████████████████████████▍ | 299/407 [1:04:43<23:33, 13.09s/it][A + mmlu_ru: 74%|████████████████████████████████████████████████████████████████████████████████████▊ | 300/407 [1:04:57<23:42, 13.30s/it][A + mmlu_ru: 74%|█████████████████████████████████████████████████████████████████████████████████████ | 301/407 [1:05:09<22:41, 12.85s/it][A + mmlu_ru: 74%|█████████████████████████████████████████████████████████████████████████████████████▎ | 302/407 [1:05:22<22:33, 12.89s/it][A + mmlu_ru: 74%|█████████████████████████████████████████████████████████████████████████████████████▌ | 303/407 [1:05:35<22:42, 13.10s/it][A + mmlu_ru: 75%|█████████████████████████████████████████████████████████████████████████████████████▉ | 304/407 [1:05:50<23:11, 13.51s/it][A + mmlu_ru: 75%|██████████████████████████████████████████████████████████████████████████████████████▏ | 305/407 [1:06:02<22:33, 13.27s/it][A + mmlu_ru: 75%|██████████████████████████████████████████████████████████████████████████████████████▍ | 306/407 [1:06:15<21:48, 12.96s/it][A + mmlu_ru: 75%|██████████████████████████████████████████████████████████████████████████████████████▋ | 307/407 [1:06:27<21:15, 12.76s/it][A + mmlu_ru: 76%|███████████████████████████████████████████████████████████████████████████████████████ | 308/407 [1:06:40<20:58, 12.71s/it][A + mmlu_ru: 76%|███████████████████████████████████████████████████████████████████████████████████████▎ | 309/407 [1:06:51<20:10, 12.35s/it][A + mmlu_ru: 76%|███████████████████████████████████████████████████████████████████████████████████████▌ | 310/407 [1:07:06<21:10, 13.10s/it][A + mmlu_ru: 76%|███████████████████████████████████████████████████████████████████████████████████████▊ | 311/407 [1:07:20<21:09, 13.23s/it][A + mmlu_ru: 77%|████████████████████████████████████████████████████████████████████████████████████████▏ | 312/407 [1:07:33<20:59, 13.26s/it][A + mmlu_ru: 77%|████████████████████████████████████████████████████████████████████████████████████████▍ | 313/407 [1:07:46<20:41, 13.21s/it][A + mmlu_ru: 77%|████████████████████████████████████████████████████████████████████████████████████████▋ | 314/407 [1:08:01<21:18, 13.74s/it][A + mmlu_ru: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 315/407 [1:08:13<20:09, 13.15s/it][A + mmlu_ru: 78%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 316/407 [1:08:25<19:33, 12.90s/it][A + mmlu_ru: 78%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 317/407 [1:08:38<19:36, 13.07s/it][A + mmlu_ru: 78%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 318/407 [1:08:51<19:22, 13.06s/it][A + mmlu_ru: 78%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 319/407 [1:09:04<18:54, 12.89s/it][A + mmlu_ru: 79%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 320/407 [1:09:16<18:29, 12.75s/it][A + mmlu_ru: 79%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 321/407 [1:09:31<18:55, 13.20s/it][A + mmlu_ru: 79%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 322/407 [1:09:43<18:24, 12.99s/it][A + mmlu_ru: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 323/407 [1:09:57<18:28, 13.20s/it][A + mmlu_ru: 80%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 324/407 [1:10:09<17:37, 12.75s/it][A + mmlu_ru: 80%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 325/407 [1:10:20<16:46, 12.28s/it][A + mmlu_ru: 80%|████████████████████████████████████████████████████████████████████████████████████████████ | 326/407 [1:10:33<16:56, 12.55s/it][A + mmlu_ru: 80%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 327/407 [1:10:45<16:44, 12.56s/it][A + mmlu_ru: 81%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 328/407 [1:10:58<16:19, 12.40s/it][A + mmlu_ru: 81%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/407 [1:11:12<16:58, 13.05s/it][A + mmlu_ru: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 330/407 [1:11:26<16:55, 13.19s/it][A + mmlu_ru: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 331/407 [1:11:39<16:35, 13.10s/it][A + mmlu_ru: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 332/407 [1:11:49<15:22, 12.31s/it][A + mmlu_ru: 82%|██████████████████████████████████████████████████████████████████████████████████████████████ | 333/407 [1:12:01<15:03, 12.21s/it][A + mmlu_ru: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 334/407 [1:12:16<15:42, 12.92s/it][A + mmlu_ru: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 335/407 [1:12:28<15:30, 12.93s/it][A + mmlu_ru: 83%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 336/407 [1:12:43<15:48, 13.35s/it][A + mmlu_ru: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 337/407 [1:12:54<14:53, 12.77s/it][A + mmlu_ru: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 338/407 [1:13:08<15:05, 13.13s/it][A + mmlu_ru: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 339/407 [1:13:25<16:02, 14.15s/it][A + mmlu_ru: 84%|████████████████████████████████████████████████████████████████████████████████████████████████ | 340/407 [1:13:38<15:32, 13.91s/it][A + mmlu_ru: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 341/407 [1:13:51<15:05, 13.72s/it][A + mmlu_ru: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 342/407 [1:14:08<15:45, 14.54s/it][A + mmlu_ru: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 343/407 [1:14:22<15:19, 14.37s/it][A + mmlu_ru: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 344/407 [1:14:36<15:04, 14.35s/it][A + mmlu_ru: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 345/407 [1:14:49<14:28, 14.00s/it][A + mmlu_ru: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 346/407 [1:15:03<14:01, 13.80s/it][A + mmlu_ru: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 347/407 [1:15:16<13:37, 13.62s/it][A + mmlu_ru: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 348/407 [1:15:30<13:25, 13.65s/it][A + mmlu_ru: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 349/407 [1:15:45<13:40, 14.15s/it][A + mmlu_ru: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 350/407 [1:15:57<12:49, 13.49s/it][A + mmlu_ru: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 351/407 [1:16:10<12:23, 13.27s/it][A + mmlu_ru: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 352/407 [1:16:24<12:31, 13.66s/it][A + mmlu_ru: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 353/407 [1:16:35<11:36, 12.90s/it][A + mmlu_ru: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 354/407 [1:16:48<11:27, 12.97s/it][A + mmlu_ru: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 355/407 [1:17:00<10:49, 12.49s/it][A + mmlu_ru: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 356/407 [1:17:11<10:17, 12.10s/it][A + mmlu_ru: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 357/407 [1:17:26<10:42, 12.86s/it][A + mmlu_ru: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 358/407 [1:17:38<10:18, 12.63s/it][A + mmlu_ru: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/407 [1:17:49<09:43, 12.15s/it][A + mmlu_ru: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/407 [1:18:00<09:11, 11.74s/it][A + mmlu_ru: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/407 [1:18:13<09:30, 12.40s/it][A + mmlu_ru: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 362/407 [1:18:29<10:02, 13.39s/it][A + mmlu_ru: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 363/407 [1:18:39<09:02, 12.33s/it][A + mmlu_ru: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 364/407 [1:18:52<09:03, 12.64s/it][A + mmlu_ru: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 365/407 [1:19:05<08:53, 12.71s/it][A + mmlu_ru: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 366/407 [1:19:18<08:46, 12.83s/it][A + mmlu_ru: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 367/407 [1:19:33<08:50, 13.25s/it][A + mmlu_ru: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 368/407 [1:19:44<08:20, 12.84s/it][A + mmlu_ru: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 369/407 [1:19:58<08:21, 13.19s/it][A + mmlu_ru: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 370/407 [1:20:13<08:23, 13.61s/it][A + mmlu_ru: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 371/407 [1:20:28<08:22, 13.95s/it][A + mmlu_ru: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 372/407 [1:20:40<07:47, 13.35s/it][A + mmlu_ru: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 373/407 [1:20:53<07:28, 13.18s/it][A + mmlu_ru: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 374/407 [1:21:05<07:03, 12.84s/it][A + mmlu_ru: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 375/407 [1:21:16<06:36, 12.38s/it][A + mmlu_ru: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 376/407 [1:21:29<06:29, 12.56s/it][A + mmlu_ru: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 377/407 [1:21:43<06:31, 13.04s/it][A + mmlu_ru: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 378/407 [1:21:59<06:40, 13.80s/it][A + mmlu_ru: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 379/407 [1:22:10<06:09, 13.18s/it][A + mmlu_ru: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 380/407 [1:22:23<05:52, 13.04s/it][A + mmlu_ru: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 381/407 [1:22:35<05:32, 12.81s/it][A + mmlu_ru: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 382/407 [1:22:48<05:17, 12.70s/it][A + mmlu_ru: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 383/407 [1:23:00<05:04, 12.67s/it][A + mmlu_ru: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/407 [1:23:13<04:53, 12.77s/it][A + mmlu_ru: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/407 [1:23:27<04:47, 13.07s/it][A + mmlu_ru: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 386/407 [1:23:39<04:25, 12.64s/it][A + mmlu_ru: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 387/407 [1:23:51<04:10, 12.55s/it][A + mmlu_ru: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 388/407 [1:24:02<03:48, 12.02s/it][A + mmlu_ru: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 389/407 [1:24:14<03:36, 12.02s/it][A + mmlu_ru: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 390/407 [1:24:28<03:33, 12.58s/it][A + mmlu_ru: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 391/407 [1:24:41<03:22, 12.66s/it][A + mmlu_ru: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 392/407 [1:24:54<03:13, 12.89s/it][A + mmlu_ru: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 393/407 [1:25:09<03:07, 13.42s/it][A + mmlu_ru: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 394/407 [1:25:23<02:55, 13.53s/it][A + mmlu_ru: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 395/407 [1:25:36<02:43, 13.59s/it][A + mmlu_ru: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 396/407 [1:25:50<02:29, 13.62s/it][A + mmlu_ru: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 397/407 [1:26:03<02:13, 13.36s/it][A + mmlu_ru: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 398/407 [1:26:15<01:56, 12.92s/it][A + mmlu_ru: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 399/407 [1:26:30<01:49, 13.68s/it][A + mmlu_ru: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 400/407 [1:26:43<01:34, 13.54s/it][A + mmlu_ru: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 401/407 [1:26:56<01:20, 13.40s/it][A + mmlu_ru: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 402/407 [1:27:10<01:06, 13.33s/it][A + mmlu_ru: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 403/407 [1:27:22<00:52, 13.01s/it][A + mmlu_ru: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 404/407 [1:27:38<00:42, 14.09s/it][A + mmlu_ru: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 405/407 [1:27:50<00:26, 13.38s/it][A + mmlu_ru: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 406/407 [1:28:03<00:13, 13.18s/it][A + mmlu_ru: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:28:10<00:00, 11.27s/it][A mmlu_ru: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:28:10<00:00, 13.00s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ru_acc 0.3201353117552087 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ru_acc_norm 0.31129391865918354 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 20:31:56,786 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 20:31:56,786 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:56,914 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 20:31:56,914 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:57,042 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 20:31:57,043 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:57,171 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 20:31:57,172 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 20:31:57,172 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 20:31:57,301 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 20:31:57,301 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ru_acc'} +2024-05-31 20:31:57,367 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 20:31:57,367 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_id': 14266, 'metric_id': 1247, 'value': 0.3201353117552087} +2024-05-31 20:31:57,432 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 20:31:58,093 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 20:31:58,093 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:58,223 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 20:31:58,223 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:58,354 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 20:31:58,354 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:58,484 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 20:31:58,484 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 20:31:58,485 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 20:31:58,616 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 20:31:58,616 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ru_acc_norm'} +2024-05-31 20:31:58,683 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 20:31:58,683 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1248, 'value': 0.31129391865918354} +2024-05-31 20:31:58,748 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 69%|██████████████████████████████████████████████████████████████████████████ | 85/124 [61:44:28<49:32:06, 4572.47s/it]['mmlu_sk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 20:31:59,401 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 20:31:59,401 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:59,529 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 20:31:59,529 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:59,657 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 20:31:59,657 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 20:31:59,784 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 20:31:59,785 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 20:31:59,785 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_sk'} +2024-05-31 20:31:59,914 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_sk task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1767 examples [00:00, 14811.27 examples/s][A + Generating test split: 5062 examples [00:00, 24691.24 examples/s][A + Generating test split: 8540 examples [00:00, 29104.88 examples/s][A + Generating test split: 12000 examples [00:00, 30794.74 examples/s][A Generating test split: 13062 examples [00:00, 28358.01 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 276 examples [00:00, 26339.66 examples/s] +Running loglikelihood requests + + mmlu_sk: 0%| | 0/409 [00:00<?, ?it/s][A + mmlu_sk: 0%|▎ | 1/409 [00:08<55:32, 8.17s/it][A + mmlu_sk: 0%|▌ | 2/409 [00:16<55:55, 8.24s/it][A + mmlu_sk: 1%|▊ | 3/409 [00:25<57:59, 8.57s/it][A + mmlu_sk: 1%|█▏ | 4/409 [00:33<57:34, 8.53s/it][A + mmlu_sk: 1%|█▍ | 5/409 [00:41<56:08, 8.34s/it][A + mmlu_sk: 1%|█▋ | 6/409 [00:51<59:49, 8.91s/it][A + mmlu_sk: 2%|██ | 7/409 [01:00<58:24, 8.72s/it][A + mmlu_sk: 2%|██▎ | 8/409 [01:08<57:51, 8.66s/it][A + mmlu_sk: 2%|██▌ | 9/409 [01:17<56:57, 8.54s/it][A + mmlu_sk: 2%|██▊ | 10/409 [01:27<1:00:25, 9.09s/it][A + mmlu_sk: 3%|███▏ | 11/409 [01:35<59:11, 8.92s/it][A + mmlu_sk: 3%|███▍ | 12/409 [01:45<59:44, 9.03s/it][A + mmlu_sk: 3%|███▊ | 13/409 [01:53<57:15, 8.68s/it][A + mmlu_sk: 3%|████ | 14/409 [02:01<56:01, 8.51s/it][A + mmlu_sk: 4%|████▎ | 15/409 [02:09<56:03, 8.54s/it][A + mmlu_sk: 4%|████▌ | 16/409 [02:18<56:07, 8.57s/it][A + mmlu_sk: 4%|████▉ | 17/409 [02:27<57:38, 8.82s/it][A + mmlu_sk: 4%|█████▏ | 18/409 [02:36<57:28, 8.82s/it][A + mmlu_sk: 5%|█████▍ | 19/409 [02:45<56:42, 8.72s/it][A + mmlu_sk: 5%|█████▊ | 20/409 [02:55<59:24, 9.16s/it][A + mmlu_sk: 5%|██████ | 21/409 [03:03<57:04, 8.83s/it][A + mmlu_sk: 5%|██████▎ | 22/409 [03:12<57:07, 8.86s/it][A + mmlu_sk: 6%|██████▋ | 23/409 [03:22<59:37, 9.27s/it][A + mmlu_sk: 6%|██████▉ | 24/409 [03:31<58:44, 9.15s/it][A + mmlu_sk: 6%|███████▏ | 25/409 [03:40<58:39, 9.16s/it][A + mmlu_sk: 6%|███████▎ | 26/409 [03:50<1:00:10, 9.43s/it][A + mmlu_sk: 7%|███████▊ | 27/409 [03:59<59:08, 9.29s/it][A + mmlu_sk: 7%|████████ | 28/409 [04:08<58:13, 9.17s/it][A + mmlu_sk: 7%|████████▎ | 29/409 [04:16<56:11, 8.87s/it][A + mmlu_sk: 7%|████████▋ | 30/409 [04:26<57:18, 9.07s/it][A + mmlu_sk: 8%|████████▉ | 31/409 [04:35<56:48, 9.02s/it][A + mmlu_sk: 8%|█████████▏ | 32/409 [04:43<55:40, 8.86s/it][A + mmlu_sk: 8%|█████████▌ | 33/409 [04:53<56:38, 9.04s/it][A + mmlu_sk: 8%|█████████▊ | 34/409 [05:01<55:31, 8.89s/it][A + mmlu_sk: 9%|██████████ | 35/409 [05:09<53:44, 8.62s/it][A + mmlu_sk: 9%|██████████▍ | 36/409 [05:16<51:19, 8.26s/it][A + mmlu_sk: 9%|██████████▋ | 37/409 [05:26<52:48, 8.52s/it][A + mmlu_sk: 9%|██████████▉ | 38/409 [05:34<52:22, 8.47s/it][A + mmlu_sk: 10%|███████████▎ | 39/409 [05:43<53:18, 8.64s/it][A + mmlu_sk: 10%|███████████▌ | 40/409 [05:52<53:02, 8.62s/it][A + mmlu_sk: 10%|███████████▊ | 41/409 [06:00<52:40, 8.59s/it][A + mmlu_sk: 10%|████████████ | 42/409 [06:10<54:01, 8.83s/it][A + mmlu_sk: 11%|████████████▍ | 43/409 [06:19<54:13, 8.89s/it][A + mmlu_sk: 11%|████████████▋ | 44/409 [06:27<53:25, 8.78s/it][A + mmlu_sk: 11%|████████████▉ | 45/409 [06:35<52:34, 8.67s/it][A + mmlu_sk: 11%|█████████████▎ | 46/409 [06:44<52:54, 8.74s/it][A + mmlu_sk: 11%|█████████████▌ | 47/409 [06:53<53:20, 8.84s/it][A + mmlu_sk: 12%|█████████████▊ | 48/409 [07:03<54:19, 9.03s/it][A + mmlu_sk: 12%|██████████████▏ | 49/409 [07:11<52:53, 8.81s/it][A + mmlu_sk: 12%|██████████████▍ | 50/409 [07:19<51:27, 8.60s/it][A + mmlu_sk: 12%|██████████████▋ | 51/409 [07:27<49:09, 8.24s/it][A + mmlu_sk: 13%|███████████████ | 52/409 [07:35<48:59, 8.23s/it][A + mmlu_sk: 13%|███████████████▎ | 53/409 [07:44<50:53, 8.58s/it][A + mmlu_sk: 13%|███████████████▌ | 54/409 [07:53<50:25, 8.52s/it][A + mmlu_sk: 13%|███████████████▊ | 55/409 [08:02<51:43, 8.77s/it][A + mmlu_sk: 14%|████████████████▏ | 56/409 [08:11<51:35, 8.77s/it][A + mmlu_sk: 14%|████████████████▍ | 57/409 [08:20<52:06, 8.88s/it][A + mmlu_sk: 14%|████████████████▋ | 58/409 [08:29<51:23, 8.78s/it][A + mmlu_sk: 14%|█████████████████ | 59/409 [08:37<50:33, 8.67s/it][A + mmlu_sk: 15%|█████████████████▎ | 60/409 [08:45<49:44, 8.55s/it][A + mmlu_sk: 15%|█████████████████▌ | 61/409 [08:54<50:46, 8.76s/it][A + mmlu_sk: 15%|█████████████████▉ | 62/409 [09:03<51:03, 8.83s/it][A + mmlu_sk: 15%|██████████████████▏ | 63/409 [09:12<50:30, 8.76s/it][A + mmlu_sk: 16%|██████████████████▍ | 64/409 [09:21<50:25, 8.77s/it][A + mmlu_sk: 16%|██████████████████▊ | 65/409 [09:29<48:44, 8.50s/it][A + mmlu_sk: 16%|███████████████████ | 66/409 [09:38<49:50, 8.72s/it][A + mmlu_sk: 16%|███████████████████▎ | 67/409 [09:47<49:37, 8.71s/it][A + mmlu_sk: 17%|███████████████████▌ | 68/409 [09:55<48:38, 8.56s/it][A + mmlu_sk: 17%|███████████████████▉ | 69/409 [10:03<47:08, 8.32s/it][A + mmlu_sk: 17%|████████████████████▏ | 70/409 [10:11<46:25, 8.22s/it][A + mmlu_sk: 17%|████████████████████▍ | 71/409 [10:19<46:11, 8.20s/it][A + mmlu_sk: 18%|████████████████████▊ | 72/409 [10:27<46:56, 8.36s/it][A + mmlu_sk: 18%|█████████████████████ | 73/409 [10:36<47:56, 8.56s/it][A + mmlu_sk: 18%|█████████████████████▎ | 74/409 [10:46<50:08, 8.98s/it][A + mmlu_sk: 18%|█████████████████████▋ | 75/409 [10:54<48:24, 8.70s/it][A + mmlu_sk: 19%|█████████████████████▉ | 76/409 [11:03<48:32, 8.75s/it][A + mmlu_sk: 19%|██████████████████████▏ | 77/409 [11:12<47:43, 8.63s/it][A + mmlu_sk: 19%|██████████████████████▌ | 78/409 [11:20<46:33, 8.44s/it][A + mmlu_sk: 19%|██████████████████████▊ | 79/409 [11:29<47:12, 8.58s/it][A + mmlu_sk: 20%|███████████████████████ | 80/409 [11:38<47:45, 8.71s/it][A + mmlu_sk: 20%|███████████████████████▎ | 81/409 [11:46<46:48, 8.56s/it][A + mmlu_sk: 20%|███████████████████████▋ | 82/409 [11:55<48:16, 8.86s/it][A + mmlu_sk: 20%|███████████████████████▉ | 83/409 [12:04<47:45, 8.79s/it][A + mmlu_sk: 21%|████████████████████████▏ | 84/409 [12:12<47:04, 8.69s/it][A + mmlu_sk: 21%|████████████████████████▌ | 85/409 [12:20<45:31, 8.43s/it][A + mmlu_sk: 21%|████████████████████████▊ | 86/409 [12:29<45:20, 8.42s/it][A + mmlu_sk: 21%|█████████████████████████ | 87/409 [12:36<43:51, 8.17s/it][A + mmlu_sk: 22%|█████████████████████████▍ | 88/409 [12:44<42:43, 7.99s/it][A + mmlu_sk: 22%|█████████████████████████▋ | 89/409 [12:52<42:52, 8.04s/it][A + mmlu_sk: 22%|█████████████████████████▉ | 90/409 [13:01<44:13, 8.32s/it][A + mmlu_sk: 22%|██████████████████████████▎ | 91/409 [13:09<43:47, 8.26s/it][A + mmlu_sk: 22%|██████████████████████████▌ | 92/409 [13:18<43:58, 8.32s/it][A + mmlu_sk: 23%|██████████████████████████▊ | 93/409 [13:26<43:31, 8.26s/it][A + mmlu_sk: 23%|███████████████████████████ | 94/409 [13:34<43:35, 8.30s/it][A + mmlu_sk: 23%|███████████████████████████▍ | 95/409 [13:42<43:33, 8.32s/it][A + mmlu_sk: 23%|███████████████████████████▋ | 96/409 [13:51<43:46, 8.39s/it][A + mmlu_sk: 24%|███████████████████████████▉ | 97/409 [13:58<41:57, 8.07s/it][A + mmlu_sk: 24%|████████████████████████████▎ | 98/409 [14:07<42:32, 8.21s/it][A + mmlu_sk: 24%|████████████████████████████▌ | 99/409 [14:16<44:08, 8.54s/it][A + mmlu_sk: 24%|████████████████████████████▌ | 100/409 [14:25<44:22, 8.62s/it][A + mmlu_sk: 25%|████████████████████████████▉ | 101/409 [14:34<45:30, 8.87s/it][A + mmlu_sk: 25%|█████████████████████████████▏ | 102/409 [14:43<44:54, 8.78s/it][A + mmlu_sk: 25%|█████████████████████████████▍ | 103/409 [14:52<44:49, 8.79s/it][A + mmlu_sk: 25%|█████████████████████████████▊ | 104/409 [15:00<43:01, 8.46s/it][A + mmlu_sk: 26%|██████████████████████████████ | 105/409 [15:09<45:04, 8.90s/it][A + mmlu_sk: 26%|██████████████████████████████▎ | 106/409 [15:19<45:44, 9.06s/it][A + mmlu_sk: 26%|██████████████████████████████▌ | 107/409 [15:28<46:05, 9.16s/it][A + mmlu_sk: 26%|██████████████████████████████▉ | 108/409 [15:38<46:23, 9.25s/it][A + mmlu_sk: 27%|███████████████████████████████▏ | 109/409 [15:46<44:45, 8.95s/it][A + mmlu_sk: 27%|███████████████████████████████▍ | 110/409 [15:55<45:10, 9.07s/it][A + mmlu_sk: 27%|███████████████████████████████▊ | 111/409 [16:04<44:04, 8.87s/it][A + mmlu_sk: 27%|████████████████████████████████ | 112/409 [16:13<44:03, 8.90s/it][A + mmlu_sk: 28%|████████████████████████████████▎ | 113/409 [16:22<43:58, 8.91s/it][A + mmlu_sk: 28%|████████████████████████████████▌ | 114/409 [16:29<42:17, 8.60s/it][A + mmlu_sk: 28%|████████████████████████████████▉ | 115/409 [16:40<44:24, 9.06s/it][A + mmlu_sk: 28%|█████████████████████████████████▏ | 116/409 [16:49<44:38, 9.14s/it][A + mmlu_sk: 29%|█████████████████████████████████▍ | 117/409 [16:57<42:55, 8.82s/it][A + mmlu_sk: 29%|█████████████████████████████████▊ | 118/409 [17:08<45:11, 9.32s/it][A + mmlu_sk: 29%|██████████████████████████████████ | 119/409 [17:16<44:14, 9.15s/it][A + mmlu_sk: 29%|██████████████████████████████████▎ | 120/409 [17:25<43:45, 9.08s/it][A + mmlu_sk: 30%|██████████████████████████████████▌ | 121/409 [17:35<45:00, 9.38s/it][A + mmlu_sk: 30%|██████████████████████████████████▉ | 122/409 [17:45<44:43, 9.35s/it][A + mmlu_sk: 30%|███████████████████████████████████▏ | 123/409 [17:54<44:49, 9.40s/it][A + mmlu_sk: 30%|███████████████████████████████████▍ | 124/409 [18:02<42:15, 8.90s/it][A + mmlu_sk: 31%|███████████████████████████████████▊ | 125/409 [18:11<42:38, 9.01s/it][A + mmlu_sk: 31%|████████████████████████████████████ | 126/409 [18:20<42:29, 9.01s/it][A + mmlu_sk: 31%|████████████████████████████████████▎ | 127/409 [18:29<42:47, 9.10s/it][A + mmlu_sk: 31%|████████████████████████████████████▌ | 128/409 [18:38<41:57, 8.96s/it][A + mmlu_sk: 32%|████████████████████████████████████▉ | 129/409 [18:48<43:03, 9.23s/it][A + mmlu_sk: 32%|█████████████████████████████████████▏ | 130/409 [18:56<42:04, 9.05s/it][A + mmlu_sk: 32%|█████████████████████████████████████▍ | 131/409 [19:06<42:38, 9.20s/it][A + mmlu_sk: 32%|█████████████████████████████████████▊ | 132/409 [19:15<42:41, 9.25s/it][A + mmlu_sk: 33%|██████████████████████████████████████ | 133/409 [19:24<41:41, 9.06s/it][A + mmlu_sk: 33%|██████████████████████████████████████▎ | 134/409 [19:34<42:11, 9.21s/it][A + mmlu_sk: 33%|██████████████████████████████████████▌ | 135/409 [19:41<40:15, 8.82s/it][A + mmlu_sk: 33%|██████████████████████████████████████▉ | 136/409 [19:51<40:37, 8.93s/it][A + mmlu_sk: 33%|███████████████████████████████████████▏ | 137/409 [20:00<41:11, 9.09s/it][A + mmlu_sk: 34%|███████████████████████████████████████▍ | 138/409 [20:08<39:39, 8.78s/it][A + mmlu_sk: 34%|███████████████████████████████████████▊ | 139/409 [20:17<39:49, 8.85s/it][A + mmlu_sk: 34%|████████████████████████████████████████ | 140/409 [20:26<39:43, 8.86s/it][A + mmlu_sk: 34%|████████████████████████████████████████▎ | 141/409 [20:36<41:00, 9.18s/it][A + mmlu_sk: 35%|████████████████████████████████████████▌ | 142/409 [20:46<41:44, 9.38s/it][A + mmlu_sk: 35%|████████████████████████████████████████▉ | 143/409 [20:55<41:49, 9.43s/it][A + mmlu_sk: 35%|█████████████████████████████████████████▏ | 144/409 [21:04<40:15, 9.12s/it][A + mmlu_sk: 35%|█████████████████████████████████████████▍ | 145/409 [21:11<38:11, 8.68s/it][A + mmlu_sk: 36%|█████████████████████████████████████████▊ | 146/409 [21:20<37:47, 8.62s/it][A + mmlu_sk: 36%|██████████████████████████████████████████ | 147/409 [21:28<37:27, 8.58s/it][A + mmlu_sk: 36%|██████████████████████████████████████████▎ | 148/409 [21:38<38:49, 8.93s/it][A + mmlu_sk: 36%|██████████████████████████████████████████▌ | 149/409 [21:46<36:50, 8.50s/it][A + mmlu_sk: 37%|██████████████████████████████████████████▉ | 150/409 [21:54<36:23, 8.43s/it][A + mmlu_sk: 37%|███████████████████████████████████████████▏ | 151/409 [22:03<36:55, 8.59s/it][A + mmlu_sk: 37%|███████████████████████████████████████████▍ | 152/409 [22:12<37:08, 8.67s/it][A + mmlu_sk: 37%|███████████████████████████████████████████▊ | 153/409 [22:21<37:08, 8.70s/it][A + mmlu_sk: 38%|████████████████████████████████████████████ | 154/409 [22:29<37:07, 8.73s/it][A + mmlu_sk: 38%|████████████████████████████████████████████▎ | 155/409 [22:38<37:22, 8.83s/it][A + mmlu_sk: 38%|████████████████████████████████████████████▋ | 156/409 [22:47<36:52, 8.74s/it][A + mmlu_sk: 38%|████████████████████████████████████████████▉ | 157/409 [22:57<38:15, 9.11s/it][A + mmlu_sk: 39%|█████████████████████████████████████████████▏ | 158/409 [23:05<36:44, 8.78s/it][A + mmlu_sk: 39%|█████████████████████████████████████████████▍ | 159/409 [23:13<36:02, 8.65s/it][A + mmlu_sk: 39%|█████████████████████████████████████████████▊ | 160/409 [23:21<34:54, 8.41s/it][A + mmlu_sk: 39%|██████████████████████████████████████████████ | 161/409 [23:30<35:52, 8.68s/it][A + mmlu_sk: 40%|██████████████████████████████████████████████▎ | 162/409 [23:39<35:49, 8.70s/it][A + mmlu_sk: 40%|██████████████████████████████████████████████▋ | 163/409 [23:49<37:09, 9.06s/it][A + mmlu_sk: 40%|██████████████████████████████████████████████▉ | 164/409 [23:58<37:03, 9.08s/it][A + mmlu_sk: 40%|███████████████████████████████████████████████▏ | 165/409 [24:07<36:15, 8.92s/it][A + mmlu_sk: 41%|███████████████████████████████████████████████▍ | 166/409 [24:16<36:12, 8.94s/it][A + mmlu_sk: 41%|███████████████████████████████████████████████▊ | 167/409 [24:25<36:30, 9.05s/it][A + mmlu_sk: 41%|████████████████████████████████████████████████ | 168/409 [24:33<35:07, 8.75s/it][A + mmlu_sk: 41%|████████████████████████████████████████████████▎ | 169/409 [24:41<34:15, 8.57s/it][A + mmlu_sk: 42%|████████████████████████████████████████████████▋ | 170/409 [24:51<35:21, 8.88s/it][A + mmlu_sk: 42%|████████████████████████████████████████████████▉ | 171/409 [25:00<35:14, 8.89s/it][A + mmlu_sk: 42%|█████████████████████████████████████████████████▏ | 172/409 [25:08<34:28, 8.73s/it][A + mmlu_sk: 42%|█████████████████████████████████████████████████▍ | 173/409 [25:16<33:19, 8.47s/it][A + mmlu_sk: 43%|█████████████████████████████████████████████████▊ | 174/409 [25:25<33:15, 8.49s/it][A + mmlu_sk: 43%|██████████████████████████████████████████████████ | 175/409 [25:32<31:51, 8.17s/it][A + mmlu_sk: 43%|██████████████████████████████████████████████████▎ | 176/409 [25:42<33:39, 8.67s/it][A + mmlu_sk: 43%|██████████████████████████████████████████████████▋ | 177/409 [25:50<32:34, 8.42s/it][A + mmlu_sk: 44%|██████████████████████████████████████████████████▉ | 178/409 [25:58<32:23, 8.41s/it][A + mmlu_sk: 44%|███████████████████████████████████████████████████▏ | 179/409 [26:06<32:14, 8.41s/it][A + mmlu_sk: 44%|███████████████████████████████████████████████████▍ | 180/409 [26:15<32:15, 8.45s/it][A + mmlu_sk: 44%|███████████████████████████████████████████████████▊ | 181/409 [26:23<32:03, 8.44s/it][A + mmlu_sk: 44%|████████████████████████████████████████████████████ | 182/409 [26:31<31:13, 8.25s/it][A + mmlu_sk: 45%|████████████████████████████████████████████████████▎ | 183/409 [26:40<32:04, 8.52s/it][A + mmlu_sk: 45%|████████████████████████████████████████████████████▋ | 184/409 [26:50<33:00, 8.80s/it][A + mmlu_sk: 45%|████████████████████████████████████████████████████▉ | 185/409 [26:59<32:45, 8.78s/it][A + mmlu_sk: 45%|█████████████████████████████████████████████████████▏ | 186/409 [27:07<32:12, 8.66s/it][A + mmlu_sk: 46%|█████████████████████████████████████████████████████▍ | 187/409 [27:15<31:26, 8.50s/it][A + mmlu_sk: 46%|█████████████████████████████████████████████████████▊ | 188/409 [27:23<30:41, 8.33s/it][A + mmlu_sk: 46%|██████████████████████████████████████████████████████ | 189/409 [27:32<31:14, 8.52s/it][A + mmlu_sk: 46%|██████████████████████████████████████████████████████▎ | 190/409 [27:39<30:01, 8.23s/it][A + mmlu_sk: 47%|██████████████████████████████████████████████████████▋ | 191/409 [27:47<29:15, 8.05s/it][A + mmlu_sk: 47%|██████████████████████████████████████████████████████▉ | 192/409 [27:55<29:27, 8.15s/it][A + mmlu_sk: 47%|███████████████████████████████████████████████████████▏ | 193/409 [28:05<31:10, 8.66s/it][A + mmlu_sk: 47%|███████████████████████████████████████████████████████▍ | 194/409 [28:15<31:40, 8.84s/it][A + mmlu_sk: 48%|███████████████████████████████████████████████████████▊ | 195/409 [28:24<31:44, 8.90s/it][A + mmlu_sk: 48%|████████████████████████████████████████████████████████ | 196/409 [28:32<30:59, 8.73s/it][A + mmlu_sk: 48%|████████████████████████████████████████████████████████▎ | 197/409 [28:42<32:18, 9.15s/it][A + mmlu_sk: 48%|████████████████████████████████████████████████████████▋ | 198/409 [28:50<30:43, 8.74s/it][A + mmlu_sk: 49%|████████████████████████████████████████████████████████▉ | 199/409 [28:59<30:48, 8.80s/it][A + mmlu_sk: 49%|█████████████████████████████████████████████████████████▏ | 200/409 [29:09<31:41, 9.10s/it][A + mmlu_sk: 49%|█████████████████████████████████████████████████████████▍ | 201/409 [29:17<31:18, 9.03s/it][A + mmlu_sk: 49%|█████████████████████████████████████████████████████████▊ | 202/409 [29:27<31:38, 9.17s/it][A + mmlu_sk: 50%|██████████████████████████████████████████████████████████ | 203/409 [29:36<31:01, 9.04s/it][A + mmlu_sk: 50%|██████████████████████████████████████████████████████████▎ | 204/409 [29:44<30:10, 8.83s/it][A + mmlu_sk: 50%|██████████████████████████████████████████████████████████▋ | 205/409 [29:52<28:53, 8.50s/it][A + mmlu_sk: 50%|██████████████████████████████████████████████████████████▉ | 206/409 [30:02<30:10, 8.92s/it][A + mmlu_sk: 51%|███████████████████████████████████████████████████████████▏ | 207/409 [30:11<29:57, 8.90s/it][A + mmlu_sk: 51%|███████████████████████████████████████████████████████████▌ | 208/409 [30:20<30:12, 9.02s/it][A + mmlu_sk: 51%|███████████████████████████████████████████████████████████▊ | 209/409 [30:29<30:41, 9.21s/it][A + mmlu_sk: 51%|████████████████████████████████████████████████████████████ | 210/409 [30:38<30:05, 9.07s/it][A + mmlu_sk: 52%|████████████████████████████████████████████████████████████▎ | 211/409 [30:47<29:27, 8.93s/it][A + mmlu_sk: 52%|████████████████████████████████████████████████████████████▋ | 212/409 [30:56<29:52, 9.10s/it][A + mmlu_sk: 52%|████████████████████████████████████████████████████████████▉ | 213/409 [31:05<29:43, 9.10s/it][A + mmlu_sk: 52%|█████████████████████████████████████████████████████████████▏ | 214/409 [31:15<29:38, 9.12s/it][A + mmlu_sk: 53%|█████████████████████████████████████████████████████████████▌ | 215/409 [31:24<29:23, 9.09s/it][A + mmlu_sk: 53%|█████████████████████████████████████████████████████████████▊ | 216/409 [31:33<29:59, 9.33s/it][A + mmlu_sk: 53%|██████████████████████████████████████████████████████████████ | 217/409 [31:42<28:41, 8.96s/it][A + mmlu_sk: 53%|██████████████████████████████████████████████████████████████▎ | 218/409 [31:50<28:00, 8.80s/it][A + mmlu_sk: 54%|██████████████████████████████████████████████████████████████▋ | 219/409 [31:57<25:58, 8.20s/it][A + mmlu_sk: 54%|██████████████████████████████████████████████████████████████▉ | 220/409 [32:07<27:14, 8.65s/it][A + mmlu_sk: 54%|███████████████████████████████████████████████████████████████▏ | 221/409 [32:15<27:21, 8.73s/it][A + mmlu_sk: 54%|███████████████████████████████████████████████████████████████▌ | 222/409 [32:23<26:30, 8.50s/it][A + mmlu_sk: 55%|███████████████████████████████████████████████████████████████▊ | 223/409 [32:33<27:16, 8.80s/it][A + mmlu_sk: 55%|████████████████████████████████████████████████████████████████ | 224/409 [32:41<26:41, 8.66s/it][A + mmlu_sk: 55%|████████████████████████████████████████████████████████████████▎ | 225/409 [32:49<25:44, 8.40s/it][A + mmlu_sk: 55%|████████████████████████████████████████████████████████████████▋ | 226/409 [32:58<26:19, 8.63s/it][A + mmlu_sk: 56%|████████████████████████████████████████████████████████████████▉ | 227/409 [33:07<26:22, 8.69s/it][A + mmlu_sk: 56%|█████████████████████████████████████████████████████████████████▏ | 228/409 [33:15<25:45, 8.54s/it][A + mmlu_sk: 56%|█████████████████████████████████████████████████████████████████▌ | 229/409 [33:24<25:49, 8.61s/it][A + mmlu_sk: 56%|█████████████████████████████████████████████████████████████████▊ | 230/409 [33:34<26:35, 8.91s/it][A + mmlu_sk: 56%|██████████████████████████████████████████████████████████████████ | 231/409 [33:42<26:03, 8.78s/it][A + mmlu_sk: 57%|██████████████████████████████████████████████████████████████████▎ | 232/409 [33:49<24:41, 8.37s/it][A + mmlu_sk: 57%|██████████████████████████████████████████████████████████████████▋ | 233/409 [33:58<24:33, 8.37s/it][A + mmlu_sk: 57%|██████████████████████████████████████████████████████████████████▉ | 234/409 [34:08<26:00, 8.92s/it][A + mmlu_sk: 57%|███████████████████████████████████████████████████████████████████▏ | 235/409 [34:16<25:03, 8.64s/it][A + mmlu_sk: 58%|███████████████████████████████████████████████████████████████████▌ | 236/409 [34:24<24:24, 8.47s/it][A + mmlu_sk: 58%|███████████████████████████████████████████████████████████████████▊ | 237/409 [34:33<24:14, 8.46s/it][A + mmlu_sk: 58%|████████████████████████████████████████████████████████████████████ | 238/409 [34:42<25:06, 8.81s/it][A + mmlu_sk: 58%|████████████████████████████████████████████████████████████████████▎ | 239/409 [34:51<24:42, 8.72s/it][A + mmlu_sk: 59%|████████████████████████████████████████████████████████████████████▋ | 240/409 [34:59<24:25, 8.67s/it][A + mmlu_sk: 59%|████████████████████████████████████████████████████████████████████▉ | 241/409 [35:08<24:14, 8.66s/it][A + mmlu_sk: 59%|█████████████████████████████████████████████████████████████████████▏ | 242/409 [35:17<24:27, 8.79s/it][A + mmlu_sk: 59%|█████████████████████████████████████████████████████████████████████▌ | 243/409 [35:25<23:42, 8.57s/it][A + mmlu_sk: 60%|█████████████████████████████████████████████████████████████████████▊ | 244/409 [35:34<24:15, 8.82s/it][A + mmlu_sk: 60%|██████████████████████████████████████████████████████████████████████ | 245/409 [35:42<23:18, 8.52s/it][A + mmlu_sk: 60%|██████████████████████████████████████████████████████████████████████▎ | 246/409 [35:51<23:42, 8.73s/it][A + mmlu_sk: 60%|██████████████████████████████████████████████████████████████████████▋ | 247/409 [36:00<23:30, 8.71s/it][A + mmlu_sk: 61%|██████████████████████████████████████████████████████████████████████▉ | 248/409 [36:08<22:49, 8.51s/it][A + mmlu_sk: 61%|███████████████████████████████████████████████████████████████████████▏ | 249/409 [36:16<22:30, 8.44s/it][A + mmlu_sk: 61%|███████████████████████████████████████████████████████████████████████▌ | 250/409 [36:27<23:40, 8.93s/it][A + mmlu_sk: 61%|███████████████████████████████████████████████████████████████████████▊ | 251/409 [36:36<23:40, 8.99s/it][A + mmlu_sk: 62%|████████████████████████████████████████████████████████████████████████ | 252/409 [36:44<23:05, 8.82s/it][A + mmlu_sk: 62%|████████████████████████████████████████████████████████████████████████▎ | 253/409 [36:53<23:02, 8.86s/it][A + mmlu_sk: 62%|████████████████████████████████████████████████████████████████████████▋ | 254/409 [37:01<22:15, 8.62s/it][A + mmlu_sk: 62%|████████████████████████████████████████████████████████████████████████▉ | 255/409 [37:09<21:28, 8.37s/it][A + mmlu_sk: 63%|█████████████████████████████████████████████████████████████████████████▏ | 256/409 [37:19<22:37, 8.87s/it][A + mmlu_sk: 63%|█████████████████████████████████████████████████████████████████████████▌ | 257/409 [37:28<22:56, 9.05s/it][A + mmlu_sk: 63%|█████████████████████████████████████████████████████████████████████████▊ | 258/409 [37:37<22:30, 8.94s/it][A + mmlu_sk: 63%|██████████████████████████████████████████████████████████████████████████ | 259/409 [37:48<23:33, 9.43s/it][A + mmlu_sk: 64%|██████████████████████████████████████████████████████████████████████████▍ | 260/409 [37:55<22:08, 8.92s/it][A + mmlu_sk: 64%|██████████████████████████████████████████████████████████████████████████▋ | 261/409 [38:05<22:31, 9.13s/it][A + mmlu_sk: 64%|██████████████████████████████████████████████████████████████████████████▉ | 262/409 [38:16<23:34, 9.62s/it][A + mmlu_sk: 64%|███████████████████████████████████████████████████████████████████████████▏ | 263/409 [38:24<22:29, 9.24s/it][A + mmlu_sk: 65%|███████████████████████████████████████████████████████████████████████████▌ | 264/409 [38:32<21:17, 8.81s/it][A + mmlu_sk: 65%|███████████████████████████████████████████████████████████████████████████▊ | 265/409 [38:40<20:37, 8.60s/it][A + mmlu_sk: 65%|████████████████████████████████████████████████████████████████████████████ | 266/409 [38:48<20:19, 8.53s/it][A + mmlu_sk: 65%|████████████████████████████████████████████████████████████████████████████▍ | 267/409 [38:57<19:58, 8.44s/it][A + mmlu_sk: 66%|████████████████████████████████████████████████████████████████████████████▋ | 268/409 [39:05<19:44, 8.40s/it][A + mmlu_sk: 66%|████████████████████████████████████████████████████████████████████████████▉ | 269/409 [39:14<20:22, 8.73s/it][A + mmlu_sk: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 270/409 [39:24<20:49, 8.99s/it][A + mmlu_sk: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 271/409 [39:33<20:36, 8.96s/it][A + mmlu_sk: 67%|█████████████████████████████████████████████████████████████████████████████▊ | 272/409 [39:42<20:36, 9.03s/it][A + mmlu_sk: 67%|██████████████████████████████████████████████████████████████████████████████ | 273/409 [39:51<20:03, 8.85s/it][A + mmlu_sk: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 274/409 [40:00<20:31, 9.12s/it][A + mmlu_sk: 67%|██████████████████████████████████████████████████████████████████████████████▋ | 275/409 [40:10<20:41, 9.27s/it][A + mmlu_sk: 67%|██████████████████████████████████████████████████████████████████████████████▉ | 276/409 [40:19<20:45, 9.36s/it][A + mmlu_sk: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 277/409 [40:29<20:40, 9.40s/it][A + mmlu_sk: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 278/409 [40:37<19:26, 8.91s/it][A + mmlu_sk: 68%|███████████████████████████████████████████████████████████████████████████████▊ | 279/409 [40:46<19:19, 8.92s/it][A + mmlu_sk: 68%|████████████████████████████████████████████████████████████████████████████████ | 280/409 [40:55<19:21, 9.01s/it][A + mmlu_sk: 69%|████████████████████████████████████████████████████████████████████████████████▍ | 281/409 [41:03<18:36, 8.73s/it][A + mmlu_sk: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 282/409 [41:13<19:34, 9.25s/it][A + mmlu_sk: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 283/409 [41:22<18:43, 8.91s/it][A + mmlu_sk: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 284/409 [41:31<18:46, 9.01s/it][A + mmlu_sk: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 285/409 [41:40<18:37, 9.01s/it][A + mmlu_sk: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 286/409 [41:49<18:41, 9.12s/it][A + mmlu_sk: 70%|██████████████████████████████████████████████████████████████████████████████████ | 287/409 [41:57<17:48, 8.76s/it][A + mmlu_sk: 70%|██████████████████████████████████████████████████████████████████████████████████▍ | 288/409 [42:07<18:15, 9.06s/it][A + mmlu_sk: 71%|██████████████████████████████████████████████████████████████████████████████████▋ | 289/409 [42:16<18:08, 9.07s/it][A + mmlu_sk: 71%|██████████████████████████████████████████████████████████████████████████████████▉ | 290/409 [42:24<17:35, 8.87s/it][A + mmlu_sk: 71%|███████████████████████████████████████████████████████████████████████████████████▏ | 291/409 [42:34<18:08, 9.22s/it][A + mmlu_sk: 71%|███████████████████████████████████████████████████████████████████████████████████▌ | 292/409 [42:42<17:19, 8.88s/it][A + mmlu_sk: 72%|███████████████████████████████████████████████████████████████████████████████████▊ | 293/409 [42:52<17:15, 8.93s/it][A + mmlu_sk: 72%|████████████████████████████████████████████████████████████████████████████████████ | 294/409 [42:59<16:32, 8.63s/it][A + mmlu_sk: 72%|████████████████████████████████████████████████████████████████████████████████████▍ | 295/409 [43:07<15:54, 8.37s/it][A + mmlu_sk: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 296/409 [43:16<15:42, 8.34s/it][A + mmlu_sk: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 297/409 [43:25<16:01, 8.58s/it][A + mmlu_sk: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 298/409 [43:33<15:31, 8.39s/it][A + mmlu_sk: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 299/409 [43:42<15:47, 8.61s/it][A + mmlu_sk: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 300/409 [43:51<15:46, 8.68s/it][A + mmlu_sk: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 301/409 [44:00<16:04, 8.93s/it][A + mmlu_sk: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 302/409 [44:09<15:47, 8.86s/it][A + mmlu_sk: 74%|██████████████████████████████████████████████████████████████████████████████████████▋ | 303/409 [44:17<15:09, 8.58s/it][A + mmlu_sk: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 304/409 [44:26<15:18, 8.75s/it][A + mmlu_sk: 75%|███████████████████████████████████████████████████████████████████████████████████████▏ | 305/409 [44:35<15:11, 8.77s/it][A + mmlu_sk: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 306/409 [44:42<14:20, 8.35s/it][A + mmlu_sk: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 307/409 [44:50<14:10, 8.34s/it][A + mmlu_sk: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 308/409 [44:59<14:04, 8.37s/it][A + mmlu_sk: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 309/409 [45:07<14:06, 8.47s/it][A + mmlu_sk: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 310/409 [45:17<14:44, 8.94s/it][A + mmlu_sk: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 311/409 [45:27<15:02, 9.21s/it][A + mmlu_sk: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 312/409 [45:36<14:34, 9.02s/it][A + mmlu_sk: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 313/409 [45:45<14:30, 9.06s/it][A + mmlu_sk: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 314/409 [45:54<14:17, 9.03s/it][A + mmlu_sk: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 315/409 [46:03<13:59, 8.93s/it][A + mmlu_sk: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 316/409 [46:11<13:33, 8.74s/it][A + mmlu_sk: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 317/409 [46:19<13:09, 8.58s/it][A + mmlu_sk: 78%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 318/409 [46:28<13:03, 8.61s/it][A + mmlu_sk: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 319/409 [46:36<12:39, 8.44s/it][A + mmlu_sk: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 320/409 [46:46<13:05, 8.82s/it][A + mmlu_sk: 78%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 321/409 [46:54<12:48, 8.74s/it][A + mmlu_sk: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 322/409 [47:04<12:57, 8.94s/it][A + mmlu_sk: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 323/409 [47:13<12:59, 9.07s/it][A + mmlu_sk: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 324/409 [47:22<12:40, 8.94s/it][A + mmlu_sk: 79%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 325/409 [47:30<12:28, 8.91s/it][A + mmlu_sk: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 326/409 [47:39<12:17, 8.89s/it][A + mmlu_sk: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 327/409 [47:48<12:07, 8.87s/it][A + mmlu_sk: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 328/409 [47:56<11:39, 8.63s/it][A + mmlu_sk: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 329/409 [48:06<11:48, 8.86s/it][A + mmlu_sk: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 330/409 [48:13<11:14, 8.54s/it][A + mmlu_sk: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 331/409 [48:22<11:00, 8.47s/it][A + mmlu_sk: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 332/409 [48:30<10:52, 8.47s/it][A + mmlu_sk: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 333/409 [48:37<10:10, 8.04s/it][A + mmlu_sk: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 334/409 [48:46<10:08, 8.11s/it][A + mmlu_sk: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 335/409 [48:53<09:57, 8.08s/it][A + mmlu_sk: 82%|████████████████████████████████████████████████████████████████████████████████████████████████ | 336/409 [49:02<09:51, 8.10s/it][A + mmlu_sk: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 337/409 [49:10<09:59, 8.32s/it][A + mmlu_sk: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 338/409 [49:18<09:37, 8.13s/it][A + mmlu_sk: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 339/409 [49:27<09:53, 8.48s/it][A + mmlu_sk: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 340/409 [49:36<09:39, 8.40s/it][A + mmlu_sk: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 341/409 [49:45<09:44, 8.60s/it][A + mmlu_sk: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 342/409 [49:53<09:31, 8.52s/it][A + mmlu_sk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 343/409 [50:02<09:37, 8.75s/it][A + mmlu_sk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 344/409 [50:11<09:17, 8.58s/it][A + mmlu_sk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 345/409 [50:20<09:23, 8.80s/it][A + mmlu_sk: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 346/409 [50:30<09:32, 9.09s/it][A + mmlu_sk: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 347/409 [50:38<09:13, 8.93s/it][A + mmlu_sk: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 348/409 [50:46<08:52, 8.73s/it][A + mmlu_sk: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 349/409 [50:55<08:49, 8.82s/it][A + mmlu_sk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 350/409 [51:04<08:37, 8.77s/it][A + mmlu_sk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 351/409 [51:14<08:51, 9.17s/it][A + mmlu_sk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 352/409 [51:23<08:32, 9.00s/it][A + mmlu_sk: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 353/409 [51:31<08:18, 8.90s/it][A + mmlu_sk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 354/409 [51:40<07:55, 8.64s/it][A + mmlu_sk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 355/409 [51:48<07:46, 8.64s/it][A + mmlu_sk: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 356/409 [51:56<07:19, 8.29s/it][A + mmlu_sk: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 357/409 [52:04<07:11, 8.30s/it][A + mmlu_sk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 358/409 [52:12<07:02, 8.29s/it][A + mmlu_sk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 359/409 [52:22<07:22, 8.84s/it][A + mmlu_sk: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 360/409 [52:31<07:06, 8.70s/it][A + mmlu_sk: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 361/409 [52:40<07:05, 8.86s/it][A + mmlu_sk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 362/409 [52:49<06:53, 8.81s/it][A + mmlu_sk: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 363/409 [52:57<06:44, 8.79s/it][A + mmlu_sk: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 364/409 [53:07<06:41, 8.93s/it][A + mmlu_sk: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 365/409 [53:16<06:45, 9.20s/it][A + mmlu_sk: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 366/409 [53:24<06:18, 8.80s/it][A + mmlu_sk: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 367/409 [53:33<06:02, 8.64s/it][A + mmlu_sk: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 368/409 [53:41<05:56, 8.68s/it][A + mmlu_sk: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 369/409 [53:50<05:41, 8.54s/it][A + mmlu_sk: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 370/409 [53:58<05:34, 8.58s/it][A + mmlu_sk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 371/409 [54:07<05:26, 8.60s/it][A + mmlu_sk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 372/409 [54:17<05:34, 9.03s/it][A + mmlu_sk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 373/409 [54:25<05:16, 8.79s/it][A + mmlu_sk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 374/409 [54:34<05:10, 8.86s/it][A + mmlu_sk: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 375/409 [54:43<05:00, 8.85s/it][A + mmlu_sk: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 376/409 [54:51<04:46, 8.67s/it][A + mmlu_sk: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 377/409 [55:00<04:39, 8.74s/it][A + mmlu_sk: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 378/409 [55:09<04:29, 8.68s/it][A + mmlu_sk: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 379/409 [55:18<04:21, 8.72s/it][A + mmlu_sk: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 380/409 [55:26<04:14, 8.77s/it][A + mmlu_sk: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 381/409 [55:35<04:04, 8.74s/it][A + mmlu_sk: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 382/409 [55:44<03:56, 8.76s/it][A + mmlu_sk: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 383/409 [55:52<03:44, 8.63s/it][A + mmlu_sk: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 384/409 [56:02<03:42, 8.88s/it][A + mmlu_sk: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 385/409 [56:11<03:36, 9.00s/it][A + mmlu_sk: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 386/409 [56:20<03:26, 8.97s/it][A + mmlu_sk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 387/409 [56:28<03:15, 8.86s/it][A + mmlu_sk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 388/409 [56:36<02:57, 8.46s/it][A + mmlu_sk: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 389/409 [56:45<02:51, 8.56s/it][A + mmlu_sk: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 390/409 [56:53<02:42, 8.53s/it][A + mmlu_sk: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 391/409 [57:03<02:39, 8.85s/it][A + mmlu_sk: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 392/409 [57:10<02:23, 8.44s/it][A + mmlu_sk: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 393/409 [57:19<02:17, 8.61s/it][A + mmlu_sk: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 394/409 [57:27<02:05, 8.36s/it][A + mmlu_sk: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 395/409 [57:35<01:56, 8.31s/it][A + mmlu_sk: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 396/409 [57:45<01:55, 8.87s/it][A + mmlu_sk: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 397/409 [57:53<01:41, 8.45s/it][A + mmlu_sk: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 398/409 [58:01<01:30, 8.26s/it][A + mmlu_sk: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 399/409 [58:10<01:26, 8.65s/it][A + mmlu_sk: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 400/409 [58:18<01:14, 8.28s/it][A + mmlu_sk: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 401/409 [58:26<01:05, 8.23s/it][A + mmlu_sk: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 402/409 [58:34<00:56, 8.06s/it][A + mmlu_sk: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 403/409 [58:42<00:49, 8.23s/it][A + mmlu_sk: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 404/409 [58:50<00:39, 7.97s/it][A + mmlu_sk: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 405/409 [58:58<00:32, 8.04s/it][A + mmlu_sk: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 406/409 [59:06<00:24, 8.18s/it][A + mmlu_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 407/409 [59:14<00:16, 8.08s/it][A + mmlu_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 408/409 [59:23<00:08, 8.21s/it][A + mmlu_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [59:27<00:00, 7.21s/it][A mmlu_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [59:27<00:00, 8.72s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sk_acc 0.3455826060327668 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sk_acc_norm 0.3278211606185883 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 21:31:30,239 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 21:31:30,240 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:30,366 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 21:31:30,366 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:30,493 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 21:31:30,493 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:30,620 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 21:31:30,621 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 21:31:30,621 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 21:31:30,749 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 21:31:30,749 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_sk_acc'} +2024-05-31 21:31:30,813 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 21:31:30,813 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1249, 'value': 0.3455826060327668} +2024-05-31 21:31:30,878 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 21:31:31,533 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 21:31:31,533 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:31,662 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 21:31:31,662 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:31,791 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 21:31:31,791 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:31,920 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 21:31:31,921 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 21:31:31,921 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 21:31:32,051 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 21:31:32,051 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_sk_acc_norm'} +2024-05-31 21:31:32,117 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 21:31:32,117 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1250, 'value': 0.3278211606185883} +2024-05-31 21:31:32,182 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 69%|██████████████████████████████████████████████████████████████████████████▉ | 86/124 [62:44:01<45:06:04, 4272.76s/it]['mmlu_sr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 21:31:32,819 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 21:31:32,819 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:32,944 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 21:31:32,944 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:33,069 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 21:31:33,069 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 21:31:33,193 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 21:31:33,194 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 21:31:33,194 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_sr'} +2024-05-31 21:31:33,320 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_sr task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1786 examples [00:00, 15855.00 examples/s][A + Generating test split: 5148 examples [00:00, 25787.04 examples/s][A + Generating test split: 8683 examples [00:00, 30029.51 examples/s][A + Generating test split: 12074 examples [00:00, 31530.64 examples/s][A Generating test split: 13173 examples [00:00, 29235.20 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 276 examples [00:00, 27083.45 examples/s] +Running loglikelihood requests + + mmlu_sr: 0%| | 0/412 [00:00<?, ?it/s][A + mmlu_sr: 0%|▎ | 1/412 [00:07<52:06, 7.61s/it][A + mmlu_sr: 0%|▌ | 2/412 [00:16<55:57, 8.19s/it][A + mmlu_sr: 1%|▊ | 3/412 [00:24<56:00, 8.22s/it][A + mmlu_sr: 1%|█▏ | 4/412 [00:32<55:57, 8.23s/it][A + mmlu_sr: 1%|█▍ | 5/412 [00:41<56:02, 8.26s/it][A + mmlu_sr: 1%|█▋ | 6/412 [00:50<58:44, 8.68s/it][A + mmlu_sr: 2%|██ | 7/412 [00:58<56:36, 8.39s/it][A + mmlu_sr: 2%|██▎ | 8/412 [01:07<58:59, 8.76s/it][A + mmlu_sr: 2%|██▌ | 9/412 [01:17<1:00:37, 9.03s/it][A + mmlu_sr: 2%|██▊ | 10/412 [01:26<1:00:51, 9.08s/it][A + mmlu_sr: 3%|███ | 11/412 [01:35<1:00:19, 9.03s/it][A + mmlu_sr: 3%|███▍ | 12/412 [01:45<1:01:18, 9.20s/it][A + mmlu_sr: 3%|███▋ | 13/412 [01:54<1:00:31, 9.10s/it][A + mmlu_sr: 3%|███▉ | 14/412 [02:03<1:00:43, 9.15s/it][A + mmlu_sr: 4%|████▎ | 15/412 [02:11<58:06, 8.78s/it][A + mmlu_sr: 4%|████▌ | 16/412 [02:20<59:11, 8.97s/it][A + mmlu_sr: 4%|████▊ | 17/412 [02:29<59:18, 9.01s/it][A + mmlu_sr: 4%|█████▏ | 18/412 [02:38<58:33, 8.92s/it][A + mmlu_sr: 5%|█████▍ | 19/412 [02:46<56:53, 8.68s/it][A + mmlu_sr: 5%|█████▋ | 20/412 [02:55<57:17, 8.77s/it][A + mmlu_sr: 5%|██████ | 21/412 [03:04<58:14, 8.94s/it][A + mmlu_sr: 5%|██████▎ | 22/412 [03:14<59:04, 9.09s/it][A + mmlu_sr: 6%|██████▌ | 23/412 [03:22<56:38, 8.74s/it][A + mmlu_sr: 6%|██████▊ | 24/412 [03:32<58:55, 9.11s/it][A + mmlu_sr: 6%|███████▏ | 25/412 [03:40<57:37, 8.93s/it][A + mmlu_sr: 6%|███████▍ | 26/412 [03:48<55:11, 8.58s/it][A + mmlu_sr: 7%|███████▋ | 27/412 [03:56<53:44, 8.37s/it][A + mmlu_sr: 7%|████████ | 28/412 [04:07<59:29, 9.30s/it][A + mmlu_sr: 7%|████████▎ | 29/412 [04:17<59:50, 9.37s/it][A + mmlu_sr: 7%|████████▌ | 30/412 [04:26<58:22, 9.17s/it][A + mmlu_sr: 8%|████████▉ | 31/412 [04:35<58:53, 9.28s/it][A + mmlu_sr: 8%|█████████▏ | 32/412 [04:44<58:34, 9.25s/it][A + mmlu_sr: 8%|█████████▍ | 33/412 [04:54<58:41, 9.29s/it][A + mmlu_sr: 8%|█████████▋ | 34/412 [05:02<56:53, 9.03s/it][A + mmlu_sr: 8%|██████████ | 35/412 [05:11<56:31, 9.00s/it][A + mmlu_sr: 9%|██████████▎ | 36/412 [05:19<53:55, 8.60s/it][A + mmlu_sr: 9%|██████████▌ | 37/412 [05:28<54:17, 8.69s/it][A + mmlu_sr: 9%|██████████▉ | 38/412 [05:36<53:25, 8.57s/it][A + mmlu_sr: 9%|███████████▏ | 39/412 [05:44<51:59, 8.36s/it][A + mmlu_sr: 10%|███████████▍ | 40/412 [05:53<53:54, 8.70s/it][A + mmlu_sr: 10%|███████████▋ | 41/412 [06:01<51:40, 8.36s/it][A + mmlu_sr: 10%|████████████ | 42/412 [06:10<53:03, 8.60s/it][A + mmlu_sr: 10%|████████████▎ | 43/412 [06:20<54:43, 8.90s/it][A + mmlu_sr: 11%|████████████▌ | 44/412 [06:27<52:31, 8.56s/it][A + mmlu_sr: 11%|████████████▉ | 45/412 [06:35<51:21, 8.40s/it][A + mmlu_sr: 11%|█████████████▏ | 46/412 [06:44<52:24, 8.59s/it][A + mmlu_sr: 11%|█████████████▍ | 47/412 [06:54<53:12, 8.75s/it][A + mmlu_sr: 12%|█████████████▋ | 48/412 [07:01<51:29, 8.49s/it][A + mmlu_sr: 12%|██████████████ | 49/412 [07:11<53:10, 8.79s/it][A + mmlu_sr: 12%|██████████████▎ | 50/412 [07:19<51:30, 8.54s/it][A + mmlu_sr: 12%|██████████████▌ | 51/412 [07:29<53:26, 8.88s/it][A + mmlu_sr: 13%|██████████████▉ | 52/412 [07:37<53:17, 8.88s/it][A + mmlu_sr: 13%|███████████████▏ | 53/412 [07:47<53:31, 8.94s/it][A + mmlu_sr: 13%|███████████████▍ | 54/412 [07:55<51:47, 8.68s/it][A + mmlu_sr: 13%|███████████████▊ | 55/412 [08:03<50:54, 8.56s/it][A + mmlu_sr: 14%|████████████████ | 56/412 [08:12<52:18, 8.82s/it][A + mmlu_sr: 14%|████████████████▎ | 57/412 [08:21<52:50, 8.93s/it][A + mmlu_sr: 14%|████████████████▌ | 58/412 [08:29<50:04, 8.49s/it][A + mmlu_sr: 14%|████████████████▉ | 59/412 [08:37<49:57, 8.49s/it][A + mmlu_sr: 15%|█████████████████▏ | 60/412 [08:46<49:37, 8.46s/it][A + mmlu_sr: 15%|█████████████████▍ | 61/412 [08:55<50:41, 8.67s/it][A + mmlu_sr: 15%|█████████████████▊ | 62/412 [09:03<49:38, 8.51s/it][A + mmlu_sr: 15%|██████████████████ | 63/412 [09:13<51:49, 8.91s/it][A + mmlu_sr: 16%|██████████████████▎ | 64/412 [09:21<49:35, 8.55s/it][A + mmlu_sr: 16%|██████████████████▌ | 65/412 [09:30<50:47, 8.78s/it][A + mmlu_sr: 16%|██████████████████▉ | 66/412 [09:39<51:41, 8.96s/it][A + mmlu_sr: 16%|███████████████████▏ | 67/412 [09:47<49:43, 8.65s/it][A + mmlu_sr: 17%|███████████████████▍ | 68/412 [09:55<48:13, 8.41s/it][A + mmlu_sr: 17%|███████████████████▊ | 69/412 [10:04<49:37, 8.68s/it][A + mmlu_sr: 17%|████████████████████ | 70/412 [10:13<49:49, 8.74s/it][A + mmlu_sr: 17%|████████████████████▎ | 71/412 [10:21<47:24, 8.34s/it][A + mmlu_sr: 17%|████████████████████▌ | 72/412 [10:30<48:13, 8.51s/it][A + mmlu_sr: 18%|████████████████████▉ | 73/412 [10:39<49:02, 8.68s/it][A + mmlu_sr: 18%|█████████████████████▏ | 74/412 [10:48<49:25, 8.77s/it][A + mmlu_sr: 18%|█████████████████████▍ | 75/412 [10:57<50:02, 8.91s/it][A + mmlu_sr: 18%|█████████████████████▊ | 76/412 [11:07<51:12, 9.14s/it][A + mmlu_sr: 19%|██████████████████████ | 77/412 [11:16<50:37, 9.07s/it][A + mmlu_sr: 19%|██████████████████████▎ | 78/412 [11:25<50:47, 9.12s/it][A + mmlu_sr: 19%|██████████████████████▋ | 79/412 [11:33<48:41, 8.77s/it][A + mmlu_sr: 19%|██████████████████████▉ | 80/412 [11:42<48:56, 8.85s/it][A + mmlu_sr: 20%|███████████████████████▏ | 81/412 [11:50<48:19, 8.76s/it][A + mmlu_sr: 20%|███████████████████████▍ | 82/412 [11:59<48:14, 8.77s/it][A + mmlu_sr: 20%|███████████████████████▊ | 83/412 [12:09<49:10, 8.97s/it][A + mmlu_sr: 20%|████████████████████████ | 84/412 [12:18<49:37, 9.08s/it][A + mmlu_sr: 21%|████████████████████████▎ | 85/412 [12:27<49:18, 9.05s/it][A + mmlu_sr: 21%|████████████████████████▋ | 86/412 [12:36<49:30, 9.11s/it][A + mmlu_sr: 21%|████████████████████████▉ | 87/412 [12:44<46:51, 8.65s/it][A + mmlu_sr: 21%|█████████████████████████▏ | 88/412 [12:52<45:36, 8.45s/it][A + mmlu_sr: 22%|█████████████████████████▍ | 89/412 [13:00<45:03, 8.37s/it][A + mmlu_sr: 22%|█████████████████████████▊ | 90/412 [13:09<46:14, 8.62s/it][A + mmlu_sr: 22%|██████████████████████████ | 91/412 [13:19<47:37, 8.90s/it][A + mmlu_sr: 22%|██████████████████████████▎ | 92/412 [13:28<47:42, 8.95s/it][A + mmlu_sr: 23%|██████████████████████████▋ | 93/412 [13:37<48:34, 9.14s/it][A + mmlu_sr: 23%|██████████████████████████▉ | 94/412 [13:46<47:28, 8.96s/it][A + mmlu_sr: 23%|███████████████████████████▏ | 95/412 [13:53<45:18, 8.58s/it][A + mmlu_sr: 23%|███████████████████████████▍ | 96/412 [14:02<45:19, 8.61s/it][A + mmlu_sr: 24%|███████████████████████████▊ | 97/412 [14:11<45:29, 8.67s/it][A + mmlu_sr: 24%|████████████████████████████ | 98/412 [14:21<46:54, 8.96s/it][A + mmlu_sr: 24%|████████████████████████████▎ | 99/412 [14:29<46:18, 8.88s/it][A + mmlu_sr: 24%|████████████████████████████▍ | 100/412 [14:37<44:22, 8.53s/it][A + mmlu_sr: 25%|████████████████████████████▋ | 101/412 [14:46<45:00, 8.68s/it][A + mmlu_sr: 25%|████████████████████████████▉ | 102/412 [14:55<45:01, 8.72s/it][A + mmlu_sr: 25%|█████████████████████████████▎ | 103/412 [15:03<43:35, 8.46s/it][A + mmlu_sr: 25%|█████████████████████████████▌ | 104/412 [15:10<42:02, 8.19s/it][A + mmlu_sr: 25%|█████████████████████████████▊ | 105/412 [15:19<42:08, 8.24s/it][A + mmlu_sr: 26%|██████████████████████████████ | 106/412 [15:28<43:31, 8.53s/it][A + mmlu_sr: 26%|██████████████████████████████▍ | 107/412 [15:35<41:59, 8.26s/it][A + mmlu_sr: 26%|██████████████████████████████▋ | 108/412 [15:44<42:11, 8.33s/it][A + mmlu_sr: 26%|██████████████████████████████▉ | 109/412 [15:52<41:20, 8.19s/it][A + mmlu_sr: 27%|███████████████████████████████▏ | 110/412 [16:01<42:28, 8.44s/it][A + mmlu_sr: 27%|███████████████████████████████▌ | 111/412 [16:10<43:43, 8.71s/it][A + mmlu_sr: 27%|███████████████████████████████▊ | 112/412 [16:18<42:51, 8.57s/it][A + mmlu_sr: 27%|████████████████████████████████ | 113/412 [16:28<44:38, 8.96s/it][A + mmlu_sr: 28%|████████████████████████████████▎ | 114/412 [16:37<43:37, 8.78s/it][A + mmlu_sr: 28%|████████████████████████████████▋ | 115/412 [16:45<42:47, 8.64s/it][A + mmlu_sr: 28%|████████████████████████████████▉ | 116/412 [16:53<42:14, 8.56s/it][A + mmlu_sr: 28%|█████████████████████████████████▏ | 117/412 [17:02<42:50, 8.71s/it][A + mmlu_sr: 29%|█████████████████████████████████▌ | 118/412 [17:10<41:42, 8.51s/it][A + mmlu_sr: 29%|█████████████████████████████████▊ | 119/412 [17:20<42:48, 8.77s/it][A + mmlu_sr: 29%|██████████████████████████████████ | 120/412 [17:30<45:10, 9.28s/it][A + mmlu_sr: 29%|██████████████████████████████████▎ | 121/412 [17:41<46:43, 9.63s/it][A + mmlu_sr: 30%|██████████████████████████████████▋ | 122/412 [17:50<45:40, 9.45s/it][A + mmlu_sr: 30%|██████████████████████████████████▉ | 123/412 [17:58<44:29, 9.24s/it][A + mmlu_sr: 30%|███████████████████████████████████▏ | 124/412 [18:06<42:28, 8.85s/it][A + mmlu_sr: 30%|███████████████████████████████████▍ | 125/412 [18:15<41:19, 8.64s/it][A + mmlu_sr: 31%|███████████████████████████████████▊ | 126/412 [18:23<40:20, 8.46s/it][A + mmlu_sr: 31%|████████████████████████████████████ | 127/412 [18:32<41:08, 8.66s/it][A + mmlu_sr: 31%|████████████████████████████████████▎ | 128/412 [18:40<40:13, 8.50s/it][A + mmlu_sr: 31%|████████████████████████████████████▋ | 129/412 [18:50<41:45, 8.85s/it][A + mmlu_sr: 32%|████████████████████████████████████▉ | 130/412 [19:00<43:09, 9.18s/it][A + mmlu_sr: 32%|█████████████████████████████████████▏ | 131/412 [19:07<40:47, 8.71s/it][A + mmlu_sr: 32%|█████████████████████████████████████▍ | 132/412 [19:16<40:59, 8.78s/it][A + mmlu_sr: 32%|█████████████████████████████████████▊ | 133/412 [19:26<41:55, 9.02s/it][A + mmlu_sr: 33%|██████████████████████████████████████ | 134/412 [19:35<42:00, 9.07s/it][A + mmlu_sr: 33%|██████████████████████████████████████▎ | 135/412 [19:43<41:02, 8.89s/it][A + mmlu_sr: 33%|██████████████████████████████████████▌ | 136/412 [19:53<41:26, 9.01s/it][A + mmlu_sr: 33%|██████████████████████████████████████▉ | 137/412 [20:01<40:42, 8.88s/it][A + mmlu_sr: 33%|███████████████████████████████████████▏ | 138/412 [20:10<40:20, 8.84s/it][A + mmlu_sr: 34%|███████████████████████████████████████▍ | 139/412 [20:20<41:20, 9.09s/it][A + mmlu_sr: 34%|███████████████████████████████████████▊ | 140/412 [20:28<40:06, 8.85s/it][A + mmlu_sr: 34%|████████████████████████████████████████ | 141/412 [20:37<40:27, 8.96s/it][A + mmlu_sr: 34%|████████████████████████████████████████▎ | 142/412 [20:46<40:31, 9.01s/it][A + mmlu_sr: 35%|████████████████████████████████████████▌ | 143/412 [20:54<39:02, 8.71s/it][A + mmlu_sr: 35%|████████████████████████████████████████▉ | 144/412 [21:03<39:34, 8.86s/it][A + mmlu_sr: 35%|█████████████████████████████████████████▏ | 145/412 [21:13<39:51, 8.96s/it][A + mmlu_sr: 35%|█████████████████████████████████████████▍ | 146/412 [21:22<39:53, 9.00s/it][A + mmlu_sr: 36%|█████████████████████████████████████████▋ | 147/412 [21:31<40:04, 9.07s/it][A + mmlu_sr: 36%|██████████████████████████████████████████ | 148/412 [21:40<39:35, 9.00s/it][A + mmlu_sr: 36%|██████████████████████████████████████████▎ | 149/412 [21:50<40:49, 9.31s/it][A + mmlu_sr: 36%|██████████████████████████████████████████▌ | 150/412 [21:59<40:37, 9.30s/it][A + mmlu_sr: 37%|██████████████████████████████████████████▉ | 151/412 [22:08<40:16, 9.26s/it][A + mmlu_sr: 37%|███████████████████████████████████████████▏ | 152/412 [22:17<39:50, 9.20s/it][A + mmlu_sr: 37%|███████████████████████████████████████████▍ | 153/412 [22:25<37:32, 8.70s/it][A + mmlu_sr: 37%|███████████████████████████████████████████▋ | 154/412 [22:33<36:19, 8.45s/it][A + mmlu_sr: 38%|████████████████████████████████████████████ | 155/412 [22:42<36:42, 8.57s/it][A + mmlu_sr: 38%|████████████████████████████████████████████▎ | 156/412 [22:50<36:58, 8.66s/it][A + mmlu_sr: 38%|████████████████████████████████████████████▌ | 157/412 [22:59<37:08, 8.74s/it][A + mmlu_sr: 38%|████████████████████████████████████████████▊ | 158/412 [23:08<37:08, 8.77s/it][A + mmlu_sr: 39%|█████████████████████████████████████████████▏ | 159/412 [23:17<37:34, 8.91s/it][A + mmlu_sr: 39%|█████████████████████████████████████████████▍ | 160/412 [23:27<37:46, 8.99s/it][A + mmlu_sr: 39%|█████████████████████████████████████████████▋ | 161/412 [23:37<38:55, 9.30s/it][A + mmlu_sr: 39%|██████████████████████████████████████████████ | 162/412 [23:44<36:40, 8.80s/it][A + mmlu_sr: 40%|██████████████████████████████████████████████▎ | 163/412 [23:53<36:17, 8.75s/it][A + mmlu_sr: 40%|██████████████████████████████████████████████▌ | 164/412 [24:02<37:00, 8.95s/it][A + mmlu_sr: 40%|██████████████████████████████████████████████▊ | 165/412 [24:10<35:06, 8.53s/it][A + mmlu_sr: 40%|███████████████████████████████████████████████▏ | 166/412 [24:18<34:10, 8.34s/it][A + mmlu_sr: 41%|███████████████████████████████████████████████▍ | 167/412 [24:27<35:09, 8.61s/it][A + mmlu_sr: 41%|███████████████████████████████████████████████▋ | 168/412 [24:36<35:24, 8.70s/it][A + mmlu_sr: 41%|███████████████████████████████████████████████▉ | 169/412 [24:44<34:43, 8.57s/it][A + mmlu_sr: 41%|████████████████████████████████████████████████▎ | 170/412 [24:54<36:39, 9.09s/it][A + mmlu_sr: 42%|████████████████████████████████████████████████▌ | 171/412 [25:03<36:15, 9.03s/it][A + mmlu_sr: 42%|████████████████████████████████████████████████▊ | 172/412 [25:13<36:33, 9.14s/it][A + mmlu_sr: 42%|█████████████████████████████████████████████████▏ | 173/412 [25:22<36:08, 9.07s/it][A + mmlu_sr: 42%|█████████████████████████████████████████████████▍ | 174/412 [25:31<36:26, 9.19s/it][A + mmlu_sr: 42%|█████████████████████████████████████████████████▋ | 175/412 [25:40<35:46, 9.06s/it][A + mmlu_sr: 43%|█████████████████████████████████████████████████▉ | 176/412 [25:50<36:50, 9.37s/it][A + mmlu_sr: 43%|██████████████████████████████████████████████████▎ | 177/412 [26:01<38:17, 9.78s/it][A + mmlu_sr: 43%|██████████████████████████████████████████████████▌ | 178/412 [26:10<37:28, 9.61s/it][A + mmlu_sr: 43%|██████████████████████████████████████████████████▊ | 179/412 [26:19<36:20, 9.36s/it][A + mmlu_sr: 44%|███████████████████████████████████████████████████ | 180/412 [26:27<35:27, 9.17s/it][A + mmlu_sr: 44%|███████████████████████████████████████████████████▍ | 181/412 [26:36<34:12, 8.89s/it][A + mmlu_sr: 44%|███████████████████████████████████████████████████▋ | 182/412 [26:44<33:45, 8.81s/it][A + mmlu_sr: 44%|███████████████████████████████████████████████████▉ | 183/412 [26:52<32:30, 8.52s/it][A + mmlu_sr: 45%|████████████████████████████████████████████████████▎ | 184/412 [27:01<32:50, 8.64s/it][A + mmlu_sr: 45%|████████████████████████████████████████████████████▌ | 185/412 [27:11<34:21, 9.08s/it][A + mmlu_sr: 45%|████████████████████████████████████████████████████▊ | 186/412 [27:21<35:15, 9.36s/it][A + mmlu_sr: 45%|█████████████████████████████████████████████████████ | 187/412 [27:30<34:29, 9.20s/it][A + mmlu_sr: 46%|█████████████████████████████████████████████████████▍ | 188/412 [27:39<34:40, 9.29s/it][A + mmlu_sr: 46%|█████████████████████████████████████████████████████▋ | 189/412 [27:48<33:07, 8.91s/it][A + mmlu_sr: 46%|█████████████████████████████████████████████████████▉ | 190/412 [27:57<34:07, 9.22s/it][A + mmlu_sr: 46%|██████████████████████████████████████████████████████▏ | 191/412 [28:06<32:52, 8.92s/it][A + mmlu_sr: 47%|██████████████████████████████████████████████████████▌ | 192/412 [28:14<31:54, 8.70s/it][A + mmlu_sr: 47%|██████████████████████████████████████████████████████▊ | 193/412 [28:22<31:39, 8.67s/it][A + mmlu_sr: 47%|███████████████████████████████████████████████████████ | 194/412 [28:31<31:08, 8.57s/it][A + mmlu_sr: 47%|███████████████████████████████████████████████████████▍ | 195/412 [28:40<31:51, 8.81s/it][A + mmlu_sr: 48%|███████████████████████████████████████████████████████▋ | 196/412 [28:48<30:23, 8.44s/it][A + mmlu_sr: 48%|███████████████████████████████████████████████████████▉ | 197/412 [28:56<29:43, 8.29s/it][A + mmlu_sr: 48%|████████████████████████████████████████████████████████▏ | 198/412 [29:04<29:13, 8.20s/it][A + mmlu_sr: 48%|████████████████████████████████████████████████████████▌ | 199/412 [29:12<28:41, 8.08s/it][A + mmlu_sr: 49%|████████████████████████████████████████████████████████▊ | 200/412 [29:21<29:55, 8.47s/it][A + mmlu_sr: 49%|█████████████████████████████████████████████████████████ | 201/412 [29:30<30:15, 8.60s/it][A + mmlu_sr: 49%|█████████████████████████████████████████████████████████▎ | 202/412 [29:38<29:48, 8.52s/it][A + mmlu_sr: 49%|█████████████████████████████████████████████████████████▋ | 203/412 [29:48<30:54, 8.87s/it][A + mmlu_sr: 50%|█████████████████████████████████████████████████████████▉ | 204/412 [29:56<29:47, 8.59s/it][A + mmlu_sr: 50%|██████████████████████████████████████████████████████████▏ | 205/412 [30:05<30:40, 8.89s/it][A + mmlu_sr: 50%|██████████████████████████████████████████████████████████▌ | 206/412 [30:13<29:44, 8.66s/it][A + mmlu_sr: 50%|██████████████████████████████████████████████████████████▊ | 207/412 [30:23<30:10, 8.83s/it][A + mmlu_sr: 50%|███████████████████████████████████████████████████████████ | 208/412 [30:31<29:38, 8.72s/it][A + mmlu_sr: 51%|███████████████████████████████████████████████████████████▎ | 209/412 [30:40<29:15, 8.65s/it][A + mmlu_sr: 51%|███████████████████████████████████████████████████████████▋ | 210/412 [30:49<29:57, 8.90s/it][A + mmlu_sr: 51%|███████████████████████████████████████████████████████████▉ | 211/412 [30:57<28:52, 8.62s/it][A + mmlu_sr: 51%|████████████████████████████████████████████████████████████▏ | 212/412 [31:05<27:55, 8.38s/it][A + mmlu_sr: 52%|████████████████████████████████████████████████████████████▍ | 213/412 [31:13<27:05, 8.17s/it][A + mmlu_sr: 52%|████████████████████████████████████████████████████████████▊ | 214/412 [31:23<28:47, 8.73s/it][A + mmlu_sr: 52%|█████████████████████████████████████████████████████████████ | 215/412 [31:32<28:54, 8.81s/it][A + mmlu_sr: 52%|█████████████████████████████████████████████████████████████▎ | 216/412 [31:39<27:49, 8.52s/it][A + mmlu_sr: 53%|█████████████████████████████████████████████████████████████▌ | 217/412 [31:48<27:45, 8.54s/it][A + mmlu_sr: 53%|█████████████████████████████████████████████████████████████▉ | 218/412 [31:57<28:20, 8.77s/it][A + mmlu_sr: 53%|██████████████████████████████████████████████████████████████▏ | 219/412 [32:06<28:34, 8.88s/it][A + mmlu_sr: 53%|██████████████████████████████████████████████████████████████▍ | 220/412 [32:15<27:36, 8.63s/it][A + mmlu_sr: 54%|██████████████████████████████████████████████████████████████▊ | 221/412 [32:22<26:39, 8.37s/it][A + mmlu_sr: 54%|███████████████████████████████████████████████████████████████ | 222/412 [32:31<26:21, 8.32s/it][A + mmlu_sr: 54%|███████████████████████████████████████████████████████████████▎ | 223/412 [32:39<26:36, 8.44s/it][A + mmlu_sr: 54%|███████████████████████████████████████████████████████████████▌ | 224/412 [32:47<25:50, 8.25s/it][A + mmlu_sr: 55%|███████████████████████████████████████████████████████████████▉ | 225/412 [32:56<26:22, 8.46s/it][A + mmlu_sr: 55%|████████████████████████████████████████████████████████████████▏ | 226/412 [33:05<26:36, 8.58s/it][A + mmlu_sr: 55%|████████████████████████████████████████████████████████████████▍ | 227/412 [33:14<27:09, 8.81s/it][A + mmlu_sr: 55%|████████████████████████████████████████████████████████████████▋ | 228/412 [33:23<26:36, 8.68s/it][A + mmlu_sr: 56%|█████████████████████████████████████████████████████████████████ | 229/412 [33:33<27:38, 9.06s/it][A + mmlu_sr: 56%|█████████████████████████████████████████████████████████████████▎ | 230/412 [33:40<26:08, 8.62s/it][A + mmlu_sr: 56%|█████████████████████████████████████████████████████████████████▌ | 231/412 [33:48<25:26, 8.43s/it][A + mmlu_sr: 56%|█████████████████████████████████████████████████████████████████▉ | 232/412 [33:57<25:32, 8.52s/it][A + mmlu_sr: 57%|██████████████████████████████████████████████████████████████████▏ | 233/412 [34:05<25:28, 8.54s/it][A + mmlu_sr: 57%|██████████████████████████████████████████████████████████████████▍ | 234/412 [34:14<25:16, 8.52s/it][A + mmlu_sr: 57%|██████████████████████████████████████████████████████████████████▋ | 235/412 [34:23<25:34, 8.67s/it][A + mmlu_sr: 57%|███████████████████████████████████████████████████████████████████ | 236/412 [34:32<25:37, 8.73s/it][A + mmlu_sr: 58%|███████████████████████████████████████████████████████████████████▎ | 237/412 [34:40<24:46, 8.50s/it][A + mmlu_sr: 58%|███████████████████████████████████████████████████████████████████▌ | 238/412 [34:50<26:11, 9.03s/it][A + mmlu_sr: 58%|███████████████████████████████████████████████████████████████████▊ | 239/412 [34:58<25:32, 8.86s/it][A + mmlu_sr: 58%|████████████████████████████████████████████████████████████████████▏ | 240/412 [35:07<25:22, 8.85s/it][A + mmlu_sr: 58%|████████████████████████████████████████████████████████████████████▍ | 241/412 [35:18<26:25, 9.27s/it][A + mmlu_sr: 59%|████████████████████████████████████████████████████████████████████▋ | 242/412 [35:26<25:25, 8.97s/it][A + mmlu_sr: 59%|█████████████████████████████████████████████████████████████████████ | 243/412 [35:35<25:47, 9.16s/it][A + mmlu_sr: 59%|█████████████████████████████████████████████████████████████████████▎ | 244/412 [35:45<25:51, 9.24s/it][A + mmlu_sr: 59%|█████████████████████████████████████████████████████████████████████▌ | 245/412 [35:55<26:07, 9.39s/it][A + mmlu_sr: 60%|█████████████████████████████████████████████████████████████████████▊ | 246/412 [36:02<24:31, 8.86s/it][A + mmlu_sr: 60%|██████████████████████████████████████████████████████████████████████▏ | 247/412 [36:11<24:14, 8.82s/it][A + mmlu_sr: 60%|██████████████████████████████████████████████████████████████████████▍ | 248/412 [36:19<23:49, 8.72s/it][A + mmlu_sr: 60%|██████████████████████████████████████████████████████████████████████▋ | 249/412 [36:29<24:07, 8.88s/it][A + mmlu_sr: 61%|██████████████████████████████████████████████████████████████████████▉ | 250/412 [36:37<23:17, 8.63s/it][A + mmlu_sr: 61%|███████████████████████████████████████████████████████████████████████▎ | 251/412 [36:46<23:25, 8.73s/it][A + mmlu_sr: 61%|███████████████████████████████████████████████████████████████████████▌ | 252/412 [36:55<23:26, 8.79s/it][A + mmlu_sr: 61%|███████████████████████████████████████████████████████████████████████▊ | 253/412 [37:03<22:55, 8.65s/it][A + mmlu_sr: 62%|████████████████████████████████████████████████████████████████████████▏ | 254/412 [37:12<22:45, 8.64s/it][A + mmlu_sr: 62%|████████████████████████████████████████████████████████████████████████▍ | 255/412 [37:21<23:27, 8.96s/it][A + mmlu_sr: 62%|████████████████████████████████████████████████████████████████████████▋ | 256/412 [37:29<22:29, 8.65s/it][A + mmlu_sr: 62%|████████████████████████████████████████████████████████████████████████▉ | 257/412 [37:38<22:24, 8.67s/it][A + mmlu_sr: 63%|█████████████████████████████████████████████████████████████████████████▎ | 258/412 [37:46<22:06, 8.61s/it][A + mmlu_sr: 63%|█████████████████████████████████████████████████████████████████████████▌ | 259/412 [37:55<21:43, 8.52s/it][A + mmlu_sr: 63%|█████████████████████████████████████████████████████████████████████████▊ | 260/412 [38:04<21:54, 8.65s/it][A + mmlu_sr: 63%|██████████████████████████████████████████████████████████████████████████ | 261/412 [38:12<21:43, 8.63s/it][A + mmlu_sr: 64%|██████████████████████████████████████████████████████████████████████████▍ | 262/412 [38:21<21:37, 8.65s/it][A + mmlu_sr: 64%|██████████████████████████████████████████████████████████████████████████▋ | 263/412 [38:30<21:55, 8.83s/it][A + mmlu_sr: 64%|██████████████████████████████████████████████████████████████████████████▉ | 264/412 [38:39<21:32, 8.74s/it][A + mmlu_sr: 64%|███████████████████████████████████████████████████████████████████████████▎ | 265/412 [38:48<21:50, 8.91s/it][A + mmlu_sr: 65%|███████████████████████████████████████████████████████████████████████████▌ | 266/412 [38:58<22:44, 9.35s/it][A + mmlu_sr: 65%|███████████████████████████████████████████████████████████████████████████▊ | 267/412 [39:08<22:26, 9.29s/it][A + mmlu_sr: 65%|████████████████████████████████████████████████████████████████████████████ | 268/412 [39:15<21:13, 8.84s/it][A + mmlu_sr: 65%|████████████████████████████████████████████████████████████████████████████▍ | 269/412 [39:23<20:22, 8.55s/it][A + mmlu_sr: 66%|████████████████████████████████████████████████████████████████████████████▋ | 270/412 [39:33<20:51, 8.81s/it][A + mmlu_sr: 66%|████████████████████████████████████████████████████████████████████████████▉ | 271/412 [39:41<20:33, 8.75s/it][A + mmlu_sr: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 272/412 [39:51<20:58, 8.99s/it][A + mmlu_sr: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 273/412 [39:59<20:06, 8.68s/it][A + mmlu_sr: 67%|█████████████████████████████████████████████████████████████████████████████▊ | 274/412 [40:07<19:56, 8.67s/it][A + mmlu_sr: 67%|██████████████████████████████████████████████████████████████████████████████ | 275/412 [40:16<19:32, 8.56s/it][A + mmlu_sr: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 276/412 [40:24<19:18, 8.52s/it][A + mmlu_sr: 67%|██████████████████████████████████████████████████████████████████████████████▋ | 277/412 [40:34<19:46, 8.79s/it][A + mmlu_sr: 67%|██████████████████████████████████████████████████████████████████████████████▉ | 278/412 [40:42<19:17, 8.64s/it][A + mmlu_sr: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 279/412 [40:51<19:23, 8.75s/it][A + mmlu_sr: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 280/412 [40:59<19:02, 8.66s/it][A + mmlu_sr: 68%|███████████████████████████████████████████████████████████████████████████████▊ | 281/412 [41:07<18:35, 8.52s/it][A + mmlu_sr: 68%|████████████████████████████████████████████████████████████████████████████████ | 282/412 [41:17<18:54, 8.72s/it][A + mmlu_sr: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 283/412 [41:25<18:49, 8.75s/it][A + mmlu_sr: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 284/412 [41:34<18:28, 8.66s/it][A + mmlu_sr: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 285/412 [41:44<19:04, 9.01s/it][A + mmlu_sr: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 286/412 [41:53<18:54, 9.01s/it][A + mmlu_sr: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 287/412 [42:01<18:01, 8.65s/it][A + mmlu_sr: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 288/412 [42:09<17:43, 8.57s/it][A + mmlu_sr: 70%|██████████████████████████████████████████████████████████████████████████████████ | 289/412 [42:19<18:39, 9.10s/it][A + mmlu_sr: 70%|██████████████████████████████████████████████████████████████████████████████████▎ | 290/412 [42:28<18:02, 8.87s/it][A + mmlu_sr: 71%|██████████████████████████████████████████████████████████████████████████████████▋ | 291/412 [42:38<18:45, 9.30s/it][A + mmlu_sr: 71%|██████████████████████████████████████████████████████████████████████████████████▉ | 292/412 [42:47<18:28, 9.24s/it][A + mmlu_sr: 71%|███████████████████████████████████████████████████████████████████████████████████▏ | 293/412 [42:56<18:14, 9.20s/it][A + mmlu_sr: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 294/412 [43:05<18:08, 9.23s/it][A + mmlu_sr: 72%|███████████████████████████████████████████████████████████████████████████████████▊ | 295/412 [43:14<17:53, 9.18s/it][A + mmlu_sr: 72%|████████████████████████████████████████████████████████████████████████████████████ | 296/412 [43:23<17:26, 9.02s/it][A + mmlu_sr: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 297/412 [43:31<16:37, 8.67s/it][A + mmlu_sr: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 298/412 [43:40<16:40, 8.77s/it][A + mmlu_sr: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 299/412 [43:49<16:40, 8.86s/it][A + mmlu_sr: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 300/412 [43:58<16:35, 8.89s/it][A + mmlu_sr: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 301/412 [44:08<17:05, 9.24s/it][A + mmlu_sr: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 302/412 [44:18<17:08, 9.35s/it][A + mmlu_sr: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 303/412 [44:26<16:34, 9.13s/it][A + mmlu_sr: 74%|██████████████████████████████████████████████████████████████████████████████████████▎ | 304/412 [44:35<16:18, 9.06s/it][A + mmlu_sr: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 305/412 [44:45<16:35, 9.30s/it][A + mmlu_sr: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 306/412 [44:54<16:28, 9.32s/it][A + mmlu_sr: 75%|███████████████████████████████████████████████████████████████████████████████████████▏ | 307/412 [45:02<15:29, 8.86s/it][A + mmlu_sr: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 308/412 [45:11<15:14, 8.79s/it][A + mmlu_sr: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 309/412 [45:20<15:26, 9.00s/it][A + mmlu_sr: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 310/412 [45:29<15:05, 8.88s/it][A + mmlu_sr: 75%|████████████████████████████████████████████████████████████████████████████████████████▎ | 311/412 [45:38<15:00, 8.92s/it][A + mmlu_sr: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 312/412 [45:47<14:54, 8.95s/it][A + mmlu_sr: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 313/412 [45:56<14:51, 9.01s/it][A + mmlu_sr: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 314/412 [46:04<14:05, 8.63s/it][A + mmlu_sr: 76%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 315/412 [46:13<14:05, 8.72s/it][A + mmlu_sr: 77%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 316/412 [46:21<13:46, 8.61s/it][A + mmlu_sr: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 317/412 [46:29<13:08, 8.30s/it][A + mmlu_sr: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 318/412 [46:37<13:03, 8.33s/it][A + mmlu_sr: 77%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 319/412 [46:47<13:41, 8.83s/it][A + mmlu_sr: 78%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 320/412 [46:56<13:32, 8.83s/it][A + mmlu_sr: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 321/412 [47:04<13:10, 8.69s/it][A + mmlu_sr: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 322/412 [47:14<13:23, 8.93s/it][A + mmlu_sr: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 323/412 [47:23<13:09, 8.87s/it][A + mmlu_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 324/412 [47:33<13:51, 9.44s/it][A + mmlu_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 325/412 [47:42<13:14, 9.13s/it][A + mmlu_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 326/412 [47:50<12:51, 8.97s/it][A + mmlu_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 327/412 [48:00<12:51, 9.08s/it][A + mmlu_sr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 328/412 [48:09<12:51, 9.18s/it][A + mmlu_sr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 329/412 [48:18<12:42, 9.18s/it][A + mmlu_sr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 330/412 [48:27<12:12, 8.93s/it][A + mmlu_sr: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 331/412 [48:37<12:50, 9.51s/it][A + mmlu_sr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 332/412 [48:46<12:29, 9.37s/it][A + mmlu_sr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 333/412 [48:55<11:56, 9.07s/it][A + mmlu_sr: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 334/412 [49:03<11:22, 8.75s/it][A + mmlu_sr: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 335/412 [49:12<11:12, 8.74s/it][A + mmlu_sr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 336/412 [49:19<10:43, 8.47s/it][A + mmlu_sr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/412 [49:29<10:55, 8.74s/it][A + mmlu_sr: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/412 [49:37<10:41, 8.67s/it][A + mmlu_sr: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 339/412 [49:46<10:44, 8.82s/it][A + mmlu_sr: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 340/412 [49:55<10:30, 8.76s/it][A + mmlu_sr: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 341/412 [50:04<10:34, 8.93s/it][A + mmlu_sr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 342/412 [50:14<10:44, 9.21s/it][A + mmlu_sr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 343/412 [50:23<10:31, 9.16s/it][A + mmlu_sr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 344/412 [50:32<10:14, 9.03s/it][A + mmlu_sr: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 345/412 [50:41<10:10, 9.11s/it][A + mmlu_sr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 346/412 [50:49<09:41, 8.81s/it][A + mmlu_sr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 347/412 [50:58<09:23, 8.67s/it][A + mmlu_sr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 348/412 [51:07<09:33, 8.97s/it][A + mmlu_sr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 349/412 [51:17<09:32, 9.08s/it][A + mmlu_sr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 350/412 [51:26<09:27, 9.15s/it][A + mmlu_sr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 351/412 [51:36<09:25, 9.26s/it][A + mmlu_sr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 352/412 [51:45<09:22, 9.38s/it][A + mmlu_sr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 353/412 [51:56<09:29, 9.65s/it][A + mmlu_sr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 354/412 [52:04<09:04, 9.40s/it][A + mmlu_sr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 355/412 [52:13<08:47, 9.25s/it][A + mmlu_sr: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 356/412 [52:22<08:22, 8.97s/it][A + mmlu_sr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 357/412 [52:30<08:09, 8.91s/it][A + mmlu_sr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 358/412 [52:39<07:59, 8.87s/it][A + mmlu_sr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 359/412 [52:48<07:51, 8.90s/it][A + mmlu_sr: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 360/412 [52:58<07:53, 9.11s/it][A + mmlu_sr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 361/412 [53:07<07:44, 9.11s/it][A + mmlu_sr: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 362/412 [53:15<07:27, 8.95s/it][A + mmlu_sr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 363/412 [53:25<07:20, 9.00s/it][A + mmlu_sr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 364/412 [53:33<07:08, 8.93s/it][A + mmlu_sr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 365/412 [53:42<07:02, 8.98s/it][A + mmlu_sr: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 366/412 [53:50<06:36, 8.62s/it][A + mmlu_sr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 367/412 [53:58<06:21, 8.48s/it][A + mmlu_sr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 368/412 [54:07<06:22, 8.68s/it][A + mmlu_sr: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 369/412 [54:17<06:18, 8.80s/it][A + mmlu_sr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/412 [54:27<06:26, 9.19s/it][A + mmlu_sr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 371/412 [54:35<06:05, 8.92s/it][A + mmlu_sr: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 372/412 [54:44<05:52, 8.82s/it][A + mmlu_sr: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/412 [54:53<05:57, 9.16s/it][A + mmlu_sr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 374/412 [55:04<05:59, 9.46s/it][A + mmlu_sr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 375/412 [55:13<05:50, 9.48s/it][A + mmlu_sr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 376/412 [55:21<05:28, 9.12s/it][A + mmlu_sr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 377/412 [55:31<05:19, 9.13s/it][A + mmlu_sr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 378/412 [55:39<05:04, 8.95s/it][A + mmlu_sr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 379/412 [55:48<04:52, 8.85s/it][A + mmlu_sr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 380/412 [55:56<04:33, 8.54s/it][A + mmlu_sr: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 381/412 [56:04<04:27, 8.63s/it][A + mmlu_sr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 382/412 [56:12<04:12, 8.42s/it][A + mmlu_sr: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 383/412 [56:21<04:09, 8.61s/it][A + mmlu_sr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 384/412 [56:30<03:57, 8.49s/it][A + mmlu_sr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 385/412 [56:38<03:46, 8.39s/it][A + mmlu_sr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 386/412 [56:47<03:46, 8.71s/it][A + mmlu_sr: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 387/412 [56:56<03:35, 8.63s/it][A + mmlu_sr: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 388/412 [57:05<03:28, 8.69s/it][A + mmlu_sr: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 389/412 [57:13<03:20, 8.70s/it][A + mmlu_sr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 390/412 [57:22<03:11, 8.72s/it][A + mmlu_sr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 391/412 [57:30<02:57, 8.45s/it][A + mmlu_sr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 392/412 [57:37<02:42, 8.11s/it][A + mmlu_sr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 393/412 [57:46<02:36, 8.22s/it][A + mmlu_sr: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 394/412 [57:55<02:31, 8.44s/it][A + mmlu_sr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 395/412 [58:02<02:20, 8.25s/it][A + mmlu_sr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 396/412 [58:10<02:10, 8.14s/it][A + mmlu_sr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 397/412 [58:19<02:03, 8.21s/it][A + mmlu_sr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 398/412 [58:27<01:56, 8.29s/it][A + mmlu_sr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 399/412 [58:37<01:53, 8.71s/it][A + mmlu_sr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 400/412 [58:46<01:46, 8.88s/it][A + mmlu_sr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 401/412 [58:54<01:34, 8.63s/it][A + mmlu_sr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 402/412 [59:03<01:27, 8.71s/it][A + mmlu_sr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 403/412 [59:13<01:21, 9.03s/it][A + mmlu_sr: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 404/412 [59:21<01:10, 8.75s/it][A + mmlu_sr: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 405/412 [59:30<01:01, 8.75s/it][A + mmlu_sr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [59:39<00:53, 8.86s/it][A + mmlu_sr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [59:48<00:44, 8.91s/it][A + mmlu_sr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [59:56<00:35, 8.81s/it][A + mmlu_sr: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [1:00:05<00:26, 8.81s/it][A + mmlu_sr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [1:00:14<00:17, 8.92s/it][A + mmlu_sr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [1:00:24<00:09, 9.07s/it][A + mmlu_sr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [1:00:31<00:00, 8.46s/it][A mmlu_sr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [1:00:31<00:00, 8.81s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sr_acc 0.3154179002505124 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sr_acc_norm 0.30289227966294696 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 22:32:06,974 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 22:32:06,974 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:07,103 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 22:32:07,103 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:07,231 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 22:32:07,231 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:07,359 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 22:32:07,361 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 22:32:07,361 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 22:32:07,490 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 22:32:07,490 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_sr_acc'} +2024-05-31 22:32:07,556 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 22:32:07,556 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1251, 'value': 0.3154179002505124} +2024-05-31 22:32:07,621 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 22:32:08,279 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 22:32:08,279 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:08,409 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 22:32:08,409 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:08,538 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 22:32:08,539 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:08,668 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 22:32:08,669 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 22:32:08,669 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 22:32:08,799 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 22:32:08,799 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_sr_acc_norm'} +2024-05-31 22:32:08,865 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 22:32:08,865 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1252, 'value': 0.30289227966294696} +2024-05-31 22:32:08,931 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 70%|███████████████████████████████████████████████████████████████████████████▊ | 87/124 [63:44:38<41:57:12, 4081.95s/it]['mmlu_sv'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 22:32:09,564 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 22:32:09,564 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:09,688 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 22:32:09,688 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:09,812 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 22:32:09,812 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 22:32:09,936 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 22:32:09,937 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 22:32:09,937 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_sv'} +2024-05-31 22:32:10,062 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_sv task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1774 examples [00:00, 16853.22 examples/s][A + Generating test split: 5116 examples [00:00, 26389.49 examples/s][A + Generating test split: 8635 examples [00:00, 30354.17 examples/s][A + Generating test split: 12000 examples [00:00, 31621.51 examples/s][A Generating test split: 13226 examples [00:00, 29605.12 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 268 examples [00:00, 27347.06 examples/s] +Running loglikelihood requests + + mmlu_sv: 0%| | 0/414 [00:00<?, ?it/s][A + mmlu_sv: 0%|▎ | 1/414 [00:07<53:51, 7.82s/it][A + mmlu_sv: 0%|▌ | 2/414 [00:15<51:10, 7.45s/it][A + mmlu_sv: 1%|▊ | 3/414 [00:23<53:38, 7.83s/it][A + mmlu_sv: 1%|█▏ | 4/414 [00:30<52:21, 7.66s/it][A + mmlu_sv: 1%|█▍ | 5/414 [00:39<53:54, 7.91s/it][A + mmlu_sv: 1%|█▋ | 6/414 [00:46<53:22, 7.85s/it][A + mmlu_sv: 2%|██ | 7/414 [00:54<51:51, 7.64s/it][A + mmlu_sv: 2%|██▎ | 8/414 [01:00<49:46, 7.36s/it][A + mmlu_sv: 2%|██▌ | 9/414 [01:09<51:55, 7.69s/it][A + mmlu_sv: 2%|██▊ | 10/414 [01:18<54:30, 8.10s/it][A + mmlu_sv: 3%|███▏ | 11/414 [01:26<54:22, 8.09s/it][A + mmlu_sv: 3%|███▍ | 12/414 [01:32<51:08, 7.63s/it][A + mmlu_sv: 3%|███▋ | 13/414 [01:40<51:18, 7.68s/it][A + mmlu_sv: 3%|███▉ | 14/414 [01:47<49:43, 7.46s/it][A + mmlu_sv: 4%|████▎ | 15/414 [01:55<49:34, 7.46s/it][A + mmlu_sv: 4%|████▌ | 16/414 [02:02<49:42, 7.49s/it][A + mmlu_sv: 4%|████▊ | 17/414 [02:09<48:35, 7.34s/it][A + mmlu_sv: 4%|█████▏ | 18/414 [02:18<50:40, 7.68s/it][A + mmlu_sv: 5%|█████▍ | 19/414 [02:25<50:08, 7.62s/it][A + mmlu_sv: 5%|█████▋ | 20/414 [02:32<48:56, 7.45s/it][A + mmlu_sv: 5%|█████▉ | 21/414 [02:40<50:05, 7.65s/it][A + mmlu_sv: 5%|██████▎ | 22/414 [02:48<50:49, 7.78s/it][A + mmlu_sv: 6%|██████▌ | 23/414 [02:55<48:54, 7.51s/it][A + mmlu_sv: 6%|██████▊ | 24/414 [03:03<50:08, 7.71s/it][A + mmlu_sv: 6%|███████▏ | 25/414 [03:12<52:05, 8.03s/it][A + mmlu_sv: 6%|███████▍ | 26/414 [03:19<49:04, 7.59s/it][A + mmlu_sv: 7%|███████▋ | 27/414 [03:26<48:42, 7.55s/it][A + mmlu_sv: 7%|███████▉ | 28/414 [03:33<48:03, 7.47s/it][A + mmlu_sv: 7%|████████▎ | 29/414 [03:41<48:27, 7.55s/it][A + mmlu_sv: 7%|████████▌ | 30/414 [03:49<48:09, 7.53s/it][A + mmlu_sv: 7%|████████▊ | 31/414 [03:56<46:50, 7.34s/it][A + mmlu_sv: 8%|█████████ | 32/414 [04:02<45:46, 7.19s/it][A + mmlu_sv: 8%|█████████▍ | 33/414 [04:10<45:34, 7.18s/it][A + mmlu_sv: 8%|█████████▋ | 34/414 [04:17<46:05, 7.28s/it][A + mmlu_sv: 8%|█████████▉ | 35/414 [04:25<46:37, 7.38s/it][A + mmlu_sv: 9%|██████████▎ | 36/414 [04:32<46:04, 7.31s/it][A + mmlu_sv: 9%|██████████▌ | 37/414 [04:39<45:13, 7.20s/it][A + mmlu_sv: 9%|██████████▊ | 38/414 [04:46<45:29, 7.26s/it][A + mmlu_sv: 9%|███████████ | 39/414 [04:54<46:43, 7.48s/it][A + mmlu_sv: 10%|███████████▍ | 40/414 [05:02<46:24, 7.44s/it][A + mmlu_sv: 10%|███████████▋ | 41/414 [05:09<46:42, 7.51s/it][A + mmlu_sv: 10%|███████████▉ | 42/414 [05:18<48:08, 7.76s/it][A + mmlu_sv: 10%|████████████▎ | 43/414 [05:25<47:02, 7.61s/it][A + mmlu_sv: 11%|████████████▌ | 44/414 [05:33<48:41, 7.90s/it][A + mmlu_sv: 11%|████████████▊ | 45/414 [05:41<47:44, 7.76s/it][A + mmlu_sv: 11%|█████████████ | 46/414 [05:48<47:24, 7.73s/it][A + mmlu_sv: 11%|█████████████▍ | 47/414 [05:56<46:44, 7.64s/it][A + mmlu_sv: 12%|█████████████▋ | 48/414 [06:05<48:30, 7.95s/it][A + mmlu_sv: 12%|█████████████▉ | 49/414 [06:12<47:13, 7.76s/it][A + mmlu_sv: 12%|██████████████▎ | 50/414 [06:20<47:25, 7.82s/it][A + mmlu_sv: 12%|██████████████▌ | 51/414 [06:27<46:12, 7.64s/it][A + mmlu_sv: 13%|██████████████▊ | 52/414 [06:35<45:50, 7.60s/it][A + mmlu_sv: 13%|███████████████ | 53/414 [06:43<46:33, 7.74s/it][A + mmlu_sv: 13%|███████████████▍ | 54/414 [06:51<47:06, 7.85s/it][A + mmlu_sv: 13%|███████████████▋ | 55/414 [06:58<45:16, 7.57s/it][A + mmlu_sv: 14%|███████████████▉ | 56/414 [07:05<44:35, 7.47s/it][A + mmlu_sv: 14%|████████████████▏ | 57/414 [07:12<44:24, 7.46s/it][A + mmlu_sv: 14%|████████████████▌ | 58/414 [07:20<43:57, 7.41s/it][A + mmlu_sv: 14%|████████████████▊ | 59/414 [07:27<43:25, 7.34s/it][A + mmlu_sv: 14%|█████████████████ | 60/414 [07:35<45:37, 7.73s/it][A + mmlu_sv: 15%|█████████████████▍ | 61/414 [07:44<46:12, 7.86s/it][A + mmlu_sv: 15%|█████████████████▋ | 62/414 [07:51<46:04, 7.85s/it][A + mmlu_sv: 15%|█████████████████▉ | 63/414 [07:59<45:31, 7.78s/it][A + mmlu_sv: 15%|██████████████████▏ | 64/414 [08:06<44:44, 7.67s/it][A + mmlu_sv: 16%|██████████████████▌ | 65/414 [08:14<43:40, 7.51s/it][A + mmlu_sv: 16%|██████████████████▊ | 66/414 [08:21<42:35, 7.34s/it][A + mmlu_sv: 16%|███████████████████ | 67/414 [08:28<42:26, 7.34s/it][A + mmlu_sv: 16%|███████████████████▍ | 68/414 [08:36<43:30, 7.54s/it][A + mmlu_sv: 17%|███████████████████▋ | 69/414 [08:44<44:29, 7.74s/it][A + mmlu_sv: 17%|███████████████████▉ | 70/414 [08:51<43:04, 7.51s/it][A + mmlu_sv: 17%|████████████████████▏ | 71/414 [08:59<43:23, 7.59s/it][A + mmlu_sv: 17%|████████████████████▌ | 72/414 [09:06<42:54, 7.53s/it][A + mmlu_sv: 18%|████████████████████▊ | 73/414 [09:14<43:12, 7.60s/it][A + mmlu_sv: 18%|█████████████████████ | 74/414 [09:22<43:45, 7.72s/it][A + mmlu_sv: 18%|█████████████████████▍ | 75/414 [09:30<44:00, 7.79s/it][A + mmlu_sv: 18%|█████████████████████▋ | 76/414 [09:37<42:52, 7.61s/it][A + mmlu_sv: 19%|█████████████████████▉ | 77/414 [09:45<42:30, 7.57s/it][A + mmlu_sv: 19%|██████████████████████▏ | 78/414 [09:53<43:09, 7.71s/it][A + mmlu_sv: 19%|██████████████████████▌ | 79/414 [10:01<44:01, 7.89s/it][A + mmlu_sv: 19%|██████████████████████▊ | 80/414 [10:08<42:58, 7.72s/it][A + mmlu_sv: 20%|███████████████████████ | 81/414 [10:17<43:41, 7.87s/it][A + mmlu_sv: 20%|███████████████████████▎ | 82/414 [10:24<42:33, 7.69s/it][A + mmlu_sv: 20%|███████████████████████▋ | 83/414 [10:31<41:40, 7.56s/it][A + mmlu_sv: 20%|███████████████████████▉ | 84/414 [10:38<40:36, 7.38s/it][A + mmlu_sv: 21%|████████████████████████▏ | 85/414 [10:45<40:02, 7.30s/it][A + mmlu_sv: 21%|████████████████████████▌ | 86/414 [10:52<39:41, 7.26s/it][A + mmlu_sv: 21%|████████████████████████▊ | 87/414 [10:59<39:11, 7.19s/it][A + mmlu_sv: 21%|█████████████████████████ | 88/414 [11:07<39:16, 7.23s/it][A + mmlu_sv: 21%|█████████████████████████▎ | 89/414 [11:15<41:22, 7.64s/it][A + mmlu_sv: 22%|█████████████████████████▋ | 90/414 [11:22<40:19, 7.47s/it][A + mmlu_sv: 22%|█████████████████████████▉ | 91/414 [11:30<41:03, 7.63s/it][A + mmlu_sv: 22%|██████████████████████████▏ | 92/414 [11:37<39:52, 7.43s/it][A + mmlu_sv: 22%|██████████████████████████▌ | 93/414 [11:44<38:54, 7.27s/it][A + mmlu_sv: 23%|██████████████████████████▊ | 94/414 [11:52<40:09, 7.53s/it][A + mmlu_sv: 23%|███████████████████████████ | 95/414 [12:00<39:31, 7.44s/it][A + mmlu_sv: 23%|███████████████████████████▎ | 96/414 [12:07<39:17, 7.41s/it][A + mmlu_sv: 23%|███████████████████████████▋ | 97/414 [12:14<38:43, 7.33s/it][A + mmlu_sv: 24%|███████████████████████████▉ | 98/414 [12:21<37:56, 7.21s/it][A + mmlu_sv: 24%|████████████████████████████▏ | 99/414 [12:28<37:24, 7.12s/it][A + mmlu_sv: 24%|████████████████████████████▎ | 100/414 [12:35<37:46, 7.22s/it][A + mmlu_sv: 24%|████████████████████████████▌ | 101/414 [12:44<39:26, 7.56s/it][A + mmlu_sv: 25%|████████████████████████████▊ | 102/414 [12:51<39:44, 7.64s/it][A + mmlu_sv: 25%|█████████████████████████████ | 103/414 [13:00<41:26, 7.99s/it][A + mmlu_sv: 25%|█████████████████████████████▍ | 104/414 [13:07<39:25, 7.63s/it][A + mmlu_sv: 25%|█████████████████████████████▋ | 105/414 [13:14<38:01, 7.38s/it][A + mmlu_sv: 26%|█████████████████████████████▉ | 106/414 [13:22<38:44, 7.55s/it][A + mmlu_sv: 26%|██████████████████████████████▏ | 107/414 [13:30<38:56, 7.61s/it][A + mmlu_sv: 26%|██████████████████████████████▌ | 108/414 [13:37<38:30, 7.55s/it][A + mmlu_sv: 26%|██████████████████████████████▊ | 109/414 [13:45<39:11, 7.71s/it][A + mmlu_sv: 27%|███████████████████████████████ | 110/414 [13:53<39:02, 7.71s/it][A + mmlu_sv: 27%|███████████████████████████████▎ | 111/414 [14:00<38:39, 7.66s/it][A + mmlu_sv: 27%|███████████████████████████████▋ | 112/414 [14:07<37:45, 7.50s/it][A + mmlu_sv: 27%|███████████████████████████████▉ | 113/414 [14:15<37:12, 7.42s/it][A + mmlu_sv: 28%|████████████████████████████████▏ | 114/414 [14:22<36:16, 7.26s/it][A + mmlu_sv: 28%|████████████████████████████████▌ | 115/414 [14:29<36:35, 7.34s/it][A + mmlu_sv: 28%|████████████████████████████████▊ | 116/414 [14:37<36:59, 7.45s/it][A + mmlu_sv: 28%|█████████████████████████████████ | 117/414 [14:45<38:01, 7.68s/it][A + mmlu_sv: 29%|█████████████████████████████████▎ | 118/414 [14:52<37:25, 7.59s/it][A + mmlu_sv: 29%|█████████████████████████████████▋ | 119/414 [14:59<36:31, 7.43s/it][A + mmlu_sv: 29%|█████████████████████████████████▉ | 120/414 [15:06<35:51, 7.32s/it][A + mmlu_sv: 29%|██████████████████████████████████▏ | 121/414 [15:14<35:33, 7.28s/it][A + mmlu_sv: 29%|██████████████████████████████████▍ | 122/414 [15:22<36:21, 7.47s/it][A + mmlu_sv: 30%|██████████████████████████████████▊ | 123/414 [15:29<35:56, 7.41s/it][A + mmlu_sv: 30%|███████████████████████████████████ | 124/414 [15:36<35:06, 7.26s/it][A + mmlu_sv: 30%|███████████████████████████████████▎ | 125/414 [15:43<35:08, 7.29s/it][A + mmlu_sv: 30%|███████████████████████████████████▌ | 126/414 [15:50<34:44, 7.24s/it][A + mmlu_sv: 31%|███████████████████████████████████▉ | 127/414 [15:59<37:03, 7.75s/it][A + mmlu_sv: 31%|████████████████████████████████████▏ | 128/414 [16:07<37:04, 7.78s/it][A + mmlu_sv: 31%|████████████████████████████████████▍ | 129/414 [16:15<36:37, 7.71s/it][A + mmlu_sv: 31%|████████████████████████████████████▋ | 130/414 [16:22<35:25, 7.48s/it][A + mmlu_sv: 32%|█████████████████████████████████████ | 131/414 [16:29<35:19, 7.49s/it][A + mmlu_sv: 32%|█████████████████████████████████████▎ | 132/414 [16:37<36:20, 7.73s/it][A + mmlu_sv: 32%|█████████████████████████████████████▌ | 133/414 [16:46<37:04, 7.92s/it][A + mmlu_sv: 32%|█████████████████████████████████████▊ | 134/414 [16:53<36:26, 7.81s/it][A + mmlu_sv: 33%|██████████████████████████████████████▏ | 135/414 [17:01<35:45, 7.69s/it][A + mmlu_sv: 33%|██████████████████████████████████████▍ | 136/414 [17:09<35:56, 7.76s/it][A + mmlu_sv: 33%|██████████████████████████████████████▋ | 137/414 [17:16<35:46, 7.75s/it][A + mmlu_sv: 33%|███████████████████████████████████████ | 138/414 [17:24<35:36, 7.74s/it][A + mmlu_sv: 34%|███████████████████████████████████████▎ | 139/414 [17:31<34:41, 7.57s/it][A + mmlu_sv: 34%|███████████████████████████████████████▌ | 140/414 [17:38<34:03, 7.46s/it][A + mmlu_sv: 34%|███████████████████████████████████████▊ | 141/414 [17:45<32:05, 7.05s/it][A + mmlu_sv: 34%|████████████████████████████████████████▏ | 142/414 [17:52<32:09, 7.09s/it][A + mmlu_sv: 35%|████████████████████████████████████████▍ | 143/414 [17:59<31:54, 7.06s/it][A + mmlu_sv: 35%|████████████████████████████████████████▋ | 144/414 [18:08<34:58, 7.77s/it][A + mmlu_sv: 35%|████████████████████████████████████████▉ | 145/414 [18:16<34:22, 7.67s/it][A + mmlu_sv: 35%|█████████████████████████████████████████▎ | 146/414 [18:24<34:45, 7.78s/it][A + mmlu_sv: 36%|█████████████████████████████████████████▌ | 147/414 [18:31<33:58, 7.64s/it][A + mmlu_sv: 36%|█████████████████████████████████████████▊ | 148/414 [18:38<33:39, 7.59s/it][A + mmlu_sv: 36%|██████████████████████████████████████████ | 149/414 [18:47<35:01, 7.93s/it][A + mmlu_sv: 36%|██████████████████████████████████████████▍ | 150/414 [18:54<33:51, 7.70s/it][A + mmlu_sv: 36%|██████████████████████████████████████████▋ | 151/414 [19:02<34:08, 7.79s/it][A + mmlu_sv: 37%|██████████████████████████████████████████▉ | 152/414 [19:10<33:34, 7.69s/it][A + mmlu_sv: 37%|███████████████████████████████████████████▏ | 153/414 [19:18<33:56, 7.80s/it][A + mmlu_sv: 37%|███████████████████████████████████████████▌ | 154/414 [19:25<33:26, 7.72s/it][A + mmlu_sv: 37%|███████████████████████████████████████████▊ | 155/414 [19:33<33:47, 7.83s/it][A + mmlu_sv: 38%|████████████████████████████████████████████ | 156/414 [19:41<33:49, 7.87s/it][A + mmlu_sv: 38%|████████████████████████████████████████████▎ | 157/414 [19:49<32:56, 7.69s/it][A + mmlu_sv: 38%|████████████████████████████████████████████▋ | 158/414 [19:56<32:23, 7.59s/it][A + mmlu_sv: 38%|████████████████████████████████████████████▉ | 159/414 [20:04<33:02, 7.78s/it][A + mmlu_sv: 39%|█████████████████████████████████████████████▏ | 160/414 [20:11<32:08, 7.59s/it][A + mmlu_sv: 39%|█████████████████████████████████████████████▌ | 161/414 [20:19<32:11, 7.63s/it][A + mmlu_sv: 39%|█████████████████████████████████████████████▊ | 162/414 [20:27<32:22, 7.71s/it][A + mmlu_sv: 39%|██████████████████████████████████████████████ | 163/414 [20:35<32:32, 7.78s/it][A + mmlu_sv: 40%|██████████████████████████████████████████████▎ | 164/414 [20:43<32:48, 7.88s/it][A + mmlu_sv: 40%|██████████████████████████████████████████████▋ | 165/414 [20:51<33:11, 8.00s/it][A + mmlu_sv: 40%|██████████████████████████████████████████████▉ | 166/414 [20:59<32:04, 7.76s/it][A + mmlu_sv: 40%|███████████████████████████████████████████████▏ | 167/414 [21:07<32:52, 7.99s/it][A + mmlu_sv: 41%|███████████████████████████████████████████████▍ | 168/414 [21:14<31:39, 7.72s/it][A + mmlu_sv: 41%|███████████████████████████████████████████████▊ | 169/414 [21:22<31:13, 7.65s/it][A + mmlu_sv: 41%|████████████████████████████████████████████████ | 170/414 [21:30<31:37, 7.78s/it][A + mmlu_sv: 41%|████████████████████████████████████████████████▎ | 171/414 [21:37<31:32, 7.79s/it][A + mmlu_sv: 42%|████████████████████████████████████████████████▌ | 172/414 [21:45<31:21, 7.77s/it][A + mmlu_sv: 42%|████████████████████████████████████████████████▉ | 173/414 [21:53<31:40, 7.89s/it][A + mmlu_sv: 42%|█████████████████████████████████████████████████▏ | 174/414 [22:01<30:42, 7.68s/it][A + mmlu_sv: 42%|█████████████████████████████████████████████████▍ | 175/414 [22:08<30:52, 7.75s/it][A + mmlu_sv: 43%|█████████████████████████████████████████████████▋ | 176/414 [22:16<30:29, 7.69s/it][A + mmlu_sv: 43%|██████████████████████████████████████████████████ | 177/414 [22:23<29:27, 7.46s/it][A + mmlu_sv: 43%|██████████████████████████████████████████████████▎ | 178/414 [22:30<29:12, 7.43s/it][A + mmlu_sv: 43%|██████████████████████████████████████████████████▌ | 179/414 [22:38<29:37, 7.57s/it][A + mmlu_sv: 43%|██████████████████████████████████████████████████▊ | 180/414 [22:46<29:43, 7.62s/it][A + mmlu_sv: 44%|███████████████████████████████████████████████████▏ | 181/414 [22:53<29:10, 7.51s/it][A + mmlu_sv: 44%|███████████████████████████████████████████████████▍ | 182/414 [23:01<29:31, 7.64s/it][A + mmlu_sv: 44%|███████████████████████████████████████████████████▋ | 183/414 [23:09<29:22, 7.63s/it][A + mmlu_sv: 44%|████████████████████████████████████████████████████ | 184/414 [23:16<28:26, 7.42s/it][A + mmlu_sv: 45%|████████████████████████████████████████████████████▎ | 185/414 [23:24<29:44, 7.79s/it][A + mmlu_sv: 45%|████████████████████████████████████████████████████▌ | 186/414 [23:33<30:33, 8.04s/it][A + mmlu_sv: 45%|████████████████████████████████████████████████████▊ | 187/414 [23:40<28:57, 7.65s/it][A + mmlu_sv: 45%|█████████████████████████████████████████████████████▏ | 188/414 [23:48<29:19, 7.79s/it][A + mmlu_sv: 46%|█████████████████████████████████████████████████████▍ | 189/414 [23:55<28:33, 7.62s/it][A + mmlu_sv: 46%|█████████████████████████████████████████████████████▋ | 190/414 [24:03<28:30, 7.64s/it][A + mmlu_sv: 46%|█████████████████████████████████████████████████████▉ | 191/414 [24:10<28:10, 7.58s/it][A + mmlu_sv: 46%|██████████████████████████████████████████████████████▎ | 192/414 [24:18<27:58, 7.56s/it][A + mmlu_sv: 47%|██████████████████████████████████████████████████████▌ | 193/414 [24:26<28:28, 7.73s/it][A + mmlu_sv: 47%|██████████████████████████████████████████████████████▊ | 194/414 [24:33<27:31, 7.51s/it][A + mmlu_sv: 47%|███████████████████████████████████████████████████████ | 195/414 [24:41<27:55, 7.65s/it][A + mmlu_sv: 47%|███████████████████████████████████████████████████████▍ | 196/414 [24:48<27:15, 7.50s/it][A + mmlu_sv: 48%|███████████████████████████████████████████████████████▋ | 197/414 [24:56<28:01, 7.75s/it][A + mmlu_sv: 48%|███████████████████████████████████████████████████████▉ | 198/414 [25:04<27:24, 7.62s/it][A + mmlu_sv: 48%|████████████████████████████████████████████████████████▏ | 199/414 [25:11<27:06, 7.57s/it][A + mmlu_sv: 48%|████████████████████████████████████████████████████████▌ | 200/414 [25:19<27:11, 7.62s/it][A + mmlu_sv: 49%|████████████████████████████████████████████████████████▊ | 201/414 [25:26<26:20, 7.42s/it][A + mmlu_sv: 49%|█████████████████████████████████████████████████████████ | 202/414 [25:34<26:37, 7.54s/it][A + mmlu_sv: 49%|█████████████████████████████████████████████████████████▎ | 203/414 [25:40<25:55, 7.37s/it][A + mmlu_sv: 49%|█████████████████████████████████████████████████████████▋ | 204/414 [25:48<26:06, 7.46s/it][A + mmlu_sv: 50%|█████████████████████████████████████████████████████████▉ | 205/414 [25:56<26:53, 7.72s/it][A + mmlu_sv: 50%|██████████████████████████████████████████████████████████▏ | 206/414 [26:04<26:37, 7.68s/it][A + mmlu_sv: 50%|██████████████████████████████████████████████████████████▌ | 207/414 [26:11<26:07, 7.57s/it][A + mmlu_sv: 50%|██████████████████████████████████████████████████████████▊ | 208/414 [26:19<26:08, 7.61s/it][A + mmlu_sv: 50%|███████████████████████████████████████████████████████████ | 209/414 [26:25<24:45, 7.25s/it][A + mmlu_sv: 51%|███████████████████████████████████████████████████████████▎ | 210/414 [26:33<24:51, 7.31s/it][A + mmlu_sv: 51%|███████████████████████████████████████████████████████████▋ | 211/414 [26:40<24:45, 7.32s/it][A + mmlu_sv: 51%|███████████████████████████████████████████████████████████▉ | 212/414 [26:48<25:26, 7.56s/it][A + mmlu_sv: 51%|████████████████████████████████████████████████████████████▏ | 213/414 [26:56<25:09, 7.51s/it][A + mmlu_sv: 52%|████████████████████████████████████████████████████████████▍ | 214/414 [27:03<24:22, 7.31s/it][A + mmlu_sv: 52%|████████████████████████████████████████████████████████████▊ | 215/414 [27:10<24:30, 7.39s/it][A + mmlu_sv: 52%|█████████████████████████████████████████████████████████████ | 216/414 [27:17<24:16, 7.36s/it][A + mmlu_sv: 52%|█████████████████████████████████████████████████████████████▎ | 217/414 [27:25<24:16, 7.39s/it][A + mmlu_sv: 53%|█████████████████████████████████████████████████████████████▌ | 218/414 [27:32<24:01, 7.35s/it][A + mmlu_sv: 53%|█████████████████████████████████████████████████████████████▉ | 219/414 [27:40<23:58, 7.38s/it][A + mmlu_sv: 53%|██████████████████████████████████████████████████████████████▏ | 220/414 [27:48<24:27, 7.56s/it][A + mmlu_sv: 53%|██████████████████████████████████████████████████████████████▍ | 221/414 [27:55<24:29, 7.61s/it][A + mmlu_sv: 54%|██████████████████████████████████████████████████████████████▋ | 222/414 [28:03<24:22, 7.62s/it][A + mmlu_sv: 54%|███████████████████████████████████████████████████████████████ | 223/414 [28:10<23:30, 7.39s/it][A + mmlu_sv: 54%|███████████████████████████████████████████████████████████████▎ | 224/414 [28:18<24:23, 7.70s/it][A + mmlu_sv: 54%|███████████████████████████████████████████████████████████████▌ | 225/414 [28:26<24:40, 7.83s/it][A + mmlu_sv: 55%|███████████████████████████████████████████████████████████████▊ | 226/414 [28:34<24:43, 7.89s/it][A + mmlu_sv: 55%|████████████████████████████████████████████████████████████████▏ | 227/414 [28:42<24:17, 7.79s/it][A + mmlu_sv: 55%|████████████████████████████████████████████████████████████████▍ | 228/414 [28:50<24:29, 7.90s/it][A + mmlu_sv: 55%|████████████████████████████████████████████████████████████████▋ | 229/414 [28:58<24:14, 7.86s/it][A + mmlu_sv: 56%|█████████████████████████████████████████████████████████████████ | 230/414 [29:06<24:12, 7.89s/it][A + mmlu_sv: 56%|█████████████████████████████████████████████████████████████████▎ | 231/414 [29:14<24:13, 7.94s/it][A + mmlu_sv: 56%|█████████████████████████████████████████████████████████████████▌ | 232/414 [29:22<23:50, 7.86s/it][A + mmlu_sv: 56%|█████████████████████████████████████████████████████████████████▊ | 233/414 [29:30<23:45, 7.88s/it][A + mmlu_sv: 57%|██████████████████████████████████████████████████████████████████▏ | 234/414 [29:37<22:48, 7.60s/it][A + mmlu_sv: 57%|██████████████████████████████████████████████████████████████████▍ | 235/414 [29:45<23:18, 7.81s/it][A + mmlu_sv: 57%|██████████████████████████████████████████████████████████████████▋ | 236/414 [29:53<23:23, 7.88s/it][A + mmlu_sv: 57%|██████████████████████████████████████████████████████████████████▉ | 237/414 [30:00<22:52, 7.75s/it][A + mmlu_sv: 57%|███████████████████████████████████████████████████████████████████▎ | 238/414 [30:08<22:31, 7.68s/it][A + mmlu_sv: 58%|███████████████████████████████████████████████████████████████████▌ | 239/414 [30:15<21:56, 7.52s/it][A + mmlu_sv: 58%|███████████████████████████████████████████████████████████████████▊ | 240/414 [30:24<22:44, 7.84s/it][A + mmlu_sv: 58%|████████████████████████████████████████████████████████████████████ | 241/414 [30:31<22:13, 7.71s/it][A + mmlu_sv: 58%|████████████████████████████████████████████████████████████████████▍ | 242/414 [30:40<23:22, 8.15s/it][A + mmlu_sv: 59%|████████████████████████████████████████████████████████████████████▋ | 243/414 [30:48<22:40, 7.96s/it][A + mmlu_sv: 59%|████████████████████████████████████████████████████████████████████▉ | 244/414 [30:55<22:00, 7.77s/it][A + mmlu_sv: 59%|█████████████████████████████████████████████████████████████████████▏ | 245/414 [31:02<21:37, 7.67s/it][A + mmlu_sv: 59%|█████████████████████████████████████████████████████████████████████▌ | 246/414 [31:12<22:51, 8.16s/it][A + mmlu_sv: 60%|█████████████████████████████████████████████████████████████████████▊ | 247/414 [31:19<22:05, 7.94s/it][A + mmlu_sv: 60%|██████████████████████████████████████████████████████████████████████ | 248/414 [31:27<22:10, 8.01s/it][A + mmlu_sv: 60%|██████████████████████████████████████████████████████████████████████▎ | 249/414 [31:34<21:01, 7.64s/it][A + mmlu_sv: 60%|██████████████████████████████████████████████████████████████████████▋ | 250/414 [31:43<21:51, 8.00s/it][A + mmlu_sv: 61%|██████████████████████████████████████████████████████████████████████▉ | 251/414 [31:50<20:36, 7.58s/it][A + mmlu_sv: 61%|███████████████████████████████████████████████████████████████████████▏ | 252/414 [31:56<19:40, 7.29s/it][A + mmlu_sv: 61%|███████████████████████████████████████████████████████████████████████▌ | 253/414 [32:04<20:21, 7.59s/it][A + mmlu_sv: 61%|███████████████████████████████████████████████████████████████████████▊ | 254/414 [32:12<20:33, 7.71s/it][A + mmlu_sv: 62%|████████████████████████████████████████████████████████████████████████ | 255/414 [32:21<20:46, 7.84s/it][A + mmlu_sv: 62%|████████████████████████████████████████████████████████████████████████▎ | 256/414 [32:27<19:44, 7.50s/it][A + mmlu_sv: 62%|████████████████████████████████████████████████████████████████████████▋ | 257/414 [32:35<20:04, 7.67s/it][A + mmlu_sv: 62%|████████████████████████████████████████████████████████████████████████▉ | 258/414 [32:43<19:42, 7.58s/it][A + mmlu_sv: 63%|█████████████████████████████████████████████████████████████████████████▏ | 259/414 [32:50<19:26, 7.52s/it][A + mmlu_sv: 63%|█████████████████████████████████████████████████████████████████████████▍ | 260/414 [32:58<19:16, 7.51s/it][A + mmlu_sv: 63%|█████████████████████████████████████████████████████████████████████████▊ | 261/414 [33:06<19:32, 7.66s/it][A + mmlu_sv: 63%|██████████████████████████████████████████████████████████████████████████ | 262/414 [33:13<19:01, 7.51s/it][A + mmlu_sv: 64%|██████████████████████████████████████████████████████████████████████████▎ | 263/414 [33:20<18:52, 7.50s/it][A + mmlu_sv: 64%|██████████████████████████████████████████████████████████████████████████▌ | 264/414 [33:28<19:10, 7.67s/it][A + mmlu_sv: 64%|██████████████████████████████████████████████████████████████████████████▉ | 265/414 [33:36<18:43, 7.54s/it][A + mmlu_sv: 64%|███████████████████████████████████████████████████████████████████████████▏ | 266/414 [33:43<18:15, 7.40s/it][A + mmlu_sv: 64%|███████████████████████████████████████████████████████████████████████████▍ | 267/414 [33:50<18:13, 7.44s/it][A + mmlu_sv: 65%|███████████████████████████████████████████████████████████████████████████▋ | 268/414 [33:59<18:45, 7.71s/it][A + mmlu_sv: 65%|████████████████████████████████████████████████████████████████████████████ | 269/414 [34:07<19:25, 8.04s/it][A + mmlu_sv: 65%|████████████████████████████████████████████████████████████████████████████▎ | 270/414 [34:14<18:39, 7.78s/it][A + mmlu_sv: 65%|████████████████████████████████████████████████████████████████████████████▌ | 271/414 [34:23<18:42, 7.85s/it][A + mmlu_sv: 66%|████████████████████████████████████████████████████████████████████████████▊ | 272/414 [34:30<17:58, 7.60s/it][A + mmlu_sv: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 273/414 [34:37<17:29, 7.44s/it][A + mmlu_sv: 66%|█████████████████████████████████████████████████████████████████████████████▍ | 274/414 [34:44<17:06, 7.33s/it][A + mmlu_sv: 66%|█████████████████████████████████████████████████████████████████████████████▋ | 275/414 [34:51<17:03, 7.36s/it][A + mmlu_sv: 67%|██████████████████████████████████████████████████████████████████████████████ | 276/414 [34:59<17:36, 7.66s/it][A + mmlu_sv: 67%|██████████████████████████████████████████████████████████████████████████████▎ | 277/414 [35:07<17:12, 7.54s/it][A + mmlu_sv: 67%|██████████████████████████████████████████████████████████████████████████████▌ | 278/414 [35:14<16:48, 7.42s/it][A + mmlu_sv: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 279/414 [35:21<16:43, 7.43s/it][A + mmlu_sv: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 280/414 [35:29<16:42, 7.48s/it][A + mmlu_sv: 68%|███████████████████████████████████████████████████████████████████████████████▍ | 281/414 [35:36<16:27, 7.42s/it][A + mmlu_sv: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 282/414 [35:44<16:47, 7.64s/it][A + mmlu_sv: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 283/414 [35:52<16:32, 7.57s/it][A + mmlu_sv: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 284/414 [35:59<16:20, 7.54s/it][A + mmlu_sv: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 285/414 [36:08<16:46, 7.80s/it][A + mmlu_sv: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 286/414 [36:16<16:43, 7.84s/it][A + mmlu_sv: 69%|█████████████████████████████████████████████████████████████████████████████████ | 287/414 [36:24<17:05, 8.07s/it][A + mmlu_sv: 70%|█████████████████████████████████████████████████████████████████████████████████▍ | 288/414 [36:32<16:36, 7.91s/it][A + mmlu_sv: 70%|█████████████████████████████████████████████████████████████████████████████████▋ | 289/414 [36:40<16:31, 7.93s/it][A + mmlu_sv: 70%|█████████████████████████████████████████████████████████████████████████████████▉ | 290/414 [36:48<16:31, 8.00s/it][A + mmlu_sv: 70%|██████████████████████████████████████████████████████████████████████████████████▏ | 291/414 [36:55<16:01, 7.82s/it][A + mmlu_sv: 71%|██████████████████████████████████████████████████████████████████████████████████▌ | 292/414 [37:03<16:08, 7.94s/it][A + mmlu_sv: 71%|██████████████████████████████████████████████████████████████████████████████████▊ | 293/414 [37:10<15:26, 7.66s/it][A + mmlu_sv: 71%|███████████████████████████████████████████████████████████████████████████████████ | 294/414 [37:18<15:00, 7.51s/it][A + mmlu_sv: 71%|███████████████████████████████████████████████████████████████████████████████████▎ | 295/414 [37:26<15:32, 7.83s/it][A + mmlu_sv: 71%|███████████████████████████████████████████████████████████████████████████████████▋ | 296/414 [37:35<15:47, 8.03s/it][A + mmlu_sv: 72%|███████████████████████████████████████████████████████████████████████████████████▉ | 297/414 [37:42<15:03, 7.72s/it][A + mmlu_sv: 72%|████████████████████████████████████████████████████████████████████████████████████▏ | 298/414 [37:49<14:42, 7.61s/it][A + mmlu_sv: 72%|████████████████████████████████████████████████████████████████████████████████████▌ | 299/414 [37:56<14:06, 7.36s/it][A + mmlu_sv: 72%|████████████████████████████████████████████████████████████████████████████████████▊ | 300/414 [38:03<13:47, 7.26s/it][A + mmlu_sv: 73%|█████████████████████████████████████████████████████████████████████████████████████ | 301/414 [38:12<14:47, 7.86s/it][A + mmlu_sv: 73%|█████████████████████████████████████████████████████████████████████████████████████▎ | 302/414 [38:20<14:42, 7.88s/it][A + mmlu_sv: 73%|█████████████████████████████████████████████████████████████████████████████████████▋ | 303/414 [38:27<13:54, 7.52s/it][A + mmlu_sv: 73%|█████████████████████████████████████████████████████████████████████████████████████▉ | 304/414 [38:34<13:37, 7.43s/it][A + mmlu_sv: 74%|██████████████████████████████████████████████████████████████████████████████████████▏ | 305/414 [38:41<13:21, 7.35s/it][A + mmlu_sv: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 306/414 [38:49<13:24, 7.45s/it][A + mmlu_sv: 74%|██████████████████████████████████████████████████████████████████████████████████████▊ | 307/414 [38:56<13:06, 7.35s/it][A + mmlu_sv: 74%|███████████████████████████████████████████████████████████████████████████████████████ | 308/414 [39:03<13:00, 7.36s/it][A + mmlu_sv: 75%|███████████████████████████████████████████████████████████████████████████████████████▎ | 309/414 [39:12<13:19, 7.62s/it][A + mmlu_sv: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 310/414 [39:21<13:56, 8.05s/it][A + mmlu_sv: 75%|███████████████████████████████████████████████████████████████████████████████████████▉ | 311/414 [39:29<13:59, 8.15s/it][A + mmlu_sv: 75%|████████████████████████████████████████████████████████████████████████████████████████▏ | 312/414 [39:36<13:29, 7.94s/it][A + mmlu_sv: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 313/414 [39:45<13:34, 8.06s/it][A + mmlu_sv: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 314/414 [39:53<13:21, 8.01s/it][A + mmlu_sv: 76%|█████████████████████████████████████████████████████████████████████████████████████████ | 315/414 [40:01<13:09, 7.97s/it][A + mmlu_sv: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 316/414 [40:09<13:06, 8.02s/it][A + mmlu_sv: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 317/414 [40:16<12:43, 7.87s/it][A + mmlu_sv: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 318/414 [40:24<12:43, 7.95s/it][A + mmlu_sv: 77%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 319/414 [40:32<12:18, 7.77s/it][A + mmlu_sv: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 320/414 [40:40<12:17, 7.85s/it][A + mmlu_sv: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 321/414 [40:47<11:57, 7.71s/it][A + mmlu_sv: 78%|███████████████████████████████████████████████████████████████████████████████████████████ | 322/414 [40:54<11:35, 7.56s/it][A + mmlu_sv: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 323/414 [41:02<11:43, 7.73s/it][A + mmlu_sv: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 324/414 [41:10<11:45, 7.83s/it][A + mmlu_sv: 79%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 325/414 [41:18<11:22, 7.66s/it][A + mmlu_sv: 79%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 326/414 [41:25<11:13, 7.65s/it][A + mmlu_sv: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 327/414 [41:33<11:11, 7.72s/it][A + mmlu_sv: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 328/414 [41:40<10:45, 7.51s/it][A + mmlu_sv: 79%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 329/414 [41:48<10:31, 7.43s/it][A + mmlu_sv: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 330/414 [41:56<10:55, 7.80s/it][A + mmlu_sv: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 331/414 [42:05<11:08, 8.05s/it][A + mmlu_sv: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 332/414 [42:12<10:47, 7.90s/it][A + mmlu_sv: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 333/414 [42:20<10:34, 7.84s/it][A + mmlu_sv: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 334/414 [42:28<10:33, 7.92s/it][A + mmlu_sv: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 335/414 [42:36<10:15, 7.79s/it][A + mmlu_sv: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 336/414 [42:44<10:15, 7.90s/it][A + mmlu_sv: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 337/414 [42:52<10:13, 7.97s/it][A + mmlu_sv: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 338/414 [42:59<09:55, 7.84s/it][A + mmlu_sv: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 339/414 [43:08<09:53, 7.92s/it][A + mmlu_sv: 82%|████████████████████████████████████████████████████████████████████████████████████████████████ | 340/414 [43:17<10:17, 8.34s/it][A + mmlu_sv: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 341/414 [43:24<09:44, 8.01s/it][A + mmlu_sv: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 342/414 [43:32<09:34, 7.97s/it][A + mmlu_sv: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 343/414 [43:40<09:22, 7.92s/it][A + mmlu_sv: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 344/414 [43:47<08:57, 7.67s/it][A + mmlu_sv: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 345/414 [43:56<09:11, 8.00s/it][A + mmlu_sv: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 346/414 [44:03<08:54, 7.87s/it][A + mmlu_sv: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 347/414 [44:10<08:31, 7.63s/it][A + mmlu_sv: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 348/414 [44:18<08:15, 7.51s/it][A + mmlu_sv: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 349/414 [44:25<08:13, 7.58s/it][A + mmlu_sv: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 350/414 [44:32<07:56, 7.44s/it][A + mmlu_sv: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 351/414 [44:40<07:48, 7.43s/it][A + mmlu_sv: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 352/414 [44:48<07:51, 7.60s/it][A + mmlu_sv: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 353/414 [44:56<08:02, 7.92s/it][A + mmlu_sv: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 354/414 [45:03<07:38, 7.63s/it][A + mmlu_sv: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 355/414 [45:11<07:34, 7.71s/it][A + mmlu_sv: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 356/414 [45:18<07:12, 7.46s/it][A + mmlu_sv: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 357/414 [45:26<07:18, 7.69s/it][A + mmlu_sv: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 358/414 [45:34<07:00, 7.52s/it][A + mmlu_sv: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/414 [45:41<06:55, 7.55s/it][A + mmlu_sv: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/414 [45:50<07:05, 7.87s/it][A + mmlu_sv: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/414 [45:57<06:53, 7.81s/it][A + mmlu_sv: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 362/414 [46:05<06:44, 7.77s/it][A + mmlu_sv: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 363/414 [46:13<06:36, 7.77s/it][A + mmlu_sv: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 364/414 [46:22<06:53, 8.27s/it][A + mmlu_sv: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 365/414 [46:30<06:35, 8.07s/it][A + mmlu_sv: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 366/414 [46:38<06:25, 8.04s/it][A + mmlu_sv: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 367/414 [46:45<06:03, 7.74s/it][A + mmlu_sv: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 368/414 [46:53<05:58, 7.79s/it][A + mmlu_sv: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 369/414 [47:00<05:44, 7.65s/it][A + mmlu_sv: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 370/414 [47:08<05:40, 7.74s/it][A + mmlu_sv: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 371/414 [47:16<05:40, 7.93s/it][A + mmlu_sv: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 372/414 [47:25<05:34, 7.95s/it][A + mmlu_sv: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 373/414 [47:32<05:18, 7.78s/it][A + mmlu_sv: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 374/414 [47:40<05:21, 8.03s/it][A + mmlu_sv: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 375/414 [47:48<05:05, 7.82s/it][A + mmlu_sv: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 376/414 [47:55<04:51, 7.68s/it][A + mmlu_sv: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 377/414 [48:02<04:39, 7.54s/it][A + mmlu_sv: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 378/414 [48:10<04:29, 7.48s/it][A + mmlu_sv: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 379/414 [48:17<04:22, 7.51s/it][A + mmlu_sv: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 380/414 [48:24<04:10, 7.36s/it][A + mmlu_sv: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 381/414 [48:33<04:15, 7.76s/it][A + mmlu_sv: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 382/414 [48:41<04:12, 7.90s/it][A + mmlu_sv: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 383/414 [48:49<04:03, 7.85s/it][A + mmlu_sv: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/414 [48:57<03:59, 7.98s/it][A + mmlu_sv: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/414 [49:04<03:44, 7.74s/it][A + mmlu_sv: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 386/414 [49:12<03:33, 7.62s/it][A + mmlu_sv: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 387/414 [49:19<03:20, 7.42s/it][A + mmlu_sv: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 388/414 [49:27<03:17, 7.58s/it][A + mmlu_sv: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 389/414 [49:34<03:11, 7.66s/it][A + mmlu_sv: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 390/414 [49:42<03:00, 7.52s/it][A + mmlu_sv: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 391/414 [49:49<02:51, 7.46s/it][A + mmlu_sv: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 392/414 [49:58<02:52, 7.86s/it][A + mmlu_sv: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 393/414 [50:05<02:40, 7.66s/it][A + mmlu_sv: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 394/414 [50:13<02:35, 7.78s/it][A + mmlu_sv: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 395/414 [50:21<02:28, 7.80s/it][A + mmlu_sv: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 396/414 [50:28<02:18, 7.71s/it][A + mmlu_sv: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 397/414 [50:35<02:07, 7.49s/it][A + mmlu_sv: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 398/414 [50:43<01:59, 7.48s/it][A + mmlu_sv: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 399/414 [50:50<01:51, 7.43s/it][A + mmlu_sv: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 400/414 [50:58<01:45, 7.55s/it][A + mmlu_sv: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 401/414 [51:05<01:37, 7.52s/it][A + mmlu_sv: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 402/414 [51:13<01:29, 7.42s/it][A + mmlu_sv: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 403/414 [51:20<01:21, 7.44s/it][A + mmlu_sv: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 404/414 [51:28<01:15, 7.57s/it][A + mmlu_sv: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 405/414 [51:38<01:13, 8.20s/it][A + mmlu_sv: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 406/414 [51:45<01:03, 7.99s/it][A + mmlu_sv: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 407/414 [51:52<00:54, 7.78s/it][A + mmlu_sv: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 408/414 [52:00<00:45, 7.63s/it][A + mmlu_sv: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 409/414 [52:08<00:38, 7.67s/it][A + mmlu_sv: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 410/414 [52:15<00:30, 7.61s/it][A + mmlu_sv: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 411/414 [52:23<00:23, 7.69s/it][A + mmlu_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 412/414 [52:32<00:15, 7.98s/it][A + mmlu_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 413/414 [52:39<00:07, 7.93s/it][A + mmlu_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [52:44<00:00, 7.05s/it][A mmlu_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [52:44<00:00, 7.64s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sv_acc 0.36261908362316647 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sv_acc_norm 0.3307878421291396 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 23:24:57,648 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 23:24:57,648 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:24:57,777 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 23:24:57,777 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:24:57,906 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 23:24:57,906 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:24:58,035 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 23:24:58,036 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 23:24:58,036 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 23:24:58,167 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 23:24:58,167 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_sv_acc'} +2024-05-31 23:24:58,232 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 23:24:58,233 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1253, 'value': 0.36261908362316647} +2024-05-31 23:24:58,298 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 23:24:58,951 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 23:24:58,951 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:24:59,080 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 23:24:59,080 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:24:59,208 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 23:24:59,208 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:24:59,337 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 23:24:59,337 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-05-31 23:24:59,337 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-05-31 23:24:59,467 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-05-31 23:24:59,467 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_sv_acc_norm'} +2024-05-31 23:24:59,533 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-05-31 23:24:59,533 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1254, 'value': 0.3307878421291396} +2024-05-31 23:24:59,598 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 71%|████████████████████████████████████████████████████████████████████████████▋ | 88/124 [64:37:28<38:05:08, 3808.57s/it]['mmlu_ta'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 23:25:00,245 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 23:25:00,245 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:25:00,372 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 23:25:00,372 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:25:00,499 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 23:25:00,499 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:25:00,626 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 23:25:00,627 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 23:25:00,627 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'mmlu_ta'} +2024-05-31 23:25:00,755 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_ta task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 8.49 examples/s][A + Generating test split: 3207 examples [00:00, 17575.63 examples/s][A + Generating test split: 6518 examples [00:00, 24393.57 examples/s][A + Generating test split: 9809 examples [00:00, 27673.29 examples/s][A Generating test split: 11599 examples [00:00, 23886.22 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 251 examples [00:00, 25631.69 examples/s] +Running loglikelihood requests + + mmlu_ta: 0%| | 0/363 [00:00<?, ?it/s][A + mmlu_ta: 0%|▎ | 1/363 [00:32<3:16:52, 32.63s/it][A + mmlu_ta: 1%|▋ | 2/363 [00:56<2:46:21, 27.65s/it][A + mmlu_ta: 1%|▉ | 3/363 [01:14<2:17:36, 22.94s/it][A + mmlu_ta: 1%|█▎ | 4/363 [01:35<2:14:16, 22.44s/it][A + mmlu_ta: 1%|█▌ | 5/363 [01:58<2:15:09, 22.65s/it][A + mmlu_ta: 2%|█▉ | 6/363 [02:24<2:20:55, 23.68s/it][A + mmlu_ta: 2%|██▎ | 7/363 [02:48<2:20:15, 23.64s/it][A + mmlu_ta: 2%|██▌ | 8/363 [03:23<2:42:00, 27.38s/it][A + mmlu_ta: 2%|██▉ | 9/363 [03:50<2:41:13, 27.33s/it][A + mmlu_ta: 3%|███▏ | 10/363 [04:17<2:40:07, 27.22s/it][A + mmlu_ta: 3%|███▌ | 11/363 [04:49<2:47:51, 28.61s/it][A + mmlu_ta: 3%|███▊ | 12/363 [05:28<3:05:23, 31.69s/it][A + mmlu_ta: 4%|████▏ | 13/363 [05:50<2:48:49, 28.94s/it][A + mmlu_ta: 4%|████▍ | 14/363 [06:19<2:47:45, 28.84s/it][A + mmlu_ta: 4%|████▊ | 15/363 [06:49<2:49:15, 29.18s/it][A + mmlu_ta: 4%|█████ | 16/363 [07:10<2:35:22, 26.87s/it][A + mmlu_ta: 5%|█████▍ | 17/363 [07:37<2:34:15, 26.75s/it][A + mmlu_ta: 5%|█████▊ | 18/363 [08:03<2:32:49, 26.58s/it][A + mmlu_ta: 5%|██████ | 19/363 [08:35<2:41:17, 28.13s/it][A + mmlu_ta: 6%|██████▍ | 20/363 [09:09<2:51:47, 30.05s/it][A + mmlu_ta: 6%|██████▋ | 21/363 [09:40<2:52:43, 30.30s/it][A + mmlu_ta: 6%|███████ | 22/363 [10:04<2:41:11, 28.36s/it][A + mmlu_ta: 6%|███████▎ | 23/363 [10:29<2:34:32, 27.27s/it][A + mmlu_ta: 7%|███████▋ | 24/363 [11:01<2:41:59, 28.67s/it][A + mmlu_ta: 7%|███████▉ | 25/363 [11:27<2:36:54, 27.85s/it][A + mmlu_ta: 7%|████████▎ | 26/363 [11:51<2:30:15, 26.75s/it][A + mmlu_ta: 7%|████████▋ | 27/363 [12:16<2:26:48, 26.22s/it][A + mmlu_ta: 8%|████████▉ | 28/363 [12:42<2:26:50, 26.30s/it][A + mmlu_ta: 8%|█████████▎ | 29/363 [13:10<2:29:38, 26.88s/it][A + mmlu_ta: 8%|█████████▌ | 30/363 [13:34<2:23:54, 25.93s/it][A + mmlu_ta: 9%|█████████▉ | 31/363 [13:57<2:18:16, 24.99s/it][A + mmlu_ta: 9%|██████████▏ | 32/363 [14:31<2:32:14, 27.60s/it][A + mmlu_ta: 9%|██████████▌ | 33/363 [14:55<2:26:52, 26.70s/it][A + mmlu_ta: 9%|██████████▊ | 34/363 [15:23<2:28:36, 27.10s/it][A + mmlu_ta: 10%|███████████▏ | 35/363 [15:45<2:18:50, 25.40s/it][A + mmlu_ta: 10%|███████████▌ | 36/363 [16:09<2:15:49, 24.92s/it][A + mmlu_ta: 10%|███████████▊ | 37/363 [16:34<2:16:22, 25.10s/it][A + mmlu_ta: 10%|████████████▏ | 38/363 [16:56<2:11:30, 24.28s/it][A + mmlu_ta: 11%|████████████▍ | 39/363 [17:25<2:18:44, 25.69s/it][A + mmlu_ta: 11%|████████████▊ | 40/363 [17:49<2:14:33, 25.00s/it][A + mmlu_ta: 11%|█████████████ | 41/363 [18:15<2:16:43, 25.48s/it][A + mmlu_ta: 12%|█████████████▍ | 42/363 [18:38<2:12:03, 24.68s/it][A + mmlu_ta: 12%|█████████████▋ | 43/363 [19:07<2:18:27, 25.96s/it][A + mmlu_ta: 12%|██████████████ | 44/363 [19:37<2:23:39, 27.02s/it][A + mmlu_ta: 12%|██████████████▍ | 45/363 [20:02<2:20:00, 26.42s/it][A + mmlu_ta: 13%|██████████████▋ | 46/363 [20:23<2:11:47, 24.95s/it][A + mmlu_ta: 13%|███████████████ | 47/363 [20:52<2:17:54, 26.18s/it][A + mmlu_ta: 13%|███████████████▎ | 48/363 [21:20<2:19:17, 26.53s/it][A + mmlu_ta: 13%|███████████████▋ | 49/363 [21:50<2:25:21, 27.78s/it][A + mmlu_ta: 14%|███████████████▉ | 50/363 [22:12<2:14:59, 25.88s/it][A + mmlu_ta: 14%|████████████████▎ | 51/363 [22:38<2:15:24, 26.04s/it][A + mmlu_ta: 14%|████████████████▌ | 52/363 [23:00<2:08:26, 24.78s/it][A + mmlu_ta: 15%|████████████████▉ | 53/363 [23:24<2:07:07, 24.60s/it][A + mmlu_ta: 15%|█████████████████▎ | 54/363 [23:55<2:16:52, 26.58s/it][A + mmlu_ta: 15%|█████████████████▌ | 55/363 [24:21<2:15:19, 26.36s/it][A + mmlu_ta: 15%|█████████████████▉ | 56/363 [24:53<2:23:34, 28.06s/it][A mmlu_ta: 15%|█████████████████▉ | 56/363 [25:22<2:19:04, 27.18s/it] +/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py:296: UserWarning: Could not evaluate task task=<lm_eval.tasks.multilingual_mmlu.create_task.<locals>.HendrycksTest object at 0x7f580047d4b0> +Traceback (most recent call last): + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/utils/_errors.py", line 304, in hf_raise_for_status + response.raise_for_status() + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/requests/models.py", line 1021, in raise_for_status + raise HTTPError(http_error_msg, response=self) +requests.exceptions.HTTPError: 422 Client Error: Unprocessable Entity for url: http://127.0.0.1:8080/ + +The above exception was the direct cause of the following exception: + +Traceback (most recent call last): + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_client.py", line 2031, in text_generation + bytes_output = self.post(json=payload, model=model, task="text-generation", stream=stream) # type: ignore + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_client.py", line 273, in post + hf_raise_for_status(response) + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/utils/_errors.py", line 371, in hf_raise_for_status + raise HfHubHTTPError(str(e), response=response) from e +huggingface_hub.utils._errors.HfHubHTTPError: 422 Client Error: Unprocessable Entity for url: http://127.0.0.1:8080/ + +Input validation error: `inputs` tokens + `max_new_tokens` must be <= 8193. Given: 8192 `inputs` tokens and 130 `max_new_tokens` +Make sure 'text-generation' task is supported by the model. + +The above exception was the direct cause of the following exception: + +Traceback (most recent call last): + File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py", line 285, in harness_eval + results = lm_eval.evaluator.evaluate( + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/lm_eval/utils.py", line 205, in _wrapper + return fn(*args, **kwargs) + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/lm_eval/evaluator.py", line 250, in evaluate + resps = getattr(lm, reqtype)([req.args for req in reqs]) + File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py", line 390, in loglikelihood + return self.evaluator.log_prob_and_correct(data=requests) + File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py", line 123, in log_prob_and_correct + selected = self.remote_model.select_from_objects(reqs) + File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/tools/tgi_local.py", line 144, in select_from_objects + responses = list(executor.map(self.local_query, requests)) + File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 621, in result_iterator + yield _result_or_cancel(fs.pop()) + File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 319, in _result_or_cancel + return fut.result(timeout) + File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 451, in result + return self.__get_result() + File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 403, in __get_result + raise self._exception + File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/thread.py", line 58, in run + result = self.fn(*self.args, **self.kwargs) + File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/tools/tgi_local.py", line 80, in local_query + return self.client.text_generation(**query) + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_client.py", line 2060, in text_generation + raise_text_generation_error(e) + File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_common.py", line 457, in raise_text_generation_error + raise exception from http_error +huggingface_hub.errors.ValidationError: Input validation error: `inputs` tokens + `max_new_tokens` must be <= 8193. Given: 8192 `inputs` tokens and 130 `max_new_tokens` + + warnings.warn(f"Could not evaluate task {task=}\n{traceback.format_exc()}") + ALL TASKS: 72%|█████████████████████████████████████████████████████████████████████████████▌ | 89/124 [65:02:53<30:21:56, 3123.32s/it]['mmlu_te'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-05-31 23:50:24,673 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-05-31 23:50:24,674 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:50:24,805 INFO sqlalchemy.engine.Engine select current_schema() +2024-05-31 23:50:24,805 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:50:24,936 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-05-31 23:50:24,936 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-05-31 23:50:25,067 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-05-31 23:50:25,068 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-05-31 23:50:25,068 INFO sqlalchemy.engine.Engine [generated in 0.00021s] {'name_1_1': 'mmlu_te'} +2024-05-31 23:50:25,200 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_te task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1735 examples [00:00, 13524.86 examples/s][A + Generating test split: 5000 examples [00:00, 23414.81 examples/s][A + Generating test split: 8406 examples [00:00, 27960.10 examples/s][A Generating test split: 11375 examples [00:00, 26595.58 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 272 examples [00:00, 26049.79 examples/s] +Running loglikelihood requests + + mmlu_te: 0%| | 0/356 [00:00<?, ?it/s][A + mmlu_te: 0%|▎ | 1/356 [00:19<1:53:05, 19.11s/it][A + mmlu_te: 1%|▋ | 2/356 [00:36<1:47:34, 18.23s/it][A + mmlu_te: 1%|▉ | 3/356 [00:55<1:48:47, 18.49s/it][A + mmlu_te: 1%|█▎ | 4/356 [01:17<1:55:41, 19.72s/it][A + mmlu_te: 1%|█▋ | 5/356 [01:34<1:50:24, 18.87s/it][A + mmlu_te: 2%|█▉ | 6/356 [01:55<1:53:19, 19.43s/it][A + mmlu_te: 2%|██▎ | 7/356 [02:13<1:51:03, 19.09s/it][A + mmlu_te: 2%|██▋ | 8/356 [02:29<1:45:03, 18.11s/it][A + mmlu_te: 3%|██▉ | 9/356 [02:51<1:52:14, 19.41s/it][A + mmlu_te: 3%|███▎ | 10/356 [03:13<1:56:57, 20.28s/it][A + mmlu_te: 3%|███▌ | 11/356 [03:34<1:57:11, 20.38s/it][A + mmlu_te: 3%|███▉ | 12/356 [03:58<2:02:38, 21.39s/it][A + mmlu_te: 4%|████▏ | 13/356 [04:16<1:57:13, 20.51s/it][A + mmlu_te: 4%|████▌ | 14/356 [04:34<1:52:28, 19.73s/it][A + mmlu_te: 4%|████▉ | 15/356 [04:50<1:45:28, 18.56s/it][A + mmlu_te: 4%|█████▏ | 16/356 [05:07<1:42:46, 18.14s/it][A + mmlu_te: 5%|█████▌ | 17/356 [05:26<1:44:24, 18.48s/it][A + mmlu_te: 5%|█████▊ | 18/356 [05:49<1:51:21, 19.77s/it][A + mmlu_te: 5%|██████▏ | 19/356 [06:13<1:58:21, 21.07s/it][A + mmlu_te: 6%|██████▌ | 20/356 [06:32<1:54:21, 20.42s/it][A + mmlu_te: 6%|██████▊ | 21/356 [06:51<1:52:07, 20.08s/it][A + mmlu_te: 6%|███████▏ | 22/356 [07:08<1:45:25, 18.94s/it][A + mmlu_te: 6%|███████▍ | 23/356 [07:24<1:41:13, 18.24s/it][A + mmlu_te: 7%|███████▊ | 24/356 [07:42<1:39:08, 17.92s/it][A + mmlu_te: 7%|████████▏ | 25/356 [08:05<1:47:56, 19.57s/it][A + mmlu_te: 7%|████████▍ | 26/356 [08:29<1:54:16, 20.78s/it][A + mmlu_te: 8%|████████▊ | 27/356 [08:46<1:49:11, 19.91s/it][A + mmlu_te: 8%|█████████ | 28/356 [09:07<1:50:23, 20.19s/it][A + mmlu_te: 8%|█████████▍ | 29/356 [09:24<1:44:06, 19.10s/it][A + mmlu_te: 8%|█████████▊ | 30/356 [09:39<1:38:00, 18.04s/it][A + mmlu_te: 9%|██████████ | 31/356 [09:57<1:37:26, 17.99s/it][A + mmlu_te: 9%|██████████▍ | 32/356 [10:21<1:46:49, 19.78s/it][A + mmlu_te: 9%|██████████▊ | 33/356 [10:43<1:49:01, 20.25s/it][A + mmlu_te: 10%|███████████ | 34/356 [11:03<1:49:11, 20.35s/it][A + mmlu_te: 10%|███████████▍ | 35/356 [11:25<1:50:30, 20.65s/it][A + mmlu_te: 10%|███████████▋ | 36/356 [11:41<1:43:26, 19.39s/it][A + mmlu_te: 10%|████████████ | 37/356 [12:01<1:43:56, 19.55s/it][A + mmlu_te: 11%|████████████▍ | 38/356 [12:18<1:40:13, 18.91s/it][A + mmlu_te: 11%|████████████▋ | 39/356 [12:32<1:32:02, 17.42s/it][A + mmlu_te: 11%|█████████████ | 40/356 [12:50<1:32:42, 17.60s/it][A + mmlu_te: 12%|█████████████▎ | 41/356 [13:06<1:29:52, 17.12s/it][A + mmlu_te: 12%|█████████████▋ | 42/356 [13:23<1:28:50, 16.98s/it][A + mmlu_te: 12%|██████████████ | 43/356 [13:43<1:33:58, 18.01s/it][A + mmlu_te: 12%|██████████████▎ | 44/356 [14:06<1:40:17, 19.29s/it][A + mmlu_te: 13%|██████████████▋ | 45/356 [14:23<1:36:51, 18.69s/it][A + mmlu_te: 13%|██████████████▉ | 46/356 [14:44<1:40:52, 19.52s/it][A + mmlu_te: 13%|███████████████▎ | 47/356 [15:02<1:38:11, 19.07s/it][A + mmlu_te: 13%|███████████████▋ | 48/356 [15:20<1:34:56, 18.50s/it][A + mmlu_te: 14%|███████████████▉ | 49/356 [15:36<1:31:01, 17.79s/it][A + mmlu_te: 14%|████████████████▎ | 50/356 [15:54<1:31:45, 17.99s/it][A + mmlu_te: 14%|████████████████▌ | 51/356 [16:08<1:25:16, 16.77s/it][A + mmlu_te: 15%|████████████████▉ | 52/356 [16:29<1:30:32, 17.87s/it][A + mmlu_te: 15%|█████████████████▎ | 53/356 [16:45<1:28:48, 17.58s/it][A + mmlu_te: 15%|█████████████████▌ | 54/356 [17:05<1:31:47, 18.24s/it][A + mmlu_te: 15%|█████████████████▉ | 55/356 [17:24<1:32:01, 18.34s/it][A + mmlu_te: 16%|██████████████████▏ | 56/356 [17:38<1:25:57, 17.19s/it][A + mmlu_te: 16%|██████████████████▌ | 57/356 [17:57<1:28:16, 17.71s/it][A + mmlu_te: 16%|██████████████████▉ | 58/356 [18:15<1:28:44, 17.87s/it][A + mmlu_te: 17%|███████████████████▏ | 59/356 [18:34<1:29:38, 18.11s/it][A + mmlu_te: 17%|███████████████████▌ | 60/356 [18:54<1:31:48, 18.61s/it][A + mmlu_te: 17%|███████████████████▉ | 61/356 [19:17<1:37:55, 19.92s/it][A + mmlu_te: 17%|████████████████████▏ | 62/356 [19:36<1:36:05, 19.61s/it][A + mmlu_te: 18%|████████████████████▌ | 63/356 [19:49<1:26:47, 17.77s/it][A + mmlu_te: 18%|████████████████████▊ | 64/356 [20:13<1:35:26, 19.61s/it][A + mmlu_te: 18%|█████████████████████▏ | 65/356 [20:32<1:34:17, 19.44s/it][A + mmlu_te: 19%|█████████████████████▌ | 66/356 [20:54<1:37:27, 20.16s/it][A + mmlu_te: 19%|█████████████████████▊ | 67/356 [21:12<1:34:16, 19.57s/it][A + mmlu_te: 19%|██████████████████████▏ | 68/356 [21:29<1:30:15, 18.80s/it][A + mmlu_te: 19%|██████████████████████▍ | 69/356 [21:50<1:32:49, 19.41s/it][A + mmlu_te: 20%|██████████████████████▊ | 70/356 [22:08<1:30:57, 19.08s/it][A + mmlu_te: 20%|███████████████████████▏ | 71/356 [22:30<1:34:28, 19.89s/it][A + mmlu_te: 20%|███████████████████████▍ | 72/356 [22:48<1:31:48, 19.40s/it][A + mmlu_te: 21%|███████████████████████▊ | 73/356 [23:05<1:27:30, 18.55s/it][A + mmlu_te: 21%|████████████████████████ | 74/356 [23:19<1:20:57, 17.23s/it][A + mmlu_te: 21%|████████████████████████▍ | 75/356 [23:38<1:22:59, 17.72s/it][A + mmlu_te: 21%|████████████████████████▊ | 76/356 [23:57<1:24:54, 18.19s/it][A + mmlu_te: 22%|█████████████████████████ | 77/356 [24:18<1:28:01, 18.93s/it][A + mmlu_te: 22%|█████████████████████████▍ | 78/356 [24:36<1:26:29, 18.67s/it][A + mmlu_te: 22%|█████████████████████████▋ | 79/356 [25:01<1:34:22, 20.44s/it][A + mmlu_te: 22%|██████████████████████████ | 80/356 [25:18<1:29:33, 19.47s/it][A + mmlu_te: 23%|██████████████████████████▍ | 81/356 [25:38<1:30:22, 19.72s/it][A + mmlu_te: 23%|██████████████████████████▋ | 82/356 [25:57<1:28:31, 19.39s/it][A + mmlu_te: 23%|███████████████████████████ | 83/356 [26:23<1:37:44, 21.48s/it][A + mmlu_te: 24%|███████████████████████████▎ | 84/356 [26:42<1:33:38, 20.66s/it][A + mmlu_te: 24%|███████████████████████████▋ | 85/356 [26:59<1:28:40, 19.63s/it][A + mmlu_te: 24%|████████████████████████████ | 86/356 [27:19<1:28:42, 19.71s/it][A + mmlu_te: 24%|████████████████████████████▎ | 87/356 [27:37<1:25:59, 19.18s/it][A + mmlu_te: 25%|████████████████████████████▋ | 88/356 [27:58<1:28:12, 19.75s/it][A + mmlu_te: 25%|█████████████████████████████ | 89/356 [28:22<1:33:22, 20.98s/it][A + mmlu_te: 25%|█████████████████████████████▎ | 90/356 [28:45<1:36:32, 21.77s/it][A + mmlu_te: 26%|█████████████████████████████▋ | 91/356 [29:06<1:35:02, 21.52s/it][A + mmlu_te: 26%|█████████████████████████████▉ | 92/356 [29:27<1:32:57, 21.13s/it][A + mmlu_te: 26%|██████████████████████████████▎ | 93/356 [29:45<1:29:26, 20.41s/it][A + mmlu_te: 26%|██████████████████████████████▋ | 94/356 [30:07<1:30:39, 20.76s/it][A + mmlu_te: 27%|██████████████████████████████▉ | 95/356 [30:27<1:29:28, 20.57s/it][A + mmlu_te: 27%|███████████████████████████████▎ | 96/356 [30:44<1:24:52, 19.59s/it][A + mmlu_te: 27%|███████████████████████████████▌ | 97/356 [31:05<1:26:13, 19.98s/it][A + mmlu_te: 28%|███████████████████████████████▉ | 98/356 [31:23<1:23:44, 19.47s/it][A + mmlu_te: 28%|████████████████████████████████▎ | 99/356 [31:42<1:22:42, 19.31s/it][A + mmlu_te: 28%|████████████████████████████████▎ | 100/356 [32:01<1:21:19, 19.06s/it][A + mmlu_te: 28%|████████████████████████████████▋ | 101/356 [32:16<1:16:11, 17.93s/it][A + mmlu_te: 29%|████████████████████████████████▉ | 102/356 [32:36<1:18:35, 18.57s/it][A + mmlu_te: 29%|█████████████████████████████████▎ | 103/356 [32:56<1:19:37, 18.88s/it][A + mmlu_te: 29%|█████████████████████████████████▌ | 104/356 [33:20<1:26:23, 20.57s/it][A + mmlu_te: 29%|█████████████████████████████████▉ | 105/356 [33:38<1:22:29, 19.72s/it][A + mmlu_te: 30%|██████████████████████████████████▏ | 106/356 [34:03<1:28:28, 21.23s/it][A + mmlu_te: 30%|██████████████████████████████████▌ | 107/356 [34:24<1:28:25, 21.31s/it][A + mmlu_te: 30%|██████████████████████████████████▉ | 108/356 [34:44<1:25:47, 20.76s/it][A + mmlu_te: 31%|███████████████████████████████████▏ | 109/356 [35:01<1:21:27, 19.79s/it][A + mmlu_te: 31%|███████████████████████████████████▌ | 110/356 [35:18<1:17:44, 18.96s/it][A + mmlu_te: 31%|███████████████████████████████████▊ | 111/356 [35:39<1:18:53, 19.32s/it][A + mmlu_te: 31%|████████████████████████████████████▏ | 112/356 [36:02<1:23:41, 20.58s/it][A + mmlu_te: 32%|████████████████████████████████████▌ | 113/356 [36:21<1:20:51, 19.96s/it][A + mmlu_te: 32%|████████████████████████████████████▊ | 114/356 [36:39<1:18:07, 19.37s/it][A + mmlu_te: 32%|█████████████████████████████████████▏ | 115/356 [37:01<1:20:58, 20.16s/it][A + mmlu_te: 33%|█████████████████████████████████████▍ | 116/356 [37:27<1:27:35, 21.90s/it][A + mmlu_te: 33%|█████████████████████████████████████▊ | 117/356 [37:49<1:28:19, 22.18s/it][A + mmlu_te: 33%|██████████████████████████████████████ | 118/356 [38:07<1:22:50, 20.88s/it][A + mmlu_te: 33%|██████████████████████████████████████▍ | 119/356 [38:27<1:20:53, 20.48s/it][A + mmlu_te: 34%|██████████████████████████████████████▊ | 120/356 [38:45<1:18:31, 19.96s/it][A + mmlu_te: 34%|███████████████████████████████████████ | 121/356 [39:06<1:18:28, 20.04s/it][A + mmlu_te: 34%|███████████████████████████████████████▍ | 122/356 [39:25<1:16:45, 19.68s/it][A + mmlu_te: 35%|███████████████████████████████████████▋ | 123/356 [39:44<1:16:30, 19.70s/it][A + mmlu_te: 35%|████████████████████████████████████████ | 124/356 [40:05<1:17:15, 19.98s/it][A + mmlu_te: 35%|████████████████████████████████████████▍ | 125/356 [40:26<1:18:14, 20.32s/it][A + mmlu_te: 35%|████████████████████████████████████████▋ | 126/356 [40:44<1:15:31, 19.70s/it][A + mmlu_te: 36%|█████████████████████████████████████████ | 127/356 [41:00<1:10:43, 18.53s/it][A + mmlu_te: 36%|█████████████████████████████████████████▎ | 128/356 [41:24<1:16:04, 20.02s/it][A + mmlu_te: 36%|█████████████████████████████████████████▋ | 129/356 [41:41<1:12:42, 19.22s/it][A + mmlu_te: 37%|█████████████████████████████████████████▉ | 130/356 [42:01<1:13:41, 19.56s/it][A + mmlu_te: 37%|██████████████████████████████████████████▎ | 131/356 [42:17<1:09:29, 18.53s/it][A + mmlu_te: 37%|██████████████████████████████████████████▋ | 132/356 [42:33<1:05:48, 17.63s/it][A + mmlu_te: 37%|██████████████████████████████████████████▉ | 133/356 [42:54<1:09:36, 18.73s/it][A + mmlu_te: 38%|███████████████████████████████████████████▎ | 134/356 [43:16<1:12:29, 19.59s/it][A + mmlu_te: 38%|███████████████████████████████████████████▌ | 135/356 [43:35<1:11:36, 19.44s/it][A + mmlu_te: 38%|███████████████████████████████████████████▉ | 136/356 [43:59<1:16:10, 20.77s/it][A + mmlu_te: 38%|████████████████████████████████████████████▎ | 137/356 [44:20<1:16:26, 20.94s/it][A + mmlu_te: 39%|████████████████████████████████████████████▌ | 138/356 [44:40<1:14:36, 20.53s/it][A + mmlu_te: 39%|████████████████████████████████████████████▉ | 139/356 [45:01<1:15:10, 20.79s/it][A + mmlu_te: 39%|█████████████████████████████████████████████▏ | 140/356 [45:19<1:11:15, 19.79s/it][A + mmlu_te: 40%|█████████████████████████████████████████████▌ | 141/356 [45:38<1:10:49, 19.77s/it][A + mmlu_te: 40%|█████████████████████████████████████████████▊ | 142/356 [45:54<1:06:14, 18.57s/it][A + mmlu_te: 40%|██████████████████████████████████████████████▏ | 143/356 [46:17<1:10:01, 19.73s/it][A + mmlu_te: 40%|██████████████████████████████████████████████▌ | 144/356 [46:36<1:09:17, 19.61s/it][A + mmlu_te: 41%|██████████████████████████████████████████████▊ | 145/356 [46:55<1:08:30, 19.48s/it][A + mmlu_te: 41%|███████████████████████████████████████████████▏ | 146/356 [47:15<1:08:18, 19.52s/it][A + mmlu_te: 41%|███████████████████████████████████████████████▍ | 147/356 [47:34<1:07:40, 19.43s/it][A + mmlu_te: 42%|███████████████████████████████████████████████▊ | 148/356 [48:00<1:14:34, 21.51s/it][A + mmlu_te: 42%|████████████████████████████████████████████████▏ | 149/356 [48:20<1:12:31, 21.02s/it][A + mmlu_te: 42%|████████████████████████████████████████████████▍ | 150/356 [48:39<1:10:24, 20.50s/it][A + mmlu_te: 42%|████████████████████████████████████████████████▊ | 151/356 [48:55<1:05:19, 19.12s/it][A + mmlu_te: 43%|█████████████████████████████████████████████████ | 152/356 [49:12<1:02:58, 18.52s/it][A + mmlu_te: 43%|█████████████████████████████████████████████████▍ | 153/356 [49:30<1:01:42, 18.24s/it][A + mmlu_te: 43%|█████████████████████████████████████████████████▋ | 154/356 [49:48<1:01:06, 18.15s/it][A + mmlu_te: 44%|██████████████████████████████████████████████████ | 155/356 [50:13<1:07:37, 20.19s/it][A + mmlu_te: 44%|██████████████████████████████████████████████████▍ | 156/356 [50:30<1:04:03, 19.22s/it][A + mmlu_te: 44%|██████████████████████████████████████████████████▋ | 157/356 [50:48<1:02:59, 18.99s/it][A + mmlu_te: 44%|███████████████████████████████████████████████████ | 158/356 [51:11<1:06:28, 20.14s/it][A + mmlu_te: 45%|███████████████████████████████████████████████████▎ | 159/356 [51:30<1:04:55, 19.77s/it][A + mmlu_te: 45%|███████████████████████████████████████████████████▋ | 160/356 [51:50<1:05:16, 19.98s/it][A + mmlu_te: 45%|████████████████████████████████████████████████████ | 161/356 [52:13<1:07:06, 20.65s/it][A + mmlu_te: 46%|████████████████████████████████████████████████████▎ | 162/356 [52:32<1:05:24, 20.23s/it][A + mmlu_te: 46%|████████████████████████████████████████████████████▋ | 163/356 [52:55<1:07:35, 21.01s/it][A + mmlu_te: 46%|████████████████████████████████████████████████████▉ | 164/356 [53:13<1:04:43, 20.23s/it][A + mmlu_te: 46%|██████████████████████████████████████████████████████▏ | 165/356 [53:29<59:58, 18.84s/it][A + mmlu_te: 47%|█████████████████████████████████████████████████████▌ | 166/356 [53:51<1:02:32, 19.75s/it][A + mmlu_te: 47%|█████████████████████████████████████████████████████▉ | 167/356 [54:09<1:00:52, 19.33s/it][A + mmlu_te: 47%|███████████████████████████████████████████████████████▏ | 168/356 [54:28<59:47, 19.08s/it][A + mmlu_te: 47%|███████████████████████████████████████████████████████▌ | 169/356 [54:44<56:36, 18.16s/it][A + mmlu_te: 48%|██████████████████████████████████████████████████████▉ | 170/356 [55:07<1:01:37, 19.88s/it][A + mmlu_te: 48%|███████████████████████████████████████████████████████▏ | 171/356 [55:27<1:00:37, 19.66s/it][A + mmlu_te: 48%|███████████████████████████████████████████████████████▌ | 172/356 [55:46<1:00:12, 19.64s/it][A + mmlu_te: 49%|████████████████████████████████████████████████████████▊ | 173/356 [56:04<58:01, 19.02s/it][A + mmlu_te: 49%|████████████████████████████████████████████████████████▏ | 174/356 [56:29<1:03:14, 20.85s/it][A + mmlu_te: 49%|████████████████████████████████████████████████████████▌ | 175/356 [56:51<1:03:47, 21.15s/it][A + mmlu_te: 49%|████████████████████████████████████████████████████████▊ | 176/356 [57:08<1:00:03, 20.02s/it][A + mmlu_te: 50%|█████████████████████████████████████████████████████████▏ | 177/356 [57:30<1:01:07, 20.49s/it][A + mmlu_te: 50%|██████████████████████████████████████████████████████████▌ | 178/356 [57:49<59:51, 20.18s/it][A + mmlu_te: 50%|██████████████████████████████████████████████████████████▊ | 179/356 [58:06<56:37, 19.20s/it][A + mmlu_te: 51%|███████████████████████████████████████████████████████████▏ | 180/356 [58:24<55:02, 18.77s/it][A + mmlu_te: 51%|███████████████████████████████████████████████████████████▍ | 181/356 [58:46<57:33, 19.73s/it][A + mmlu_te: 51%|███████████████████████████████████████████████████████████▊ | 182/356 [59:07<58:16, 20.09s/it][A + mmlu_te: 51%|████████████████████████████████████████████████████████████▏ | 183/356 [59:26<57:02, 19.78s/it][A + mmlu_te: 52%|████████████████████████████████████████████████████████████▍ | 184/356 [59:48<58:25, 20.38s/it][A + mmlu_te: 52%|██████████████████████████████████████████████████████████▋ | 185/356 [1:00:10<1:00:08, 21.10s/it][A + mmlu_te: 52%|████████████████████████████████████████████████████████████ | 186/356 [1:00:27<55:52, 19.72s/it][A + mmlu_te: 53%|████████████████████████████████████████████████████████████▍ | 187/356 [1:00:44<53:19, 18.93s/it][A + mmlu_te: 53%|████████████████████████████████████████████████████████████▋ | 188/356 [1:01:02<51:58, 18.56s/it][A + mmlu_te: 53%|█████████████████████████████████████████████████████████████ | 189/356 [1:01:18<49:48, 17.90s/it][A + mmlu_te: 53%|█████████████████████████████████████████████████████████████▍ | 190/356 [1:01:43<55:05, 19.91s/it][A + mmlu_te: 54%|█████████████████████████████████████████████████████████████▋ | 191/356 [1:02:02<54:41, 19.89s/it][A + mmlu_te: 54%|██████████████████████████████████████████████████████████████ | 192/356 [1:02:20<52:33, 19.23s/it][A + mmlu_te: 54%|██████████████████████████████████████████████████████████████▎ | 193/356 [1:02:39<52:02, 19.16s/it][A + mmlu_te: 54%|██████████████████████████████████████████████████████████████▋ | 194/356 [1:02:56<49:34, 18.36s/it][A + mmlu_te: 55%|██████████████████████████████████████████████████████████████▉ | 195/356 [1:03:13<48:33, 18.10s/it][A + mmlu_te: 55%|███████████████████████████████████████████████████████████████▎ | 196/356 [1:03:33<49:43, 18.65s/it][A + mmlu_te: 55%|███████████████████████████████████████████████████████████████▋ | 197/356 [1:03:56<52:38, 19.87s/it][A + mmlu_te: 56%|███████████████████████████████████████████████████████████████▉ | 198/356 [1:04:15<51:28, 19.55s/it][A + mmlu_te: 56%|████████████████████████████████████████████████████████████████▎ | 199/356 [1:04:34<50:50, 19.43s/it][A + mmlu_te: 56%|████████████████████████████████████████████████████████████████▌ | 200/356 [1:04:52<49:38, 19.09s/it][A + mmlu_te: 56%|████████████████████████████████████████████████████████████████▉ | 201/356 [1:05:14<51:12, 19.82s/it][A + mmlu_te: 57%|█████████████████████████████████████████████████████████████████▎ | 202/356 [1:05:34<51:19, 20.00s/it][A + mmlu_te: 57%|█████████████████████████████████████████████████████████████████▌ | 203/356 [1:05:51<48:38, 19.08s/it][A + mmlu_te: 57%|█████████████████████████████████████████████████████████████████▉ | 204/356 [1:06:10<48:29, 19.14s/it][A + mmlu_te: 58%|██████████████████████████████████████████████████████████████████▏ | 205/356 [1:06:27<46:40, 18.55s/it][A + mmlu_te: 58%|██████████████████████████████████████████████████████████████████▌ | 206/356 [1:06:46<46:15, 18.51s/it][A + mmlu_te: 58%|██████████████████████████████████████████████████████████████████▊ | 207/356 [1:07:05<46:22, 18.68s/it][A + mmlu_te: 58%|███████████████████████████████████████████████████████████████████▏ | 208/356 [1:07:24<46:19, 18.78s/it][A + mmlu_te: 59%|███████████████████████████████████████████████████████████████████▌ | 209/356 [1:07:39<43:41, 17.83s/it][A + mmlu_te: 59%|███████████████████████████████████████████████████████████████████▊ | 210/356 [1:07:57<42:53, 17.62s/it][A + mmlu_te: 59%|████████████████████████████████████████████████████████████████████▏ | 211/356 [1:08:17<44:30, 18.42s/it][A + mmlu_te: 60%|████████████████████████████████████████████████████████████████████▍ | 212/356 [1:08:36<44:42, 18.63s/it][A + mmlu_te: 60%|████████████████████████████████████████████████████████████████████▊ | 213/356 [1:08:52<42:42, 17.92s/it][A + mmlu_te: 60%|█████████████████████████████████████████████████████████████████████▏ | 214/356 [1:09:10<42:38, 18.02s/it][A + mmlu_te: 60%|█████████████████████████████████████████████████████████████████████▍ | 215/356 [1:09:28<42:13, 17.97s/it][A + mmlu_te: 61%|█████████████████████████████████████████████████████████████████████▊ | 216/356 [1:09:47<42:10, 18.08s/it][A + mmlu_te: 61%|██████████████████████████████████████████████████████████████████████ | 217/356 [1:10:04<41:25, 17.88s/it][A + mmlu_te: 61%|██████████████████████████████████████████████████████████████████████▍ | 218/356 [1:10:24<42:11, 18.34s/it][A + mmlu_te: 62%|██████████████████████████████████████████████████████████████████████▋ | 219/356 [1:10:39<40:10, 17.60s/it][A + mmlu_te: 62%|███████████████████████████████████████████████████████████████████████ | 220/356 [1:10:56<39:02, 17.23s/it][A + mmlu_te: 62%|███████████████████████████████████████████████████████████████████████▍ | 221/356 [1:11:12<38:04, 16.92s/it][A + mmlu_te: 62%|███████████████████████████████████████████████████████████████████████▋ | 222/356 [1:11:30<38:51, 17.40s/it][A + mmlu_te: 63%|████████████████████████████████████████████████████████████████████████ | 223/356 [1:11:45<36:44, 16.57s/it][A + mmlu_te: 63%|████████████████████████████████████████████████████████████████████████▎ | 224/356 [1:12:08<40:31, 18.42s/it][A + mmlu_te: 63%|████████████████████████████████████████████████████████████████████████▋ | 225/356 [1:12:24<38:35, 17.68s/it][A + mmlu_te: 63%|█████████████████████████████████████████████████████████████████████████ | 226/356 [1:12:44<40:08, 18.53s/it][A + mmlu_te: 64%|█████████████████████████████████████████████████████████████████████████▎ | 227/356 [1:13:04<40:23, 18.79s/it][A + mmlu_te: 64%|█████████████████████████████████████████████████████████████████████████▋ | 228/356 [1:13:23<40:11, 18.84s/it][A + mmlu_te: 64%|█████████████████████████████████████████████████████████████████████████▉ | 229/356 [1:13:40<38:38, 18.25s/it][A + mmlu_te: 65%|██████████████████████████████████████████████████████████████████████████▎ | 230/356 [1:14:02<41:03, 19.55s/it][A + mmlu_te: 65%|██████████████████████████████████████████████████████████████████████████▌ | 231/356 [1:14:21<40:08, 19.27s/it][A + mmlu_te: 65%|██████████████████████████████████████████████████████████████████████████▉ | 232/356 [1:14:36<37:12, 18.01s/it][A + mmlu_te: 65%|███████████████████████████████████████████████████████████████████████████▎ | 233/356 [1:14:54<37:07, 18.11s/it][A + mmlu_te: 66%|███████████████████████████████████████████████████████████████████████████▌ | 234/356 [1:15:09<34:55, 17.17s/it][A + mmlu_te: 66%|███████████████████████████████████████████████████████████████████████████▉ | 235/356 [1:15:28<35:44, 17.73s/it][A + mmlu_te: 66%|████████████████████████████████████████████████████████████████████████████▏ | 236/356 [1:15:47<36:07, 18.06s/it][A + mmlu_te: 67%|████████████████████████████████████████████████████████████████████████████▌ | 237/356 [1:16:06<36:29, 18.40s/it][A + mmlu_te: 67%|████████████████████████████████████████████████████████████████████████████▉ | 238/356 [1:16:30<39:41, 20.18s/it][A + mmlu_te: 67%|█████████████████████████████████████████████████████████████████████████████▏ | 239/356 [1:16:48<37:43, 19.34s/it][A + mmlu_te: 67%|█████████████████████████████████████████████████████████████████████████████▌ | 240/356 [1:17:08<37:51, 19.58s/it][A + mmlu_te: 68%|█████████████████████████████████████████████████████████████████████████████▊ | 241/356 [1:17:26<36:28, 19.03s/it][A + mmlu_te: 68%|██████████████████████████████████████████████████████████████████████████████▏ | 242/356 [1:17:42<34:51, 18.34s/it][A + mmlu_te: 68%|██████████████████████████████████████████████████████████████████████████████▍ | 243/356 [1:18:02<35:12, 18.69s/it][A + mmlu_te: 69%|██████████████████████████████████████████████████████████████████████████████▊ | 244/356 [1:18:22<35:28, 19.01s/it][A + mmlu_te: 69%|███████████████████████████████████████████████████████████████████████████████▏ | 245/356 [1:18:37<32:51, 17.76s/it][A + mmlu_te: 69%|███████████████████████████████████████████████████████████████████████████████▍ | 246/356 [1:18:53<31:36, 17.24s/it][A + mmlu_te: 69%|███████████████████████████████████████████████████████████████████████████████▊ | 247/356 [1:19:14<33:29, 18.44s/it][A + mmlu_te: 70%|████████████████████████████████████████████████████████████████████████████████ | 248/356 [1:19:32<33:00, 18.34s/it][A + mmlu_te: 70%|████████████████████████████████████████████████████████████████████████████████▍ | 249/356 [1:19:49<32:15, 18.09s/it][A + mmlu_te: 70%|████████████████████████████████████████████████████████████████████████████████▊ | 250/356 [1:20:08<32:01, 18.13s/it][A + mmlu_te: 71%|█████████████████████████████████████████████████████████████████████████████████ | 251/356 [1:20:24<31:00, 17.72s/it][A + mmlu_te: 71%|█████████████████████████████████████████████████████████████████████████████████▍ | 252/356 [1:20:43<30:59, 17.88s/it][A + mmlu_te: 71%|█████████████████████████████████████████████████████████████████████████████████▋ | 253/356 [1:21:04<32:21, 18.85s/it][A + mmlu_te: 71%|██████████████████████████████████████████████████████████████████████████████████ | 254/356 [1:21:21<31:24, 18.47s/it][A + mmlu_te: 72%|██████████████████████████████████████████████████████████████████████████████████▎ | 255/356 [1:21:40<31:17, 18.59s/it][A + mmlu_te: 72%|██████████████████████████████████████████████████████████████████████████████████▋ | 256/356 [1:21:58<30:36, 18.36s/it][A + mmlu_te: 72%|███████████████████████████████████████████████████████████████████████████████████ | 257/356 [1:22:19<31:35, 19.14s/it][A + mmlu_te: 72%|███████████████████████████████████████████████████████████████████████████████████▎ | 258/356 [1:22:37<30:36, 18.74s/it][A + mmlu_te: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 259/356 [1:22:59<31:47, 19.66s/it][A + mmlu_te: 73%|███████████████████████████████████████████████████████████████████████████████████▉ | 260/356 [1:23:16<30:16, 18.93s/it][A + mmlu_te: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 261/356 [1:23:35<30:12, 19.08s/it][A + mmlu_te: 74%|████████████████████████████████████████████████████████████████████████████████████▋ | 262/356 [1:23:54<29:35, 18.89s/it][A + mmlu_te: 74%|████████████████████████████████████████████████████████████████████████████████████▉ | 263/356 [1:24:10<28:07, 18.15s/it][A + mmlu_te: 74%|█████████████████████████████████████████████████████████████████████████████████████▎ | 264/356 [1:24:27<27:25, 17.88s/it][A + mmlu_te: 74%|█████████████████████████████████████████████████████████████████████████████████████▌ | 265/356 [1:24:47<27:47, 18.33s/it][A + mmlu_te: 75%|█████████████████████████████████████████████████████████████████████████████████████▉ | 266/356 [1:25:05<27:14, 18.16s/it][A + mmlu_te: 75%|██████████████████████████████████████████████████████████████████████████████████████▎ | 267/356 [1:25:20<25:42, 17.33s/it][A + mmlu_te: 75%|██████████████████████████████████████████████████████████████████████████████████████▌ | 268/356 [1:25:39<25:58, 17.71s/it][A + mmlu_te: 76%|██████████████████████████████████████████████████████████████████████████████████████▉ | 269/356 [1:25:55<25:07, 17.33s/it][A + mmlu_te: 76%|███████████████████████████████████████████████████████████████████████████████████████▏ | 270/356 [1:26:13<24:58, 17.43s/it][A + mmlu_te: 76%|███████████████████████████████████████████████████████████████████████████████████████▌ | 271/356 [1:26:31<24:53, 17.57s/it][A + mmlu_te: 76%|███████████████████████████████████████████████████████████████████████████████████████▊ | 272/356 [1:26:50<25:21, 18.11s/it][A + mmlu_te: 77%|████████████████████████████████████████████████████████████████████████████████████████▏ | 273/356 [1:27:14<27:27, 19.85s/it][A + mmlu_te: 77%|████████████████████████████████████████████████████████████████████████████████████████▌ | 274/356 [1:27:31<25:51, 18.92s/it][A + mmlu_te: 77%|████████████████████████████████████████████████████████████████████████████████████████▊ | 275/356 [1:27:51<26:11, 19.41s/it][A + mmlu_te: 78%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 276/356 [1:28:06<24:11, 18.15s/it][A + mmlu_te: 78%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 277/356 [1:28:28<25:26, 19.32s/it][A + mmlu_te: 78%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 278/356 [1:28:45<23:59, 18.45s/it][A + mmlu_te: 78%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 279/356 [1:29:03<23:27, 18.28s/it][A + mmlu_te: 79%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 280/356 [1:29:25<24:46, 19.56s/it][A + mmlu_te: 79%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 281/356 [1:29:44<24:11, 19.35s/it][A + mmlu_te: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 282/356 [1:30:05<24:31, 19.89s/it][A + mmlu_te: 79%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 283/356 [1:30:27<24:51, 20.43s/it][A + mmlu_te: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 284/356 [1:30:47<24:30, 20.42s/it][A + mmlu_te: 80%|████████████████████████████████████████████████████████████████████████████████████████████ | 285/356 [1:31:04<22:54, 19.36s/it][A + mmlu_te: 80%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/356 [1:31:21<21:30, 18.44s/it][A + mmlu_te: 81%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 287/356 [1:31:38<20:59, 18.25s/it][A + mmlu_te: 81%|█████████████████████████████████████████████████████████████████████████████████████████████ | 288/356 [1:31:57<20:42, 18.27s/it][A + mmlu_te: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 289/356 [1:32:16<20:38, 18.48s/it][A + mmlu_te: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 290/356 [1:32:35<20:40, 18.79s/it][A + mmlu_te: 82%|██████████████████████████████████████████████████████████████████████████████████████████████ | 291/356 [1:32:55<20:33, 18.98s/it][A + mmlu_te: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 292/356 [1:33:11<19:33, 18.34s/it][A + mmlu_te: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 293/356 [1:33:31<19:46, 18.83s/it][A + mmlu_te: 83%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 294/356 [1:33:53<20:16, 19.63s/it][A + mmlu_te: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 295/356 [1:34:12<19:40, 19.35s/it][A + mmlu_te: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 296/356 [1:34:31<19:30, 19.51s/it][A + mmlu_te: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 297/356 [1:34:46<17:48, 18.12s/it][A + mmlu_te: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 298/356 [1:35:06<17:51, 18.47s/it][A + mmlu_te: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 299/356 [1:35:25<17:48, 18.74s/it][A + mmlu_te: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 300/356 [1:35:43<17:16, 18.51s/it][A + mmlu_te: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 301/356 [1:36:05<17:51, 19.48s/it][A + mmlu_te: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 302/356 [1:36:28<18:26, 20.48s/it][A + mmlu_te: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 303/356 [1:36:48<18:00, 20.39s/it][A + mmlu_te: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 304/356 [1:37:07<17:16, 19.94s/it][A + mmlu_te: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 305/356 [1:37:28<17:20, 20.40s/it][A + mmlu_te: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 306/356 [1:37:48<16:49, 20.19s/it][A + mmlu_te: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 307/356 [1:38:05<15:38, 19.15s/it][A + mmlu_te: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 308/356 [1:38:26<15:49, 19.78s/it][A + mmlu_te: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 309/356 [1:38:43<14:54, 19.03s/it][A + mmlu_te: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 310/356 [1:39:10<16:23, 21.39s/it][A + mmlu_te: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 311/356 [1:39:30<15:46, 21.04s/it][A + mmlu_te: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 312/356 [1:39:52<15:34, 21.24s/it][A + mmlu_te: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 313/356 [1:40:09<14:17, 19.94s/it][A + mmlu_te: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 314/356 [1:40:33<14:55, 21.32s/it][A + mmlu_te: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 315/356 [1:40:52<13:58, 20.45s/it][A + mmlu_te: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 316/356 [1:41:14<14:04, 21.11s/it][A + mmlu_te: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 317/356 [1:41:38<14:13, 21.88s/it][A + mmlu_te: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 318/356 [1:41:54<12:38, 19.96s/it][A + mmlu_te: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 319/356 [1:42:17<12:56, 21.00s/it][A + mmlu_te: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 320/356 [1:42:41<13:04, 21.80s/it][A + mmlu_te: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 321/356 [1:42:59<12:11, 20.91s/it][A + mmlu_te: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 322/356 [1:43:19<11:41, 20.62s/it][A + mmlu_te: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 323/356 [1:43:34<10:24, 18.94s/it][A + mmlu_te: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 324/356 [1:43:55<10:23, 19.49s/it][A + mmlu_te: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 325/356 [1:44:11<09:33, 18.49s/it][A + mmlu_te: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 326/356 [1:44:32<09:29, 18.99s/it][A + mmlu_te: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 327/356 [1:44:53<09:29, 19.65s/it][A + mmlu_te: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 328/356 [1:45:10<08:46, 18.80s/it][A + mmlu_te: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 329/356 [1:45:30<08:41, 19.30s/it][A + mmlu_te: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 330/356 [1:45:49<08:17, 19.14s/it][A + mmlu_te: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 331/356 [1:46:03<07:23, 17.74s/it][A + mmlu_te: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 332/356 [1:46:22<07:13, 18.06s/it][A + mmlu_te: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 333/356 [1:46:38<06:43, 17.54s/it][A + mmlu_te: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 334/356 [1:47:00<06:52, 18.73s/it][A + mmlu_te: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 335/356 [1:47:15<06:11, 17.70s/it][A + mmlu_te: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 336/356 [1:47:32<05:51, 17.56s/it][A + mmlu_te: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 337/356 [1:47:49<05:26, 17.17s/it][A + mmlu_te: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 338/356 [1:48:09<05:28, 18.24s/it][A + mmlu_te: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 339/356 [1:48:29<05:15, 18.57s/it][A + mmlu_te: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 340/356 [1:48:45<04:45, 17.83s/it][A + mmlu_te: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 341/356 [1:49:02<04:24, 17.61s/it][A + mmlu_te: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 342/356 [1:49:26<04:34, 19.60s/it][A + mmlu_te: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 343/356 [1:49:46<04:15, 19.65s/it][A + mmlu_te: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 344/356 [1:50:06<03:58, 19.87s/it][A + mmlu_te: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 345/356 [1:50:25<03:34, 19.47s/it][A + mmlu_te: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 346/356 [1:50:41<03:05, 18.50s/it][A + mmlu_te: 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 347/356 [1:51:04<02:57, 19.71s/it][A + mmlu_te: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 348/356 [1:51:24<02:38, 19.81s/it][A + mmlu_te: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 349/356 [1:51:43<02:18, 19.80s/it][A + mmlu_te: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 350/356 [1:52:01<01:54, 19.16s/it][A + mmlu_te: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 351/356 [1:52:19<01:33, 18.67s/it][A + mmlu_te: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 352/356 [1:52:39<01:16, 19.19s/it][A + mmlu_te: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 353/356 [1:53:02<01:00, 20.26s/it][A + mmlu_te: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 354/356 [1:53:20<00:39, 19.61s/it][A + mmlu_te: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 355/356 [1:53:36<00:18, 18.63s/it][A + mmlu_te: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 356/356 [1:53:46<00:00, 16.03s/it][A mmlu_te: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 356/356 [1:53:46<00:00, 19.18s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_te_acc 0.25564835164835165 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_te_acc_norm 0.2756923076923077 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 01:44:14,259 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 01:44:14,259 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:14,388 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 01:44:14,388 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:14,516 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 01:44:14,516 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:14,645 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 01:44:14,646 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 01:44:14,646 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 01:44:14,776 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 01:44:14,776 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_te_acc'} +2024-06-01 01:44:14,841 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 01:44:14,841 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1257, 'value': 0.25564835164835165} +2024-06-01 01:44:14,907 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 01:44:15,561 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 01:44:15,561 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:15,690 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 01:44:15,690 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:15,818 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 01:44:15,818 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:15,947 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 01:44:15,948 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 01:44:15,948 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 01:44:16,078 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 01:44:16,078 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_te_acc_norm'} +2024-06-01 01:44:16,143 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 01:44:16,143 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1258, 'value': 0.2756923076923077} +2024-06-01 01:44:16,209 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 73%|██████████████████████████████████████████████████████████████████████████████▍ | 90/124 [66:56:45<40:00:23, 4235.99s/it]['mmlu_uk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 01:44:16,839 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 01:44:16,839 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:16,962 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 01:44:16,962 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:17,086 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 01:44:17,086 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 01:44:17,209 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 01:44:17,210 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 01:44:17,210 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_uk'} +2024-06-01 01:44:17,334 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_uk task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1689 examples [00:00, 15001.10 examples/s][A + Generating test split: 5000 examples [00:00, 24460.08 examples/s][A + Generating test split: 8343 examples [00:00, 28379.77 examples/s][A + Generating test split: 11774 examples [00:00, 30440.83 examples/s][A Generating test split: 12909 examples [00:00, 27577.38 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 269 examples [00:00, 26163.94 examples/s] +Running loglikelihood requests + + mmlu_uk: 0%| | 0/404 [00:00<?, ?it/s][A + mmlu_uk: 0%|▎ | 1/404 [00:13<1:33:59, 13.99s/it][A + mmlu_uk: 0%|▌ | 2/404 [00:27<1:31:14, 13.62s/it][A + mmlu_uk: 1%|▊ | 3/404 [00:40<1:28:45, 13.28s/it][A + mmlu_uk: 1%|█▏ | 4/404 [00:51<1:23:12, 12.48s/it][A + mmlu_uk: 1%|█▍ | 5/404 [01:04<1:25:08, 12.80s/it][A + mmlu_uk: 1%|█▋ | 6/404 [01:18<1:26:00, 12.96s/it][A + mmlu_uk: 2%|██ | 7/404 [01:30<1:23:55, 12.68s/it][A + mmlu_uk: 2%|██▎ | 8/404 [01:41<1:20:52, 12.25s/it][A + mmlu_uk: 2%|██▌ | 9/404 [01:55<1:23:25, 12.67s/it][A + mmlu_uk: 2%|██▊ | 10/404 [02:07<1:22:49, 12.61s/it][A + mmlu_uk: 3%|███▏ | 11/404 [02:21<1:25:39, 13.08s/it][A + mmlu_uk: 3%|███▍ | 12/404 [02:35<1:26:45, 13.28s/it][A + mmlu_uk: 3%|███▋ | 13/404 [02:48<1:26:07, 13.22s/it][A + mmlu_uk: 3%|████ | 14/404 [03:01<1:24:29, 13.00s/it][A + mmlu_uk: 4%|████▎ | 15/404 [03:13<1:22:41, 12.76s/it][A + mmlu_uk: 4%|████▌ | 16/404 [03:28<1:27:44, 13.57s/it][A + mmlu_uk: 4%|████▉ | 17/404 [03:42<1:27:07, 13.51s/it][A + mmlu_uk: 4%|█████▏ | 18/404 [03:54<1:24:35, 13.15s/it][A + mmlu_uk: 5%|█████▍ | 19/404 [04:05<1:20:54, 12.61s/it][A + mmlu_uk: 5%|█████▋ | 20/404 [04:16<1:17:51, 12.16s/it][A + mmlu_uk: 5%|██████ | 21/404 [04:29<1:19:20, 12.43s/it][A + mmlu_uk: 5%|██████▎ | 22/404 [04:43<1:22:01, 12.88s/it][A + mmlu_uk: 6%|██████▌ | 23/404 [04:55<1:19:24, 12.50s/it][A + mmlu_uk: 6%|██████▉ | 24/404 [05:08<1:19:45, 12.59s/it][A + mmlu_uk: 6%|███████▏ | 25/404 [05:19<1:17:30, 12.27s/it][A + mmlu_uk: 6%|███████▍ | 26/404 [05:35<1:24:22, 13.39s/it][A + mmlu_uk: 7%|███████▊ | 27/404 [05:50<1:26:31, 13.77s/it][A + mmlu_uk: 7%|████████ | 28/404 [06:01<1:21:39, 13.03s/it][A + mmlu_uk: 7%|████████▎ | 29/404 [06:13<1:19:26, 12.71s/it][A + mmlu_uk: 7%|████████▌ | 30/404 [06:27<1:21:21, 13.05s/it][A + mmlu_uk: 8%|████████▉ | 31/404 [06:38<1:16:32, 12.31s/it][A + mmlu_uk: 8%|█████████▏ | 32/404 [06:50<1:15:48, 12.23s/it][A + mmlu_uk: 8%|█████████▍ | 33/404 [07:06<1:22:30, 13.34s/it][A + mmlu_uk: 8%|█████████▊ | 34/404 [07:19<1:21:46, 13.26s/it][A + mmlu_uk: 9%|██████████ | 35/404 [07:31<1:20:03, 13.02s/it][A + mmlu_uk: 9%|██████████▎ | 36/404 [07:43<1:18:13, 12.75s/it][A + mmlu_uk: 9%|██████████▌ | 37/404 [07:57<1:19:17, 12.96s/it][A + mmlu_uk: 9%|██████████▉ | 38/404 [08:09<1:17:27, 12.70s/it][A + mmlu_uk: 10%|███████████▏ | 39/404 [08:20<1:15:04, 12.34s/it][A + mmlu_uk: 10%|███████████▍ | 40/404 [08:31<1:11:07, 11.72s/it][A + mmlu_uk: 10%|███████████▊ | 41/404 [08:45<1:15:01, 12.40s/it][A + mmlu_uk: 10%|████████████ | 42/404 [08:58<1:16:59, 12.76s/it][A + mmlu_uk: 11%|████████████▎ | 43/404 [09:12<1:18:31, 13.05s/it][A + mmlu_uk: 11%|████████████▋ | 44/404 [09:26<1:19:22, 13.23s/it][A + mmlu_uk: 11%|████████████▉ | 45/404 [09:37<1:15:27, 12.61s/it][A + mmlu_uk: 11%|█████████████▏ | 46/404 [09:49<1:15:26, 12.65s/it][A + mmlu_uk: 12%|█████████████▍ | 47/404 [10:02<1:15:04, 12.62s/it][A + mmlu_uk: 12%|█████████████▊ | 48/404 [10:13<1:11:40, 12.08s/it][A + mmlu_uk: 12%|██████████████ | 49/404 [10:25<1:11:20, 12.06s/it][A + mmlu_uk: 12%|██████████████▎ | 50/404 [10:37<1:11:41, 12.15s/it][A + mmlu_uk: 13%|██████████████▋ | 51/404 [10:50<1:13:09, 12.43s/it][A + mmlu_uk: 13%|██████████████▉ | 52/404 [11:02<1:11:43, 12.22s/it][A + mmlu_uk: 13%|███████████████▏ | 53/404 [11:14<1:10:52, 12.12s/it][A + mmlu_uk: 13%|███████████████▌ | 54/404 [11:28<1:14:07, 12.71s/it][A + mmlu_uk: 14%|███████████████▊ | 55/404 [11:41<1:13:49, 12.69s/it][A + mmlu_uk: 14%|████████████████ | 56/404 [11:54<1:13:52, 12.74s/it][A + mmlu_uk: 14%|████████████████▎ | 57/404 [12:06<1:13:45, 12.75s/it][A + mmlu_uk: 14%|████████████████▋ | 58/404 [12:21<1:16:14, 13.22s/it][A + mmlu_uk: 15%|████████████████▉ | 59/404 [12:34<1:16:57, 13.38s/it][A + mmlu_uk: 15%|█████████████████▏ | 60/404 [12:48<1:17:42, 13.55s/it][A + mmlu_uk: 15%|█████████████████▌ | 61/404 [13:02<1:18:24, 13.72s/it][A + mmlu_uk: 15%|█████████████████▊ | 62/404 [13:16<1:18:44, 13.81s/it][A + mmlu_uk: 16%|██████████████████ | 63/404 [13:31<1:20:16, 14.12s/it][A + mmlu_uk: 16%|██████████████████▍ | 64/404 [13:44<1:17:15, 13.63s/it][A + mmlu_uk: 16%|██████████████████▋ | 65/404 [13:56<1:14:35, 13.20s/it][A + mmlu_uk: 16%|██████████████████▉ | 66/404 [14:07<1:11:09, 12.63s/it][A + mmlu_uk: 17%|███████████████████▏ | 67/404 [14:20<1:11:32, 12.74s/it][A + mmlu_uk: 17%|███████████████████▌ | 68/404 [14:33<1:11:33, 12.78s/it][A + mmlu_uk: 17%|███████████████████▊ | 69/404 [14:46<1:12:09, 12.92s/it][A + mmlu_uk: 17%|████████████████████ | 70/404 [15:00<1:12:24, 13.01s/it][A + mmlu_uk: 18%|████████████████████▍ | 71/404 [15:13<1:13:02, 13.16s/it][A + mmlu_uk: 18%|████████████████████▋ | 72/404 [15:26<1:12:09, 13.04s/it][A + mmlu_uk: 18%|████████████████████▉ | 73/404 [15:37<1:08:15, 12.37s/it][A + mmlu_uk: 18%|█████████████████████▏ | 74/404 [15:48<1:06:51, 12.16s/it][A + mmlu_uk: 19%|█████████████████████▌ | 75/404 [16:03<1:10:56, 12.94s/it][A + mmlu_uk: 19%|█████████████████████▊ | 76/404 [16:18<1:13:32, 13.45s/it][A + mmlu_uk: 19%|██████████████████████ | 77/404 [16:31<1:12:10, 13.24s/it][A + mmlu_uk: 19%|██████████████████████▍ | 78/404 [16:42<1:08:24, 12.59s/it][A + mmlu_uk: 20%|██████████████████████▋ | 79/404 [16:55<1:08:49, 12.71s/it][A + mmlu_uk: 20%|██████████████████████▉ | 80/404 [17:07<1:08:49, 12.74s/it][A + mmlu_uk: 20%|███████████████████████▎ | 81/404 [17:21<1:09:43, 12.95s/it][A + mmlu_uk: 20%|███████████████████████▌ | 82/404 [17:33<1:07:46, 12.63s/it][A + mmlu_uk: 21%|███████████████████████▊ | 83/404 [17:45<1:07:33, 12.63s/it][A + mmlu_uk: 21%|████████████████████████ | 84/404 [17:59<1:08:36, 12.86s/it][A + mmlu_uk: 21%|████████████████████████▍ | 85/404 [18:11<1:07:54, 12.77s/it][A + mmlu_uk: 21%|████████████████████████▋ | 86/404 [18:25<1:09:37, 13.14s/it][A + mmlu_uk: 22%|████████████████████████▉ | 87/404 [18:39<1:10:10, 13.28s/it][A + mmlu_uk: 22%|█████████████████████████▎ | 88/404 [18:51<1:08:27, 13.00s/it][A + mmlu_uk: 22%|█████████████████████████▌ | 89/404 [19:04<1:08:02, 12.96s/it][A + mmlu_uk: 22%|█████████████████████████▊ | 90/404 [19:19<1:10:19, 13.44s/it][A + mmlu_uk: 23%|██████████████████████████▏ | 91/404 [19:29<1:05:17, 12.52s/it][A + mmlu_uk: 23%|██████████████████████████▍ | 92/404 [19:43<1:06:32, 12.80s/it][A + mmlu_uk: 23%|██████████████████████████▋ | 93/404 [19:55<1:06:29, 12.83s/it][A + mmlu_uk: 23%|██████████████████████████▉ | 94/404 [20:08<1:05:41, 12.71s/it][A + mmlu_uk: 24%|███████████████████████████▎ | 95/404 [20:19<1:03:31, 12.34s/it][A + mmlu_uk: 24%|███████████████████████████▌ | 96/404 [20:32<1:04:37, 12.59s/it][A + mmlu_uk: 24%|███████████████████████████▊ | 97/404 [20:47<1:07:29, 13.19s/it][A + mmlu_uk: 24%|████████████████████████████▏ | 98/404 [21:04<1:12:58, 14.31s/it][A + mmlu_uk: 25%|████████████████████████████▍ | 99/404 [21:16<1:09:30, 13.67s/it][A + mmlu_uk: 25%|████████████████████████████▍ | 100/404 [21:31<1:10:26, 13.90s/it][A + mmlu_uk: 25%|████████████████████████████▊ | 101/404 [21:44<1:09:28, 13.76s/it][A + mmlu_uk: 25%|█████████████████████████████ | 102/404 [21:57<1:08:29, 13.61s/it][A + mmlu_uk: 25%|█████████████████████████████▎ | 103/404 [22:12<1:09:27, 13.84s/it][A + mmlu_uk: 26%|█████████████████████████████▌ | 104/404 [22:25<1:08:15, 13.65s/it][A + mmlu_uk: 26%|█████████████████████████████▉ | 105/404 [22:36<1:04:47, 13.00s/it][A + mmlu_uk: 26%|██████████████████████████████▏ | 106/404 [22:49<1:03:55, 12.87s/it][A + mmlu_uk: 26%|██████████████████████████████▍ | 107/404 [23:02<1:03:33, 12.84s/it][A + mmlu_uk: 27%|██████████████████████████████▋ | 108/404 [23:18<1:07:41, 13.72s/it][A + mmlu_uk: 27%|███████████████████████████████ | 109/404 [23:31<1:07:08, 13.66s/it][A + mmlu_uk: 27%|███████████████████████████████▎ | 110/404 [23:42<1:03:42, 13.00s/it][A + mmlu_uk: 27%|███████████████████████████████▌ | 111/404 [23:56<1:04:55, 13.30s/it][A + mmlu_uk: 28%|███████████████████████████████▉ | 112/404 [24:11<1:06:58, 13.76s/it][A + mmlu_uk: 28%|████████████████████████████████▏ | 113/404 [24:22<1:02:10, 12.82s/it][A + mmlu_uk: 28%|████████████████████████████████▍ | 114/404 [24:36<1:03:17, 13.10s/it][A + mmlu_uk: 28%|████████████████████████████████▋ | 115/404 [24:48<1:02:02, 12.88s/it][A + mmlu_uk: 29%|█████████████████████████████████ | 116/404 [25:02<1:04:04, 13.35s/it][A + mmlu_uk: 29%|█████████████████████████████████▎ | 117/404 [25:15<1:02:58, 13.16s/it][A + mmlu_uk: 29%|█████████████████████████████████▌ | 118/404 [25:27<1:00:31, 12.70s/it][A + mmlu_uk: 29%|█████████████████████████████████▊ | 119/404 [25:41<1:02:35, 13.18s/it][A + mmlu_uk: 30%|██████████████████████████████████▏ | 120/404 [25:54<1:02:03, 13.11s/it][A + mmlu_uk: 30%|██████████████████████████████████▍ | 121/404 [26:07<1:01:13, 12.98s/it][A + mmlu_uk: 30%|██████████████████████████████████▋ | 122/404 [26:20<1:01:51, 13.16s/it][A + mmlu_uk: 30%|███████████████████████████████████ | 123/404 [26:32<1:00:09, 12.84s/it][A + mmlu_uk: 31%|███████████████████████████████████▎ | 124/404 [26:46<1:01:33, 13.19s/it][A + mmlu_uk: 31%|███████████████████████████████████▌ | 125/404 [26:59<1:00:44, 13.06s/it][A + mmlu_uk: 31%|████████████████████████████████████▍ | 126/404 [27:11<58:15, 12.57s/it][A + mmlu_uk: 31%|████████████████████████████████████▊ | 127/404 [27:23<57:30, 12.46s/it][A + mmlu_uk: 32%|█████████████████████████████████████ | 128/404 [27:36<57:56, 12.60s/it][A + mmlu_uk: 32%|█████████████████████████████████████▎ | 129/404 [27:47<56:19, 12.29s/it][A + mmlu_uk: 32%|█████████████████████████████████████▋ | 130/404 [28:01<57:45, 12.65s/it][A + mmlu_uk: 32%|█████████████████████████████████████▉ | 131/404 [28:14<58:30, 12.86s/it][A + mmlu_uk: 33%|██████████████████████████████████████▏ | 132/404 [28:27<58:43, 12.95s/it][A + mmlu_uk: 33%|██████████████████████████████████████▌ | 133/404 [28:38<56:00, 12.40s/it][A + mmlu_uk: 33%|██████████████████████████████████████▊ | 134/404 [28:51<56:31, 12.56s/it][A + mmlu_uk: 33%|███████████████████████████████████████ | 135/404 [29:06<58:31, 13.05s/it][A + mmlu_uk: 34%|███████████████████████████████████████▍ | 136/404 [29:18<57:42, 12.92s/it][A + mmlu_uk: 34%|███████████████████████████████████████▋ | 137/404 [29:32<58:41, 13.19s/it][A + mmlu_uk: 34%|███████████████████████████████████████▉ | 138/404 [29:46<59:21, 13.39s/it][A + mmlu_uk: 34%|████████████████████████████████████████▎ | 139/404 [29:57<56:28, 12.79s/it][A + mmlu_uk: 35%|████████████████████████████████████████▌ | 140/404 [30:09<55:12, 12.55s/it][A + mmlu_uk: 35%|████████████████████████████████████████▏ | 141/404 [30:27<1:01:22, 14.00s/it][A + mmlu_uk: 35%|████████████████████████████████████████▍ | 142/404 [30:41<1:01:03, 13.98s/it][A + mmlu_uk: 35%|████████████████████████████████████████▋ | 143/404 [30:57<1:03:25, 14.58s/it][A + mmlu_uk: 36%|████████████████████████████████████████▉ | 144/404 [31:12<1:04:28, 14.88s/it][A + mmlu_uk: 36%|█████████████████████████████████████████▎ | 145/404 [31:25<1:01:08, 14.17s/it][A + mmlu_uk: 36%|██████████████████████████████████████████▎ | 146/404 [31:37<58:18, 13.56s/it][A + mmlu_uk: 36%|██████████████████████████████████████████▌ | 147/404 [31:47<54:24, 12.70s/it][A + mmlu_uk: 37%|██████████████████████████████████████████▊ | 148/404 [32:01<55:00, 12.89s/it][A + mmlu_uk: 37%|███████████████████████████████████████████▏ | 149/404 [32:14<55:42, 13.11s/it][A + mmlu_uk: 37%|███████████████████████████████████████████▍ | 150/404 [32:27<55:06, 13.02s/it][A + mmlu_uk: 37%|███████████████████████████████████████████▋ | 151/404 [32:38<52:16, 12.40s/it][A + mmlu_uk: 38%|████████████████████████████████████████████ | 152/404 [32:50<51:05, 12.16s/it][A + mmlu_uk: 38%|████████████████████████████████████████████▎ | 153/404 [33:02<50:42, 12.12s/it][A + mmlu_uk: 38%|████████████████████████████████████████████▌ | 154/404 [33:17<53:42, 12.89s/it][A + mmlu_uk: 38%|████████████████████████████████████████████▉ | 155/404 [33:29<52:46, 12.72s/it][A + mmlu_uk: 39%|█████████████████████████████████████████████▏ | 156/404 [33:39<49:04, 11.87s/it][A + mmlu_uk: 39%|█████████████████████████████████████████████▍ | 157/404 [33:53<51:23, 12.48s/it][A + mmlu_uk: 39%|█████████████████████████████████████████████▊ | 158/404 [34:07<53:04, 12.94s/it][A + mmlu_uk: 39%|██████████████████████████████████████████████ | 159/404 [34:22<55:11, 13.52s/it][A + mmlu_uk: 40%|██████████████████████████████████████████████▎ | 160/404 [34:36<56:01, 13.78s/it][A + mmlu_uk: 40%|██████████████████████████████████████████████▋ | 161/404 [34:51<57:22, 14.17s/it][A + mmlu_uk: 40%|██████████████████████████████████████████████▉ | 162/404 [35:04<55:49, 13.84s/it][A + mmlu_uk: 40%|███████████████████████████████████████████████▏ | 163/404 [35:20<57:32, 14.33s/it][A + mmlu_uk: 41%|███████████████████████████████████████████████▍ | 164/404 [35:31<54:09, 13.54s/it][A + mmlu_uk: 41%|███████████████████████████████████████████████▊ | 165/404 [35:43<52:15, 13.12s/it][A + mmlu_uk: 41%|████████████████████████████████████████████████ | 166/404 [35:55<50:07, 12.64s/it][A + mmlu_uk: 41%|████████████████████████████████████████████████▎ | 167/404 [36:09<52:07, 13.19s/it][A + mmlu_uk: 42%|████████████████████████████████████████████████▋ | 168/404 [36:21<50:34, 12.86s/it][A + mmlu_uk: 42%|████████████████████████████████████████████████▉ | 169/404 [36:34<49:27, 12.63s/it][A + mmlu_uk: 42%|█████████████████████████████████████████████████▏ | 170/404 [36:47<50:01, 12.83s/it][A + mmlu_uk: 42%|█████████████████████████████████████████████████▌ | 171/404 [36:59<49:20, 12.71s/it][A + mmlu_uk: 43%|█████████████████████████████████████████████████▊ | 172/404 [37:10<47:09, 12.20s/it][A + mmlu_uk: 43%|██████████████████████████████████████████████████ | 173/404 [37:23<48:01, 12.47s/it][A + mmlu_uk: 43%|██████████████████████████████████████████████████▍ | 174/404 [37:35<47:00, 12.26s/it][A + mmlu_uk: 43%|██████████████████████████████████████████████████▋ | 175/404 [37:50<49:26, 12.95s/it][A + mmlu_uk: 44%|██████████████████████████████████████████████████▉ | 176/404 [38:01<47:48, 12.58s/it][A + mmlu_uk: 44%|███████████████████████████████████████████████████▎ | 177/404 [38:14<47:10, 12.47s/it][A + mmlu_uk: 44%|███████████████████████████████████████████████████▌ | 178/404 [38:25<46:06, 12.24s/it][A + mmlu_uk: 44%|███████████████████████████████████████████████████▊ | 179/404 [38:37<45:31, 12.14s/it][A + mmlu_uk: 45%|████████████████████████████████████████████████████▏ | 180/404 [38:51<47:01, 12.59s/it][A + mmlu_uk: 45%|████████████████████████████████████████████████████▍ | 181/404 [39:04<47:12, 12.70s/it][A + mmlu_uk: 45%|████████████████████████████████████████████████████▋ | 182/404 [39:18<49:09, 13.29s/it][A + mmlu_uk: 45%|████████████████████████████████████████████████████▉ | 183/404 [39:30<46:36, 12.65s/it][A + mmlu_uk: 46%|█████████████████████████████████████████████████████▎ | 184/404 [39:42<46:14, 12.61s/it][A + mmlu_uk: 46%|█████████████████████████████████████████████████████▌ | 185/404 [39:53<44:12, 12.11s/it][A + mmlu_uk: 46%|█████████████████████████████████████████████████████▊ | 186/404 [40:06<44:41, 12.30s/it][A + mmlu_uk: 46%|██████████████████████████████████████████████████████▏ | 187/404 [40:18<43:55, 12.14s/it][A + mmlu_uk: 47%|██████████████████████████████████████████████████████▍ | 188/404 [40:28<41:39, 11.57s/it][A + mmlu_uk: 47%|██████████████████████████████████████████████████████▋ | 189/404 [40:39<41:09, 11.49s/it][A + mmlu_uk: 47%|███████████████████████████████████████████████████████ | 190/404 [40:50<40:39, 11.40s/it][A + mmlu_uk: 47%|███████████████████████████████████████████████████████▎ | 191/404 [41:03<41:18, 11.64s/it][A + mmlu_uk: 48%|███████████████████████████████████████████████████████▌ | 192/404 [41:15<41:41, 11.80s/it][A + mmlu_uk: 48%|███████████████████████████████████████████████████████▉ | 193/404 [41:28<43:06, 12.26s/it][A + mmlu_uk: 48%|████████████████████████████████████████████████████████▏ | 194/404 [41:42<44:43, 12.78s/it][A + mmlu_uk: 48%|████████████████████████████████████████████████████████▍ | 195/404 [41:56<45:18, 13.01s/it][A + mmlu_uk: 49%|████████████████████████████████████████████████████████▊ | 196/404 [42:11<47:15, 13.63s/it][A + mmlu_uk: 49%|█████████████████████████████████████████████████████████ | 197/404 [42:23<45:09, 13.09s/it][A + mmlu_uk: 49%|█████████████████████████████████████████████████████████▎ | 198/404 [42:34<43:04, 12.55s/it][A + mmlu_uk: 49%|█████████████████████████████████████████████████████████▋ | 199/404 [42:47<43:35, 12.76s/it][A + mmlu_uk: 50%|█████████████████████████████████████████████████████████▉ | 200/404 [43:02<45:19, 13.33s/it][A + mmlu_uk: 50%|██████████████████████████████████████████████████████████▏ | 201/404 [43:16<45:46, 13.53s/it][A + mmlu_uk: 50%|██████████████████████████████████████████████████████████▌ | 202/404 [43:28<43:58, 13.06s/it][A + mmlu_uk: 50%|██████████████████████████████████████████████████████████▊ | 203/404 [43:42<45:29, 13.58s/it][A + mmlu_uk: 50%|███████████████████████████████████████████████████████████ | 204/404 [43:55<44:08, 13.24s/it][A + mmlu_uk: 51%|███████████████████████████████████████████████████████████▎ | 205/404 [44:06<42:07, 12.70s/it][A + mmlu_uk: 51%|███████████████████████████████████████████████████████████▋ | 206/404 [44:19<41:54, 12.70s/it][A + mmlu_uk: 51%|███████████████████████████████████████████████████████████▉ | 207/404 [44:31<40:40, 12.39s/it][A + mmlu_uk: 51%|████████████████████████████████████████████████████████████▏ | 208/404 [44:42<39:31, 12.10s/it][A + mmlu_uk: 52%|████████████████████████████████████████████████████████████▌ | 209/404 [44:53<38:17, 11.78s/it][A + mmlu_uk: 52%|████████████████████████████████████████████████████████████▊ | 210/404 [45:06<39:28, 12.21s/it][A + mmlu_uk: 52%|█████████████████████████████████████████████████████████████ | 211/404 [45:19<39:38, 12.32s/it][A + mmlu_uk: 52%|█████████████████████████████████████████████████████████████▍ | 212/404 [45:30<38:30, 12.04s/it][A + mmlu_uk: 53%|█████████████████████████████████████████████████████████████▋ | 213/404 [45:42<38:15, 12.02s/it][A + mmlu_uk: 53%|█████████████████████████████████████████████████████████████▉ | 214/404 [45:55<38:42, 12.22s/it][A + mmlu_uk: 53%|██████████████████████████████████████████████████████████████▎ | 215/404 [46:06<37:10, 11.80s/it][A + mmlu_uk: 53%|██████████████████████████████████████████████████████████████▌ | 216/404 [46:18<37:14, 11.88s/it][A + mmlu_uk: 54%|██████████████████████████████████████████████████████████████▊ | 217/404 [46:30<37:08, 11.92s/it][A + mmlu_uk: 54%|███████████████████████████████████████████████████████████████▏ | 218/404 [46:42<37:08, 11.98s/it][A + mmlu_uk: 54%|███████████████████████████████████████████████████████████████▍ | 219/404 [46:55<37:31, 12.17s/it][A + mmlu_uk: 54%|███████████████████████████████████████████████████████████████▋ | 220/404 [47:07<37:18, 12.16s/it][A + mmlu_uk: 55%|████████████████████████████████████████████████████████████████ | 221/404 [47:20<38:02, 12.47s/it][A + mmlu_uk: 55%|████████████████████████████████████████████████████████████████▎ | 222/404 [47:34<38:52, 12.81s/it][A + mmlu_uk: 55%|████████████████████████████████████████████████████████████████▌ | 223/404 [47:47<38:51, 12.88s/it][A + mmlu_uk: 55%|████████████████████████████████████████████████████████████████▊ | 224/404 [48:01<40:01, 13.34s/it][A + mmlu_uk: 56%|█████████████████████████████████████████████████████████████████▏ | 225/404 [48:14<39:10, 13.13s/it][A + mmlu_uk: 56%|█████████████████████████████████████████████████████████████████▍ | 226/404 [48:26<38:22, 12.93s/it][A + mmlu_uk: 56%|█████████████████████████████████████████████████████████████████▋ | 227/404 [48:39<38:03, 12.90s/it][A + mmlu_uk: 56%|██████████████████████████████████████████████████████████████████ | 228/404 [48:51<37:12, 12.68s/it][A + mmlu_uk: 57%|██████████████████████████████████████████████████████████████████▎ | 229/404 [49:04<37:01, 12.69s/it][A + mmlu_uk: 57%|██████████████████████████████████████████████████████████████████▌ | 230/404 [49:16<36:16, 12.51s/it][A + mmlu_uk: 57%|██████████████████████████████████████████████████████████████████▉ | 231/404 [49:28<35:42, 12.39s/it][A + mmlu_uk: 57%|███████████████████████████████████████████████████████████████████▏ | 232/404 [49:41<36:08, 12.61s/it][A + mmlu_uk: 58%|███████████████████████████████████████████████████████████████████▍ | 233/404 [49:52<34:30, 12.11s/it][A + mmlu_uk: 58%|███████████████████████████████████████████████████████████████████▊ | 234/404 [50:07<36:46, 12.98s/it][A + mmlu_uk: 58%|████████████████████████████████████████████████████████████████████ | 235/404 [50:22<38:15, 13.58s/it][A + mmlu_uk: 58%|████████████████████████████████████████████████████████████████████▎ | 236/404 [50:34<36:46, 13.14s/it][A + mmlu_uk: 59%|████████████████████████████████████████████████████████████████████▋ | 237/404 [50:47<36:17, 13.04s/it][A + mmlu_uk: 59%|████████████████████████████████████████████████████████████████████▉ | 238/404 [51:00<36:06, 13.05s/it][A + mmlu_uk: 59%|█████████████████████████████████████████████████████████████████████▏ | 239/404 [51:13<35:44, 12.99s/it][A + mmlu_uk: 59%|█████████████████████████████████████████████████████████████████████▌ | 240/404 [51:26<35:16, 12.91s/it][A + mmlu_uk: 60%|█████████████████████████████████████████████████████████████████████▊ | 241/404 [51:37<33:27, 12.31s/it][A + mmlu_uk: 60%|██████████████████████████████████████████████████████████████████████ | 242/404 [51:48<32:47, 12.14s/it][A + mmlu_uk: 60%|██████████████████████████████████████████████████████████████████████▎ | 243/404 [52:01<32:37, 12.16s/it][A + mmlu_uk: 60%|██████████████████████████████████████████████████████████████████████▋ | 244/404 [52:12<32:05, 12.04s/it][A + mmlu_uk: 61%|██████████████████████████████████████████████████████████████████████▉ | 245/404 [52:25<32:29, 12.26s/it][A + mmlu_uk: 61%|███████████████████████████████████████████████████████████████████████▏ | 246/404 [52:40<34:08, 12.97s/it][A + mmlu_uk: 61%|███████████████████████████████████████████████████████████████████████▌ | 247/404 [52:50<32:08, 12.28s/it][A + mmlu_uk: 61%|███████████████████████████████████████████████████████████████████████▊ | 248/404 [53:06<34:30, 13.27s/it][A + mmlu_uk: 62%|████████████████████████████████████████████████████████████████████████ | 249/404 [53:18<33:11, 12.85s/it][A + mmlu_uk: 62%|████████████████████████████████████████████████████████████████████████▍ | 250/404 [53:30<32:25, 12.63s/it][A + mmlu_uk: 62%|████████████████████████████████████████████████████████████████████████▋ | 251/404 [53:42<31:27, 12.34s/it][A + mmlu_uk: 62%|████████████████████████████████████████████████████████████████████████▉ | 252/404 [53:54<31:31, 12.44s/it][A + mmlu_uk: 63%|█████████████████████████████████████████████████████████████████████████▎ | 253/404 [54:06<31:08, 12.37s/it][A + mmlu_uk: 63%|█████████████████████████████████████████████████████████████████████████▌ | 254/404 [54:19<31:07, 12.45s/it][A + mmlu_uk: 63%|█████████████████████████████████████████████████████████████████████████▊ | 255/404 [54:32<31:24, 12.65s/it][A + mmlu_uk: 63%|██████████████████████████████████████████████████████████████████████████▏ | 256/404 [54:45<31:34, 12.80s/it][A + mmlu_uk: 64%|██████████████████████████████████████████████████████████████████████████▍ | 257/404 [55:01<33:12, 13.56s/it][A + mmlu_uk: 64%|██████████████████████████████████████████████████████████████████████████▋ | 258/404 [55:13<32:24, 13.32s/it][A + mmlu_uk: 64%|███████████████████████████████████████████████████████████████████████████ | 259/404 [55:26<31:52, 13.19s/it][A + mmlu_uk: 64%|███████████████████████████████████████████████████████████████████████████▎ | 260/404 [55:41<32:53, 13.70s/it][A + mmlu_uk: 65%|███████████████████████████████████████████████████████████████████████████▌ | 261/404 [55:54<31:41, 13.30s/it][A + mmlu_uk: 65%|███████████████████████████████████████████████████████████████████████████▉ | 262/404 [56:04<29:37, 12.52s/it][A + mmlu_uk: 65%|████████████████████████████████████████████████████████████████████████████▏ | 263/404 [56:17<29:16, 12.45s/it][A + mmlu_uk: 65%|████████████████████████████████████████████████████████████████████████████▍ | 264/404 [56:29<29:07, 12.49s/it][A + mmlu_uk: 66%|████████████████████████████████████████████████████████████████████████████▋ | 265/404 [56:41<28:47, 12.43s/it][A + mmlu_uk: 66%|█████████████████████████████████████████████████████████████████████████████ | 266/404 [56:54<28:25, 12.36s/it][A + mmlu_uk: 66%|█████████████████████████████████████████████████████████████████████████████▎ | 267/404 [57:05<27:21, 11.98s/it][A + mmlu_uk: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 268/404 [57:20<29:32, 13.03s/it][A + mmlu_uk: 67%|█████████████████████████████████████████████████████████████████████████████▉ | 269/404 [57:32<28:40, 12.74s/it][A + mmlu_uk: 67%|██████████████████████████████████████████████████████████████████████████████▏ | 270/404 [57:46<28:57, 12.97s/it][A + mmlu_uk: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 271/404 [58:00<29:27, 13.29s/it][A + mmlu_uk: 67%|██████████████████████████████████████████████████████████████████████████████▊ | 272/404 [58:11<27:54, 12.69s/it][A + mmlu_uk: 68%|███████████████████████████████████████████████████████████████████████████████ | 273/404 [58:21<26:04, 11.94s/it][A + mmlu_uk: 68%|███████████████████████████████████████████████████████████████████████████████▎ | 274/404 [58:33<25:54, 11.96s/it][A + mmlu_uk: 68%|███████████████████████████████████████████████████████████████████████████████▋ | 275/404 [58:44<25:11, 11.72s/it][A + mmlu_uk: 68%|███████████████████████████████████████████████████████████████████████████████▉ | 276/404 [58:56<25:04, 11.76s/it][A + mmlu_uk: 69%|████████████████████████████████████████████████████████████████████████████████▏ | 277/404 [59:09<25:39, 12.12s/it][A + mmlu_uk: 69%|████████████████████████████████████████████████████████████████████████████████▌ | 278/404 [59:22<26:03, 12.41s/it][A + mmlu_uk: 69%|████████████████████████████████████████████████████████████████████████████████▊ | 279/404 [59:36<26:18, 12.63s/it][A + mmlu_uk: 69%|█████████████████████████████████████████████████████████████████████████████████ | 280/404 [59:50<27:31, 13.32s/it][A + mmlu_uk: 70%|███████████████████████████████████████████████████████████████████████████████▉ | 281/404 [1:00:02<26:11, 12.77s/it][A + mmlu_uk: 70%|████████████████████████████████████████████████████████████████████████████████▎ | 282/404 [1:00:17<27:12, 13.38s/it][A + mmlu_uk: 70%|████████████████████████████████████████████████████████████████████████████████▌ | 283/404 [1:00:29<26:13, 13.01s/it][A + mmlu_uk: 70%|████████████████████████████████████████████████████████████████████████████████▊ | 284/404 [1:00:41<25:31, 12.76s/it][A + mmlu_uk: 71%|█████████████████████████████████████████████████████████████████████████████████▏ | 285/404 [1:00:54<25:19, 12.77s/it][A + mmlu_uk: 71%|█████████████████████████████████████████████████████████████████████████████████▍ | 286/404 [1:01:06<24:52, 12.65s/it][A + mmlu_uk: 71%|█████████████████████████████████████████████████████████████████████████████████▋ | 287/404 [1:01:19<24:36, 12.62s/it][A + mmlu_uk: 71%|█████████████████████████████████████████████████████████████████████████████████▉ | 288/404 [1:01:32<24:30, 12.68s/it][A + mmlu_uk: 72%|██████████████████████████████████████████████████████████████████████████████████▎ | 289/404 [1:01:43<23:50, 12.44s/it][A + mmlu_uk: 72%|██████████████████████████████████████████████████████████████████████████████████▌ | 290/404 [1:01:57<24:29, 12.89s/it][A + mmlu_uk: 72%|██████████████████████████████████████████████████████████████████████████████████▊ | 291/404 [1:02:12<25:08, 13.35s/it][A + mmlu_uk: 72%|███████████████████████████████████████████████████████████████████████████████████ | 292/404 [1:02:28<26:19, 14.10s/it][A + mmlu_uk: 73%|███████████████████████████████████████████████████████████████████████████████████▍ | 293/404 [1:02:37<23:39, 12.78s/it][A + mmlu_uk: 73%|███████████████████████████████████████████████████████████████████████████████████▋ | 294/404 [1:02:51<23:45, 12.95s/it][A + mmlu_uk: 73%|███████████████████████████████████████████████████████████████████████████████████▉ | 295/404 [1:03:04<23:40, 13.03s/it][A + mmlu_uk: 73%|████████████████████████████████████████████████████████████████████████████████████▎ | 296/404 [1:03:19<24:26, 13.58s/it][A + mmlu_uk: 74%|████████████████████████████████████████████████████████████████████████████████████▌ | 297/404 [1:03:33<24:23, 13.67s/it][A + mmlu_uk: 74%|████████████████████████████████████████████████████████████████████████████████████▊ | 298/404 [1:03:46<23:56, 13.56s/it][A + mmlu_uk: 74%|█████████████████████████████████████████████████████████████████████████████████████ | 299/404 [1:03:59<23:30, 13.43s/it][A + mmlu_uk: 74%|█████████████████████████████████████████████████████████████████████████████████████▍ | 300/404 [1:04:12<23:04, 13.31s/it][A + mmlu_uk: 75%|█████████████████████████████████████████████████████████████████████████████████████▋ | 301/404 [1:04:24<22:04, 12.86s/it][A + mmlu_uk: 75%|█████████████████████████████████████████████████████████████████████████████████████▉ | 302/404 [1:04:36<21:21, 12.57s/it][A + mmlu_uk: 75%|██████████████████████████████████████████████████████████████████████████████████████▎ | 303/404 [1:04:46<20:09, 11.98s/it][A + mmlu_uk: 75%|██████████████████████████████████████████████████████████████████████████████████████▌ | 304/404 [1:05:00<20:31, 12.31s/it][A + mmlu_uk: 75%|██████████████████████████████████████████████████████████████████████████████████████▊ | 305/404 [1:05:11<19:40, 11.92s/it][A + mmlu_uk: 76%|███████████████████████████████████████████████████████████████████████████████████████ | 306/404 [1:05:25<20:46, 12.72s/it][A + mmlu_uk: 76%|███████████████████████████████████████████████████████████████████████████████████████▍ | 307/404 [1:05:36<19:50, 12.27s/it][A + mmlu_uk: 76%|███████████████████████████████████████████████████████████████████████████████████████▋ | 308/404 [1:05:49<19:46, 12.36s/it][A + mmlu_uk: 76%|███████████████████████████████████████████████████████████████████████████████████████▉ | 309/404 [1:06:01<19:34, 12.36s/it][A + mmlu_uk: 77%|████████████████████████████████████████████████████████████████████████████████████████▏ | 310/404 [1:06:16<20:31, 13.10s/it][A + mmlu_uk: 77%|████████████████████████████████████████████████████████████████████████████████████████▌ | 311/404 [1:06:28<19:51, 12.81s/it][A + mmlu_uk: 77%|████████████████████████████████████████████████████████████████████████████████████████▊ | 312/404 [1:06:41<19:45, 12.89s/it][A + mmlu_uk: 77%|█████████████████████████████████████████████████████████████████████████████████████████ | 313/404 [1:06:53<18:48, 12.40s/it][A + mmlu_uk: 78%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 314/404 [1:07:05<18:45, 12.51s/it][A + mmlu_uk: 78%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 315/404 [1:07:17<18:12, 12.28s/it][A + mmlu_uk: 78%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 316/404 [1:07:30<18:25, 12.56s/it][A + mmlu_uk: 78%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 317/404 [1:07:43<18:21, 12.66s/it][A + mmlu_uk: 79%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 318/404 [1:07:56<18:02, 12.59s/it][A + mmlu_uk: 79%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 319/404 [1:08:08<17:39, 12.47s/it][A + mmlu_uk: 79%|███████████████████████████████████████████████████████████████████████████████████████████ | 320/404 [1:08:24<19:01, 13.59s/it][A + mmlu_uk: 79%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 321/404 [1:08:36<18:19, 13.25s/it][A + mmlu_uk: 80%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 322/404 [1:08:48<17:31, 12.83s/it][A + mmlu_uk: 80%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 323/404 [1:08:59<16:24, 12.15s/it][A + mmlu_uk: 80%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 324/404 [1:09:11<16:18, 12.23s/it][A + mmlu_uk: 80%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 325/404 [1:09:24<16:20, 12.41s/it][A + mmlu_uk: 81%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 326/404 [1:09:35<15:40, 12.05s/it][A + mmlu_uk: 81%|█████████████████████████████████████████████████████████████████████████████████████████████ | 327/404 [1:09:48<15:51, 12.36s/it][A + mmlu_uk: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 328/404 [1:09:59<15:08, 11.95s/it][A + mmlu_uk: 81%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 329/404 [1:10:13<15:25, 12.34s/it][A + mmlu_uk: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 330/404 [1:10:24<14:45, 11.97s/it][A + mmlu_uk: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 331/404 [1:10:38<15:15, 12.53s/it][A + mmlu_uk: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 332/404 [1:10:51<15:24, 12.84s/it][A + mmlu_uk: 82%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 333/404 [1:11:04<15:12, 12.85s/it][A + mmlu_uk: 83%|███████████████████████████████████████████████████████████████████████████████████████████████ | 334/404 [1:11:16<14:33, 12.48s/it][A + mmlu_uk: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 335/404 [1:11:29<14:36, 12.70s/it][A + mmlu_uk: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 336/404 [1:11:40<13:50, 12.21s/it][A + mmlu_uk: 83%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 337/404 [1:11:53<13:55, 12.48s/it][A + mmlu_uk: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 338/404 [1:12:04<13:18, 12.09s/it][A + mmlu_uk: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 339/404 [1:12:19<14:03, 12.98s/it][A + mmlu_uk: 84%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 340/404 [1:12:33<14:02, 13.16s/it][A + mmlu_uk: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 341/404 [1:12:44<13:03, 12.44s/it][A + mmlu_uk: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 342/404 [1:12:57<13:00, 12.58s/it][A + mmlu_uk: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 343/404 [1:13:09<12:50, 12.64s/it][A + mmlu_uk: 85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 344/404 [1:13:22<12:30, 12.51s/it][A + mmlu_uk: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 345/404 [1:13:33<12:05, 12.30s/it][A + mmlu_uk: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 346/404 [1:13:46<11:51, 12.26s/it][A + mmlu_uk: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 347/404 [1:13:58<11:38, 12.25s/it][A + mmlu_uk: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 348/404 [1:14:12<11:58, 12.82s/it][A + mmlu_uk: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 349/404 [1:14:27<12:18, 13.44s/it][A + mmlu_uk: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 350/404 [1:14:41<12:13, 13.59s/it][A + mmlu_uk: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 351/404 [1:14:54<11:53, 13.46s/it][A + mmlu_uk: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 352/404 [1:15:08<11:45, 13.57s/it][A + mmlu_uk: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 353/404 [1:15:21<11:25, 13.44s/it][A + mmlu_uk: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 354/404 [1:15:34<11:12, 13.46s/it][A + mmlu_uk: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 355/404 [1:15:47<10:42, 13.11s/it][A + mmlu_uk: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 356/404 [1:16:01<10:46, 13.46s/it][A + mmlu_uk: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 357/404 [1:16:14<10:25, 13.32s/it][A + mmlu_uk: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 358/404 [1:16:25<09:37, 12.56s/it][A + mmlu_uk: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 359/404 [1:16:38<09:38, 12.86s/it][A + mmlu_uk: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 360/404 [1:16:49<09:02, 12.33s/it][A + mmlu_uk: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 361/404 [1:17:04<09:18, 12.99s/it][A + mmlu_uk: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 362/404 [1:17:17<09:01, 12.89s/it][A + mmlu_uk: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 363/404 [1:17:32<09:19, 13.64s/it][A + mmlu_uk: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 364/404 [1:17:43<08:35, 12.89s/it][A + mmlu_uk: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 365/404 [1:17:56<08:20, 12.84s/it][A + mmlu_uk: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 366/404 [1:18:06<07:43, 12.19s/it][A + mmlu_uk: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 367/404 [1:18:18<07:28, 12.13s/it][A + mmlu_uk: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 368/404 [1:18:34<07:53, 13.16s/it][A + mmlu_uk: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 369/404 [1:18:48<07:47, 13.35s/it][A + mmlu_uk: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 370/404 [1:19:00<07:23, 13.05s/it][A + mmlu_uk: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 371/404 [1:19:13<07:06, 12.94s/it][A + mmlu_uk: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 372/404 [1:19:23<06:24, 12.01s/it][A + mmlu_uk: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 373/404 [1:19:36<06:21, 12.32s/it][A + mmlu_uk: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 374/404 [1:19:46<05:54, 11.80s/it][A + mmlu_uk: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 375/404 [1:19:59<05:45, 11.91s/it][A + mmlu_uk: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 376/404 [1:20:10<05:29, 11.79s/it][A + mmlu_uk: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 377/404 [1:20:23<05:26, 12.09s/it][A + mmlu_uk: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 378/404 [1:20:37<05:33, 12.81s/it][A + mmlu_uk: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 379/404 [1:20:50<05:17, 12.70s/it][A + mmlu_uk: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 380/404 [1:21:02<04:59, 12.46s/it][A + mmlu_uk: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 381/404 [1:21:13<04:42, 12.27s/it][A + mmlu_uk: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 382/404 [1:21:27<04:39, 12.71s/it][A + mmlu_uk: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 383/404 [1:21:39<04:20, 12.39s/it][A + mmlu_uk: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 384/404 [1:21:50<04:02, 12.12s/it][A + mmlu_uk: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 385/404 [1:22:03<03:51, 12.19s/it][A + mmlu_uk: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 386/404 [1:22:16<03:44, 12.50s/it][A + mmlu_uk: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 387/404 [1:22:28<03:28, 12.25s/it][A + mmlu_uk: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 388/404 [1:22:41<03:23, 12.72s/it][A + mmlu_uk: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 389/404 [1:22:53<03:04, 12.27s/it][A + mmlu_uk: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 390/404 [1:23:07<03:00, 12.89s/it][A + mmlu_uk: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 391/404 [1:23:19<02:43, 12.61s/it][A + mmlu_uk: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 392/404 [1:23:32<02:32, 12.69s/it][A + mmlu_uk: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 393/404 [1:23:47<02:27, 13.39s/it][A + mmlu_uk: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 394/404 [1:24:00<02:12, 13.27s/it][A + mmlu_uk: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 395/404 [1:24:12<01:56, 12.94s/it][A + mmlu_uk: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 396/404 [1:24:24<01:40, 12.59s/it][A + mmlu_uk: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 397/404 [1:24:37<01:29, 12.76s/it][A + mmlu_uk: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 398/404 [1:24:51<01:18, 13.13s/it][A + mmlu_uk: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 399/404 [1:25:04<01:05, 13.18s/it][A + mmlu_uk: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 400/404 [1:25:16<00:51, 12.77s/it][A + mmlu_uk: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 401/404 [1:25:30<00:39, 13.25s/it][A + mmlu_uk: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 402/404 [1:25:42<00:25, 12.85s/it][A + mmlu_uk: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 403/404 [1:25:55<00:12, 12.87s/it][A + mmlu_uk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:26:03<00:00, 11.46s/it][A mmlu_uk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:26:03<00:00, 12.78s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_uk_acc 0.28824850879231545 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_uk_acc_norm 0.2943682701990859 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 03:10:23,608 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 03:10:23,608 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:23,739 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 03:10:23,739 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:23,869 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 03:10:23,869 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:24,000 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 03:10:24,001 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 03:10:24,001 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 03:10:24,133 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 03:10:24,133 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_uk_acc'} +2024-06-01 03:10:24,209 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 03:10:24,209 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1259, 'value': 0.28824850879231545} +2024-06-01 03:10:24,276 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 03:10:24,939 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 03:10:24,939 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:25,070 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 03:10:25,070 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:25,200 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 03:10:25,200 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:25,331 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 03:10:25,332 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 03:10:25,332 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 03:10:25,463 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 03:10:25,463 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_uk_acc_norm'} +2024-06-01 03:10:25,530 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 03:10:25,530 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1260, 'value': 0.2943682701990859} +2024-06-01 03:10:25,596 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 73%|███████████████████████████████████████████████████████████████████████████████▎ | 91/124 [68:22:54<41:23:48, 4516.01s/it]['mmlu_vi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 03:10:26,254 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 03:10:26,254 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:26,383 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 03:10:26,383 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:26,513 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 03:10:26,513 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 03:10:26,642 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 03:10:26,643 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 03:10:26,643 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_vi'} +2024-06-01 03:10:26,774 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_vi task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1 examples [00:00, 7.84 examples/s][A + Generating test split: 3323 examples [00:00, 17547.62 examples/s][A + Generating test split: 6801 examples [00:00, 24727.62 examples/s][A + Generating test split: 10000 examples [00:00, 27419.84 examples/s][A Generating test split: 13062 examples [00:00, 24674.07 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 271 examples [00:00, 25996.17 examples/s] +Running loglikelihood requests + + mmlu_vi: 0%| | 0/409 [00:00<?, ?it/s][A + mmlu_vi: 0%|▎ | 1/409 [00:10<1:08:55, 10.14s/it][A + mmlu_vi: 0%|▌ | 2/409 [00:20<1:09:11, 10.20s/it][A + mmlu_vi: 1%|▊ | 3/409 [00:29<1:06:50, 9.88s/it][A + mmlu_vi: 1%|█▏ | 4/409 [00:42<1:12:51, 10.79s/it][A + mmlu_vi: 1%|█▍ | 5/409 [00:51<1:08:48, 10.22s/it][A + mmlu_vi: 1%|█▋ | 6/409 [01:01<1:07:31, 10.05s/it][A + mmlu_vi: 2%|██ | 7/409 [01:12<1:09:53, 10.43s/it][A + mmlu_vi: 2%|██▎ | 8/409 [01:22<1:10:12, 10.51s/it][A + mmlu_vi: 2%|██▌ | 9/409 [01:33<1:09:24, 10.41s/it][A + mmlu_vi: 2%|██▊ | 10/409 [01:43<1:08:37, 10.32s/it][A + mmlu_vi: 3%|███ | 11/409 [01:52<1:06:51, 10.08s/it][A + mmlu_vi: 3%|███▍ | 12/409 [02:03<1:08:04, 10.29s/it][A + mmlu_vi: 3%|███▋ | 13/409 [02:13<1:06:58, 10.15s/it][A + mmlu_vi: 3%|███▉ | 14/409 [02:23<1:07:27, 10.25s/it][A + mmlu_vi: 4%|████▎ | 15/409 [02:33<1:07:06, 10.22s/it][A + mmlu_vi: 4%|████▌ | 16/409 [02:43<1:06:22, 10.13s/it][A + mmlu_vi: 4%|████▊ | 17/409 [02:52<1:04:06, 9.81s/it][A + mmlu_vi: 4%|█████ | 18/409 [03:04<1:08:12, 10.47s/it][A + mmlu_vi: 5%|█████▍ | 19/409 [03:13<1:05:08, 10.02s/it][A + mmlu_vi: 5%|█████▋ | 20/409 [03:24<1:06:33, 10.27s/it][A + mmlu_vi: 5%|█████▉ | 21/409 [03:35<1:07:03, 10.37s/it][A + mmlu_vi: 5%|██████▏ | 22/409 [03:44<1:05:21, 10.13s/it][A + mmlu_vi: 6%|██████▌ | 23/409 [03:54<1:04:42, 10.06s/it][A + mmlu_vi: 6%|██████▊ | 24/409 [04:05<1:05:34, 10.22s/it][A + mmlu_vi: 6%|███████ | 25/409 [04:15<1:04:44, 10.12s/it][A + mmlu_vi: 6%|███████▎ | 26/409 [04:25<1:05:27, 10.25s/it][A + mmlu_vi: 7%|███████▋ | 27/409 [04:34<1:01:51, 9.71s/it][A + mmlu_vi: 7%|███████▉ | 28/409 [04:43<1:01:22, 9.66s/it][A + mmlu_vi: 7%|████████▏ | 29/409 [04:53<1:00:58, 9.63s/it][A + mmlu_vi: 7%|████████▌ | 30/409 [05:04<1:04:09, 10.16s/it][A + mmlu_vi: 8%|████████▉ | 31/409 [05:12<59:52, 9.50s/it][A + mmlu_vi: 8%|█████████▏ | 32/409 [05:21<58:40, 9.34s/it][A + mmlu_vi: 8%|█████████▎ | 33/409 [05:33<1:03:15, 10.10s/it][A + mmlu_vi: 8%|█████████▋ | 34/409 [05:42<1:00:54, 9.74s/it][A + mmlu_vi: 9%|█████████▉ | 35/409 [05:54<1:04:22, 10.33s/it][A + mmlu_vi: 9%|██████████▏ | 36/409 [06:05<1:06:18, 10.67s/it][A + mmlu_vi: 9%|██████████▍ | 37/409 [06:16<1:05:53, 10.63s/it][A + mmlu_vi: 9%|██████████▊ | 38/409 [06:26<1:05:14, 10.55s/it][A + mmlu_vi: 10%|███████████ | 39/409 [06:35<1:01:21, 9.95s/it][A + mmlu_vi: 10%|███████████▎ | 40/409 [06:45<1:01:52, 10.06s/it][A + mmlu_vi: 10%|███████████▋ | 41/409 [06:57<1:05:44, 10.72s/it][A + mmlu_vi: 10%|███████████▉ | 42/409 [07:07<1:04:22, 10.52s/it][A + mmlu_vi: 11%|████████████▏ | 43/409 [07:18<1:05:10, 10.69s/it][A + mmlu_vi: 11%|████████████▍ | 44/409 [07:30<1:07:32, 11.10s/it][A + mmlu_vi: 11%|████████████▊ | 45/409 [07:40<1:03:48, 10.52s/it][A + mmlu_vi: 11%|█████████████ | 46/409 [07:49<1:01:16, 10.13s/it][A + mmlu_vi: 11%|█████████████▎ | 47/409 [07:59<1:01:23, 10.17s/it][A + mmlu_vi: 12%|█████████████▌ | 48/409 [08:09<1:01:11, 10.17s/it][A + mmlu_vi: 12%|██████████████▏ | 49/409 [08:19<59:44, 9.96s/it][A + mmlu_vi: 12%|██████████████▏ | 50/409 [08:32<1:04:50, 10.84s/it][A + mmlu_vi: 12%|██████████████▍ | 51/409 [08:42<1:04:05, 10.74s/it][A + mmlu_vi: 13%|██████████████▋ | 52/409 [08:54<1:05:20, 10.98s/it][A + mmlu_vi: 13%|███████████████ | 53/409 [09:03<1:02:29, 10.53s/it][A + mmlu_vi: 13%|███████████████▎ | 54/409 [09:13<1:01:10, 10.34s/it][A + mmlu_vi: 13%|███████████████▌ | 55/409 [09:23<1:00:15, 10.21s/it][A + mmlu_vi: 14%|████████████████▏ | 56/409 [09:33<59:55, 10.19s/it][A + mmlu_vi: 14%|████████████████▍ | 57/409 [09:43<58:36, 9.99s/it][A + mmlu_vi: 14%|████████████████▋ | 58/409 [09:53<58:59, 10.08s/it][A + mmlu_vi: 14%|█████████████████ | 59/409 [10:03<58:32, 10.04s/it][A + mmlu_vi: 15%|█████████████████ | 60/409 [10:14<1:00:48, 10.45s/it][A + mmlu_vi: 15%|█████████████████▌ | 61/409 [10:24<59:09, 10.20s/it][A + mmlu_vi: 15%|█████████████████▉ | 62/409 [10:34<58:49, 10.17s/it][A + mmlu_vi: 15%|██████████████████▏ | 63/409 [10:44<57:34, 9.98s/it][A + mmlu_vi: 16%|██████████████████▍ | 64/409 [10:53<56:54, 9.90s/it][A + mmlu_vi: 16%|██████████████████▊ | 65/409 [11:03<56:52, 9.92s/it][A + mmlu_vi: 16%|███████████████████ | 66/409 [11:14<58:17, 10.20s/it][A + mmlu_vi: 16%|███████████████████ | 67/409 [11:26<1:01:01, 10.71s/it][A + mmlu_vi: 17%|███████████████████▌ | 68/409 [11:35<58:13, 10.25s/it][A + mmlu_vi: 17%|███████████████████▉ | 69/409 [11:44<55:55, 9.87s/it][A + mmlu_vi: 17%|████████████████████▏ | 70/409 [11:52<53:04, 9.39s/it][A + mmlu_vi: 17%|████████████████████▍ | 71/409 [12:03<55:11, 9.80s/it][A + mmlu_vi: 18%|████████████████████▊ | 72/409 [12:13<54:48, 9.76s/it][A + mmlu_vi: 18%|█████████████████████ | 73/409 [12:23<55:53, 9.98s/it][A + mmlu_vi: 18%|█████████████████████▎ | 74/409 [12:33<54:59, 9.85s/it][A + mmlu_vi: 18%|█████████████████████▋ | 75/409 [12:43<55:33, 9.98s/it][A + mmlu_vi: 19%|█████████████████████▉ | 76/409 [12:55<58:36, 10.56s/it][A + mmlu_vi: 19%|██████████████████████▏ | 77/409 [13:06<58:43, 10.61s/it][A + mmlu_vi: 19%|██████████████████████▌ | 78/409 [13:14<55:23, 10.04s/it][A + mmlu_vi: 19%|██████████████████████▊ | 79/409 [13:24<54:19, 9.88s/it][A + mmlu_vi: 20%|███████████████████████ | 80/409 [13:33<53:07, 9.69s/it][A + mmlu_vi: 20%|███████████████████████▎ | 81/409 [13:45<55:42, 10.19s/it][A + mmlu_vi: 20%|███████████████████████▋ | 82/409 [13:55<55:21, 10.16s/it][A + mmlu_vi: 20%|███████████████████████▉ | 83/409 [14:05<56:02, 10.31s/it][A + mmlu_vi: 21%|████████████████████████▏ | 84/409 [14:14<53:42, 9.92s/it][A + mmlu_vi: 21%|████████████████████████▌ | 85/409 [14:25<55:00, 10.19s/it][A + mmlu_vi: 21%|████████████████████████▊ | 86/409 [14:35<54:47, 10.18s/it][A + mmlu_vi: 21%|█████████████████████████ | 87/409 [14:46<55:24, 10.32s/it][A + mmlu_vi: 22%|█████████████████████████▍ | 88/409 [14:55<53:35, 10.02s/it][A + mmlu_vi: 22%|█████████████████████████▋ | 89/409 [15:04<50:39, 9.50s/it][A + mmlu_vi: 22%|█████████████████████████▉ | 90/409 [15:13<49:47, 9.36s/it][A + mmlu_vi: 22%|██████████████████████████▎ | 91/409 [15:23<50:58, 9.62s/it][A + mmlu_vi: 22%|██████████████████████████▌ | 92/409 [15:33<52:25, 9.92s/it][A + mmlu_vi: 23%|██████████████████████████▊ | 93/409 [15:44<52:45, 10.02s/it][A + mmlu_vi: 23%|███████████████████████████ | 94/409 [15:53<51:47, 9.87s/it][A + mmlu_vi: 23%|███████████████████████████▍ | 95/409 [16:05<54:49, 10.48s/it][A + mmlu_vi: 23%|███████████████████████████▋ | 96/409 [16:17<57:26, 11.01s/it][A + mmlu_vi: 24%|███████████████████████████▉ | 97/409 [16:28<56:33, 10.88s/it][A + mmlu_vi: 24%|████████████████████████████▎ | 98/409 [16:38<55:14, 10.66s/it][A + mmlu_vi: 24%|████████████████████████████▌ | 99/409 [16:47<53:02, 10.27s/it][A + mmlu_vi: 24%|████████████████████████████▌ | 100/409 [16:56<50:10, 9.74s/it][A + mmlu_vi: 25%|████████████████████████████▉ | 101/409 [17:06<50:14, 9.79s/it][A + mmlu_vi: 25%|█████████████████████████████▏ | 102/409 [17:16<50:47, 9.93s/it][A + mmlu_vi: 25%|█████████████████████████████▍ | 103/409 [17:25<48:46, 9.56s/it][A + mmlu_vi: 25%|█████████████████████████████▊ | 104/409 [17:37<52:09, 10.26s/it][A + mmlu_vi: 26%|██████████████████████████████ | 105/409 [17:49<55:35, 10.97s/it][A + mmlu_vi: 26%|██████████████████████████████▎ | 106/409 [17:59<53:50, 10.66s/it][A + mmlu_vi: 26%|██████████████████████████████▌ | 107/409 [18:08<50:29, 10.03s/it][A + mmlu_vi: 26%|██████████████████████████████▉ | 108/409 [18:20<52:57, 10.56s/it][A + mmlu_vi: 27%|███████████████████████████████▏ | 109/409 [18:32<55:04, 11.02s/it][A + mmlu_vi: 27%|███████████████████████████████▍ | 110/409 [18:41<53:06, 10.66s/it][A + mmlu_vi: 27%|███████████████████████████████▊ | 111/409 [18:51<51:21, 10.34s/it][A + mmlu_vi: 27%|████████████████████████████████ | 112/409 [19:01<50:14, 10.15s/it][A + mmlu_vi: 28%|████████████████████████████████▎ | 113/409 [19:14<55:06, 11.17s/it][A + mmlu_vi: 28%|████████████████████████████████▌ | 114/409 [19:24<53:23, 10.86s/it][A + mmlu_vi: 28%|████████████████████████████████▉ | 115/409 [19:35<53:13, 10.86s/it][A + mmlu_vi: 28%|█████████████████████████████████▏ | 116/409 [19:46<52:27, 10.74s/it][A + mmlu_vi: 29%|█████████████████████████████████▍ | 117/409 [19:55<49:44, 10.22s/it][A + mmlu_vi: 29%|█████████████████████████████████▊ | 118/409 [20:06<50:52, 10.49s/it][A + mmlu_vi: 29%|██████████████████████████████████ | 119/409 [20:16<49:47, 10.30s/it][A + mmlu_vi: 29%|██████████████████████████████████▎ | 120/409 [20:26<48:48, 10.13s/it][A + mmlu_vi: 30%|██████████████████████████████████▌ | 121/409 [20:37<50:48, 10.59s/it][A + mmlu_vi: 30%|██████████████████████████████████▉ | 122/409 [20:46<48:40, 10.18s/it][A + mmlu_vi: 30%|███████████████████████████████████▏ | 123/409 [20:57<48:45, 10.23s/it][A + mmlu_vi: 30%|███████████████████████████████████▍ | 124/409 [21:07<48:03, 10.12s/it][A + mmlu_vi: 31%|███████████████████████████████████▊ | 125/409 [21:18<49:08, 10.38s/it][A + mmlu_vi: 31%|████████████████████████████████████ | 126/409 [21:28<48:37, 10.31s/it][A + mmlu_vi: 31%|████████████████████████████████████▎ | 127/409 [21:38<48:22, 10.29s/it][A + mmlu_vi: 31%|████████████████████████████████████▌ | 128/409 [21:49<48:55, 10.45s/it][A + mmlu_vi: 32%|████████████████████████████████████▉ | 129/409 [21:59<48:01, 10.29s/it][A + mmlu_vi: 32%|█████████████████████████████████████▏ | 130/409 [22:09<47:29, 10.21s/it][A + mmlu_vi: 32%|█████████████████████████████████████▍ | 131/409 [22:18<45:51, 9.90s/it][A + mmlu_vi: 32%|█████████████████████████████████████▊ | 132/409 [22:31<49:37, 10.75s/it][A + mmlu_vi: 33%|██████████████████████████████████████ | 133/409 [22:41<48:42, 10.59s/it][A + mmlu_vi: 33%|██████████████████████████████████████▎ | 134/409 [22:53<50:14, 10.96s/it][A + mmlu_vi: 33%|██████████████████████████████████████▌ | 135/409 [23:08<56:03, 12.27s/it][A + mmlu_vi: 33%|██████████████████████████████████████▉ | 136/409 [23:17<50:39, 11.14s/it][A + mmlu_vi: 33%|███████████████████████████████████████▏ | 137/409 [23:26<48:47, 10.76s/it][A + mmlu_vi: 34%|███████████████████████████████████████▍ | 138/409 [23:36<47:21, 10.48s/it][A + mmlu_vi: 34%|███████████████████████████████████████▊ | 139/409 [23:47<47:11, 10.49s/it][A + mmlu_vi: 34%|████████████████████████████████████████ | 140/409 [23:57<46:32, 10.38s/it][A + mmlu_vi: 34%|████████████████████████████████████████▎ | 141/409 [24:07<46:12, 10.35s/it][A + mmlu_vi: 35%|████████████████████████████████████████▌ | 142/409 [24:19<47:31, 10.68s/it][A + mmlu_vi: 35%|████████████████████████████████████████▉ | 143/409 [24:29<47:26, 10.70s/it][A + mmlu_vi: 35%|█████████████████████████████████████████▏ | 144/409 [24:39<46:23, 10.50s/it][A + mmlu_vi: 35%|█████████████████████████████████████████▍ | 145/409 [24:51<47:23, 10.77s/it][A + mmlu_vi: 36%|█████████████████████████████████████████▊ | 146/409 [25:01<46:22, 10.58s/it][A + mmlu_vi: 36%|██████████████████████████████████████████ | 147/409 [25:11<45:31, 10.42s/it][A + mmlu_vi: 36%|██████████████████████████████████████████▎ | 148/409 [25:23<46:48, 10.76s/it][A + mmlu_vi: 36%|██████████████████████████████████████████▌ | 149/409 [25:31<43:11, 9.97s/it][A + mmlu_vi: 37%|██████████████████████████████████████████▉ | 150/409 [25:41<43:18, 10.03s/it][A + mmlu_vi: 37%|███████████████████████████████████████████▏ | 151/409 [25:51<43:58, 10.23s/it][A + mmlu_vi: 37%|███████████████████████████████████████████▍ | 152/409 [26:00<41:45, 9.75s/it][A + mmlu_vi: 37%|███████████████████████████████████████████▊ | 153/409 [26:10<41:22, 9.70s/it][A + mmlu_vi: 38%|████████████████████████████████████████████ | 154/409 [26:21<43:16, 10.18s/it][A + mmlu_vi: 38%|████████████████████████████████████████████▎ | 155/409 [26:31<43:12, 10.21s/it][A + mmlu_vi: 38%|████████████████████████████████████████████▋ | 156/409 [26:40<41:24, 9.82s/it][A + mmlu_vi: 38%|████████████████████████████████████████████▉ | 157/409 [26:51<42:27, 10.11s/it][A + mmlu_vi: 39%|█████████████████████████████████████████████▏ | 158/409 [27:02<43:13, 10.33s/it][A + mmlu_vi: 39%|█████████████████████████████████████████████▍ | 159/409 [27:13<43:44, 10.50s/it][A + mmlu_vi: 39%|█████████████████████████████████████████████▊ | 160/409 [27:25<45:58, 11.08s/it][A + mmlu_vi: 39%|██████████████████████████████████████████████ | 161/409 [27:36<45:30, 11.01s/it][A + mmlu_vi: 40%|██████████████████████████████████████████████▎ | 162/409 [27:47<45:32, 11.06s/it][A + mmlu_vi: 40%|██████████████████████████████████████████████▋ | 163/409 [27:57<43:47, 10.68s/it][A + mmlu_vi: 40%|██████████████████████████████████████████████▉ | 164/409 [28:06<42:04, 10.30s/it][A + mmlu_vi: 40%|███████████████████████████████████████████████▏ | 165/409 [28:17<42:10, 10.37s/it][A + mmlu_vi: 41%|███████████████████████████████████████████████▍ | 166/409 [28:28<42:33, 10.51s/it][A + mmlu_vi: 41%|███████████████████████████████████████████████▊ | 167/409 [28:36<40:09, 9.95s/it][A + mmlu_vi: 41%|████████████████████████████████████████████████ | 168/409 [28:46<39:52, 9.93s/it][A + mmlu_vi: 41%|████████████████████████████████████████████████▎ | 169/409 [28:58<42:07, 10.53s/it][A + mmlu_vi: 42%|████████████████████████████████████████████████▋ | 170/409 [29:09<41:53, 10.52s/it][A + mmlu_vi: 42%|████████████████████████████████████████████████▉ | 171/409 [29:19<41:53, 10.56s/it][A + mmlu_vi: 42%|█████████████████████████████████████████████████▏ | 172/409 [29:29<40:26, 10.24s/it][A + mmlu_vi: 42%|█████████████████████████████████████████████████▍ | 173/409 [29:39<39:52, 10.14s/it][A + mmlu_vi: 43%|█████████████████████████████████████████████████▊ | 174/409 [29:51<41:41, 10.64s/it][A + mmlu_vi: 43%|██████████████████████████████████████████████████ | 175/409 [30:01<41:10, 10.56s/it][A + mmlu_vi: 43%|██████████████████████████████████████████████████▎ | 176/409 [30:13<42:11, 10.87s/it][A + mmlu_vi: 43%|██████████████████████████████████████████████████▋ | 177/409 [30:23<41:29, 10.73s/it][A + mmlu_vi: 44%|██████████████████████████████████████████████████▉ | 178/409 [30:32<39:13, 10.19s/it][A + mmlu_vi: 44%|███████████████████████████████████████████████████▏ | 179/409 [30:43<40:08, 10.47s/it][A + mmlu_vi: 44%|███████████████████████████████████████████████████▍ | 180/409 [30:55<41:21, 10.84s/it][A + mmlu_vi: 44%|███████████████████████████████████████████████████▊ | 181/409 [31:05<40:42, 10.71s/it][A + mmlu_vi: 44%|████████████████████████████████████████████████████ | 182/409 [31:14<38:42, 10.23s/it][A + mmlu_vi: 45%|████████████████████████████████████████████████████▎ | 183/409 [31:25<38:45, 10.29s/it][A + mmlu_vi: 45%|████████████████████████████████████████████████████▋ | 184/409 [31:34<38:01, 10.14s/it][A + mmlu_vi: 45%|████████████████████████████████████████████████████▉ | 185/409 [31:44<36:42, 9.83s/it][A + mmlu_vi: 45%|█████████████████████████████████████████████████████▏ | 186/409 [31:52<35:30, 9.55s/it][A + mmlu_vi: 46%|█████████████████████████████████████████████████████▍ | 187/409 [32:02<35:32, 9.61s/it][A + mmlu_vi: 46%|█████████████████████████████████████████████████████▊ | 188/409 [32:11<34:49, 9.45s/it][A + mmlu_vi: 46%|██████████████████████████████████████████████████████ | 189/409 [32:22<36:04, 9.84s/it][A + mmlu_vi: 46%|██████████████████████████████████████████████████████▎ | 190/409 [32:33<36:39, 10.04s/it][A + mmlu_vi: 47%|██████████████████████████████████████████████████████▋ | 191/409 [32:42<35:20, 9.73s/it][A + mmlu_vi: 47%|██████████████████████████████████████████████████████▉ | 192/409 [32:51<34:29, 9.54s/it][A + mmlu_vi: 47%|███████████████████████████████████████████████████████▏ | 193/409 [32:59<32:43, 9.09s/it][A + mmlu_vi: 47%|███████████████████████████████████████████████████████▍ | 194/409 [33:10<34:41, 9.68s/it][A + mmlu_vi: 48%|███████████████████████████████████████████████████████▊ | 195/409 [33:22<37:23, 10.48s/it][A + mmlu_vi: 48%|████████████████████████████████████████████████████████ | 196/409 [33:32<36:12, 10.20s/it][A + mmlu_vi: 48%|████████████████████████████████████████████████████████▎ | 197/409 [33:43<36:51, 10.43s/it][A + mmlu_vi: 48%|████████████████████████████████████████████████████████▋ | 198/409 [33:55<38:59, 11.09s/it][A + mmlu_vi: 49%|████████████████████████████████████████████████████████▉ | 199/409 [34:04<36:10, 10.34s/it][A + mmlu_vi: 49%|█████████████████████████████████████████████████████████▏ | 200/409 [34:15<36:40, 10.53s/it][A + mmlu_vi: 49%|█████████████████████████████████████████████████████████▍ | 201/409 [34:26<37:38, 10.86s/it][A + mmlu_vi: 49%|█████████████████████████████████████████████████████████▊ | 202/409 [34:37<37:29, 10.87s/it][A + mmlu_vi: 50%|██████████████████████████████████████████████████████████ | 203/409 [34:47<35:40, 10.39s/it][A + mmlu_vi: 50%|██████████████████████████████████████████████████████████▎ | 204/409 [34:56<34:13, 10.02s/it][A + mmlu_vi: 50%|██████████████████████████████████████████████████████████▋ | 205/409 [35:05<33:10, 9.76s/it][A + mmlu_vi: 50%|██████████████████████████████████████████████████████████▉ | 206/409 [35:15<33:38, 9.94s/it][A + mmlu_vi: 51%|███████████████████████████████████████████████████████████▏ | 207/409 [35:25<33:17, 9.89s/it][A + mmlu_vi: 51%|███████████████████████████████████████████████████████████▌ | 208/409 [35:37<34:47, 10.38s/it][A + mmlu_vi: 51%|███████████████████████████████████████████████████████████▊ | 209/409 [35:47<34:53, 10.47s/it][A + mmlu_vi: 51%|████████████████████████████████████████████████████████████ | 210/409 [35:59<35:38, 10.74s/it][A + mmlu_vi: 52%|████████████████████████████████████████████████████████████▎ | 211/409 [36:09<35:29, 10.75s/it][A + mmlu_vi: 52%|████████████████████████████████████████████████████████████▋ | 212/409 [36:19<34:17, 10.44s/it][A + mmlu_vi: 52%|████████████████████████████████████████████████████████████▉ | 213/409 [36:29<33:13, 10.17s/it][A + mmlu_vi: 52%|█████████████████████████████████████████████████████████████▏ | 214/409 [36:38<32:02, 9.86s/it][A + mmlu_vi: 53%|█████████████████████████████████████████████████████████████▌ | 215/409 [36:47<31:35, 9.77s/it][A + mmlu_vi: 53%|█████████████████████████████████████████████████████████████▊ | 216/409 [36:57<31:27, 9.78s/it][A + mmlu_vi: 53%|██████████████████████████████████████████████████████████████ | 217/409 [37:08<32:16, 10.09s/it][A + mmlu_vi: 53%|██████████████████████████████████████████████████████████████▎ | 218/409 [37:18<32:14, 10.13s/it][A + mmlu_vi: 54%|██████████████████████████████████████████████████████████████▋ | 219/409 [37:29<32:58, 10.41s/it][A + mmlu_vi: 54%|██████████████████████████████████████████████████████████████▉ | 220/409 [37:41<33:54, 10.77s/it][A + mmlu_vi: 54%|███████████████████████████████████████████████████████████████▏ | 221/409 [37:51<33:11, 10.59s/it][A + mmlu_vi: 54%|███████████████████████████████████████████████████████████████▌ | 222/409 [38:01<32:16, 10.36s/it][A + mmlu_vi: 55%|███████████████████████████████████████████████████████████████▊ | 223/409 [38:13<33:22, 10.77s/it][A + mmlu_vi: 55%|████████████████████████████████████████████████████████████████ | 224/409 [38:22<32:25, 10.52s/it][A + mmlu_vi: 55%|████████████████████████████████████████████████████████████████▎ | 225/409 [38:34<33:08, 10.81s/it][A + mmlu_vi: 55%|████████████████████████████████████████████████████████████████▋ | 226/409 [38:44<32:35, 10.69s/it][A + mmlu_vi: 56%|████████████████████████████████████████████████████████████████▉ | 227/409 [38:53<30:09, 9.94s/it][A + mmlu_vi: 56%|█████████████████████████████████████████████████████████████████▏ | 228/409 [39:03<30:43, 10.18s/it][A + mmlu_vi: 56%|█████████████████████████████████████████████████████████████████▌ | 229/409 [39:12<29:31, 9.84s/it][A + mmlu_vi: 56%|█████████████████████████████████████████████████████████████████▊ | 230/409 [39:21<28:03, 9.41s/it][A + mmlu_vi: 56%|██████████████████████████████████████████████████████████████████ | 231/409 [39:31<28:34, 9.63s/it][A + mmlu_vi: 57%|██████████████████████████████████████████████████████████████████▎ | 232/409 [39:41<28:46, 9.75s/it][A + mmlu_vi: 57%|██████████████████████████████████████████████████████████████████▋ | 233/409 [39:51<29:02, 9.90s/it][A + mmlu_vi: 57%|██████████████████████████████████████████████████████████████████▉ | 234/409 [40:01<29:11, 10.01s/it][A + mmlu_vi: 57%|███████████████████████████████████████████████████████████████████▏ | 235/409 [40:13<30:34, 10.54s/it][A + mmlu_vi: 58%|███████████████████████████████████████████████████████████████████▌ | 236/409 [40:26<32:09, 11.15s/it][A + mmlu_vi: 58%|███████████████████████████████████████████████████████████████████▊ | 237/409 [40:35<30:05, 10.50s/it][A + mmlu_vi: 58%|████████████████████████████████████████████████████████████████████ | 238/409 [40:45<29:44, 10.43s/it][A + mmlu_vi: 58%|████████████████████████████████████████████████████████████████████▎ | 239/409 [40:57<30:37, 10.81s/it][A + mmlu_vi: 59%|████████████████████████████████████████████████████████████████████▋ | 240/409 [41:07<29:34, 10.50s/it][A + mmlu_vi: 59%|████████████████████████████████████████████████████████████████████▉ | 241/409 [41:18<30:02, 10.73s/it][A + mmlu_vi: 59%|█████████████████████████████████████████████████████████████████████▏ | 242/409 [41:28<29:39, 10.66s/it][A + mmlu_vi: 59%|█████████████████████████████████████████████████████████████████████▌ | 243/409 [41:40<30:03, 10.87s/it][A + mmlu_vi: 60%|█████████████████████████████████████████████████████████████████████▊ | 244/409 [41:51<30:36, 11.13s/it][A + mmlu_vi: 60%|██████████████████████████████████████████████████████████████████████ | 245/409 [42:04<31:20, 11.47s/it][A + mmlu_vi: 60%|██████████████████████████████████████████████████████████████████████▎ | 246/409 [42:15<30:48, 11.34s/it][A + mmlu_vi: 60%|██████████████████████████████████████████████████████████████████████▋ | 247/409 [42:25<29:50, 11.05s/it][A + mmlu_vi: 61%|██████████████████████████████████████████████████████████████████████▉ | 248/409 [42:33<27:05, 10.09s/it][A + mmlu_vi: 61%|███████████████████████████████████████████████████████████████████████▏ | 249/409 [42:43<26:57, 10.11s/it][A + mmlu_vi: 61%|███████████████████████████████████████████████████████████████████████▌ | 250/409 [42:55<27:56, 10.55s/it][A + mmlu_vi: 61%|███████████████████████████████████████████████████████████████████████▊ | 251/409 [43:06<28:07, 10.68s/it][A + mmlu_vi: 62%|████████████████████████████████████████████████████████████████████████ | 252/409 [43:17<28:15, 10.80s/it][A + mmlu_vi: 62%|████████████████████████████████████████████████████████████████████████▎ | 253/409 [43:27<27:54, 10.73s/it][A + mmlu_vi: 62%|████████████████████████████████████████████████████████████████████████▋ | 254/409 [43:37<26:49, 10.38s/it][A + mmlu_vi: 62%|████████████████████████████████████████████████████████████████████████▉ | 255/409 [43:47<26:21, 10.27s/it][A + mmlu_vi: 63%|█████████████████████████████████████████████████████████████████████████▏ | 256/409 [43:58<26:40, 10.46s/it][A + mmlu_vi: 63%|█████████████████████████████████████████████████████████████████████████▌ | 257/409 [44:06<25:02, 9.88s/it][A + mmlu_vi: 63%|█████████████████████████████████████████████████████████████████████████▊ | 258/409 [44:16<24:50, 9.87s/it][A + mmlu_vi: 63%|██████████████████████████████████████████████████████████████████████████ | 259/409 [44:29<26:59, 10.80s/it][A + mmlu_vi: 64%|██████████████████████████████████████████████████████████████████████████▍ | 260/409 [44:39<25:48, 10.39s/it][A + mmlu_vi: 64%|██████████████████████████████████████████████████████████████████████████▋ | 261/409 [44:48<25:10, 10.20s/it][A + mmlu_vi: 64%|██████████████████████████████████████████████████████████████████████████▉ | 262/409 [45:00<25:57, 10.59s/it][A + mmlu_vi: 64%|███████████████████████████████████████████████████████████████████████████▏ | 263/409 [45:10<25:26, 10.46s/it][A + mmlu_vi: 65%|███████████████████████████████████████████████████████████████████████████▌ | 264/409 [45:20<24:45, 10.25s/it][A + mmlu_vi: 65%|███████████████████████████████████████████████████████████████████████████▊ | 265/409 [45:29<24:11, 10.08s/it][A + mmlu_vi: 65%|████████████████████████████████████████████████████████████████████████████ | 266/409 [45:40<24:42, 10.37s/it][A + mmlu_vi: 65%|████████████████████████████████████████████████████████████████████████████▍ | 267/409 [45:51<24:28, 10.34s/it][A + mmlu_vi: 66%|████████████████████████████████████████████████████████████████████████████▋ | 268/409 [46:00<23:18, 9.92s/it][A + mmlu_vi: 66%|████████████████████████████████████████████████████████████████████████████▉ | 269/409 [46:10<23:26, 10.05s/it][A + mmlu_vi: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 270/409 [46:21<24:17, 10.49s/it][A + mmlu_vi: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 271/409 [46:32<24:05, 10.48s/it][A + mmlu_vi: 67%|█████████████████████████████████████████████████████████████████████████████▊ | 272/409 [46:42<23:55, 10.48s/it][A + mmlu_vi: 67%|██████████████████████████████████████████████████████████████████████████████ | 273/409 [46:53<23:42, 10.46s/it][A + mmlu_vi: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 274/409 [47:03<23:31, 10.46s/it][A + mmlu_vi: 67%|██████████████████████████████████████████████████████████████████████████████▋ | 275/409 [47:13<22:44, 10.18s/it][A + mmlu_vi: 67%|██████████████████████████████████████████████████████████████████████████████▉ | 276/409 [47:24<23:04, 10.41s/it][A + mmlu_vi: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 277/409 [47:33<22:12, 10.09s/it][A + mmlu_vi: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 278/409 [47:44<22:16, 10.20s/it][A + mmlu_vi: 68%|███████████████████████████████████████████████████████████████████████████████▊ | 279/409 [47:53<21:46, 10.05s/it][A + mmlu_vi: 68%|████████████████████████████████████████████████████████████████████████████████ | 280/409 [48:03<21:40, 10.08s/it][A + mmlu_vi: 69%|████████████████████████████████████████████████████████████████████████████████▍ | 281/409 [48:15<22:10, 10.40s/it][A + mmlu_vi: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 282/409 [48:25<22:15, 10.51s/it][A + mmlu_vi: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 283/409 [48:35<21:46, 10.37s/it][A + mmlu_vi: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 284/409 [48:45<21:21, 10.25s/it][A + mmlu_vi: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 285/409 [48:56<21:18, 10.31s/it][A + mmlu_vi: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 286/409 [49:07<21:31, 10.50s/it][A + mmlu_vi: 70%|██████████████████████████████████████████████████████████████████████████████████ | 287/409 [49:17<21:00, 10.33s/it][A + mmlu_vi: 70%|██████████████████████████████████████████████████████████████████████████████████▍ | 288/409 [49:26<20:30, 10.17s/it][A + mmlu_vi: 71%|██████████████████████████████████████████████████████████████████████████████████▋ | 289/409 [49:37<20:40, 10.33s/it][A + mmlu_vi: 71%|██████████████████████████████████████████████████████████████████████████████████▉ | 290/409 [49:48<20:56, 10.56s/it][A + mmlu_vi: 71%|███████████████████████████████████████████████████████████████████████████████████▏ | 291/409 [50:00<21:09, 10.76s/it][A + mmlu_vi: 71%|███████████████████████████████████████████████████████████████████████████████████▌ | 292/409 [50:10<20:52, 10.70s/it][A + mmlu_vi: 72%|███████████████████████████████████████████████████████████████████████████████████▊ | 293/409 [50:19<19:28, 10.08s/it][A + mmlu_vi: 72%|████████████████████████████████████████████████████████████████████████████████████ | 294/409 [50:28<18:49, 9.82s/it][A + mmlu_vi: 72%|████████████████████████████████████████████████████████████████████████████████████▍ | 295/409 [50:38<18:43, 9.85s/it][A + mmlu_vi: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 296/409 [50:47<18:22, 9.76s/it][A + mmlu_vi: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 297/409 [51:02<20:40, 11.08s/it][A + mmlu_vi: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 298/409 [51:13<20:49, 11.26s/it][A + mmlu_vi: 73%|█████████████████████████████████████████████████████████████████████████████████████▌ | 299/409 [51:25<21:09, 11.54s/it][A + mmlu_vi: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 300/409 [51:35<20:08, 11.09s/it][A + mmlu_vi: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 301/409 [51:46<19:55, 11.07s/it][A + mmlu_vi: 74%|██████████████████████████████████████████████████████████████████████████████████████▍ | 302/409 [51:56<18:52, 10.59s/it][A + mmlu_vi: 74%|██████████████████████████████████████████████████████████████████████████████████████▋ | 303/409 [52:07<18:53, 10.69s/it][A + mmlu_vi: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 304/409 [52:15<17:26, 9.96s/it][A + mmlu_vi: 75%|███████████████████████████████████████████████████████████████████████████████████████▏ | 305/409 [52:28<19:00, 10.97s/it][A + mmlu_vi: 75%|███████████████████████████████████████████████████████████████████████████████████████▌ | 306/409 [52:37<17:50, 10.39s/it][A + mmlu_vi: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 307/409 [52:49<18:07, 10.66s/it][A + mmlu_vi: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 308/409 [53:00<18:05, 10.75s/it][A + mmlu_vi: 76%|████████████████████████████████████████████████████████████████████████████████████████▍ | 309/409 [53:09<17:17, 10.38s/it][A + mmlu_vi: 76%|████████████████████████████████████████████████████████████████████████████████████████▋ | 310/409 [53:21<17:48, 10.80s/it][A + mmlu_vi: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 311/409 [53:29<16:27, 10.08s/it][A + mmlu_vi: 76%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 312/409 [53:44<18:13, 11.28s/it][A + mmlu_vi: 77%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 313/409 [53:53<17:24, 10.88s/it][A + mmlu_vi: 77%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 314/409 [54:04<17:02, 10.76s/it][A + mmlu_vi: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 315/409 [54:13<16:10, 10.32s/it][A + mmlu_vi: 77%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 316/409 [54:22<15:27, 9.98s/it][A + mmlu_vi: 78%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 317/409 [54:32<15:09, 9.89s/it][A + mmlu_vi: 78%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 318/409 [54:41<14:32, 9.58s/it][A + mmlu_vi: 78%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 319/409 [54:52<15:13, 10.15s/it][A + mmlu_vi: 78%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 320/409 [55:03<15:16, 10.30s/it][A + mmlu_vi: 78%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 321/409 [55:12<14:29, 9.88s/it][A + mmlu_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 322/409 [55:21<14:03, 9.69s/it][A + mmlu_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 323/409 [55:32<14:25, 10.06s/it][A + mmlu_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 324/409 [55:42<14:15, 10.06s/it][A + mmlu_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 325/409 [55:53<14:31, 10.38s/it][A + mmlu_vi: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 326/409 [56:03<14:07, 10.21s/it][A + mmlu_vi: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 327/409 [56:17<15:25, 11.28s/it][A + mmlu_vi: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 328/409 [56:28<15:12, 11.26s/it][A + mmlu_vi: 80%|██████████████████████████████████████████████████████████████████████████████████████████████ | 329/409 [56:38<14:16, 10.70s/it][A + mmlu_vi: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 330/409 [56:50<14:41, 11.16s/it][A + mmlu_vi: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 331/409 [57:00<14:18, 11.01s/it][A + mmlu_vi: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 332/409 [57:10<13:37, 10.61s/it][A + mmlu_vi: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 333/409 [57:20<13:09, 10.39s/it][A + mmlu_vi: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 334/409 [57:31<13:14, 10.59s/it][A + mmlu_vi: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 335/409 [57:42<13:04, 10.61s/it][A + mmlu_vi: 82%|████████████████████████████████████████████████████████████████████████████████████████████████ | 336/409 [57:51<12:29, 10.27s/it][A + mmlu_vi: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 337/409 [58:03<12:56, 10.79s/it][A + mmlu_vi: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 338/409 [58:16<13:25, 11.35s/it][A + mmlu_vi: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 339/409 [58:25<12:23, 10.62s/it][A + mmlu_vi: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 340/409 [58:36<12:30, 10.88s/it][A + mmlu_vi: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 341/409 [58:47<12:10, 10.74s/it][A + mmlu_vi: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 342/409 [58:55<11:19, 10.15s/it][A + mmlu_vi: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 343/409 [59:05<10:51, 9.86s/it][A + mmlu_vi: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 344/409 [59:15<10:46, 9.95s/it][A + mmlu_vi: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 345/409 [59:24<10:27, 9.81s/it][A + mmlu_vi: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 346/409 [59:35<10:31, 10.03s/it][A + mmlu_vi: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 347/409 [59:45<10:30, 10.16s/it][A + mmlu_vi: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 348/409 [59:55<10:06, 9.94s/it][A + mmlu_vi: 85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 349/409 [1:00:03<09:28, 9.48s/it][A + mmlu_vi: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 350/409 [1:00:14<09:43, 9.90s/it][A + mmlu_vi: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 351/409 [1:00:29<10:54, 11.29s/it][A + mmlu_vi: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 352/409 [1:00:37<10:00, 10.53s/it][A + mmlu_vi: 86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 353/409 [1:00:47<09:41, 10.38s/it][A + mmlu_vi: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 354/409 [1:00:57<09:16, 10.11s/it][A + mmlu_vi: 87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 355/409 [1:01:07<09:15, 10.29s/it][A + mmlu_vi: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 356/409 [1:01:19<09:32, 10.79s/it][A + mmlu_vi: 87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 357/409 [1:01:30<09:18, 10.74s/it][A + mmlu_vi: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 358/409 [1:01:40<08:57, 10.54s/it][A + mmlu_vi: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 359/409 [1:01:50<08:43, 10.48s/it][A + mmlu_vi: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 360/409 [1:02:01<08:36, 10.54s/it][A + mmlu_vi: 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 361/409 [1:02:10<08:03, 10.08s/it][A + mmlu_vi: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 362/409 [1:02:21<08:10, 10.43s/it][A + mmlu_vi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 363/409 [1:02:34<08:25, 11.00s/it][A + mmlu_vi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 364/409 [1:02:44<08:06, 10.81s/it][A + mmlu_vi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 365/409 [1:02:53<07:35, 10.35s/it][A + mmlu_vi: 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 366/409 [1:03:02<07:00, 9.78s/it][A + mmlu_vi: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 367/409 [1:03:12<06:55, 9.89s/it][A + mmlu_vi: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 368/409 [1:03:23<06:53, 10.08s/it][A + mmlu_vi: 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 369/409 [1:03:33<06:50, 10.27s/it][A + mmlu_vi: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/409 [1:03:43<06:40, 10.26s/it][A + mmlu_vi: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 371/409 [1:03:54<06:28, 10.23s/it][A + mmlu_vi: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 372/409 [1:04:03<06:10, 10.02s/it][A + mmlu_vi: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/409 [1:04:13<06:01, 10.04s/it][A + mmlu_vi: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 374/409 [1:04:23<05:43, 9.81s/it][A + mmlu_vi: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 375/409 [1:04:32<05:29, 9.69s/it][A + mmlu_vi: 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 376/409 [1:04:42<05:25, 9.86s/it][A + mmlu_vi: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 377/409 [1:04:53<05:25, 10.19s/it][A + mmlu_vi: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 378/409 [1:05:02<05:05, 9.84s/it][A + mmlu_vi: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 379/409 [1:05:14<05:09, 10.32s/it][A + mmlu_vi: 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 380/409 [1:05:24<04:57, 10.26s/it][A + mmlu_vi: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 381/409 [1:05:35<04:59, 10.68s/it][A + mmlu_vi: 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 382/409 [1:05:47<04:52, 10.82s/it][A + mmlu_vi: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 383/409 [1:05:56<04:33, 10.54s/it][A + mmlu_vi: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 384/409 [1:06:08<04:28, 10.72s/it][A + mmlu_vi: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 385/409 [1:06:18<04:14, 10.59s/it][A + mmlu_vi: 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 386/409 [1:06:26<03:47, 9.90s/it][A + mmlu_vi: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 387/409 [1:06:37<03:46, 10.31s/it][A + mmlu_vi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 388/409 [1:06:47<03:29, 9.98s/it][A + mmlu_vi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 389/409 [1:06:56<03:16, 9.81s/it][A + mmlu_vi: 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 390/409 [1:07:06<03:08, 9.90s/it][A + mmlu_vi: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 391/409 [1:07:18<03:11, 10.64s/it][A + mmlu_vi: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 392/409 [1:07:27<02:52, 10.13s/it][A + mmlu_vi: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 393/409 [1:07:36<02:36, 9.77s/it][A + mmlu_vi: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 394/409 [1:07:48<02:35, 10.35s/it][A + mmlu_vi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 395/409 [1:07:59<02:28, 10.64s/it][A + mmlu_vi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 396/409 [1:08:10<02:17, 10.60s/it][A + mmlu_vi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 397/409 [1:08:21<02:07, 10.67s/it][A + mmlu_vi: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 398/409 [1:08:35<02:08, 11.70s/it][A + mmlu_vi: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 399/409 [1:08:45<01:53, 11.37s/it][A + mmlu_vi: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 400/409 [1:08:54<01:35, 10.61s/it][A + mmlu_vi: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 401/409 [1:09:07<01:31, 11.38s/it][A + mmlu_vi: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 402/409 [1:09:19<01:20, 11.44s/it][A + mmlu_vi: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 403/409 [1:09:29<01:05, 10.99s/it][A + mmlu_vi: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 404/409 [1:09:40<00:54, 10.99s/it][A + mmlu_vi: 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 405/409 [1:09:54<00:47, 11.86s/it][A + mmlu_vi: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 406/409 [1:10:04<00:34, 11.34s/it][A + mmlu_vi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 407/409 [1:10:13<00:21, 10.69s/it][A + mmlu_vi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 408/409 [1:10:25<00:10, 10.91s/it][A + mmlu_vi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [1:10:29<00:00, 8.95s/it][A mmlu_vi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [1:10:29<00:00, 10.34s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_vi_acc 0.29252794365334556 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_vi_acc_norm 0.29934160159240547 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 04:20:58,679 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 04:20:58,680 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:20:58,810 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 04:20:58,810 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:20:58,939 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 04:20:58,939 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:20:59,069 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 04:20:59,070 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 04:20:59,070 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 04:20:59,201 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 04:20:59,201 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_vi_acc'} +2024-06-01 04:20:59,267 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 04:20:59,267 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1261, 'value': 0.29252794365334556} +2024-06-01 04:20:59,333 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 04:20:59,991 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 04:20:59,991 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:21:00,121 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 04:21:00,122 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:21:00,251 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 04:21:00,251 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:21:00,381 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 04:21:00,381 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 04:21:00,381 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 04:21:00,512 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 04:21:00,512 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_vi_acc_norm'} +2024-06-01 04:21:00,578 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 04:21:00,578 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1262, 'value': 0.29934160159240547} +2024-06-01 04:21:00,643 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 74%|████████████████████████████████████████████████████████████████████████████████▏ | 92/124 [69:33:29<39:23:34, 4431.72s/it]['mmlu_zh'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 04:21:01,288 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 04:21:01,288 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:21:01,415 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 04:21:01,415 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:21:01,541 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 04:21:01,541 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 04:21:01,668 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 04:21:01,669 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 04:21:01,669 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_zh'} +2024-06-01 04:21:01,796 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=mmlu_zh task_provider=lm_eval)] + + Generating test split: 0 examples [00:00, ? examples/s][A + Generating test split: 1780 examples [00:00, 15970.82 examples/s][A + Generating test split: 5209 examples [00:00, 26256.69 examples/s][A + Generating test split: 8866 examples [00:00, 30580.98 examples/s][A + Generating test split: 12309 examples [00:00, 32067.85 examples/s][A Generating test split: 13165 examples [00:00, 29614.93 examples/s] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 271 examples [00:00, 27700.36 examples/s] +Running loglikelihood requests + + mmlu_zh: 0%| | 0/412 [00:00<?, ?it/s][A + mmlu_zh: 0%|▎ | 1/412 [00:08<1:00:44, 8.87s/it][A + mmlu_zh: 0%|▌ | 2/412 [00:16<54:26, 7.97s/it][A + mmlu_zh: 1%|▊ | 3/412 [00:23<52:42, 7.73s/it][A + mmlu_zh: 1%|█▏ | 4/412 [00:31<52:36, 7.74s/it][A + mmlu_zh: 1%|█▍ | 5/412 [00:40<55:06, 8.12s/it][A + mmlu_zh: 1%|█▋ | 6/412 [00:49<56:48, 8.40s/it][A + mmlu_zh: 2%|██ | 7/412 [00:56<53:48, 7.97s/it][A + mmlu_zh: 2%|██▎ | 8/412 [01:03<52:06, 7.74s/it][A + mmlu_zh: 2%|██▌ | 9/412 [01:11<52:15, 7.78s/it][A + mmlu_zh: 2%|██▊ | 10/412 [01:19<52:07, 7.78s/it][A + mmlu_zh: 3%|███▏ | 11/412 [01:26<51:20, 7.68s/it][A + mmlu_zh: 3%|███▍ | 12/412 [01:34<52:32, 7.88s/it][A + mmlu_zh: 3%|███▋ | 13/412 [01:42<50:49, 7.64s/it][A + mmlu_zh: 3%|████ | 14/412 [01:49<51:12, 7.72s/it][A + mmlu_zh: 4%|████▎ | 15/412 [01:57<50:19, 7.61s/it][A + mmlu_zh: 4%|████▌ | 16/412 [02:04<49:19, 7.47s/it][A + mmlu_zh: 4%|████▊ | 17/412 [02:12<49:34, 7.53s/it][A + mmlu_zh: 4%|█████▏ | 18/412 [02:19<49:58, 7.61s/it][A + mmlu_zh: 5%|█████▍ | 19/412 [02:27<50:19, 7.68s/it][A + mmlu_zh: 5%|█████▋ | 20/412 [02:36<52:02, 7.97s/it][A + mmlu_zh: 5%|██████ | 21/412 [02:44<51:50, 7.96s/it][A + mmlu_zh: 5%|██████▎ | 22/412 [02:51<50:07, 7.71s/it][A + mmlu_zh: 6%|██████▌ | 23/412 [02:58<49:07, 7.58s/it][A + mmlu_zh: 6%|██████▊ | 24/412 [03:05<47:14, 7.31s/it][A + mmlu_zh: 6%|███████▏ | 25/412 [03:13<48:47, 7.57s/it][A + mmlu_zh: 6%|███████▍ | 26/412 [03:20<47:43, 7.42s/it][A + mmlu_zh: 7%|███████▋ | 27/412 [03:27<47:30, 7.40s/it][A + mmlu_zh: 7%|████████ | 28/412 [03:37<50:37, 7.91s/it][A + mmlu_zh: 7%|████████▎ | 29/412 [03:44<48:40, 7.62s/it][A + mmlu_zh: 7%|████████▌ | 30/412 [03:52<50:35, 7.95s/it][A + mmlu_zh: 8%|████████▉ | 31/412 [04:00<50:19, 7.92s/it][A + mmlu_zh: 8%|█████████▏ | 32/412 [04:07<48:42, 7.69s/it][A + mmlu_zh: 8%|█████████▍ | 33/412 [04:15<48:48, 7.73s/it][A + mmlu_zh: 8%|█████████▋ | 34/412 [04:23<48:37, 7.72s/it][A + mmlu_zh: 8%|██████████ | 35/412 [04:30<47:22, 7.54s/it][A + mmlu_zh: 9%|██████████▎ | 36/412 [04:37<46:47, 7.47s/it][A + mmlu_zh: 9%|██████████▌ | 37/412 [04:45<46:56, 7.51s/it][A + mmlu_zh: 9%|██████████▉ | 38/412 [04:52<45:27, 7.29s/it][A + mmlu_zh: 9%|███████████▏ | 39/412 [05:00<47:01, 7.57s/it][A + mmlu_zh: 10%|███████████▍ | 40/412 [05:07<45:48, 7.39s/it][A + mmlu_zh: 10%|███████████▋ | 41/412 [05:14<46:17, 7.49s/it][A + mmlu_zh: 10%|████████████ | 42/412 [05:21<45:15, 7.34s/it][A + mmlu_zh: 10%|████████████▎ | 43/412 [05:29<45:23, 7.38s/it][A + mmlu_zh: 11%|████████████▌ | 44/412 [05:36<44:31, 7.26s/it][A + mmlu_zh: 11%|████████████▉ | 45/412 [05:43<43:53, 7.18s/it][A + mmlu_zh: 11%|█████████████▏ | 46/412 [05:50<43:35, 7.15s/it][A + mmlu_zh: 11%|█████████████▍ | 47/412 [05:57<43:39, 7.18s/it][A + mmlu_zh: 12%|█████████████▋ | 48/412 [06:05<44:15, 7.30s/it][A + mmlu_zh: 12%|██████████████ | 49/412 [06:12<44:50, 7.41s/it][A + mmlu_zh: 12%|██████████████▎ | 50/412 [06:20<44:17, 7.34s/it][A + mmlu_zh: 12%|██████████████▌ | 51/412 [06:27<44:45, 7.44s/it][A + mmlu_zh: 13%|██████████████▉ | 52/412 [06:35<44:40, 7.45s/it][A + mmlu_zh: 13%|███████████████▏ | 53/412 [06:42<44:20, 7.41s/it][A + mmlu_zh: 13%|███████████████▍ | 54/412 [06:50<44:22, 7.44s/it][A + mmlu_zh: 13%|███████████████▊ | 55/412 [06:57<43:24, 7.30s/it][A + mmlu_zh: 14%|████████████████ | 56/412 [07:05<45:12, 7.62s/it][A + mmlu_zh: 14%|████████████████▎ | 57/412 [07:13<46:41, 7.89s/it][A + mmlu_zh: 14%|████████████████▌ | 58/412 [07:21<46:19, 7.85s/it][A + mmlu_zh: 14%|████████████████▉ | 59/412 [07:29<46:34, 7.92s/it][A + mmlu_zh: 15%|█████████████████▏ | 60/412 [07:36<44:35, 7.60s/it][A + mmlu_zh: 15%|█████████████████▍ | 61/412 [07:43<43:36, 7.45s/it][A + mmlu_zh: 15%|█████████████████▊ | 62/412 [07:51<44:24, 7.61s/it][A + mmlu_zh: 15%|██████████████████ | 63/412 [07:59<45:20, 7.80s/it][A + mmlu_zh: 16%|██████████████████▎ | 64/412 [08:08<45:35, 7.86s/it][A + mmlu_zh: 16%|██████████████████▌ | 65/412 [08:15<44:38, 7.72s/it][A + mmlu_zh: 16%|██████████████████▉ | 66/412 [08:23<44:22, 7.69s/it][A + mmlu_zh: 16%|███████████████████▏ | 67/412 [08:29<42:27, 7.39s/it][A + mmlu_zh: 17%|███████████████████▍ | 68/412 [08:36<41:46, 7.29s/it][A + mmlu_zh: 17%|███████████████████▊ | 69/412 [08:44<42:26, 7.42s/it][A + mmlu_zh: 17%|████████████████████ | 70/412 [08:53<44:50, 7.87s/it][A + mmlu_zh: 17%|████████████████████▎ | 71/412 [09:01<45:22, 7.98s/it][A + mmlu_zh: 17%|████████████████████▌ | 72/412 [09:08<43:28, 7.67s/it][A + mmlu_zh: 18%|████████████████████▉ | 73/412 [09:15<41:54, 7.42s/it][A + mmlu_zh: 18%|█████████████████████▏ | 74/412 [09:23<42:25, 7.53s/it][A + mmlu_zh: 18%|█████████████████████▍ | 75/412 [09:30<41:47, 7.44s/it][A + mmlu_zh: 18%|█████████████████████▊ | 76/412 [09:38<42:22, 7.57s/it][A + mmlu_zh: 19%|██████████████████████ | 77/412 [09:45<42:19, 7.58s/it][A + mmlu_zh: 19%|██████████████████████▎ | 78/412 [09:53<42:39, 7.66s/it][A + mmlu_zh: 19%|██████████████████████▋ | 79/412 [10:01<42:27, 7.65s/it][A + mmlu_zh: 19%|██████████████████████▉ | 80/412 [10:09<43:41, 7.90s/it][A + mmlu_zh: 20%|███████████████████████▏ | 81/412 [10:17<42:56, 7.79s/it][A + mmlu_zh: 20%|███████████████████████▍ | 82/412 [10:24<41:04, 7.47s/it][A + mmlu_zh: 20%|███████████████████████▊ | 83/412 [10:32<42:17, 7.71s/it][A + mmlu_zh: 20%|████████████████████████ | 84/412 [10:40<42:27, 7.77s/it][A + mmlu_zh: 21%|████████████████████████▎ | 85/412 [10:47<42:07, 7.73s/it][A + mmlu_zh: 21%|████████████████████████▋ | 86/412 [10:55<41:50, 7.70s/it][A + mmlu_zh: 21%|████████████████████████▉ | 87/412 [11:03<42:52, 7.91s/it][A + mmlu_zh: 21%|█████████████████████████▏ | 88/412 [11:12<43:49, 8.12s/it][A + mmlu_zh: 22%|█████████████████████████▍ | 89/412 [11:19<42:26, 7.89s/it][A + mmlu_zh: 22%|█████████████████████████▊ | 90/412 [11:27<42:07, 7.85s/it][A + mmlu_zh: 22%|██████████████████████████ | 91/412 [11:34<40:26, 7.56s/it][A + mmlu_zh: 22%|██████████████████████████▎ | 92/412 [11:42<40:38, 7.62s/it][A + mmlu_zh: 23%|██████████████████████████▋ | 93/412 [11:51<42:36, 8.01s/it][A + mmlu_zh: 23%|██████████████████████████▉ | 94/412 [11:58<40:30, 7.64s/it][A + mmlu_zh: 23%|███████████████████████████▏ | 95/412 [12:05<39:41, 7.51s/it][A + mmlu_zh: 23%|███████████████████████████▍ | 96/412 [12:12<39:08, 7.43s/it][A + mmlu_zh: 24%|███████████████████████████▊ | 97/412 [12:20<40:24, 7.70s/it][A + mmlu_zh: 24%|████████████████████████████ | 98/412 [12:28<40:50, 7.80s/it][A + mmlu_zh: 24%|████████████████████████████▎ | 99/412 [12:36<40:21, 7.74s/it][A + mmlu_zh: 24%|████████████████████████████▍ | 100/412 [12:43<39:46, 7.65s/it][A + mmlu_zh: 25%|████████████████████████████▋ | 101/412 [12:52<40:37, 7.84s/it][A + mmlu_zh: 25%|████████████████████████████▉ | 102/412 [13:00<41:02, 7.94s/it][A + mmlu_zh: 25%|█████████████████████████████▎ | 103/412 [13:08<41:05, 7.98s/it][A + mmlu_zh: 25%|█████████████████████████████▌ | 104/412 [13:16<40:35, 7.91s/it][A + mmlu_zh: 25%|█████████████████████████████▊ | 105/412 [13:24<40:35, 7.93s/it][A + mmlu_zh: 26%|██████████████████████████████ | 106/412 [13:31<38:53, 7.62s/it][A + mmlu_zh: 26%|██████████████████████████████▍ | 107/412 [13:38<38:45, 7.62s/it][A + mmlu_zh: 26%|██████████████████████████████▋ | 108/412 [13:46<39:11, 7.74s/it][A + mmlu_zh: 26%|██████████████████████████████▉ | 109/412 [13:54<38:34, 7.64s/it][A + mmlu_zh: 27%|███████████████████████████████▏ | 110/412 [14:02<39:05, 7.77s/it][A + mmlu_zh: 27%|███████████████████████████████▌ | 111/412 [14:11<41:11, 8.21s/it][A + mmlu_zh: 27%|███████████████████████████████▊ | 112/412 [14:19<40:20, 8.07s/it][A + mmlu_zh: 27%|████████████████████████████████ | 113/412 [14:27<40:30, 8.13s/it][A + mmlu_zh: 28%|████████████████████████████████▎ | 114/412 [14:35<40:25, 8.14s/it][A + mmlu_zh: 28%|████████████████████████████████▋ | 115/412 [14:42<38:53, 7.86s/it][A + mmlu_zh: 28%|████████████████████████████████▉ | 116/412 [14:50<39:07, 7.93s/it][A + mmlu_zh: 28%|█████████████████████████████████▏ | 117/412 [14:58<38:23, 7.81s/it][A + mmlu_zh: 29%|█████████████████████████████████▌ | 118/412 [15:05<36:46, 7.50s/it][A + mmlu_zh: 29%|█████████████████████████████████▊ | 119/412 [15:14<38:43, 7.93s/it][A + mmlu_zh: 29%|██████████████████████████████████ | 120/412 [15:21<37:35, 7.73s/it][A + mmlu_zh: 29%|██████████████████████████████████▎ | 121/412 [15:29<37:29, 7.73s/it][A + mmlu_zh: 30%|██████████████████████████████████▋ | 122/412 [15:36<37:22, 7.73s/it][A + mmlu_zh: 30%|██████████████████████████████████▉ | 123/412 [15:44<36:35, 7.60s/it][A + mmlu_zh: 30%|███████████████████████████████████▏ | 124/412 [15:51<36:29, 7.60s/it][A + mmlu_zh: 30%|███████████████████████████████████▍ | 125/412 [15:59<37:00, 7.74s/it][A + mmlu_zh: 31%|███████████████████████████████████▊ | 126/412 [16:07<36:22, 7.63s/it][A + mmlu_zh: 31%|████████████████████████████████████ | 127/412 [16:14<35:30, 7.48s/it][A + mmlu_zh: 31%|████████████████████████████████████▎ | 128/412 [16:22<35:55, 7.59s/it][A + mmlu_zh: 31%|████████████████████████████████████▋ | 129/412 [16:29<34:57, 7.41s/it][A + mmlu_zh: 32%|████████████████████████████████████▉ | 130/412 [16:37<35:41, 7.59s/it][A + mmlu_zh: 32%|█████████████████████████████████████▏ | 131/412 [16:44<35:39, 7.61s/it][A + mmlu_zh: 32%|█████████████████████████████████████▍ | 132/412 [16:53<37:05, 7.95s/it][A + mmlu_zh: 32%|█████████████████████████████████████▊ | 133/412 [17:02<38:14, 8.23s/it][A + mmlu_zh: 33%|██████████████████████████████████████ | 134/412 [17:09<36:46, 7.94s/it][A + mmlu_zh: 33%|██████████████████████████████████████▎ | 135/412 [17:17<36:06, 7.82s/it][A + mmlu_zh: 33%|██████████████████████████████████████▌ | 136/412 [17:24<35:17, 7.67s/it][A + mmlu_zh: 33%|██████████████████████████████████████▉ | 137/412 [17:31<34:19, 7.49s/it][A + mmlu_zh: 33%|███████████████████████████████████████▏ | 138/412 [17:40<36:07, 7.91s/it][A + mmlu_zh: 34%|███████████████████████████████████████▍ | 139/412 [17:47<34:54, 7.67s/it][A + mmlu_zh: 34%|███████████████████████████████████████▊ | 140/412 [17:55<35:29, 7.83s/it][A + mmlu_zh: 34%|████████████████████████████████████████ | 141/412 [18:03<35:43, 7.91s/it][A + mmlu_zh: 34%|████████████████████████████████████████▎ | 142/412 [18:11<35:23, 7.86s/it][A + mmlu_zh: 35%|████████████████████████████████████████▌ | 143/412 [18:19<34:39, 7.73s/it][A + mmlu_zh: 35%|████████████████████████████████████████▉ | 144/412 [18:27<35:33, 7.96s/it][A + mmlu_zh: 35%|█████████████████████████████████████████▏ | 145/412 [18:35<35:12, 7.91s/it][A + mmlu_zh: 35%|█████████████████████████████████████████▍ | 146/412 [18:43<35:01, 7.90s/it][A + mmlu_zh: 36%|█████████████████████████████████████████▋ | 147/412 [18:52<36:16, 8.21s/it][A + mmlu_zh: 36%|██████████████████████████████████████████ | 148/412 [18:59<34:42, 7.89s/it][A + mmlu_zh: 36%|██████████████████████████████████████████▎ | 149/412 [19:07<34:37, 7.90s/it][A + mmlu_zh: 36%|██████████████████████████████████████████▌ | 150/412 [19:14<33:10, 7.60s/it][A + mmlu_zh: 37%|██████████████████████████████████████████▉ | 151/412 [19:21<33:05, 7.61s/it][A + mmlu_zh: 37%|███████████████████████████████████████████▏ | 152/412 [19:29<32:48, 7.57s/it][A + mmlu_zh: 37%|███████████████████████████████████████████▍ | 153/412 [19:36<31:38, 7.33s/it][A + mmlu_zh: 37%|███████████████████████████████████████████▋ | 154/412 [19:43<32:05, 7.46s/it][A + mmlu_zh: 38%|████████████████████████████████████████████ | 155/412 [19:51<31:43, 7.41s/it][A + mmlu_zh: 38%|████████████████████████████████████████████▎ | 156/412 [19:59<32:32, 7.63s/it][A + mmlu_zh: 38%|████████████████████████████████████████████▌ | 157/412 [20:05<30:51, 7.26s/it][A + mmlu_zh: 38%|████████████████████████████████████████████▊ | 158/412 [20:12<30:26, 7.19s/it][A + mmlu_zh: 39%|█████████████████████████████████████████████▏ | 159/412 [20:20<31:17, 7.42s/it][A + mmlu_zh: 39%|█████████████████████████████████████████████▍ | 160/412 [20:28<32:03, 7.63s/it][A + mmlu_zh: 39%|█████████████████████████████████████████████▋ | 161/412 [20:35<31:24, 7.51s/it][A + mmlu_zh: 39%|██████████████████████████████████████████████ | 162/412 [20:43<31:08, 7.47s/it][A + mmlu_zh: 40%|██████████████████████████████████████████████▎ | 163/412 [20:51<31:45, 7.65s/it][A + mmlu_zh: 40%|██████████████████████████████████████████████▌ | 164/412 [20:59<31:32, 7.63s/it][A + mmlu_zh: 40%|██████████████████████████████████████████████▊ | 165/412 [21:06<31:05, 7.55s/it][A + mmlu_zh: 40%|███████████████████████████████████████████████▏ | 166/412 [21:14<31:52, 7.77s/it][A + mmlu_zh: 41%|███████████████████████████████████████████████▍ | 167/412 [21:22<31:20, 7.67s/it][A + mmlu_zh: 41%|███████████████████████████████████████████████▋ | 168/412 [21:30<32:20, 7.95s/it][A + mmlu_zh: 41%|███████████████████████████████████████████████▉ | 169/412 [21:37<30:59, 7.65s/it][A + mmlu_zh: 41%|████████████████████████████████████████████████▎ | 170/412 [21:45<30:37, 7.59s/it][A + mmlu_zh: 42%|████████████████████████████████████████████████▌ | 171/412 [21:52<29:55, 7.45s/it][A + mmlu_zh: 42%|████████████████████████████████████████████████▊ | 172/412 [21:59<30:03, 7.51s/it][A + mmlu_zh: 42%|█████████████████████████████████████████████████▏ | 173/412 [22:07<29:53, 7.50s/it][A + mmlu_zh: 42%|█████████████████████████████████████████████████▍ | 174/412 [22:14<29:09, 7.35s/it][A + mmlu_zh: 42%|█████████████████████████████████████████████████▋ | 175/412 [22:21<29:10, 7.39s/it][A + mmlu_zh: 43%|█████████████████████████████████████████████████▉ | 176/412 [22:29<29:39, 7.54s/it][A + mmlu_zh: 43%|██████████████████████████████████████████████████▎ | 177/412 [22:36<28:56, 7.39s/it][A + mmlu_zh: 43%|██████████████████████████████████████████████████▌ | 178/412 [22:43<28:18, 7.26s/it][A + mmlu_zh: 43%|██████████████████████████████████████████████████▊ | 179/412 [22:51<28:35, 7.36s/it][A + mmlu_zh: 44%|███████████████████████████████████████████████████ | 180/412 [22:59<28:50, 7.46s/it][A + mmlu_zh: 44%|███████████████████████████████████████████████████▍ | 181/412 [23:06<28:44, 7.47s/it][A + mmlu_zh: 44%|███████████████████████████████████████████████████▋ | 182/412 [23:13<28:24, 7.41s/it][A + mmlu_zh: 44%|███████████████████████████████████████████████████▉ | 183/412 [23:22<30:10, 7.91s/it][A + mmlu_zh: 45%|████████████████████████████████████████████████████▎ | 184/412 [23:30<29:26, 7.75s/it][A + mmlu_zh: 45%|████████████████████████████████████████████████████▌ | 185/412 [23:38<29:32, 7.81s/it][A + mmlu_zh: 45%|████████████████████████████████████████████████████▊ | 186/412 [23:46<30:02, 7.98s/it][A + mmlu_zh: 45%|█████████████████████████████████████████████████████ | 187/412 [23:53<28:56, 7.72s/it][A + mmlu_zh: 46%|█████████████████████████████████████████████████████▍ | 188/412 [24:00<28:08, 7.54s/it][A + mmlu_zh: 46%|█████████████████████████████████████████████████████▋ | 189/412 [24:08<28:12, 7.59s/it][A + mmlu_zh: 46%|█████████████████████████████████████████████████████▉ | 190/412 [24:16<28:11, 7.62s/it][A + mmlu_zh: 46%|██████████████████████████████████████████████████████▏ | 191/412 [24:24<28:29, 7.73s/it][A + mmlu_zh: 47%|██████████████████████████████████████████████████████▌ | 192/412 [24:32<29:21, 8.01s/it][A + mmlu_zh: 47%|██████████████████████████████████████████████████████▊ | 193/412 [24:40<29:03, 7.96s/it][A + mmlu_zh: 47%|███████████████████████████████████████████████████████ | 194/412 [24:48<28:36, 7.87s/it][A + mmlu_zh: 47%|███████████████████████████████████████████████████████▍ | 195/412 [24:56<28:29, 7.88s/it][A + mmlu_zh: 48%|███████████████████████████████████████████████████████▋ | 196/412 [25:03<27:39, 7.68s/it][A + mmlu_zh: 48%|███████████████████████████████████████████████████████▉ | 197/412 [25:10<27:15, 7.60s/it][A + mmlu_zh: 48%|████████████████████████████████████████████████████████▏ | 198/412 [25:18<27:12, 7.63s/it][A + mmlu_zh: 48%|████████████████████████████████████████████████████████▌ | 199/412 [25:25<26:40, 7.52s/it][A + mmlu_zh: 49%|████████████████████████████████████████████████████████▊ | 200/412 [25:33<26:34, 7.52s/it][A + mmlu_zh: 49%|█████████████████████████████████████████████████████████ | 201/412 [25:40<26:12, 7.45s/it][A + mmlu_zh: 49%|█████████████████████████████████████████████████████████▎ | 202/412 [25:47<25:49, 7.38s/it][A + mmlu_zh: 49%|█████████████████████████████████████████████████████████▋ | 203/412 [25:56<27:03, 7.77s/it][A + mmlu_zh: 50%|█████████████████████████████████████████████████████████▉ | 204/412 [26:04<26:41, 7.70s/it][A + mmlu_zh: 50%|██████████████████████████████████████████████████████████▏ | 205/412 [26:10<25:40, 7.44s/it][A + mmlu_zh: 50%|██████████████████████████████████████████████████████████▌ | 206/412 [26:17<25:06, 7.31s/it][A + mmlu_zh: 50%|██████████████████████████████████████████████████████████▊ | 207/412 [26:25<24:53, 7.29s/it][A + mmlu_zh: 50%|███████████████████████████████████████████████████████████ | 208/412 [26:32<25:14, 7.43s/it][A + mmlu_zh: 51%|███████████████████████████████████████████████████████████▎ | 209/412 [26:40<25:07, 7.43s/it][A + mmlu_zh: 51%|███████████████████████████████████████████████████████████▋ | 210/412 [26:47<24:40, 7.33s/it][A + mmlu_zh: 51%|███████████████████████████████████████████████████████████▉ | 211/412 [26:54<24:21, 7.27s/it][A + mmlu_zh: 51%|████████████████████████████████████████████████████████████▏ | 212/412 [27:01<24:03, 7.22s/it][A + mmlu_zh: 52%|████████████████████████████████████████████████████████████▍ | 213/412 [27:09<24:19, 7.33s/it][A + mmlu_zh: 52%|████████████████████████████████████████████████████████████▊ | 214/412 [27:16<24:12, 7.34s/it][A + mmlu_zh: 52%|█████████████████████████████████████████████████████████████ | 215/412 [27:23<23:55, 7.29s/it][A + mmlu_zh: 52%|█████████████████████████████████████████████████████████████▎ | 216/412 [27:30<23:18, 7.14s/it][A + mmlu_zh: 53%|█████████████████████████████████████████████████████████████▌ | 217/412 [27:37<23:19, 7.18s/it][A + mmlu_zh: 53%|█████████████████████████████████████████████████████████████▉ | 218/412 [27:44<22:45, 7.04s/it][A + mmlu_zh: 53%|██████████████████████████████████████████████████████████████▏ | 219/412 [27:51<23:01, 7.16s/it][A + mmlu_zh: 53%|██████████████████████████████████████████████████████████████▍ | 220/412 [27:59<23:24, 7.32s/it][A + mmlu_zh: 54%|██████████████████████████████████████████████████████████████▊ | 221/412 [28:06<22:46, 7.16s/it][A + mmlu_zh: 54%|███████████████████████████████████████████████████████████████ | 222/412 [28:14<23:44, 7.50s/it][A + mmlu_zh: 54%|███████████████████████████████████████████████████████████████▎ | 223/412 [28:22<23:52, 7.58s/it][A + mmlu_zh: 54%|███████████████████████████████████████████████████████████████▌ | 224/412 [28:29<23:28, 7.49s/it][A + mmlu_zh: 55%|███████████████████████████████████████████████████████████████▉ | 225/412 [28:37<23:31, 7.55s/it][A + mmlu_zh: 55%|████████████████████████████████████████████████████████████████▏ | 226/412 [28:45<23:25, 7.56s/it][A + mmlu_zh: 55%|████████████████████████████████████████████████████████████████▍ | 227/412 [28:52<22:46, 7.39s/it][A + mmlu_zh: 55%|████████████████████████████████████████████████████████████████▋ | 228/412 [28:59<22:48, 7.44s/it][A + mmlu_zh: 56%|█████████████████████████████████████████████████████████████████ | 229/412 [29:07<22:40, 7.44s/it][A + mmlu_zh: 56%|█████████████████████████████████████████████████████████████████▎ | 230/412 [29:14<22:34, 7.44s/it][A + mmlu_zh: 56%|█████████████████████████████████████████████████████████████████▌ | 231/412 [29:21<22:25, 7.43s/it][A + mmlu_zh: 56%|█████████████████████████████████████████████████████████████████▉ | 232/412 [29:30<23:35, 7.87s/it][A + mmlu_zh: 57%|██████████████████████████████████████████████████████████████████▏ | 233/412 [29:38<23:23, 7.84s/it][A + mmlu_zh: 57%|██████████████████████████████████████████████████████████████████▍ | 234/412 [29:45<22:48, 7.69s/it][A + mmlu_zh: 57%|██████████████████████████████████████████████████████████████████▋ | 235/412 [29:54<23:26, 7.95s/it][A + mmlu_zh: 57%|███████████████████████████████████████████████████████████████████ | 236/412 [30:01<22:27, 7.66s/it][A + mmlu_zh: 58%|███████████████████████████████████████████████████████████████████▎ | 237/412 [30:08<21:57, 7.53s/it][A + mmlu_zh: 58%|███████████████████████████████████████████████████████████████████▌ | 238/412 [30:17<23:15, 8.02s/it][A + mmlu_zh: 58%|███████████████████████████████████████████████████████████████████▊ | 239/412 [30:25<22:41, 7.87s/it][A + mmlu_zh: 58%|████████████████████████████████████████████████████████████████████▏ | 240/412 [30:33<22:33, 7.87s/it][A + mmlu_zh: 58%|████████████████████████████████████████████████████████████████████▍ | 241/412 [30:40<21:47, 7.65s/it][A + mmlu_zh: 59%|████████████████████████████████████████████████████████████████████▋ | 242/412 [30:48<21:56, 7.74s/it][A + mmlu_zh: 59%|█████████████████████████████████████████████████████████████████████ | 243/412 [30:55<21:08, 7.51s/it][A + mmlu_zh: 59%|█████████████████████████████████████████████████████████████████████▎ | 244/412 [31:02<20:45, 7.41s/it][A + mmlu_zh: 59%|█████████████████████████████████████████████████████████████████████▌ | 245/412 [31:09<20:32, 7.38s/it][A + mmlu_zh: 60%|█████████████████████████████████████████████████████████████████████▊ | 246/412 [31:17<20:40, 7.47s/it][A + mmlu_zh: 60%|██████████████████████████████████████████████████████████████████████▏ | 247/412 [31:24<20:06, 7.31s/it][A + mmlu_zh: 60%|██████████████████████████████████████████████████████████████████████▍ | 248/412 [31:32<20:15, 7.41s/it][A + mmlu_zh: 60%|██████████████████████████████████████████████████████████████████████▋ | 249/412 [31:38<19:32, 7.19s/it][A + mmlu_zh: 61%|██████████████████████████████████████████████████████████████████████▉ | 250/412 [31:45<19:16, 7.14s/it][A + mmlu_zh: 61%|███████████████████████████████████████████████████████████████████████▎ | 251/412 [31:53<19:37, 7.31s/it][A + mmlu_zh: 61%|███████████████████████████████████████████████████████████████████████▌ | 252/412 [32:00<19:31, 7.32s/it][A + mmlu_zh: 61%|███████████████████████████████████████████████████████████████████████▊ | 253/412 [32:09<20:10, 7.61s/it][A + mmlu_zh: 62%|████████████████████████████████████████████████████████████████████████▏ | 254/412 [32:16<19:57, 7.58s/it][A + mmlu_zh: 62%|████████████████████████████████████████████████████████████████████████▍ | 255/412 [32:25<20:45, 7.93s/it][A + mmlu_zh: 62%|████████████████████████████████████████████████████████████████████████▋ | 256/412 [32:33<20:53, 8.03s/it][A + mmlu_zh: 62%|████████████████████████████████████████████████████████████████████████▉ | 257/412 [32:40<20:07, 7.79s/it][A + mmlu_zh: 63%|█████████████████████████████████████████████████████████████████████████▎ | 258/412 [32:48<20:08, 7.85s/it][A + mmlu_zh: 63%|█████████████████████████████████████████████████████████████████████████▌ | 259/412 [32:56<20:04, 7.87s/it][A + mmlu_zh: 63%|█████████████████████████████████████████████████████████████████████████▊ | 260/412 [33:04<20:07, 7.95s/it][A + mmlu_zh: 63%|██████████████████████████████████████████████████████████████████████████ | 261/412 [33:13<20:41, 8.22s/it][A + mmlu_zh: 64%|██████████████████████████████████████████████████████████████████████████▍ | 262/412 [33:21<20:30, 8.20s/it][A + mmlu_zh: 64%|██████████████████████████████████████████████████████████████████████████▋ | 263/412 [33:31<21:06, 8.50s/it][A + mmlu_zh: 64%|██████████████████████████████████████████████████████████████████████████▉ | 264/412 [33:38<20:04, 8.14s/it][A + mmlu_zh: 64%|███████████████████████████████████████████████████████████████████████████▎ | 265/412 [33:45<19:21, 7.90s/it][A + mmlu_zh: 65%|███████████████████████████████████████████████████████████████████████████▌ | 266/412 [33:53<18:49, 7.73s/it][A + mmlu_zh: 65%|███████████████████████████████████████████████████████████████████████████▊ | 267/412 [34:00<18:07, 7.50s/it][A + mmlu_zh: 65%|████████████████████████████████████████████████████████████████████████████ | 268/412 [34:08<18:48, 7.83s/it][A + mmlu_zh: 65%|████████████████████████████████████████████████████████████████████████████▍ | 269/412 [34:16<18:35, 7.80s/it][A + mmlu_zh: 66%|████████████████████████████████████████████████████████████████████████████▋ | 270/412 [34:23<18:04, 7.64s/it][A + mmlu_zh: 66%|████████████████████████████████████████████████████████████████████████████▉ | 271/412 [34:30<17:43, 7.54s/it][A + mmlu_zh: 66%|█████████████████████████████████████████████████████████████████████████████▏ | 272/412 [34:39<18:31, 7.94s/it][A + mmlu_zh: 66%|█████████████████████████████████████████████████████████████████████████████▌ | 273/412 [34:47<18:18, 7.90s/it][A + mmlu_zh: 67%|█████████████████████████████████████████████████████████████████████████████▊ | 274/412 [34:54<17:44, 7.71s/it][A + mmlu_zh: 67%|██████████████████████████████████████████████████████████████████████████████ | 275/412 [35:01<17:00, 7.45s/it][A + mmlu_zh: 67%|██████████████████████████████████████████████████████████████████████████████▍ | 276/412 [35:09<17:03, 7.52s/it][A + mmlu_zh: 67%|██████████████████████████████████████████████████████████████████████████████▋ | 277/412 [35:17<17:19, 7.70s/it][A + mmlu_zh: 67%|██████████████████████████████████████████████████████████████████████████████▉ | 278/412 [35:24<16:27, 7.37s/it][A + mmlu_zh: 68%|███████████████████████████████████████████████████████████████████████████████▏ | 279/412 [35:33<17:44, 8.00s/it][A + mmlu_zh: 68%|███████████████████████████████████████████████████████████████████████████████▌ | 280/412 [35:41<17:35, 7.99s/it][A + mmlu_zh: 68%|███████████████████████████████████████████████████████████████████████████████▊ | 281/412 [35:48<16:48, 7.69s/it][A + mmlu_zh: 68%|████████████████████████████████████████████████████████████████████████████████ | 282/412 [35:56<16:52, 7.79s/it][A + mmlu_zh: 69%|████████████████████████████████████████████████████████████████████████████████▎ | 283/412 [36:04<16:46, 7.81s/it][A + mmlu_zh: 69%|████████████████████████████████████████████████████████████████████████████████▋ | 284/412 [36:12<16:56, 7.94s/it][A + mmlu_zh: 69%|████████████████████████████████████████████████████████████████████████████████▉ | 285/412 [36:20<16:38, 7.86s/it][A + mmlu_zh: 69%|█████████████████████████████████████████████████████████████████████████████████▏ | 286/412 [36:27<16:15, 7.74s/it][A + mmlu_zh: 70%|█████████████████████████████████████████████████████████████████████████████████▌ | 287/412 [36:36<16:24, 7.88s/it][A + mmlu_zh: 70%|█████████████████████████████████████████████████████████████████████████████████▊ | 288/412 [36:43<15:45, 7.62s/it][A + mmlu_zh: 70%|██████████████████████████████████████████████████████████████████████████████████ | 289/412 [36:51<15:50, 7.73s/it][A + mmlu_zh: 70%|██████████████████████████████████████████████████████████████████████████████████▎ | 290/412 [36:58<15:17, 7.52s/it][A + mmlu_zh: 71%|██████████████████████████████████████████████████████████████████████████████████▋ | 291/412 [37:05<15:09, 7.52s/it][A + mmlu_zh: 71%|██████████████████████████████████████████████████████████████████████████████████▉ | 292/412 [37:12<14:37, 7.31s/it][A + mmlu_zh: 71%|███████████████████████████████████████████████████████████████████████████████████▏ | 293/412 [37:19<14:26, 7.28s/it][A + mmlu_zh: 71%|███████████████████████████████████████████████████████████████████████████████████▍ | 294/412 [37:26<14:15, 7.25s/it][A + mmlu_zh: 72%|███████████████████████████████████████████████████████████████████████████████████▊ | 295/412 [37:34<14:40, 7.53s/it][A + mmlu_zh: 72%|████████████████████████████████████████████████████████████████████████████████████ | 296/412 [37:41<14:15, 7.37s/it][A + mmlu_zh: 72%|████████████████████████████████████████████████████████████████████████████████████▎ | 297/412 [37:49<14:20, 7.48s/it][A + mmlu_zh: 72%|████████████████████████████████████████████████████████████████████████████████████▋ | 298/412 [37:57<14:09, 7.45s/it][A + mmlu_zh: 73%|████████████████████████████████████████████████████████████████████████████████████▉ | 299/412 [38:05<14:20, 7.61s/it][A + mmlu_zh: 73%|█████████████████████████████████████████████████████████████████████████████████████▏ | 300/412 [38:12<14:08, 7.58s/it][A + mmlu_zh: 73%|█████████████████████████████████████████████████████████████████████████████████████▍ | 301/412 [38:21<14:37, 7.90s/it][A + mmlu_zh: 73%|█████████████████████████████████████████████████████████████████████████████████████▊ | 302/412 [38:28<14:15, 7.78s/it][A + mmlu_zh: 74%|██████████████████████████████████████████████████████████████████████████████████████ | 303/412 [38:37<14:48, 8.15s/it][A + mmlu_zh: 74%|██████████████████████████████████████████████████████████████████████████████████████▎ | 304/412 [38:45<14:32, 8.08s/it][A + mmlu_zh: 74%|██████████████████████████████████████████████████████████████████████████████████████▌ | 305/412 [38:53<14:23, 8.07s/it][A + mmlu_zh: 74%|██████████████████████████████████████████████████████████████████████████████████████▉ | 306/412 [39:00<13:31, 7.66s/it][A + mmlu_zh: 75%|███████████████████████████████████████████████████████████████████████████████████████▏ | 307/412 [39:07<13:09, 7.51s/it][A + mmlu_zh: 75%|███████████████████████████████████████████████████████████████████████████████████████▍ | 308/412 [39:15<13:19, 7.68s/it][A + mmlu_zh: 75%|███████████████████████████████████████████████████████████████████████████████████████▊ | 309/412 [39:22<12:50, 7.48s/it][A + mmlu_zh: 75%|████████████████████████████████████████████████████████████████████████████████████████ | 310/412 [39:30<12:58, 7.63s/it][A + mmlu_zh: 75%|████████████████████████████████████████████████████████████████████████████████████████▎ | 311/412 [39:39<13:16, 7.88s/it][A + mmlu_zh: 76%|████████████████████████████████████████████████████████████████████████████████████████▌ | 312/412 [39:47<13:30, 8.10s/it][A + mmlu_zh: 76%|████████████████████████████████████████████████████████████████████████████████████████▉ | 313/412 [39:55<13:20, 8.09s/it][A + mmlu_zh: 76%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 314/412 [40:03<13:13, 8.10s/it][A + mmlu_zh: 76%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 315/412 [40:11<12:39, 7.83s/it][A + mmlu_zh: 77%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 316/412 [40:18<12:04, 7.55s/it][A + mmlu_zh: 77%|██████████████████████████████████████████████████████████████████████████████████████████ | 317/412 [40:25<11:56, 7.54s/it][A + mmlu_zh: 77%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 318/412 [40:34<12:37, 8.06s/it][A + mmlu_zh: 77%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 319/412 [40:42<12:05, 7.80s/it][A + mmlu_zh: 78%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 320/412 [40:50<12:09, 7.93s/it][A + mmlu_zh: 78%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 321/412 [40:58<12:03, 7.95s/it][A + mmlu_zh: 78%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 322/412 [41:07<12:29, 8.33s/it][A + mmlu_zh: 78%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 323/412 [41:15<12:22, 8.35s/it][A + mmlu_zh: 79%|████████████████████████████████████████████████████████████████████████████████████████████ | 324/412 [41:23<12:00, 8.19s/it][A + mmlu_zh: 79%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 325/412 [41:32<12:02, 8.30s/it][A + mmlu_zh: 79%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 326/412 [41:39<11:33, 8.06s/it][A + mmlu_zh: 79%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 327/412 [41:46<11:02, 7.79s/it][A + mmlu_zh: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 328/412 [41:54<10:46, 7.70s/it][A + mmlu_zh: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 329/412 [42:01<10:34, 7.64s/it][A + mmlu_zh: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 330/412 [42:09<10:23, 7.60s/it][A + mmlu_zh: 80%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 331/412 [42:16<10:10, 7.53s/it][A + mmlu_zh: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 332/412 [42:24<10:18, 7.73s/it][A + mmlu_zh: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 333/412 [42:33<10:21, 7.86s/it][A + mmlu_zh: 81%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 334/412 [42:40<09:53, 7.61s/it][A + mmlu_zh: 81%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 335/412 [42:48<10:00, 7.80s/it][A + mmlu_zh: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 336/412 [42:55<09:45, 7.71s/it][A + mmlu_zh: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/412 [43:03<09:36, 7.68s/it][A + mmlu_zh: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/412 [43:10<09:06, 7.39s/it][A + mmlu_zh: 82%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 339/412 [43:17<08:59, 7.40s/it][A + mmlu_zh: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 340/412 [43:24<08:43, 7.26s/it][A + mmlu_zh: 83%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 341/412 [43:32<08:42, 7.36s/it][A + mmlu_zh: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 342/412 [43:40<08:57, 7.68s/it][A + mmlu_zh: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 343/412 [43:48<08:56, 7.77s/it][A + mmlu_zh: 83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 344/412 [43:57<09:10, 8.09s/it][A + mmlu_zh: 84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 345/412 [44:05<08:55, 8.00s/it][A + mmlu_zh: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 346/412 [44:12<08:32, 7.77s/it][A + mmlu_zh: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 347/412 [44:20<08:38, 7.98s/it][A + mmlu_zh: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 348/412 [44:29<08:37, 8.09s/it][A + mmlu_zh: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 349/412 [44:36<08:13, 7.83s/it][A + mmlu_zh: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 350/412 [44:44<08:11, 7.93s/it][A + mmlu_zh: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 351/412 [44:51<07:50, 7.71s/it][A + mmlu_zh: 85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 352/412 [44:58<07:30, 7.51s/it][A + mmlu_zh: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 353/412 [45:05<07:15, 7.38s/it][A + mmlu_zh: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 354/412 [45:13<07:03, 7.30s/it][A + mmlu_zh: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 355/412 [45:20<06:55, 7.29s/it][A + mmlu_zh: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 356/412 [45:27<06:45, 7.24s/it][A + mmlu_zh: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 357/412 [45:35<06:46, 7.40s/it][A + mmlu_zh: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 358/412 [45:43<06:54, 7.68s/it][A + mmlu_zh: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 359/412 [45:51<06:50, 7.75s/it][A + mmlu_zh: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 360/412 [45:58<06:27, 7.44s/it][A + mmlu_zh: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 361/412 [46:05<06:20, 7.47s/it][A + mmlu_zh: 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 362/412 [46:13<06:22, 7.64s/it][A + mmlu_zh: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 363/412 [46:21<06:18, 7.73s/it][A + mmlu_zh: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 364/412 [46:30<06:25, 8.02s/it][A + mmlu_zh: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 365/412 [46:37<06:01, 7.68s/it][A + mmlu_zh: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 366/412 [46:45<05:59, 7.82s/it][A + mmlu_zh: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 367/412 [46:52<05:43, 7.63s/it][A + mmlu_zh: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 368/412 [47:00<05:39, 7.71s/it][A + mmlu_zh: 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 369/412 [47:07<05:18, 7.40s/it][A + mmlu_zh: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 370/412 [47:14<05:09, 7.36s/it][A + mmlu_zh: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 371/412 [47:21<05:00, 7.32s/it][A + mmlu_zh: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 372/412 [47:30<05:05, 7.63s/it][A + mmlu_zh: 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 373/412 [47:37<04:52, 7.49s/it][A + mmlu_zh: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 374/412 [47:45<04:56, 7.81s/it][A + mmlu_zh: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 375/412 [47:52<04:41, 7.61s/it][A + mmlu_zh: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 376/412 [48:00<04:36, 7.68s/it][A + mmlu_zh: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 377/412 [48:08<04:27, 7.64s/it][A + mmlu_zh: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 378/412 [48:16<04:22, 7.71s/it][A + mmlu_zh: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 379/412 [48:25<04:29, 8.17s/it][A + mmlu_zh: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 380/412 [48:32<04:11, 7.87s/it][A + mmlu_zh: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 381/412 [48:40<04:08, 8.00s/it][A + mmlu_zh: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 382/412 [48:48<03:57, 7.91s/it][A + mmlu_zh: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 383/412 [48:56<03:46, 7.80s/it][A + mmlu_zh: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 384/412 [49:04<03:41, 7.89s/it][A + mmlu_zh: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 385/412 [49:11<03:31, 7.85s/it][A + mmlu_zh: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 386/412 [49:19<03:24, 7.88s/it][A + mmlu_zh: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 387/412 [49:29<03:29, 8.37s/it][A + mmlu_zh: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 388/412 [49:37<03:19, 8.33s/it][A + mmlu_zh: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 389/412 [49:45<03:09, 8.23s/it][A + mmlu_zh: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 390/412 [49:53<03:00, 8.20s/it][A + mmlu_zh: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 391/412 [50:02<02:52, 8.24s/it][A + mmlu_zh: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 392/412 [50:09<02:38, 7.92s/it][A + mmlu_zh: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 393/412 [50:16<02:28, 7.82s/it][A + mmlu_zh: 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 394/412 [50:24<02:17, 7.65s/it][A + mmlu_zh: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 395/412 [50:32<02:12, 7.78s/it][A + mmlu_zh: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 396/412 [50:40<02:05, 7.85s/it][A + mmlu_zh: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 397/412 [50:48<01:59, 8.00s/it][A + mmlu_zh: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 398/412 [50:56<01:50, 7.89s/it][A + mmlu_zh: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 399/412 [51:04<01:42, 7.92s/it][A + mmlu_zh: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 400/412 [51:12<01:34, 7.90s/it][A + mmlu_zh: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 401/412 [51:19<01:25, 7.81s/it][A + mmlu_zh: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 402/412 [51:26<01:15, 7.52s/it][A + mmlu_zh: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 403/412 [51:34<01:09, 7.72s/it][A + mmlu_zh: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 404/412 [51:41<01:00, 7.56s/it][A + mmlu_zh: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 405/412 [51:49<00:52, 7.56s/it][A + mmlu_zh: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [51:56<00:45, 7.54s/it][A + mmlu_zh: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [52:03<00:36, 7.39s/it][A + mmlu_zh: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [52:13<00:31, 7.90s/it][A + mmlu_zh: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [52:19<00:22, 7.60s/it][A + mmlu_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [52:27<00:15, 7.69s/it][A + mmlu_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [52:36<00:08, 8.03s/it][A + mmlu_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:42<00:00, 7.50s/it][A mmlu_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:42<00:00, 7.68s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_zh_acc 0.3541207747816179 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_zh_acc_norm 0.32821876186859095 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:13:47,005 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:13:47,005 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:47,129 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:13:47,129 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:47,253 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:13:47,253 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:47,377 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:13:47,377 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:13:47,377 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:13:47,503 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:13:47,503 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_zh_acc'} +2024-06-01 05:13:47,566 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:13:47,566 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1263, 'value': 0.3541207747816179} +2024-06-01 05:13:47,629 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:13:48,272 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:13:48,272 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:48,398 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:13:48,399 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:48,525 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:13:48,525 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:48,652 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:13:48,653 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:13:48,653 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:13:48,781 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:13:48,781 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_zh_acc_norm'} +2024-06-01 05:13:48,845 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:13:48,845 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1264, 'value': 0.32821876186859095} +2024-06-01 05:13:48,909 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 75%|█████████████████████████████████████████████████████████████████████████████████ | 93/124 [70:26:18<34:53:53, 4052.68s/it]['truthfulqa_ar'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:13:49,564 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:13:49,564 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:49,693 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:13:49,693 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:49,822 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:13:49,822 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:13:49,951 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:13:49,951 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 05:13:49,951 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_ar'} +2024-06-01 05:13:50,082 INFO sqlalchemy.engine.Engine ROLLBACK +/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_truthfulqa contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_truthfulqa/m_truthfulqa.py +You can avoid this message in future by passing the argument `trust_remote_code=True`. +Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`. + warnings.warn( +[Task(name=truthfulqa_ar task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 773 examples [00:00, 10489.49 examples/s] +Running loglikelihood requests + + truthfulqa_ar: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_ar: 1%|█▌ | 1/74 [00:10<12:50, 10.56s/it][A + truthfulqa_ar: 3%|███ | 2/74 [00:20<12:09, 10.13s/it][A + truthfulqa_ar: 4%|████▌ | 3/74 [00:30<11:43, 9.91s/it][A + truthfulqa_ar: 5%|██████▏ | 4/74 [00:40<11:47, 10.10s/it][A + truthfulqa_ar: 7%|███████▋ | 5/74 [00:50<11:31, 10.02s/it][A + truthfulqa_ar: 8%|█████████▏ | 6/74 [01:00<11:33, 10.21s/it][A + truthfulqa_ar: 9%|██████████▊ | 7/74 [01:11<11:40, 10.46s/it][A + truthfulqa_ar: 11%|████████████▎ | 8/74 [01:22<11:31, 10.48s/it][A + truthfulqa_ar: 12%|█████████████▊ | 9/74 [01:32<11:09, 10.29s/it][A + truthfulqa_ar: 14%|███████████████▎ | 10/74 [01:41<10:46, 10.10s/it][A + truthfulqa_ar: 15%|████████████████▊ | 11/74 [01:51<10:33, 10.05s/it][A + truthfulqa_ar: 16%|██████████████████▎ | 12/74 [02:01<10:10, 9.85s/it][A + truthfulqa_ar: 18%|███████████████████▊ | 13/74 [02:11<10:00, 9.85s/it][A + truthfulqa_ar: 19%|█████████████████████▍ | 14/74 [02:21<09:54, 9.91s/it][A + truthfulqa_ar: 20%|██████████████████████▉ | 15/74 [02:31<09:53, 10.06s/it][A + truthfulqa_ar: 22%|████████████████████████▍ | 16/74 [02:41<09:34, 9.90s/it][A + truthfulqa_ar: 23%|█████████████████████████▉ | 17/74 [02:50<09:11, 9.68s/it][A + truthfulqa_ar: 24%|███████████████████████████▍ | 18/74 [02:59<08:59, 9.64s/it][A + truthfulqa_ar: 26%|█████████████████████████████ | 19/74 [03:09<08:52, 9.68s/it][A + truthfulqa_ar: 27%|██████████████████████████████▌ | 20/74 [03:18<08:37, 9.58s/it][A + truthfulqa_ar: 28%|████████████████████████████████ | 21/74 [03:29<08:37, 9.76s/it][A + truthfulqa_ar: 30%|█████████████████████████████████▌ | 22/74 [03:38<08:28, 9.79s/it][A + truthfulqa_ar: 31%|███████████████████████████████████ | 23/74 [03:48<08:20, 9.81s/it][A + truthfulqa_ar: 32%|████████████████████████████████████▋ | 24/74 [03:58<08:14, 9.88s/it][A + truthfulqa_ar: 34%|██████████████████████████████████████▏ | 25/74 [04:09<08:10, 10.01s/it][A + truthfulqa_ar: 35%|███████████████████████████████████████▋ | 26/74 [04:19<08:08, 10.17s/it][A + truthfulqa_ar: 36%|█████████████████████████████████████████▏ | 27/74 [04:29<07:52, 10.06s/it][A + truthfulqa_ar: 38%|██████████████████████████████████████████▊ | 28/74 [04:39<07:46, 10.15s/it][A + truthfulqa_ar: 39%|████████████████████████████████████████████▎ | 29/74 [04:49<07:31, 10.03s/it][A + truthfulqa_ar: 41%|█████████████████████████████████████████████▊ | 30/74 [05:00<07:27, 10.16s/it][A + truthfulqa_ar: 42%|███████████████████████████████████████████████▎ | 31/74 [05:09<07:06, 9.91s/it][A + truthfulqa_ar: 43%|████████████████████████████████████████████████▊ | 32/74 [05:19<07:00, 10.00s/it][A + truthfulqa_ar: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:29<06:45, 9.89s/it][A + truthfulqa_ar: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:39<06:36, 9.91s/it][A + truthfulqa_ar: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:49<06:29, 9.98s/it][A + truthfulqa_ar: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:59<06:20, 10.00s/it][A + truthfulqa_ar: 50%|████████████████████████████████████████████████████████▌ | 37/74 [06:08<06:00, 9.73s/it][A + truthfulqa_ar: 51%|██████████████████████████████████████████████████████████ | 38/74 [06:17<05:41, 9.49s/it][A + truthfulqa_ar: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [06:27<05:40, 9.74s/it][A + truthfulqa_ar: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:37<05:27, 9.63s/it][A + truthfulqa_ar: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:47<05:26, 9.91s/it][A + truthfulqa_ar: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [06:57<05:13, 9.81s/it][A + truthfulqa_ar: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [07:07<05:04, 9.84s/it][A + truthfulqa_ar: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [07:17<04:57, 9.92s/it][A + truthfulqa_ar: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [07:27<04:50, 10.00s/it][A + truthfulqa_ar: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [07:37<04:37, 9.90s/it][A + truthfulqa_ar: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:46<04:22, 9.73s/it][A + truthfulqa_ar: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [07:55<04:09, 9.60s/it][A + truthfulqa_ar: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [08:05<03:58, 9.54s/it][A + truthfulqa_ar: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [08:14<03:50, 9.59s/it][A + truthfulqa_ar: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [08:24<03:41, 9.62s/it][A + truthfulqa_ar: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [08:34<03:34, 9.76s/it][A + truthfulqa_ar: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [08:43<03:20, 9.54s/it][A + truthfulqa_ar: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [08:53<03:13, 9.67s/it][A + truthfulqa_ar: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [09:02<03:00, 9.52s/it][A + truthfulqa_ar: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [09:12<02:54, 9.68s/it][A + truthfulqa_ar: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [09:22<02:44, 9.66s/it][A + truthfulqa_ar: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [09:32<02:36, 9.78s/it][A + truthfulqa_ar: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [09:41<02:23, 9.57s/it][A + truthfulqa_ar: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:51<02:14, 9.64s/it][A + truthfulqa_ar: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [10:02<02:09, 9.97s/it][A + truthfulqa_ar: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [10:11<01:57, 9.77s/it][A + truthfulqa_ar: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [10:21<01:48, 9.86s/it][A + truthfulqa_ar: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [10:31<01:38, 9.88s/it][A + truthfulqa_ar: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [10:41<01:28, 9.80s/it][A + truthfulqa_ar: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [10:51<01:19, 9.88s/it][A + truthfulqa_ar: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [11:01<01:09, 9.88s/it][A + truthfulqa_ar: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [11:10<00:59, 9.87s/it][A + truthfulqa_ar: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [11:20<00:49, 9.87s/it][A + truthfulqa_ar: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [11:30<00:39, 9.89s/it][A + truthfulqa_ar: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [11:40<00:29, 9.97s/it][A + truthfulqa_ar: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [11:50<00:19, 9.93s/it][A + truthfulqa_ar: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [12:01<00:10, 10.04s/it][A + truthfulqa_ar: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:08<00:00, 9.25s/it][A truthfulqa_ar: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:08<00:00, 9.84s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ar_mc1 0.2949547218628719 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ar_mc2 0.4966574923818397 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:25:59,328 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:25:59,328 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:25:59,453 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:25:59,454 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:25:59,579 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:25:59,579 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:25:59,704 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:25:59,705 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:25:59,705 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:25:59,832 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:25:59,832 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'truthfulqa_ar_mc1'} +2024-06-01 05:25:59,896 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:25:59,896 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1265, 'value': 0.2949547218628719} +2024-06-01 05:25:59,960 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:26:00,611 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:26:00,611 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:26:00,739 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:26:00,740 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:26:00,868 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:26:00,868 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:26:00,996 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:26:00,997 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:26:00,997 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:26:01,127 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:26:01,127 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ar_mc2'} +2024-06-01 05:26:01,192 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:26:01,192 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1266, 'value': 0.4966574923818397} +2024-06-01 05:26:01,257 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 76%|█████████████████████████████████████████████████████████████████████████████████▊ | 94/124 [70:38:30<25:28:17, 3056.58s/it]['truthfulqa_bn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:26:01,906 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:26:01,906 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:26:02,038 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:26:02,038 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:26:02,165 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:26:02,165 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:26:02,293 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:26:02,293 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 05:26:02,294 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_bn'} +2024-06-01 05:26:02,422 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_bn task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 781 examples [00:00, 9858.64 examples/s] +Running loglikelihood requests + + truthfulqa_bn: 0%| | 0/75 [00:00<?, ?it/s][A + truthfulqa_bn: 1%|█▌ | 1/75 [00:11<13:44, 11.14s/it][A + truthfulqa_bn: 3%|███ | 2/75 [00:22<13:55, 11.45s/it][A + truthfulqa_bn: 4%|████▌ | 3/75 [00:35<14:18, 11.93s/it][A + truthfulqa_bn: 5%|██████ | 4/75 [00:47<14:23, 12.17s/it][A + truthfulqa_bn: 7%|███████▌ | 5/75 [00:58<13:39, 11.70s/it][A + truthfulqa_bn: 8%|█████████ | 6/75 [01:09<13:03, 11.35s/it][A + truthfulqa_bn: 9%|██████████▋ | 7/75 [01:20<12:41, 11.20s/it][A + truthfulqa_bn: 11%|████████████▏ | 8/75 [01:31<12:40, 11.36s/it][A + truthfulqa_bn: 12%|█████████████▋ | 9/75 [01:43<12:35, 11.44s/it][A + truthfulqa_bn: 13%|███████████████ | 10/75 [01:54<12:16, 11.33s/it][A + truthfulqa_bn: 15%|████████████████▌ | 11/75 [02:05<12:00, 11.26s/it][A + truthfulqa_bn: 16%|██████████████████ | 12/75 [02:16<11:37, 11.07s/it][A + truthfulqa_bn: 17%|███████████████████▌ | 13/75 [02:26<11:08, 10.79s/it][A + truthfulqa_bn: 19%|█████████████████████ | 14/75 [02:39<11:43, 11.54s/it][A + truthfulqa_bn: 20%|██████████████████████▌ | 15/75 [02:50<11:21, 11.36s/it][A + truthfulqa_bn: 21%|████████████████████████ | 16/75 [03:02<11:20, 11.53s/it][A + truthfulqa_bn: 23%|█████████████████████████▌ | 17/75 [03:13<11:02, 11.42s/it][A + truthfulqa_bn: 24%|███████████████████████████ | 18/75 [03:26<11:13, 11.82s/it][A + truthfulqa_bn: 25%|████████████████████████████▋ | 19/75 [03:37<10:44, 11.50s/it][A + truthfulqa_bn: 27%|██████████████████████████████▏ | 20/75 [03:49<10:34, 11.54s/it][A + truthfulqa_bn: 28%|███████████████████████████████▋ | 21/75 [04:00<10:18, 11.44s/it][A + truthfulqa_bn: 29%|█████████████████████████████████▏ | 22/75 [04:11<09:59, 11.31s/it][A + truthfulqa_bn: 31%|██████████████████████████████████▋ | 23/75 [04:22<09:48, 11.32s/it][A + truthfulqa_bn: 32%|████████████████████████████████████▏ | 24/75 [04:34<09:43, 11.45s/it][A + truthfulqa_bn: 33%|█████████████████████████████████████▋ | 25/75 [04:45<09:27, 11.34s/it][A + truthfulqa_bn: 35%|███████████████████████████████████████▏ | 26/75 [04:56<09:17, 11.37s/it][A + truthfulqa_bn: 36%|████████████████████████████████████████▋ | 27/75 [05:08<09:16, 11.60s/it][A + truthfulqa_bn: 37%|██████████████████████████████████████████▏ | 28/75 [05:19<08:47, 11.22s/it][A + truthfulqa_bn: 39%|███████████████████████████████████████████▋ | 29/75 [05:29<08:24, 10.96s/it][A + truthfulqa_bn: 40%|█████████████████████████████████████████████▏ | 30/75 [05:40<08:08, 10.85s/it][A + truthfulqa_bn: 41%|██████████████████████████████████████████████▋ | 31/75 [05:51<08:00, 10.91s/it][A + truthfulqa_bn: 43%|████████████████████████████████████████████████▏ | 32/75 [06:02<07:47, 10.87s/it][A + truthfulqa_bn: 44%|█████████████████████████████████████████████████▋ | 33/75 [06:12<07:28, 10.68s/it][A + truthfulqa_bn: 45%|███████████████████████████████████████████████████▏ | 34/75 [06:23<07:29, 10.96s/it][A + truthfulqa_bn: 47%|████████████████████████████████████████████████████▋ | 35/75 [06:34<07:14, 10.87s/it][A + truthfulqa_bn: 48%|██████████████████████████████████████████████████████▏ | 36/75 [06:45<07:01, 10.81s/it][A + truthfulqa_bn: 49%|███████████████████████████████████████████████████████▋ | 37/75 [06:56<06:55, 10.93s/it][A + truthfulqa_bn: 51%|█████████████████████████████████████████████████████████▎ | 38/75 [07:07<06:40, 10.82s/it][A + truthfulqa_bn: 52%|██████████████████████████████████████████████████████████▊ | 39/75 [07:18<06:35, 10.99s/it][A + truthfulqa_bn: 53%|████████████████████████████████████████████████████████████▎ | 40/75 [07:29<06:20, 10.87s/it][A + truthfulqa_bn: 55%|█████████████████████████████████████████████████████████████▊ | 41/75 [07:41<06:27, 11.40s/it][A + truthfulqa_bn: 56%|███████████████████████████████████████████████████████████████▎ | 42/75 [07:53<06:18, 11.48s/it][A + truthfulqa_bn: 57%|████████████████████████████████████████████████████████████████▊ | 43/75 [08:03<05:58, 11.22s/it][A + truthfulqa_bn: 59%|██████████████████████████████████████████████████████████████████▎ | 44/75 [08:16<06:02, 11.69s/it][A + truthfulqa_bn: 60%|███████████████████████████████████████████████████████████████████▊ | 45/75 [08:29<06:00, 12.02s/it][A + truthfulqa_bn: 61%|█████████████████████████████████████████████████████████████████████▎ | 46/75 [08:41<05:50, 12.09s/it][A + truthfulqa_bn: 63%|██████████████████████████████████████████████████████████████████████▊ | 47/75 [08:54<05:41, 12.20s/it][A + truthfulqa_bn: 64%|████████████████████████████████████████████████████████████████████████▎ | 48/75 [09:04<05:15, 11.68s/it][A + truthfulqa_bn: 65%|█████████████████████████████████████████████████████████████████████████▊ | 49/75 [09:16<05:03, 11.69s/it][A + truthfulqa_bn: 67%|███████████████████████████████████████████████████████████████████████████▎ | 50/75 [09:28<04:55, 11.81s/it][A + truthfulqa_bn: 68%|████████████████████████████████████████████████████████████████████████████▊ | 51/75 [09:38<04:34, 11.42s/it][A + truthfulqa_bn: 69%|██████████████████████████████████████████████████████████████████████████████▎ | 52/75 [09:49<04:18, 11.25s/it][A + truthfulqa_bn: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 53/75 [10:01<04:11, 11.42s/it][A + truthfulqa_bn: 72%|█████████████████████████████████████████████████████████████████████████████████▎ | 54/75 [10:14<04:07, 11.77s/it][A + truthfulqa_bn: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 55/75 [10:26<03:56, 11.84s/it][A + truthfulqa_bn: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 56/75 [10:37<03:39, 11.57s/it][A + truthfulqa_bn: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 57/75 [10:49<03:30, 11.72s/it][A + truthfulqa_bn: 77%|███████████████████████████████████████████████████████████████████████████████████████▍ | 58/75 [11:02<03:25, 12.07s/it][A + truthfulqa_bn: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 59/75 [11:13<03:08, 11.76s/it][A + truthfulqa_bn: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 60/75 [11:23<02:50, 11.37s/it][A + truthfulqa_bn: 81%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 61/75 [11:35<02:41, 11.54s/it][A + truthfulqa_bn: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 62/75 [11:47<02:29, 11.52s/it][A + truthfulqa_bn: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 63/75 [11:57<02:15, 11.29s/it][A + truthfulqa_bn: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 64/75 [12:08<02:03, 11.19s/it][A + truthfulqa_bn: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/75 [12:19<01:51, 11.11s/it][A + truthfulqa_bn: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 66/75 [12:29<01:37, 10.86s/it][A + truthfulqa_bn: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/75 [12:41<01:28, 11.10s/it][A + truthfulqa_bn: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 68/75 [12:51<01:15, 10.80s/it][A + truthfulqa_bn: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 69/75 [13:04<01:07, 11.26s/it][A + truthfulqa_bn: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/75 [13:15<00:56, 11.32s/it][A + truthfulqa_bn: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/75 [13:25<00:43, 10.95s/it][A + truthfulqa_bn: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/75 [13:37<00:33, 11.25s/it][A + truthfulqa_bn: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/75 [13:48<00:22, 11.08s/it][A + truthfulqa_bn: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [13:59<00:11, 11.17s/it][A + truthfulqa_bn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [14:07<00:00, 10.12s/it][A truthfulqa_bn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [14:07<00:00, 11.30s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_bn_mc1 0.26248399487836105 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_bn_mc2 0.5165298053992592 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:40:10,539 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:40:10,539 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:10,665 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:40:10,665 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:10,790 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:40:10,791 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:10,916 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:40:10,917 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:40:10,917 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:40:11,044 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:40:11,044 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_bn_mc1'} +2024-06-01 05:40:11,108 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:40:11,108 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1267, 'value': 0.26248399487836105} +2024-06-01 05:40:11,172 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:40:11,797 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:40:11,797 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:11,920 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:40:11,920 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:12,041 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:40:12,041 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:12,163 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:40:12,164 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:40:12,164 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:40:12,286 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:40:12,287 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_bn_mc2'} +2024-06-01 05:40:12,348 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:40:12,348 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1268, 'value': 0.5165298053992592} +2024-06-01 05:40:12,410 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 77%|██████████████████████████████████████████████████████████████████████████████████▋ | 95/124 [70:52:41<19:17:33, 2394.95s/it]['truthfulqa_ca'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:40:13,011 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:40:13,011 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:13,129 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:40:13,129 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:13,246 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:40:13,246 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:40:13,364 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:40:13,365 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 05:40:13,365 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_ca'} +2024-06-01 05:40:13,483 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_ca task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 777 examples [00:00, 10470.33 examples/s] +Running loglikelihood requests + + truthfulqa_ca: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_ca: 1%|█▌ | 1/74 [00:08<10:46, 8.86s/it][A + truthfulqa_ca: 3%|███ | 2/74 [00:18<10:52, 9.06s/it][A + truthfulqa_ca: 4%|████▌ | 3/74 [00:27<10:48, 9.14s/it][A + truthfulqa_ca: 5%|██████▏ | 4/74 [00:37<11:01, 9.45s/it][A + truthfulqa_ca: 7%|███████▋ | 5/74 [00:46<10:45, 9.36s/it][A + truthfulqa_ca: 8%|█████████▏ | 6/74 [00:55<10:36, 9.36s/it][A + truthfulqa_ca: 9%|██████████▊ | 7/74 [01:05<10:23, 9.31s/it][A + truthfulqa_ca: 11%|████████████▎ | 8/74 [01:14<10:25, 9.48s/it][A + truthfulqa_ca: 12%|█████████████▊ | 9/74 [01:23<09:55, 9.16s/it][A + truthfulqa_ca: 14%|███████████████▎ | 10/74 [01:32<09:43, 9.11s/it][A + truthfulqa_ca: 15%|████████████████▊ | 11/74 [01:41<09:42, 9.25s/it][A + truthfulqa_ca: 16%|██████████████████▎ | 12/74 [01:51<09:32, 9.24s/it][A + truthfulqa_ca: 18%|███████████████████▊ | 13/74 [02:00<09:17, 9.15s/it][A + truthfulqa_ca: 19%|█████████████████████▍ | 14/74 [02:09<09:07, 9.13s/it][A + truthfulqa_ca: 20%|██████████████████████▉ | 15/74 [02:18<09:00, 9.17s/it][A + truthfulqa_ca: 22%|████████████████████████▍ | 16/74 [02:27<08:55, 9.23s/it][A + truthfulqa_ca: 23%|█████████████████████████▉ | 17/74 [02:36<08:42, 9.17s/it][A + truthfulqa_ca: 24%|███████████████████████████▍ | 18/74 [02:46<08:36, 9.22s/it][A + truthfulqa_ca: 26%|█████████████████████████████ | 19/74 [02:54<08:16, 9.03s/it][A + truthfulqa_ca: 27%|██████████████████████████████▌ | 20/74 [03:03<08:00, 8.89s/it][A + truthfulqa_ca: 28%|████████████████████████████████ | 21/74 [03:12<07:52, 8.92s/it][A + truthfulqa_ca: 30%|█████████████████████████████████▌ | 22/74 [03:21<07:45, 8.95s/it][A + truthfulqa_ca: 31%|███████████████████████████████████ | 23/74 [03:30<07:36, 8.96s/it][A + truthfulqa_ca: 32%|████████████████████████████████████▋ | 24/74 [03:39<07:31, 9.03s/it][A + truthfulqa_ca: 34%|██████████████████████████████████████▏ | 25/74 [03:48<07:16, 8.91s/it][A + truthfulqa_ca: 35%|███████████████████████████████████████▋ | 26/74 [03:57<07:11, 8.99s/it][A + truthfulqa_ca: 36%|█████████████████████████████████████████▏ | 27/74 [04:06<07:03, 9.01s/it][A + truthfulqa_ca: 38%|██████████████████████████████████████████▊ | 28/74 [04:15<06:55, 9.03s/it][A + truthfulqa_ca: 39%|████████████████████████████████████████████▎ | 29/74 [04:24<06:45, 9.02s/it][A + truthfulqa_ca: 41%|█████████████████████████████████████████████▊ | 30/74 [04:33<06:37, 9.04s/it][A + truthfulqa_ca: 42%|███████████████████████████████████████████████▎ | 31/74 [04:43<06:36, 9.21s/it][A + truthfulqa_ca: 43%|████████████████████████████████████████████████▊ | 32/74 [04:52<06:27, 9.23s/it][A + truthfulqa_ca: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:01<06:15, 9.15s/it][A + truthfulqa_ca: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:10<06:06, 9.15s/it][A + truthfulqa_ca: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:19<05:56, 9.13s/it][A + truthfulqa_ca: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:27<05:38, 8.91s/it][A + truthfulqa_ca: 50%|████████████████████████████████████████████████████████▌ | 37/74 [05:37<05:36, 9.10s/it][A + truthfulqa_ca: 51%|██████████████████████████████████████████████████████████ | 38/74 [05:46<05:31, 9.20s/it][A + truthfulqa_ca: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [05:56<05:22, 9.20s/it][A + truthfulqa_ca: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:05<05:10, 9.13s/it][A + truthfulqa_ca: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:14<05:00, 9.10s/it][A + truthfulqa_ca: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [06:22<04:47, 8.97s/it][A + truthfulqa_ca: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [06:31<04:33, 8.81s/it][A + truthfulqa_ca: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [06:40<04:29, 8.99s/it][A + truthfulqa_ca: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [06:49<04:21, 9.03s/it][A + truthfulqa_ca: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [06:59<04:15, 9.12s/it][A + truthfulqa_ca: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:08<04:08, 9.21s/it][A + truthfulqa_ca: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [07:17<03:57, 9.13s/it][A + truthfulqa_ca: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [07:25<03:42, 8.89s/it][A + truthfulqa_ca: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [07:34<03:33, 8.89s/it][A + truthfulqa_ca: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [07:43<03:27, 9.02s/it][A + truthfulqa_ca: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [07:52<03:18, 9.01s/it][A + truthfulqa_ca: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [08:02<03:10, 9.08s/it][A + truthfulqa_ca: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [08:11<03:02, 9.13s/it][A + truthfulqa_ca: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [08:20<02:50, 8.97s/it][A + truthfulqa_ca: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [08:28<02:38, 8.83s/it][A + truthfulqa_ca: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [08:38<02:33, 9.02s/it][A + truthfulqa_ca: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [08:47<02:24, 9.03s/it][A + truthfulqa_ca: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [08:56<02:16, 9.09s/it][A + truthfulqa_ca: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:05<02:09, 9.27s/it][A + truthfulqa_ca: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [09:15<01:59, 9.22s/it][A + truthfulqa_ca: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [09:24<01:49, 9.15s/it][A + truthfulqa_ca: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [09:33<01:40, 9.13s/it][A + truthfulqa_ca: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [09:42<01:31, 9.13s/it][A + truthfulqa_ca: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [09:51<01:22, 9.11s/it][A + truthfulqa_ca: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [10:01<01:14, 9.35s/it][A + truthfulqa_ca: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [10:10<01:06, 9.44s/it][A + truthfulqa_ca: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [10:19<00:55, 9.33s/it][A + truthfulqa_ca: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [10:29<00:46, 9.24s/it][A + truthfulqa_ca: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [10:38<00:36, 9.21s/it][A + truthfulqa_ca: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [10:47<00:28, 9.34s/it][A + truthfulqa_ca: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [10:57<00:18, 9.31s/it][A + truthfulqa_ca: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:06<00:09, 9.23s/it][A + truthfulqa_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:14<00:00, 9.14s/it][A truthfulqa_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:14<00:00, 9.12s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ca_mc1 0.305019305019305 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ca_mc2 0.473386858970418 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:51:29,576 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:51:29,576 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:29,701 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:51:29,701 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:29,826 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:51:29,826 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:29,951 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:51:29,952 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:51:29,952 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:51:30,081 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:51:30,081 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ca_mc1'} +2024-06-01 05:51:30,145 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:51:30,145 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1269, 'value': 0.305019305019305} +2024-06-01 05:51:30,209 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:51:30,868 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:51:30,868 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:30,999 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:51:30,999 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:31,129 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:51:31,129 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:31,259 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:51:31,260 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 05:51:31,260 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 05:51:31,392 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 05:51:31,392 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ca_mc2'} +2024-06-01 05:51:31,458 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 05:51:31,458 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1270, 'value': 0.473386858970418} +2024-06-01 05:51:31,524 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 77%|███████████████████████████████████████████████████████████████████████████████████▌ | 96/124 [71:04:00<14:37:25, 1880.20s/it]['truthfulqa_da'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 05:51:32,169 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 05:51:32,169 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:32,296 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 05:51:32,296 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:32,421 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 05:51:32,422 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 05:51:32,547 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 05:51:32,548 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 05:51:32,548 INFO sqlalchemy.engine.Engine [generated in 0.00021s] {'name_1_1': 'truthfulqa_da'} +2024-06-01 05:51:32,675 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_da task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A + Generating validation split: 699 examples [00:00, 2045.92 examples/s][A Generating validation split: 781 examples [00:00, 2179.39 examples/s] +Running loglikelihood requests + + truthfulqa_da: 0%| | 0/75 [00:00<?, ?it/s][A + truthfulqa_da: 1%|█▌ | 1/75 [00:09<11:25, 9.26s/it][A + truthfulqa_da: 3%|███ | 2/75 [00:18<11:15, 9.25s/it][A + truthfulqa_da: 4%|████▌ | 3/75 [00:27<10:59, 9.16s/it][A + truthfulqa_da: 5%|██████ | 4/75 [00:37<11:01, 9.32s/it][A + truthfulqa_da: 7%|███████▌ | 5/75 [00:47<11:08, 9.54s/it][A + truthfulqa_da: 8%|█████████ | 6/75 [00:56<10:54, 9.49s/it][A + truthfulqa_da: 9%|██████████▋ | 7/75 [01:05<10:32, 9.30s/it][A + truthfulqa_da: 11%|████████████▏ | 8/75 [01:14<10:21, 9.28s/it][A + truthfulqa_da: 12%|█████████████▋ | 9/75 [01:23<10:08, 9.22s/it][A + truthfulqa_da: 13%|███████████████ | 10/75 [01:33<10:04, 9.30s/it][A + truthfulqa_da: 15%|████████████████▌ | 11/75 [01:42<10:01, 9.40s/it][A + truthfulqa_da: 16%|██████████████████ | 12/75 [01:51<09:41, 9.23s/it][A + truthfulqa_da: 17%|███████████████████▌ | 13/75 [02:00<09:27, 9.16s/it][A + truthfulqa_da: 19%|█████████████████████ | 14/75 [02:10<09:32, 9.39s/it][A + truthfulqa_da: 20%|██████████████████████▌ | 15/75 [02:19<09:17, 9.30s/it][A + truthfulqa_da: 21%|████████████████████████ | 16/75 [02:28<09:00, 9.16s/it][A + truthfulqa_da: 23%|█████████████████████████▌ | 17/75 [02:37<08:51, 9.17s/it][A + truthfulqa_da: 24%|███████████████████████████ | 18/75 [02:47<08:51, 9.33s/it][A + truthfulqa_da: 25%|████████████████████████████▋ | 19/75 [02:56<08:39, 9.28s/it][A + truthfulqa_da: 27%|██████████████████████████████▏ | 20/75 [03:05<08:27, 9.22s/it][A + truthfulqa_da: 28%|███████████████████████████████▋ | 21/75 [03:14<08:14, 9.16s/it][A + truthfulqa_da: 29%|█████████████████████████████████▏ | 22/75 [03:23<08:06, 9.18s/it][A + truthfulqa_da: 31%|██████████████████████████████████▋ | 23/75 [03:32<07:56, 9.16s/it][A + truthfulqa_da: 32%|████████████████████████████████████▏ | 24/75 [03:42<07:45, 9.12s/it][A + truthfulqa_da: 33%|█████████████████████████████████████▋ | 25/75 [03:51<07:48, 9.37s/it][A + truthfulqa_da: 35%|███████████████████████████████████████▏ | 26/75 [04:00<07:33, 9.26s/it][A + truthfulqa_da: 36%|████████████████████████████████████████▋ | 27/75 [04:10<07:30, 9.38s/it][A + truthfulqa_da: 37%|██████████████████████████████████████████▏ | 28/75 [04:19<07:19, 9.35s/it][A + truthfulqa_da: 39%|███████████████████████████████████████████▋ | 29/75 [04:29<07:10, 9.35s/it][A + truthfulqa_da: 40%|█████████████████████████████████████████████▏ | 30/75 [04:38<06:57, 9.27s/it][A + truthfulqa_da: 41%|██████████████████████████████████████████████▋ | 31/75 [04:47<06:41, 9.12s/it][A + truthfulqa_da: 43%|████████████████████████████████████████████████▏ | 32/75 [04:56<06:32, 9.13s/it][A + truthfulqa_da: 44%|█████████████████████████████████████████████████▋ | 33/75 [05:05<06:22, 9.10s/it][A + truthfulqa_da: 45%|███████████████████████████████████████████████████▏ | 34/75 [05:14<06:12, 9.08s/it][A + truthfulqa_da: 47%|████████████████████████████████████████████████████▋ | 35/75 [05:23<06:02, 9.06s/it][A + truthfulqa_da: 48%|██████████████████████████████████████████████████████▏ | 36/75 [05:31<05:46, 8.89s/it][A + truthfulqa_da: 49%|███████████████████████████████████████████████████████▋ | 37/75 [05:41<05:47, 9.15s/it][A + truthfulqa_da: 51%|█████████████████████████████████████████████████████████▎ | 38/75 [05:50<05:36, 9.09s/it][A + truthfulqa_da: 52%|██████████████████████████████████████████████████████████▊ | 39/75 [05:59<05:30, 9.19s/it][A + truthfulqa_da: 53%|████████████████████████████████████████████████████████████▎ | 40/75 [06:09<05:29, 9.41s/it][A + truthfulqa_da: 55%|█████████████████████████████████████████████████████████████▊ | 41/75 [06:19<05:20, 9.44s/it][A + truthfulqa_da: 56%|███████████████████████████████████████████████████████████████▎ | 42/75 [06:28<05:07, 9.33s/it][A + truthfulqa_da: 57%|████████████████████████████████████████████████████████████████▊ | 43/75 [06:37<04:57, 9.31s/it][A + truthfulqa_da: 59%|██████████████████████████████████████████████████████████████████▎ | 44/75 [06:46<04:44, 9.18s/it][A + truthfulqa_da: 60%|███████████████████████████████████████████████████████████████████▊ | 45/75 [06:56<04:38, 9.28s/it][A + truthfulqa_da: 61%|█████████████████████████████████████████████████████████████████████▎ | 46/75 [07:05<04:29, 9.28s/it][A + truthfulqa_da: 63%|██████████████████████████████████████████████████████████████████████▊ | 47/75 [07:14<04:17, 9.18s/it][A + truthfulqa_da: 64%|████████████████████████████████████████████████████████████████████████▎ | 48/75 [07:23<04:06, 9.11s/it][A + truthfulqa_da: 65%|█████████████████████████████████████████████████████████████████████████▊ | 49/75 [07:32<03:56, 9.11s/it][A + truthfulqa_da: 67%|███████████████████████████████████████████████████████████████████████████▎ | 50/75 [07:42<03:51, 9.26s/it][A + truthfulqa_da: 68%|████████████████████████████████████████████████████████████████████████████▊ | 51/75 [07:51<03:46, 9.45s/it][A + truthfulqa_da: 69%|██████████████████████████████████████████████████████████████████████████████▎ | 52/75 [08:01<03:37, 9.45s/it][A + truthfulqa_da: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 53/75 [08:10<03:28, 9.48s/it][A + truthfulqa_da: 72%|█████████████████████████████████████████████████████████████████████████████████▎ | 54/75 [08:20<03:17, 9.42s/it][A + truthfulqa_da: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 55/75 [08:30<03:11, 9.57s/it][A + truthfulqa_da: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 56/75 [08:39<03:01, 9.53s/it][A + truthfulqa_da: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 57/75 [08:48<02:48, 9.35s/it][A + truthfulqa_da: 77%|███████████████████████████████████████████████████████████████████████████████████████▍ | 58/75 [08:58<02:39, 9.40s/it][A + truthfulqa_da: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 59/75 [09:06<02:27, 9.21s/it][A + truthfulqa_da: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 60/75 [09:15<02:18, 9.21s/it][A + truthfulqa_da: 81%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 61/75 [09:25<02:08, 9.18s/it][A + truthfulqa_da: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 62/75 [09:34<01:58, 9.13s/it][A + truthfulqa_da: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 63/75 [09:43<01:50, 9.24s/it][A + truthfulqa_da: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 64/75 [09:53<01:43, 9.37s/it][A + truthfulqa_da: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/75 [10:02<01:33, 9.31s/it][A + truthfulqa_da: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 66/75 [10:11<01:22, 9.15s/it][A + truthfulqa_da: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/75 [10:20<01:14, 9.25s/it][A + truthfulqa_da: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 68/75 [10:30<01:04, 9.28s/it][A + truthfulqa_da: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 69/75 [10:39<00:55, 9.19s/it][A + truthfulqa_da: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/75 [10:48<00:46, 9.30s/it][A + truthfulqa_da: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/75 [10:57<00:36, 9.18s/it][A + truthfulqa_da: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/75 [11:06<00:27, 9.20s/it][A + truthfulqa_da: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/75 [11:16<00:18, 9.22s/it][A + truthfulqa_da: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:25<00:09, 9.30s/it][A + truthfulqa_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:32<00:00, 8.60s/it][A truthfulqa_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:32<00:00, 9.23s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_da_mc1 0.3290653008962868 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_da_mc2 0.4931356709594265 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:03:06,256 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:03:06,256 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:06,382 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:03:06,382 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:06,507 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:03:06,507 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:06,633 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:03:06,634 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:03:06,634 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:03:06,761 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:03:06,761 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_da_mc1'} +2024-06-01 06:03:06,824 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:03:06,824 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1271, 'value': 0.3290653008962868} +2024-06-01 06:03:06,889 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:03:07,543 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:03:07,543 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:07,672 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:03:07,672 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:07,802 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:03:07,802 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:07,931 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:03:07,932 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:03:07,932 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:03:08,062 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:03:08,062 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_da_mc2'} +2024-06-01 06:03:08,128 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:03:08,128 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1272, 'value': 0.4931356709594265} +2024-06-01 06:03:08,193 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 78%|████████████████████████████████████████████████████████████████████████████████████▍ | 97/124 [71:15:37<11:26:18, 1525.14s/it]['truthfulqa_de'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:03:08,846 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:03:08,846 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:08,974 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:03:08,974 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:09,103 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:03:09,103 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:03:09,231 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:03:09,232 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 06:03:09,232 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_de'} +2024-06-01 06:03:09,361 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_de task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 788 examples [00:00, 10663.82 examples/s] +Running loglikelihood requests + + truthfulqa_de: 0%| | 0/76 [00:00<?, ?it/s][A + truthfulqa_de: 1%|█▌ | 1/76 [00:09<11:16, 9.02s/it][A + truthfulqa_de: 3%|███ | 2/76 [00:17<11:03, 8.97s/it][A + truthfulqa_de: 4%|████▌ | 3/76 [00:26<10:39, 8.77s/it][A + truthfulqa_de: 5%|██████ | 4/76 [00:35<10:45, 8.97s/it][A + truthfulqa_de: 7%|███████▌ | 5/76 [00:45<10:49, 9.15s/it][A + truthfulqa_de: 8%|█████████ | 6/76 [00:54<10:38, 9.12s/it][A + truthfulqa_de: 9%|██████████▌ | 7/76 [01:03<10:24, 9.05s/it][A + truthfulqa_de: 11%|████████████ | 8/76 [01:12<10:18, 9.10s/it][A + truthfulqa_de: 12%|█████████████▌ | 9/76 [01:21<10:09, 9.09s/it][A + truthfulqa_de: 13%|██████████████▊ | 10/76 [01:30<09:56, 9.03s/it][A + truthfulqa_de: 14%|████████████████▎ | 11/76 [01:39<09:49, 9.07s/it][A + truthfulqa_de: 16%|█████████████████▊ | 12/76 [01:49<09:50, 9.22s/it][A + truthfulqa_de: 17%|███████████████████▎ | 13/76 [01:57<09:23, 8.95s/it][A + truthfulqa_de: 18%|████████████████████▊ | 14/76 [02:06<09:20, 9.03s/it][A + truthfulqa_de: 20%|██████████████████████▎ | 15/76 [02:15<09:14, 9.09s/it][A + truthfulqa_de: 21%|███████████████████████▊ | 16/76 [02:25<09:14, 9.24s/it][A + truthfulqa_de: 22%|█████████████████████████▎ | 17/76 [02:34<09:09, 9.32s/it][A + truthfulqa_de: 24%|██████████████████████████▊ | 18/76 [02:43<08:55, 9.23s/it][A + truthfulqa_de: 25%|████████████████████████████▎ | 19/76 [02:53<08:44, 9.20s/it][A + truthfulqa_de: 26%|█████████████████████████████▋ | 20/76 [03:02<08:31, 9.13s/it][A + truthfulqa_de: 28%|███████████████████████████████▏ | 21/76 [03:11<08:22, 9.14s/it][A + truthfulqa_de: 29%|████████████████████████████████▋ | 22/76 [03:20<08:13, 9.14s/it][A + truthfulqa_de: 30%|██████████████████████████████████▏ | 23/76 [03:29<08:05, 9.15s/it][A + truthfulqa_de: 32%|███████████████████████████████████▋ | 24/76 [03:38<07:52, 9.09s/it][A + truthfulqa_de: 33%|█████████████████████████████████████▏ | 25/76 [03:48<07:56, 9.34s/it][A + truthfulqa_de: 34%|██████████████████████████████████████▋ | 26/76 [03:58<07:53, 9.47s/it][A + truthfulqa_de: 36%|████████████████████████████████████████▏ | 27/76 [04:07<07:43, 9.45s/it][A + truthfulqa_de: 37%|█████████████████████████████████████████▋ | 28/76 [04:16<07:28, 9.35s/it][A + truthfulqa_de: 38%|███████████████████████████████████████████ | 29/76 [04:25<07:06, 9.07s/it][A + truthfulqa_de: 39%|████████████████████████████████████████████▌ | 30/76 [04:34<06:56, 9.05s/it][A + truthfulqa_de: 41%|██████████████████████████████████████████████ | 31/76 [04:43<06:48, 9.07s/it][A + truthfulqa_de: 42%|███████████████████████████████████████████████▌ | 32/76 [04:52<06:43, 9.16s/it][A + truthfulqa_de: 43%|█████████████████████████████████████████████████ | 33/76 [05:01<06:35, 9.19s/it][A + truthfulqa_de: 45%|██████████████████████████████████████████████████▌ | 34/76 [05:11<06:26, 9.21s/it][A + truthfulqa_de: 46%|████████████████████████████████████████████████████ | 35/76 [05:19<06:12, 9.07s/it][A + truthfulqa_de: 47%|█████████████████████████████████████████████████████▌ | 36/76 [05:29<06:08, 9.22s/it][A + truthfulqa_de: 49%|███████████████████████████████████████████████████████ | 37/76 [05:38<06:00, 9.25s/it][A + truthfulqa_de: 50%|████████████████████████████████████████████████████████▌ | 38/76 [05:48<05:54, 9.33s/it][A + truthfulqa_de: 51%|█████████████████████████████████████████████████████████▉ | 39/76 [05:57<05:46, 9.37s/it][A + truthfulqa_de: 53%|███████████████████████████████████████████████████████████▍ | 40/76 [06:06<05:33, 9.27s/it][A + truthfulqa_de: 54%|████████████████████████████████████████████████████████████▉ | 41/76 [06:15<05:22, 9.22s/it][A + truthfulqa_de: 55%|██████████████████████████████████████████████████████████████▍ | 42/76 [06:25<05:21, 9.46s/it][A + truthfulqa_de: 57%|███████████████████████████████████████████████████████████████▉ | 43/76 [06:35<05:11, 9.45s/it][A + truthfulqa_de: 58%|█████████████████████████████████████████████████████████████████▍ | 44/76 [06:44<04:55, 9.23s/it][A + truthfulqa_de: 59%|██████████████████████████████████████████████████████████████████▉ | 45/76 [06:53<04:44, 9.18s/it][A + truthfulqa_de: 61%|████████████████████████████████████████████████████████████████████▍ | 46/76 [07:02<04:38, 9.29s/it][A + truthfulqa_de: 62%|█████████████████████████████████████████████████████████████████████▉ | 47/76 [07:12<04:30, 9.32s/it][A + truthfulqa_de: 63%|███████████████████████████████████████████████████████████████████████▎ | 48/76 [07:21<04:23, 9.41s/it][A + truthfulqa_de: 64%|████████████████████████████████████████████████████████████████████████▊ | 49/76 [07:30<04:11, 9.30s/it][A + truthfulqa_de: 66%|██████████████████████████████████████████████████████████████████████████▎ | 50/76 [07:39<03:59, 9.20s/it][A + truthfulqa_de: 67%|███████████████████████████████████████████████████████████████████████████▊ | 51/76 [07:48<03:49, 9.19s/it][A + truthfulqa_de: 68%|█████████████████████████████████████████████████████████████████████████████▎ | 52/76 [07:58<03:41, 9.22s/it][A + truthfulqa_de: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 53/76 [08:07<03:31, 9.17s/it][A + truthfulqa_de: 71%|████████████████████████████████████████████████████████████████████████████████▎ | 54/76 [08:16<03:22, 9.19s/it][A + truthfulqa_de: 72%|█████████████████████████████████████████████████████████████████████████████████▊ | 55/76 [08:25<03:11, 9.11s/it][A + truthfulqa_de: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 56/76 [08:34<03:01, 9.08s/it][A + truthfulqa_de: 75%|████████████████████████████████████████████████████████████████████████████████████▊ | 57/76 [08:43<02:51, 9.05s/it][A + truthfulqa_de: 76%|██████████████████████████████████████████████████████████████████████████████████████▏ | 58/76 [08:52<02:45, 9.20s/it][A + truthfulqa_de: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 59/76 [09:02<02:35, 9.18s/it][A + truthfulqa_de: 79%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 60/76 [09:10<02:25, 9.07s/it][A + truthfulqa_de: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 61/76 [09:19<02:15, 9.06s/it][A + truthfulqa_de: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/76 [09:29<02:07, 9.09s/it][A + truthfulqa_de: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/76 [09:38<02:00, 9.23s/it][A + truthfulqa_de: 84%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 64/76 [09:48<01:51, 9.28s/it][A + truthfulqa_de: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 65/76 [09:57<01:42, 9.28s/it][A + truthfulqa_de: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/76 [10:05<01:30, 9.01s/it][A + truthfulqa_de: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 67/76 [10:14<01:21, 9.03s/it][A + truthfulqa_de: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 68/76 [10:24<01:12, 9.11s/it][A + truthfulqa_de: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/76 [10:33<01:04, 9.25s/it][A + truthfulqa_de: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/76 [10:43<00:55, 9.28s/it][A + truthfulqa_de: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 71/76 [10:52<00:46, 9.24s/it][A + truthfulqa_de: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 72/76 [11:00<00:35, 8.95s/it][A + truthfulqa_de: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 73/76 [11:09<00:26, 8.99s/it][A + truthfulqa_de: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 74/76 [11:19<00:18, 9.19s/it][A + truthfulqa_de: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:28<00:09, 9.38s/it][A + truthfulqa_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:33<00:00, 8.03s/it][A truthfulqa_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:33<00:00, 9.13s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_de_mc1 0.33121827411167515 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_de_mc2 0.47534435225283683 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:14:44,053 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:14:44,053 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:44,179 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:14:44,179 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:44,303 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:14:44,304 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:44,428 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:14:44,429 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:14:44,429 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:14:44,556 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:14:44,556 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_de_mc1'} +2024-06-01 06:14:44,619 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:14:44,619 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1273, 'value': 0.33121827411167515} +2024-06-01 06:14:44,683 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:14:45,308 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:14:45,309 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:45,431 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:14:45,431 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:45,554 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:14:45,554 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:45,677 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:14:45,677 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:14:45,678 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:14:45,801 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:14:45,801 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_de_mc2'} +2024-06-01 06:14:45,864 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:14:45,864 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1274, 'value': 0.47534435225283683} +2024-06-01 06:14:45,926 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 79%|██████████████████████████████████████████████████████████████████████████████████████▏ | 98/124 [71:27:15<9:13:19, 1276.92s/it]['truthfulqa_es'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:14:46,594 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:14:46,594 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:46,726 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:14:46,727 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:46,859 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:14:46,859 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:14:46,991 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:14:46,992 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 06:14:46,992 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'truthfulqa_es'} +2024-06-01 06:14:47,125 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_es task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 789 examples [00:00, 10406.43 examples/s] +Running loglikelihood requests + + truthfulqa_es: 0%| | 0/76 [00:00<?, ?it/s][A + truthfulqa_es: 1%|█▌ | 1/76 [00:09<11:31, 9.22s/it][A + truthfulqa_es: 3%|███ | 2/76 [00:18<11:22, 9.22s/it][A + truthfulqa_es: 4%|████▌ | 3/76 [00:27<11:15, 9.25s/it][A + truthfulqa_es: 5%|██████ | 4/76 [00:36<10:59, 9.17s/it][A + truthfulqa_es: 7%|███████▌ | 5/76 [00:45<10:43, 9.07s/it][A + truthfulqa_es: 8%|█████████ | 6/76 [00:54<10:25, 8.94s/it][A + truthfulqa_es: 9%|██████████▌ | 7/76 [01:03<10:18, 8.96s/it][A + truthfulqa_es: 11%|████████████ | 8/76 [01:12<10:17, 9.08s/it][A + truthfulqa_es: 12%|█████████████▌ | 9/76 [01:22<10:14, 9.18s/it][A + truthfulqa_es: 13%|██████████████▊ | 10/76 [01:31<10:02, 9.14s/it][A + truthfulqa_es: 14%|████████████████▎ | 11/76 [01:40<09:53, 9.13s/it][A + truthfulqa_es: 16%|█████████████████▊ | 12/76 [01:49<09:47, 9.18s/it][A + truthfulqa_es: 17%|███████████████████▎ | 13/76 [01:58<09:31, 9.07s/it][A + truthfulqa_es: 18%|████████████████████▊ | 14/76 [02:07<09:30, 9.21s/it][A + truthfulqa_es: 20%|██████████████████████▎ | 15/76 [02:17<09:33, 9.40s/it][A + truthfulqa_es: 21%|███████████████████████▊ | 16/76 [02:26<09:17, 9.30s/it][A + truthfulqa_es: 22%|█████████████████████████▎ | 17/76 [02:36<09:21, 9.52s/it][A + truthfulqa_es: 24%|██████████████████████████▊ | 18/76 [02:45<09:05, 9.40s/it][A + truthfulqa_es: 25%|████████████████████████████▎ | 19/76 [02:55<08:52, 9.33s/it][A + truthfulqa_es: 26%|█████████████████████████████▋ | 20/76 [03:04<08:38, 9.25s/it][A + truthfulqa_es: 28%|███████████████████████████████▏ | 21/76 [03:13<08:35, 9.36s/it][A + truthfulqa_es: 29%|████████████████████████████████▋ | 22/76 [03:22<08:21, 9.29s/it][A + truthfulqa_es: 30%|██████████████████████████████████▏ | 23/76 [03:32<08:10, 9.25s/it][A + truthfulqa_es: 32%|███████████████████████████████████▋ | 24/76 [03:40<07:49, 9.02s/it][A + truthfulqa_es: 33%|█████████████████████████████████████▏ | 25/76 [03:49<07:41, 9.04s/it][A + truthfulqa_es: 34%|██████████████████████████████████████▋ | 26/76 [03:58<07:31, 9.03s/it][A + truthfulqa_es: 36%|████████████████████████████████████████▏ | 27/76 [04:07<07:23, 9.05s/it][A + truthfulqa_es: 37%|█████████████████████████████████████████▋ | 28/76 [04:17<07:24, 9.26s/it][A + truthfulqa_es: 38%|███████████████████████████████████████████ | 29/76 [04:26<07:13, 9.23s/it][A + truthfulqa_es: 39%|████████████████████████████████████████████▌ | 30/76 [04:35<07:04, 9.22s/it][A + truthfulqa_es: 41%|██████████████████████████████████████████████ | 31/76 [04:44<06:51, 9.14s/it][A + truthfulqa_es: 42%|███████████████████████████████████████████████▌ | 32/76 [04:54<06:52, 9.37s/it][A + truthfulqa_es: 43%|█████████████████████████████████████████████████ | 33/76 [05:04<06:48, 9.50s/it][A + truthfulqa_es: 45%|██████████████████████████████████████████████████▌ | 34/76 [05:13<06:30, 9.29s/it][A + truthfulqa_es: 46%|████████████████████████████████████████████████████ | 35/76 [05:22<06:24, 9.37s/it][A + truthfulqa_es: 47%|█████████████████████████████████████████████████████▌ | 36/76 [05:32<06:15, 9.40s/it][A + truthfulqa_es: 49%|███████████████████████████████████████████████████████ | 37/76 [05:41<06:06, 9.39s/it][A + truthfulqa_es: 50%|████████████████████████████████████████████████████████▌ | 38/76 [05:50<05:51, 9.25s/it][A + truthfulqa_es: 51%|█████████████████████████████████████████████████████████▉ | 39/76 [06:00<05:49, 9.45s/it][A + truthfulqa_es: 53%|███████████████████████████████████████████████████████████▍ | 40/76 [06:09<05:34, 9.31s/it][A + truthfulqa_es: 54%|████████████████████████████████████████████████████████████▉ | 41/76 [06:18<05:26, 9.34s/it][A + truthfulqa_es: 55%|██████████████████████████████████████████████████████████████▍ | 42/76 [06:28<05:22, 9.50s/it][A + truthfulqa_es: 57%|███████████████████████████████████████████████████████████████▉ | 43/76 [06:37<05:07, 9.33s/it][A + truthfulqa_es: 58%|█████████████████████████████████████████████████████████████████▍ | 44/76 [06:46<04:54, 9.22s/it][A + truthfulqa_es: 59%|██████████████████████████████████████████████████████████████████▉ | 45/76 [06:56<04:47, 9.27s/it][A + truthfulqa_es: 61%|████████████████████████████████████████████████████████████████████▍ | 46/76 [07:05<04:36, 9.21s/it][A + truthfulqa_es: 62%|█████████████████████████████████████████████████████████████████████▉ | 47/76 [07:14<04:25, 9.17s/it][A + truthfulqa_es: 63%|███████████████████████████████████████████████████████████████████████▎ | 48/76 [07:23<04:15, 9.13s/it][A + truthfulqa_es: 64%|████████████████████████████████████████████████████████████████████████▊ | 49/76 [07:32<04:07, 9.15s/it][A + truthfulqa_es: 66%|██████████████████████████████████████████████████████████████████████████▎ | 50/76 [07:42<04:03, 9.38s/it][A + truthfulqa_es: 67%|███████████████████████████████████████████████████████████████████████████▊ | 51/76 [07:51<03:55, 9.43s/it][A + truthfulqa_es: 68%|█████████████████████████████████████████████████████████████████████████████▎ | 52/76 [08:01<03:45, 9.39s/it][A + truthfulqa_es: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 53/76 [08:10<03:34, 9.32s/it][A + truthfulqa_es: 71%|████████████████████████████████████████████████████████████████████████████████▎ | 54/76 [08:19<03:25, 9.34s/it][A + truthfulqa_es: 72%|█████████████████████████████████████████████████████████████████████████████████▊ | 55/76 [08:29<03:15, 9.31s/it][A + truthfulqa_es: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 56/76 [08:38<03:05, 9.27s/it][A + truthfulqa_es: 75%|████████████████████████████████████████████████████████████████████████████████████▊ | 57/76 [08:47<02:56, 9.27s/it][A + truthfulqa_es: 76%|██████████████████████████████████████████████████████████████████████████████████████▏ | 58/76 [08:56<02:44, 9.16s/it][A + truthfulqa_es: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 59/76 [09:05<02:34, 9.07s/it][A + truthfulqa_es: 79%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 60/76 [09:14<02:26, 9.15s/it][A + truthfulqa_es: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 61/76 [09:23<02:16, 9.12s/it][A + truthfulqa_es: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/76 [09:33<02:10, 9.29s/it][A + truthfulqa_es: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/76 [09:42<02:00, 9.26s/it][A + truthfulqa_es: 84%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 64/76 [09:52<01:52, 9.38s/it][A + truthfulqa_es: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 65/76 [10:01<01:42, 9.35s/it][A + truthfulqa_es: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/76 [10:10<01:33, 9.35s/it][A + truthfulqa_es: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 67/76 [10:20<01:24, 9.37s/it][A + truthfulqa_es: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 68/76 [10:29<01:14, 9.34s/it][A + truthfulqa_es: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/76 [10:38<01:05, 9.36s/it][A + truthfulqa_es: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/76 [10:48<00:55, 9.32s/it][A + truthfulqa_es: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 71/76 [10:57<00:46, 9.30s/it][A + truthfulqa_es: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 72/76 [11:06<00:36, 9.23s/it][A + truthfulqa_es: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 73/76 [11:15<00:27, 9.18s/it][A + truthfulqa_es: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 74/76 [11:25<00:18, 9.29s/it][A + truthfulqa_es: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:35<00:09, 9.52s/it][A + truthfulqa_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:40<00:00, 8.40s/it][A truthfulqa_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:40<00:00, 9.22s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_es_mc1 0.3105196451204056 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_es_mc2 0.4645401843930264 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:26:28,838 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:26:28,838 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:28,965 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:26:28,965 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:29,091 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:26:29,091 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:29,218 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:26:29,218 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:26:29,219 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:26:29,346 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:26:29,346 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_es_mc1'} +2024-06-01 06:26:29,411 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:26:29,411 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1275, 'value': 0.3105196451204056} +2024-06-01 06:26:29,475 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:26:30,097 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:26:30,097 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:30,218 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:26:30,218 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:30,340 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:26:30,340 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:30,461 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:26:30,462 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:26:30,462 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:26:30,584 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:26:30,585 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_es_mc2'} +2024-06-01 06:26:30,646 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:26:30,646 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1276, 'value': 0.4645401843930264} +2024-06-01 06:26:30,708 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 80%|███████████████████████████████████████████████████████████████████████████████████████ | 99/124 [71:39:00<7:40:31, 1105.28s/it]['truthfulqa_eu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:26:31,326 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:26:31,326 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:31,447 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:26:31,447 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:31,568 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:26:31,569 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:26:31,690 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:26:31,691 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 06:26:31,691 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_eu'} +2024-06-01 06:26:31,813 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_eu task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 774 examples [00:00, 10770.22 examples/s] +Running loglikelihood requests + + truthfulqa_eu: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_eu: 1%|█▌ | 1/74 [00:07<09:08, 7.52s/it][A + truthfulqa_eu: 3%|███ | 2/74 [00:15<09:07, 7.61s/it][A + truthfulqa_eu: 4%|████▌ | 3/74 [00:23<09:13, 7.80s/it][A + truthfulqa_eu: 5%|██████▏ | 4/74 [00:30<08:59, 7.70s/it][A + truthfulqa_eu: 7%|███████▋ | 5/74 [00:39<09:09, 7.96s/it][A + truthfulqa_eu: 8%|█████████▏ | 6/74 [00:47<09:04, 8.01s/it][A + truthfulqa_eu: 9%|██████████▊ | 7/74 [00:55<08:54, 7.98s/it][A + truthfulqa_eu: 11%|████████████▎ | 8/74 [01:02<08:38, 7.86s/it][A + truthfulqa_eu: 12%|█████████████▊ | 9/74 [01:10<08:32, 7.88s/it][A + truthfulqa_eu: 14%|███████████████▎ | 10/74 [01:18<08:28, 7.94s/it][A + truthfulqa_eu: 15%|████████████████▊ | 11/74 [01:26<08:18, 7.91s/it][A + truthfulqa_eu: 16%|██████████████████▎ | 12/74 [01:34<08:11, 7.93s/it][A + truthfulqa_eu: 18%|███████████████████▊ | 13/74 [01:42<08:05, 7.96s/it][A + truthfulqa_eu: 19%|█████████████████████▍ | 14/74 [01:50<07:55, 7.92s/it][A + truthfulqa_eu: 20%|██████████████████████▉ | 15/74 [01:58<07:54, 8.05s/it][A + truthfulqa_eu: 22%|████████████████████████▍ | 16/74 [02:06<07:37, 7.88s/it][A + truthfulqa_eu: 23%|█████████████████████████▉ | 17/74 [02:14<07:33, 7.95s/it][A + truthfulqa_eu: 24%|███████████████████████████▍ | 18/74 [02:22<07:23, 7.92s/it][A + truthfulqa_eu: 26%|█████████████████████████████ | 19/74 [02:30<07:17, 7.95s/it][A + truthfulqa_eu: 27%|██████████████████████████████▌ | 20/74 [02:38<07:05, 7.87s/it][A + truthfulqa_eu: 28%|████████████████████████████████ | 21/74 [02:46<07:01, 7.95s/it][A + truthfulqa_eu: 30%|█████████████████████████████████▌ | 22/74 [02:53<06:50, 7.89s/it][A + truthfulqa_eu: 31%|███████████████████████████████████ | 23/74 [03:01<06:43, 7.90s/it][A + truthfulqa_eu: 32%|████████████████████████████████████▋ | 24/74 [03:09<06:29, 7.80s/it][A + truthfulqa_eu: 34%|██████████████████████████████████████▏ | 25/74 [03:17<06:27, 7.91s/it][A + truthfulqa_eu: 35%|███████████████████████████████████████▋ | 26/74 [03:25<06:22, 7.98s/it][A + truthfulqa_eu: 36%|█████████████████████████████████████████▏ | 27/74 [03:34<06:20, 8.09s/it][A + truthfulqa_eu: 38%|██████████████████████████████████████████▊ | 28/74 [03:41<06:04, 7.93s/it][A + truthfulqa_eu: 39%|████████████████████████████████████████████▎ | 29/74 [03:49<05:51, 7.81s/it][A + truthfulqa_eu: 41%|█████████████████████████████████████████████▊ | 30/74 [03:57<05:48, 7.92s/it][A + truthfulqa_eu: 42%|███████████████████████████████████████████████▎ | 31/74 [04:05<05:41, 7.95s/it][A + truthfulqa_eu: 43%|████████████████████████████████████████████████▊ | 32/74 [04:13<05:31, 7.90s/it][A + truthfulqa_eu: 45%|██████████████████████████████████████████████████▍ | 33/74 [04:20<05:22, 7.87s/it][A + truthfulqa_eu: 46%|███████████████████████████████████████████████████▉ | 34/74 [04:28<05:12, 7.81s/it][A + truthfulqa_eu: 47%|█████████████████████████████████████████████████████▍ | 35/74 [04:36<05:03, 7.78s/it][A + truthfulqa_eu: 49%|██████████████████████████████████████████████████████▉ | 36/74 [04:43<04:54, 7.76s/it][A + truthfulqa_eu: 50%|████████████████████████████████████████████████████████▌ | 37/74 [04:52<04:50, 7.85s/it][A + truthfulqa_eu: 51%|██████████████████████████████████████████████████████████ | 38/74 [05:00<04:44, 7.90s/it][A + truthfulqa_eu: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [05:07<04:36, 7.89s/it][A + truthfulqa_eu: 54%|█████████████████████████████████████████████████████████████ | 40/74 [05:15<04:26, 7.85s/it][A + truthfulqa_eu: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [05:23<04:15, 7.75s/it][A + truthfulqa_eu: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [05:30<04:06, 7.69s/it][A + truthfulqa_eu: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [05:38<03:59, 7.74s/it][A + truthfulqa_eu: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [05:46<03:52, 7.76s/it][A + truthfulqa_eu: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [05:54<03:43, 7.72s/it][A + truthfulqa_eu: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [06:02<03:39, 7.83s/it][A + truthfulqa_eu: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [06:09<03:30, 7.78s/it][A + truthfulqa_eu: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [06:18<03:26, 7.94s/it][A + truthfulqa_eu: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [06:25<03:17, 7.90s/it][A + truthfulqa_eu: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [06:33<03:09, 7.88s/it][A + truthfulqa_eu: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [06:41<02:57, 7.74s/it][A + truthfulqa_eu: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [06:48<02:49, 7.71s/it][A + truthfulqa_eu: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [06:57<02:45, 7.90s/it][A + truthfulqa_eu: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [07:05<02:38, 7.92s/it][A + truthfulqa_eu: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [07:13<02:33, 8.10s/it][A + truthfulqa_eu: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [07:21<02:26, 8.11s/it][A + truthfulqa_eu: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [07:29<02:16, 8.00s/it][A + truthfulqa_eu: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [07:38<02:11, 8.19s/it][A + truthfulqa_eu: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [07:46<02:01, 8.09s/it][A + truthfulqa_eu: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [07:54<01:55, 8.24s/it][A + truthfulqa_eu: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [08:02<01:45, 8.12s/it][A + truthfulqa_eu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [08:09<01:35, 7.92s/it][A + truthfulqa_eu: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [08:17<01:27, 7.95s/it][A + truthfulqa_eu: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [08:25<01:19, 7.98s/it][A + truthfulqa_eu: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [08:33<01:11, 7.89s/it][A + truthfulqa_eu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [08:41<01:03, 7.90s/it][A + truthfulqa_eu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [08:49<00:54, 7.80s/it][A + truthfulqa_eu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [08:57<00:46, 7.82s/it][A + truthfulqa_eu: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [09:05<00:39, 7.88s/it][A + truthfulqa_eu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [09:12<00:31, 7.86s/it][A + truthfulqa_eu: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [09:21<00:24, 8.18s/it][A + truthfulqa_eu: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [09:30<00:16, 8.28s/it][A + truthfulqa_eu: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [09:38<00:08, 8.27s/it][A + truthfulqa_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [09:44<00:00, 7.51s/it][A truthfulqa_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [09:44<00:00, 7.90s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_eu_mc1 0.2364341085271318 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_eu_mc2 0.423135336595503 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:36:16,935 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:36:16,935 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:17,064 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:36:17,064 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:17,193 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:36:17,193 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:17,322 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:36:17,322 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:36:17,323 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:36:17,453 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:36:17,453 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_eu_mc1'} +2024-06-01 06:36:17,518 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:36:17,518 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1277, 'value': 0.2364341085271318} +2024-06-01 06:36:17,584 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:36:18,238 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:36:18,238 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:18,366 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:36:18,366 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:18,495 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:36:18,495 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:18,623 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:36:18,624 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:36:18,624 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:36:18,753 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:36:18,754 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_eu_mc2'} +2024-06-01 06:36:18,819 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:36:18,819 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1278, 'value': 0.423135336595503} +2024-06-01 06:36:18,884 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 81%|███████████████████████████████████████████████████████████████████████████████████████▉ | 100/124 [71:48:48<6:20:03, 950.15s/it]['truthfulqa_fr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:36:19,493 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:36:19,493 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:19,611 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:36:19,611 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:19,730 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:36:19,730 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:36:19,849 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:36:19,849 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 06:36:19,849 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_fr'} +2024-06-01 06:36:19,969 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_fr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 787 examples [00:00, 10615.90 examples/s] +Running loglikelihood requests + + truthfulqa_fr: 0%| | 0/76 [00:00<?, ?it/s][A + truthfulqa_fr: 1%|█▌ | 1/76 [00:08<11:14, 9.00s/it][A + truthfulqa_fr: 3%|███ | 2/76 [00:18<11:15, 9.13s/it][A + truthfulqa_fr: 4%|████▌ | 3/76 [00:26<10:53, 8.95s/it][A + truthfulqa_fr: 5%|██████ | 4/76 [00:36<10:47, 8.99s/it][A + truthfulqa_fr: 7%|███████▌ | 5/76 [00:45<10:43, 9.06s/it][A + truthfulqa_fr: 8%|█████████ | 6/76 [00:55<10:53, 9.34s/it][A + truthfulqa_fr: 9%|██████████▌ | 7/76 [01:04<10:36, 9.22s/it][A + truthfulqa_fr: 11%|████████████ | 8/76 [01:13<10:27, 9.22s/it][A + truthfulqa_fr: 12%|█████████████▌ | 9/76 [01:22<10:27, 9.36s/it][A + truthfulqa_fr: 13%|██████████████▊ | 10/76 [01:32<10:23, 9.45s/it][A + truthfulqa_fr: 14%|████████████████▎ | 11/76 [01:41<10:02, 9.26s/it][A + truthfulqa_fr: 16%|█████████████████▊ | 12/76 [01:50<09:52, 9.25s/it][A + truthfulqa_fr: 17%|███████████████████▎ | 13/76 [02:00<09:54, 9.44s/it][A + truthfulqa_fr: 18%|████████████████████▊ | 14/76 [02:08<09:23, 9.10s/it][A + truthfulqa_fr: 20%|██████████████████████▎ | 15/76 [02:17<09:12, 9.06s/it][A + truthfulqa_fr: 21%|███████████████████████▊ | 16/76 [02:26<09:00, 9.00s/it][A + truthfulqa_fr: 22%|█████████████████████████▎ | 17/76 [02:35<08:50, 9.00s/it][A + truthfulqa_fr: 24%|██████████████████████████▊ | 18/76 [02:44<08:43, 9.03s/it][A + truthfulqa_fr: 25%|████████████████████████████▎ | 19/76 [02:53<08:35, 9.05s/it][A + truthfulqa_fr: 26%|█████████████████████████████▋ | 20/76 [03:03<08:35, 9.20s/it][A + truthfulqa_fr: 28%|███████████████████████████████▏ | 21/76 [03:12<08:22, 9.13s/it][A + truthfulqa_fr: 29%|████████████████████████████████▋ | 22/76 [03:21<08:19, 9.25s/it][A + truthfulqa_fr: 30%|██████████████████████████████████▏ | 23/76 [03:31<08:21, 9.47s/it][A + truthfulqa_fr: 32%|███████████████████████████████████▋ | 24/76 [03:41<08:08, 9.40s/it][A + truthfulqa_fr: 33%|█████████████████████████████████████▏ | 25/76 [03:50<07:56, 9.35s/it][A + truthfulqa_fr: 34%|██████████████████████████████████████▋ | 26/76 [03:59<07:45, 9.31s/it][A + truthfulqa_fr: 36%|████████████████████████████████████████▏ | 27/76 [04:08<07:34, 9.27s/it][A + truthfulqa_fr: 37%|█████████████████████████████████████████▋ | 28/76 [04:17<07:15, 9.08s/it][A + truthfulqa_fr: 38%|███████████████████████████████████████████ | 29/76 [04:26<07:13, 9.23s/it][A + truthfulqa_fr: 39%|████████████████████████████████████████████▌ | 30/76 [04:36<07:08, 9.31s/it][A + truthfulqa_fr: 41%|██████████████████████████████████████████████ | 31/76 [04:45<06:55, 9.24s/it][A + truthfulqa_fr: 42%|███████████████████████████████████████████████▌ | 32/76 [04:54<06:46, 9.24s/it][A + truthfulqa_fr: 43%|█████████████████████████████████████████████████ | 33/76 [05:04<06:37, 9.23s/it][A + truthfulqa_fr: 45%|██████████████████████████████████████████████████▌ | 34/76 [05:12<06:19, 9.03s/it][A + truthfulqa_fr: 46%|████████████████████████████████████████████████████ | 35/76 [05:21<06:13, 9.10s/it][A + truthfulqa_fr: 47%|█████████████████████████████████████████████████████▌ | 36/76 [05:30<06:03, 9.10s/it][A + truthfulqa_fr: 49%|███████████████████████████████████████████████████████ | 37/76 [05:39<05:45, 8.87s/it][A + truthfulqa_fr: 50%|████████████████████████████████████████████████████████▌ | 38/76 [05:48<05:37, 8.89s/it][A + truthfulqa_fr: 51%|█████████████████████████████████████████████████████████▉ | 39/76 [05:57<05:35, 9.07s/it][A + truthfulqa_fr: 53%|███████████████████████████████████████████████████████████▍ | 40/76 [06:06<05:19, 8.88s/it][A + truthfulqa_fr: 54%|████████████████████████████████████████████████████████████▉ | 41/76 [06:15<05:11, 8.90s/it][A + truthfulqa_fr: 55%|██████████████████████████████████████████████████████████████▍ | 42/76 [06:24<05:05, 8.99s/it][A + truthfulqa_fr: 57%|███████████████████████████████████████████████████████████████▉ | 43/76 [06:32<04:52, 8.87s/it][A + truthfulqa_fr: 58%|█████████████████████████████████████████████████████████████████▍ | 44/76 [06:41<04:44, 8.89s/it][A + truthfulqa_fr: 59%|██████████████████████████████████████████████████████████████████▉ | 45/76 [06:50<04:32, 8.78s/it][A + truthfulqa_fr: 61%|████████████████████████████████████████████████████████████████████▍ | 46/76 [06:59<04:30, 9.03s/it][A + truthfulqa_fr: 62%|█████████████████████████████████████████████████████████████████████▉ | 47/76 [07:09<04:24, 9.11s/it][A + truthfulqa_fr: 63%|███████████████████████████████████████████████████████████████████████▎ | 48/76 [07:18<04:20, 9.30s/it][A + truthfulqa_fr: 64%|████████████████████████████████████████████████████████████████████████▊ | 49/76 [07:28<04:09, 9.26s/it][A + truthfulqa_fr: 66%|██████████████████████████████████████████████████████████████████████████▎ | 50/76 [07:36<03:56, 9.09s/it][A + truthfulqa_fr: 67%|███████████████████████████████████████████████████████████████████████████▊ | 51/76 [07:46<03:50, 9.21s/it][A + truthfulqa_fr: 68%|█████████████████████████████████████████████████████████████████████████████▎ | 52/76 [07:56<03:45, 9.38s/it][A + truthfulqa_fr: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 53/76 [08:05<03:35, 9.36s/it][A + truthfulqa_fr: 71%|████████████████████████████████████████████████████████████████████████████████▎ | 54/76 [08:14<03:25, 9.34s/it][A + truthfulqa_fr: 72%|█████████████████████████████████████████████████████████████████████████████████▊ | 55/76 [08:23<03:12, 9.15s/it][A + truthfulqa_fr: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 56/76 [08:32<03:02, 9.14s/it][A + truthfulqa_fr: 75%|████████████████████████████████████████████████████████████████████████████████████▊ | 57/76 [08:41<02:54, 9.20s/it][A + truthfulqa_fr: 76%|██████████████████████████████████████████████████████████████████████████████████████▏ | 58/76 [08:51<02:46, 9.27s/it][A + truthfulqa_fr: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 59/76 [09:00<02:38, 9.33s/it][A + truthfulqa_fr: 79%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 60/76 [09:10<02:30, 9.38s/it][A + truthfulqa_fr: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 61/76 [09:19<02:20, 9.39s/it][A + truthfulqa_fr: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/76 [09:28<02:09, 9.22s/it][A + truthfulqa_fr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/76 [09:37<02:00, 9.23s/it][A + truthfulqa_fr: 84%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 64/76 [09:46<01:50, 9.20s/it][A + truthfulqa_fr: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 65/76 [09:55<01:40, 9.14s/it][A + truthfulqa_fr: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/76 [10:04<01:30, 9.04s/it][A + truthfulqa_fr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 67/76 [10:13<01:20, 8.93s/it][A + truthfulqa_fr: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 68/76 [10:22<01:12, 9.11s/it][A + truthfulqa_fr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/76 [10:31<01:03, 9.07s/it][A + truthfulqa_fr: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/76 [10:41<00:54, 9.08s/it][A + truthfulqa_fr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 71/76 [10:49<00:44, 8.92s/it][A + truthfulqa_fr: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 72/76 [10:58<00:35, 8.87s/it][A + truthfulqa_fr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 73/76 [11:07<00:26, 8.95s/it][A + truthfulqa_fr: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 74/76 [11:16<00:17, 8.95s/it][A + truthfulqa_fr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:25<00:08, 8.97s/it][A + truthfulqa_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:30<00:00, 7.73s/it][A truthfulqa_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:30<00:00, 9.08s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_fr_mc1 0.3278271918678526 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_fr_mc2 0.4731330868216484 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:47:51,355 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:47:51,355 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:51,487 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:47:51,487 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:51,618 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:47:51,618 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:51,749 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:47:51,750 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:47:51,750 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:47:51,883 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:47:51,883 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_fr_mc1'} +2024-06-01 06:47:51,949 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:47:51,949 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1279, 'value': 0.3278271918678526} +2024-06-01 06:47:52,016 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:47:52,660 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:47:52,660 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:52,786 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:47:52,786 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:52,912 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:47:52,912 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:53,038 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:47:53,039 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 06:47:53,039 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 06:47:53,166 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 06:47:53,166 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_fr_mc2'} +2024-06-01 06:47:53,230 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 06:47:53,230 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1280, 'value': 0.4731330868216484} +2024-06-01 06:47:53,294 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 81%|████████████████████████████████████████████████████████████████████████████████████████▊ | 101/124 [72:00:22<5:34:48, 873.43s/it]['truthfulqa_gu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 06:47:53,952 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 06:47:53,952 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:54,083 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 06:47:54,083 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:54,213 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 06:47:54,213 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 06:47:54,343 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 06:47:54,343 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 06:47:54,344 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_gu'} +2024-06-01 06:47:54,474 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_gu task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 731 examples [00:00, 10123.21 examples/s] +Running loglikelihood requests + + truthfulqa_gu: 0%| | 0/69 [00:00<?, ?it/s][A + truthfulqa_gu: 1%|█▋ | 1/69 [00:11<13:17, 11.73s/it][A + truthfulqa_gu: 3%|███▎ | 2/69 [00:24<13:41, 12.26s/it][A + truthfulqa_gu: 4%|████▉ | 3/69 [00:35<13:03, 11.87s/it][A + truthfulqa_gu: 6%|██████▌ | 4/69 [00:46<12:30, 11.54s/it][A + truthfulqa_gu: 7%|████████▎ | 5/69 [00:59<12:51, 12.05s/it][A + truthfulqa_gu: 9%|█████████▉ | 6/69 [01:11<12:39, 12.05s/it][A + truthfulqa_gu: 10%|███████████▌ | 7/69 [01:25<12:51, 12.45s/it][A + truthfulqa_gu: 12%|█████████████▏ | 8/69 [01:37<12:35, 12.38s/it][A + truthfulqa_gu: 13%|██████████████▊ | 9/69 [01:49<12:13, 12.23s/it][A + truthfulqa_gu: 14%|████████████████▍ | 10/69 [02:01<12:04, 12.28s/it][A + truthfulqa_gu: 16%|██████████████████ | 11/69 [02:13<11:48, 12.21s/it][A + truthfulqa_gu: 17%|███████████████████▋ | 12/69 [02:25<11:36, 12.22s/it][A + truthfulqa_gu: 19%|█████████████████████▎ | 13/69 [02:38<11:31, 12.35s/it][A + truthfulqa_gu: 20%|██████████████████████▉ | 14/69 [02:50<11:07, 12.13s/it][A + truthfulqa_gu: 22%|████████████████████████▌ | 15/69 [03:02<10:50, 12.05s/it][A + truthfulqa_gu: 23%|██████████████████████████▏ | 16/69 [03:13<10:36, 12.00s/it][A + truthfulqa_gu: 25%|███████████████████████████▊ | 17/69 [03:26<10:27, 12.07s/it][A + truthfulqa_gu: 26%|█████████████████████████████▍ | 18/69 [03:39<10:39, 12.55s/it][A + truthfulqa_gu: 28%|███████████████████████████████ | 19/69 [03:52<10:26, 12.53s/it][A + truthfulqa_gu: 29%|████████████████████████████████▊ | 20/69 [04:05<10:28, 12.82s/it][A + truthfulqa_gu: 30%|██████████████████████████████████▍ | 21/69 [04:17<09:54, 12.38s/it][A + truthfulqa_gu: 32%|████████████████████████████████████ | 22/69 [04:29<09:35, 12.25s/it][A + truthfulqa_gu: 33%|█████████████████████████████████████▋ | 23/69 [04:40<09:17, 12.12s/it][A + truthfulqa_gu: 35%|███████████████████████████████████████▎ | 24/69 [04:53<09:05, 12.11s/it][A + truthfulqa_gu: 36%|████████████████████████████████████████▉ | 25/69 [05:04<08:43, 11.89s/it][A + truthfulqa_gu: 38%|██████████████████████████████████████████▌ | 26/69 [05:16<08:29, 11.84s/it][A + truthfulqa_gu: 39%|████████████████████████████████████████████▏ | 27/69 [05:28<08:19, 11.89s/it][A + truthfulqa_gu: 41%|█████████████████████████████████████████████▊ | 28/69 [05:41<08:29, 12.44s/it][A + truthfulqa_gu: 42%|███████████████████████████████████████████████▍ | 29/69 [05:54<08:23, 12.59s/it][A + truthfulqa_gu: 43%|█████████████████████████████████████████████████▏ | 30/69 [06:06<07:57, 12.24s/it][A + truthfulqa_gu: 45%|██████████████████████████████████████████████████▊ | 31/69 [06:19<07:59, 12.62s/it][A + truthfulqa_gu: 46%|████████████████████████████████████████████████████▍ | 32/69 [06:32<07:48, 12.66s/it][A + truthfulqa_gu: 48%|██████████████████████████████████████████████████████ | 33/69 [06:44<07:28, 12.45s/it][A + truthfulqa_gu: 49%|███████████████████████████████████████████████████████▋ | 34/69 [06:57<07:26, 12.75s/it][A + truthfulqa_gu: 51%|█████████████████████████████████████████████████████████▎ | 35/69 [07:09<06:58, 12.32s/it][A + truthfulqa_gu: 52%|██████████████████████████████████████████████████████████▉ | 36/69 [07:21<06:43, 12.22s/it][A + truthfulqa_gu: 54%|████████████████████████████████████████████████████████████▌ | 37/69 [07:33<06:34, 12.31s/it][A + truthfulqa_gu: 55%|██████████████████████████████████████████████████████████████▏ | 38/69 [07:46<06:23, 12.37s/it][A + truthfulqa_gu: 57%|███████████████████████████████████████████████████████████████▊ | 39/69 [07:58<06:13, 12.46s/it][A + truthfulqa_gu: 58%|█████████████████████████████████████████████████████████████████▌ | 40/69 [08:11<06:03, 12.55s/it][A + truthfulqa_gu: 59%|███████████████████████████████████████████████████████████████████▏ | 41/69 [08:23<05:48, 12.44s/it][A + truthfulqa_gu: 61%|████████████████████████████████████████████████████████████████████▊ | 42/69 [08:36<05:35, 12.44s/it][A + truthfulqa_gu: 62%|██████████████████████████████████████████████████████████████████████▍ | 43/69 [08:47<05:17, 12.20s/it][A + truthfulqa_gu: 64%|████████████████████████████████████████████████████████████████████████ | 44/69 [08:59<05:02, 12.12s/it][A + truthfulqa_gu: 65%|█████████████████████████████████████████████████████████████████████████▋ | 45/69 [09:11<04:44, 11.86s/it][A + truthfulqa_gu: 67%|███████████████████████████████████████████████████████████████████████████▎ | 46/69 [09:22<04:28, 11.68s/it][A + truthfulqa_gu: 68%|████████████████████████████████████████████████████████████████████████████▉ | 47/69 [09:35<04:26, 12.10s/it][A + truthfulqa_gu: 70%|██████████████████████████████████████████████████████████████████████████████▌ | 48/69 [09:48<04:18, 12.32s/it][A + truthfulqa_gu: 71%|████████████████████████████████████████████████████████████████████████████████▏ | 49/69 [10:01<04:10, 12.55s/it][A + truthfulqa_gu: 72%|█████████████████████████████████████████████████████████████████████████████████▉ | 50/69 [10:14<04:00, 12.67s/it][A + truthfulqa_gu: 74%|███████████████████████████████████████████████████████████████████████████████████▌ | 51/69 [10:25<03:41, 12.29s/it][A + truthfulqa_gu: 75%|█████████████████████████████████████████████████████████████████████████████████████▏ | 52/69 [10:36<03:23, 11.94s/it][A + truthfulqa_gu: 77%|██████████████████████████████████████████████████████████████████████████████████████▊ | 53/69 [10:48<03:10, 11.88s/it][A + truthfulqa_gu: 78%|████████████████████████████████████████████████████████████████████████████████████████▍ | 54/69 [11:00<03:00, 12.05s/it][A + truthfulqa_gu: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 55/69 [11:13<02:49, 12.08s/it][A + truthfulqa_gu: 81%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 56/69 [11:24<02:34, 11.89s/it][A + truthfulqa_gu: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 57/69 [11:36<02:22, 11.89s/it][A + truthfulqa_gu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 58/69 [11:48<02:12, 12.02s/it][A + truthfulqa_gu: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/69 [12:00<01:59, 11.93s/it][A + truthfulqa_gu: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 60/69 [12:12<01:46, 11.87s/it][A + truthfulqa_gu: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 61/69 [12:24<01:35, 11.92s/it][A + truthfulqa_gu: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 62/69 [12:36<01:23, 11.95s/it][A + truthfulqa_gu: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/69 [12:48<01:12, 12.15s/it][A + truthfulqa_gu: 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 64/69 [13:00<01:00, 12.09s/it][A + truthfulqa_gu: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 65/69 [13:12<00:48, 12.02s/it][A + truthfulqa_gu: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 66/69 [13:25<00:36, 12.22s/it][A + truthfulqa_gu: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 67/69 [13:37<00:24, 12.18s/it][A + truthfulqa_gu: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 68/69 [13:48<00:11, 11.74s/it][A + truthfulqa_gu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 69/69 [13:53<00:00, 9.68s/it][A truthfulqa_gu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 69/69 [13:53<00:00, 12.07s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_gu_mc1 0.2503419972640219 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_gu_mc2 0.42675831010799425 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:01:48,381 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:01:48,381 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:48,507 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:01:48,507 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:48,633 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:01:48,634 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:48,760 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:01:48,760 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:01:48,761 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:01:48,888 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:01:48,888 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_gu_mc1'} +2024-06-01 07:01:48,952 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:01:48,952 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1281, 'value': 0.2503419972640219} +2024-06-01 07:01:49,017 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:01:49,650 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:01:49,650 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:49,774 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:01:49,774 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:49,898 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:01:49,898 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:50,023 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:01:50,023 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:01:50,023 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:01:50,148 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:01:50,149 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_gu_mc2'} +2024-06-01 07:01:50,212 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:01:50,213 INFO sqlalchemy.engine.Engine [generated in 0.00109s] {'checkpoint_id': 14266, 'metric_id': 1282, 'value': 0.42675831010799425} +2024-06-01 07:01:50,275 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 82%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 102/124 [72:14:19<5:16:14, 862.49s/it]['truthfulqa_hi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:01:50,934 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:01:50,934 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:51,064 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:01:51,064 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:51,194 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:01:51,194 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:01:51,324 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:01:51,325 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 07:01:51,325 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hi'} +2024-06-01 07:01:51,456 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_hi task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 773 examples [00:00, 9752.05 examples/s] +Running loglikelihood requests + + truthfulqa_hi: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_hi: 1%|█▌ | 1/74 [00:11<13:25, 11.03s/it][A + truthfulqa_hi: 3%|███ | 2/74 [00:21<13:11, 10.99s/it][A + truthfulqa_hi: 4%|████▌ | 3/74 [00:32<12:34, 10.63s/it][A + truthfulqa_hi: 5%|██████▏ | 4/74 [00:42<12:11, 10.45s/it][A + truthfulqa_hi: 7%|███████▋ | 5/74 [00:53<12:18, 10.70s/it][A + truthfulqa_hi: 8%|█████████▏ | 6/74 [01:04<12:13, 10.78s/it][A + truthfulqa_hi: 9%|██████████▊ | 7/74 [01:15<12:08, 10.87s/it][A + truthfulqa_hi: 11%|████████████▎ | 8/74 [01:27<12:15, 11.14s/it][A + truthfulqa_hi: 12%|█████████████▊ | 9/74 [01:38<12:06, 11.17s/it][A + truthfulqa_hi: 14%|███████████████▎ | 10/74 [01:49<11:42, 10.98s/it][A + truthfulqa_hi: 15%|████████████████▊ | 11/74 [02:00<11:32, 10.99s/it][A + truthfulqa_hi: 16%|██████████████████▎ | 12/74 [02:11<11:21, 11.00s/it][A + truthfulqa_hi: 18%|███████████████████▊ | 13/74 [02:21<11:04, 10.89s/it][A + truthfulqa_hi: 19%|█████████████████████▍ | 14/74 [02:32<10:59, 10.98s/it][A + truthfulqa_hi: 20%|██████████████████████▉ | 15/74 [02:44<10:51, 11.04s/it][A + truthfulqa_hi: 22%|████████████████████████▍ | 16/74 [02:55<10:45, 11.13s/it][A + truthfulqa_hi: 23%|█████████████████████████▉ | 17/74 [03:06<10:33, 11.11s/it][A + truthfulqa_hi: 24%|███████████████████████████▍ | 18/74 [03:17<10:20, 11.08s/it][A + truthfulqa_hi: 26%|█████████████████████████████ | 19/74 [03:28<10:07, 11.04s/it][A + truthfulqa_hi: 27%|██████████████████████████████▌ | 20/74 [03:39<09:58, 11.09s/it][A + truthfulqa_hi: 28%|████████████████████████████████ | 21/74 [03:49<09:34, 10.84s/it][A + truthfulqa_hi: 30%|█████████████████████████████████▌ | 22/74 [04:00<09:24, 10.85s/it][A + truthfulqa_hi: 31%|███████████████████████████████████ | 23/74 [04:12<09:23, 11.05s/it][A + truthfulqa_hi: 32%|████████████████████████████████████▋ | 24/74 [04:23<09:19, 11.20s/it][A + truthfulqa_hi: 34%|██████████████████████████████████████▏ | 25/74 [04:34<09:00, 11.04s/it][A + truthfulqa_hi: 35%|███████████████████████████████████████▋ | 26/74 [04:44<08:40, 10.84s/it][A + truthfulqa_hi: 36%|█████████████████████████████████████████▏ | 27/74 [04:56<08:39, 11.05s/it][A + truthfulqa_hi: 38%|██████████████████████████████████████████▊ | 28/74 [05:07<08:35, 11.21s/it][A + truthfulqa_hi: 39%|████████████████████████████████████████████▎ | 29/74 [05:18<08:20, 11.12s/it][A + truthfulqa_hi: 41%|█████████████████████████████████████████████▊ | 30/74 [05:30<08:09, 11.12s/it][A + truthfulqa_hi: 42%|███████████████████████████████████████████████▎ | 31/74 [05:41<08:04, 11.27s/it][A + truthfulqa_hi: 43%|████████████████████████████████████████████████▊ | 32/74 [05:52<07:45, 11.08s/it][A + truthfulqa_hi: 45%|██████████████████████████████████████████████████▍ | 33/74 [06:04<07:44, 11.33s/it][A + truthfulqa_hi: 46%|███████████████████████████████████████████████████▉ | 34/74 [06:15<07:36, 11.40s/it][A + truthfulqa_hi: 47%|█████████████████████████████████████████████████████▍ | 35/74 [06:27<07:27, 11.48s/it][A + truthfulqa_hi: 49%|██████████████████████████████████████████████████████▉ | 36/74 [06:38<07:09, 11.31s/it][A + truthfulqa_hi: 50%|████████████████████████████████████████████████████████▌ | 37/74 [06:49<06:54, 11.19s/it][A + truthfulqa_hi: 51%|██████████████████████████████████████████████████████████ | 38/74 [07:00<06:41, 11.15s/it][A + truthfulqa_hi: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [07:11<06:26, 11.05s/it][A + truthfulqa_hi: 54%|█████████████████████████████████████████████████████████████ | 40/74 [07:22<06:15, 11.05s/it][A + truthfulqa_hi: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [07:33<06:04, 11.03s/it][A + truthfulqa_hi: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [07:43<05:45, 10.81s/it][A + truthfulqa_hi: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [07:54<05:35, 10.84s/it][A + truthfulqa_hi: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [08:04<05:19, 10.66s/it][A + truthfulqa_hi: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [08:15<05:08, 10.63s/it][A + truthfulqa_hi: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [08:25<04:52, 10.44s/it][A + truthfulqa_hi: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [08:35<04:44, 10.53s/it][A + truthfulqa_hi: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [08:47<04:41, 10.82s/it][A + truthfulqa_hi: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [08:57<04:28, 10.73s/it][A + truthfulqa_hi: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [09:08<04:13, 10.55s/it][A + truthfulqa_hi: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [09:18<04:01, 10.50s/it][A + truthfulqa_hi: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [09:28<03:47, 10.36s/it][A + truthfulqa_hi: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [09:38<03:36, 10.29s/it][A + truthfulqa_hi: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [09:49<03:27, 10.40s/it][A + truthfulqa_hi: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [10:00<03:20, 10.56s/it][A + truthfulqa_hi: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [10:10<03:08, 10.46s/it][A + truthfulqa_hi: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [10:20<02:54, 10.29s/it][A + truthfulqa_hi: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [10:30<02:45, 10.34s/it][A + truthfulqa_hi: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [10:41<02:37, 10.49s/it][A + truthfulqa_hi: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [10:52<02:29, 10.67s/it][A + truthfulqa_hi: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [11:04<02:22, 10.98s/it][A + truthfulqa_hi: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [11:14<02:08, 10.74s/it][A + truthfulqa_hi: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [11:26<02:02, 11.12s/it][A + truthfulqa_hi: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [11:38<01:53, 11.34s/it][A + truthfulqa_hi: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [11:48<01:38, 11.00s/it][A + truthfulqa_hi: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [11:59<01:27, 10.89s/it][A + truthfulqa_hi: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [12:09<01:15, 10.80s/it][A + truthfulqa_hi: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [12:20<01:04, 10.69s/it][A + truthfulqa_hi: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [12:31<00:54, 10.83s/it][A + truthfulqa_hi: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [12:42<00:43, 10.89s/it][A + truthfulqa_hi: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [12:53<00:32, 10.91s/it][A + truthfulqa_hi: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [13:03<00:21, 10.77s/it][A + truthfulqa_hi: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [13:14<00:10, 10.70s/it][A + truthfulqa_hi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:21<00:00, 9.49s/it][A truthfulqa_hi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:21<00:00, 10.83s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hi_mc1 0.2833117723156533 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hi_mc2 0.4887242900469505 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:15:13,422 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:15:13,422 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:13,550 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:15:13,550 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:13,678 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:15:13,678 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:13,806 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:15:13,807 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:15:13,807 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:15:13,936 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:15:13,936 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_hi_mc1'} +2024-06-01 07:15:14,001 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:15:14,001 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1283, 'value': 0.2833117723156533} +2024-06-01 07:15:14,067 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:15:14,691 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:15:14,691 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:14,813 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:15:14,813 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:14,935 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:15:14,935 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:15,057 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:15:15,058 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:15:15,058 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:15:15,181 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:15:15,181 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_hi_mc2'} +2024-06-01 07:15:15,243 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:15:15,244 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1284, 'value': 0.4887242900469505} +2024-06-01 07:15:15,305 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 83%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 103/124 [72:27:44<4:55:50, 845.25s/it]['truthfulqa_hr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:15:15,929 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:15:15,929 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:16,051 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:15:16,052 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:16,174 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:15:16,174 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:15:16,297 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:15:16,297 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 07:15:16,297 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hr'} +2024-06-01 07:15:16,421 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_hr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 769 examples [00:00, 10311.44 examples/s] +Running loglikelihood requests + + truthfulqa_hr: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_hr: 1%|█▌ | 1/74 [00:09<11:45, 9.67s/it][A + truthfulqa_hr: 3%|███ | 2/74 [00:18<10:48, 9.01s/it][A + truthfulqa_hr: 4%|████▌ | 3/74 [00:27<10:42, 9.05s/it][A + truthfulqa_hr: 5%|██████▏ | 4/74 [00:36<10:34, 9.06s/it][A + truthfulqa_hr: 7%|███████▋ | 5/74 [00:44<10:08, 8.82s/it][A + truthfulqa_hr: 8%|█████████▏ | 6/74 [00:53<09:53, 8.73s/it][A + truthfulqa_hr: 9%|██████████▊ | 7/74 [01:02<10:01, 8.98s/it][A + truthfulqa_hr: 11%|████████████▎ | 8/74 [01:12<10:03, 9.14s/it][A + truthfulqa_hr: 12%|█████████████▊ | 9/74 [01:21<09:52, 9.11s/it][A + truthfulqa_hr: 14%|███████████████▎ | 10/74 [01:30<09:44, 9.14s/it][A + truthfulqa_hr: 15%|████████████████▊ | 11/74 [01:39<09:39, 9.19s/it][A + truthfulqa_hr: 16%|██████████████████▎ | 12/74 [01:48<09:17, 8.99s/it][A + truthfulqa_hr: 18%|███████████████████▊ | 13/74 [01:57<09:06, 8.95s/it][A + truthfulqa_hr: 19%|█████████████████████▍ | 14/74 [02:06<09:02, 9.04s/it][A + truthfulqa_hr: 20%|██████████████████████▉ | 15/74 [02:16<09:01, 9.17s/it][A + truthfulqa_hr: 22%|████████████████████████▍ | 16/74 [02:25<08:55, 9.24s/it][A + truthfulqa_hr: 23%|█████████████████████████▉ | 17/74 [02:34<08:43, 9.19s/it][A + truthfulqa_hr: 24%|███████████████████████████▍ | 18/74 [02:43<08:29, 9.10s/it][A + truthfulqa_hr: 26%|█████████████████████████████ | 19/74 [02:52<08:22, 9.13s/it][A + truthfulqa_hr: 27%|██████████████████████████████▌ | 20/74 [03:01<08:14, 9.15s/it][A + truthfulqa_hr: 28%|████████████████████████████████ | 21/74 [03:11<08:12, 9.30s/it][A + truthfulqa_hr: 30%|█████████████████████████████████▌ | 22/74 [03:20<08:00, 9.24s/it][A + truthfulqa_hr: 31%|███████████████████████████████████ | 23/74 [03:29<07:46, 9.14s/it][A + truthfulqa_hr: 32%|████████████████████████████████████▋ | 24/74 [03:38<07:37, 9.16s/it][A + truthfulqa_hr: 34%|██████████████████████████████████████▏ | 25/74 [03:48<07:32, 9.23s/it][A + truthfulqa_hr: 35%|███████████████████████████████████████▋ | 26/74 [03:57<07:21, 9.20s/it][A + truthfulqa_hr: 36%|█████████████████████████████████████████▏ | 27/74 [04:06<07:12, 9.19s/it][A + truthfulqa_hr: 38%|██████████████████████████████████████████▊ | 28/74 [04:16<07:10, 9.37s/it][A + truthfulqa_hr: 39%|████████████████████████████████████████████▎ | 29/74 [04:25<06:57, 9.27s/it][A + truthfulqa_hr: 41%|█████████████████████████████████████████████▊ | 30/74 [04:34<06:45, 9.22s/it][A + truthfulqa_hr: 42%|███████████████████████████████████████████████▎ | 31/74 [04:43<06:33, 9.15s/it][A + truthfulqa_hr: 43%|████████████████████████████████████████████████▊ | 32/74 [04:52<06:26, 9.19s/it][A + truthfulqa_hr: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:02<06:22, 9.32s/it][A + truthfulqa_hr: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:10<06:02, 9.06s/it][A + truthfulqa_hr: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:19<05:55, 9.11s/it][A + truthfulqa_hr: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:28<05:38, 8.90s/it][A + truthfulqa_hr: 50%|████████████████████████████████████████████████████████▌ | 37/74 [05:37<05:33, 9.00s/it][A + truthfulqa_hr: 51%|██████████████████████████████████████████████████████████ | 38/74 [05:46<05:29, 9.16s/it][A + truthfulqa_hr: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [05:56<05:25, 9.31s/it][A + truthfulqa_hr: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:05<05:14, 9.25s/it][A + truthfulqa_hr: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:14<05:02, 9.17s/it][A + truthfulqa_hr: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [06:23<04:51, 9.10s/it][A + truthfulqa_hr: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [06:32<04:42, 9.11s/it][A + truthfulqa_hr: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [06:42<04:38, 9.28s/it][A + truthfulqa_hr: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [06:51<04:22, 9.06s/it][A + truthfulqa_hr: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [07:00<04:15, 9.13s/it][A + truthfulqa_hr: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:09<04:07, 9.17s/it][A + truthfulqa_hr: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [07:18<03:58, 9.18s/it][A + truthfulqa_hr: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [07:28<03:56, 9.47s/it][A + truthfulqa_hr: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [07:38<03:44, 9.36s/it][A + truthfulqa_hr: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [07:47<03:34, 9.31s/it][A + truthfulqa_hr: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [07:56<03:22, 9.20s/it][A + truthfulqa_hr: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [08:04<03:09, 9.00s/it][A + truthfulqa_hr: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [08:13<02:57, 8.85s/it][A + truthfulqa_hr: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [08:22<02:49, 8.94s/it][A + truthfulqa_hr: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [08:31<02:41, 8.97s/it][A + truthfulqa_hr: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [08:40<02:33, 9.02s/it][A + truthfulqa_hr: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [08:49<02:24, 9.04s/it][A + truthfulqa_hr: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [08:58<02:15, 9.04s/it][A + truthfulqa_hr: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:07<02:07, 9.10s/it][A + truthfulqa_hr: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [09:17<02:00, 9.26s/it][A + truthfulqa_hr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [09:27<01:52, 9.37s/it][A + truthfulqa_hr: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [09:35<01:40, 9.17s/it][A + truthfulqa_hr: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [09:45<01:33, 9.31s/it][A + truthfulqa_hr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [09:55<01:24, 9.41s/it][A + truthfulqa_hr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [10:04<01:15, 9.42s/it][A + truthfulqa_hr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [10:13<01:05, 9.39s/it][A + truthfulqa_hr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [10:22<00:55, 9.27s/it][A + truthfulqa_hr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [10:31<00:45, 9.05s/it][A + truthfulqa_hr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [10:40<00:36, 9.11s/it][A + truthfulqa_hr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [10:49<00:27, 9.07s/it][A + truthfulqa_hr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [10:58<00:18, 9.09s/it][A + truthfulqa_hr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:08<00:09, 9.24s/it][A + truthfulqa_hr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:13<00:00, 7.87s/it][A truthfulqa_hr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:13<00:00, 9.10s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hr_mc1 0.2977893368010403 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hr_mc2 0.48324030119440603 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:26:30,675 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:26:30,675 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:30,797 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:26:30,797 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:30,919 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:26:30,919 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:31,041 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:26:31,042 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:26:31,042 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:26:31,165 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:26:31,165 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_hr_mc1'} +2024-06-01 07:26:31,227 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:26:31,228 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1285, 'value': 0.2977893368010403} +2024-06-01 07:26:31,290 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:26:31,937 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:26:31,937 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:32,064 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:26:32,065 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:32,192 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:26:32,192 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:32,320 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:26:32,321 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:26:32,321 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:26:32,449 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:26:32,450 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_hr_mc2'} +2024-06-01 07:26:32,514 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:26:32,514 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1286, 'value': 0.48324030119440603} +2024-06-01 07:26:32,579 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 84%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 104/124 [72:39:01<4:24:57, 794.86s/it]['truthfulqa_hu'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:26:33,203 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:26:33,203 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:33,325 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:26:33,325 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:33,447 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:26:33,447 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:26:33,569 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:26:33,570 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 07:26:33,570 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hu'} +2024-06-01 07:26:33,693 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_hu task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 771 examples [00:00, 10192.67 examples/s] +Running loglikelihood requests + + truthfulqa_hu: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_hu: 1%|█▌ | 1/74 [00:09<11:09, 9.17s/it][A + truthfulqa_hu: 3%|███ | 2/74 [00:18<11:13, 9.36s/it][A + truthfulqa_hu: 4%|████▌ | 3/74 [00:28<11:14, 9.50s/it][A + truthfulqa_hu: 5%|██████▏ | 4/74 [00:37<11:09, 9.56s/it][A + truthfulqa_hu: 7%|███████▋ | 5/74 [00:48<11:13, 9.76s/it][A + truthfulqa_hu: 8%|█████████▏ | 6/74 [00:57<10:51, 9.58s/it][A + truthfulqa_hu: 9%|██████████▊ | 7/74 [01:06<10:28, 9.38s/it][A + truthfulqa_hu: 11%|████████████▎ | 8/74 [01:15<10:15, 9.32s/it][A + truthfulqa_hu: 12%|█████████████▊ | 9/74 [01:24<10:01, 9.26s/it][A + truthfulqa_hu: 14%|███████████████▎ | 10/74 [01:33<09:51, 9.25s/it][A + truthfulqa_hu: 15%|████████████████▊ | 11/74 [01:43<09:55, 9.46s/it][A + truthfulqa_hu: 16%|██████████████████▎ | 12/74 [01:52<09:39, 9.35s/it][A + truthfulqa_hu: 18%|███████████████████▊ | 13/74 [02:02<09:32, 9.38s/it][A + truthfulqa_hu: 19%|█████████████████████▍ | 14/74 [02:12<09:33, 9.56s/it][A + truthfulqa_hu: 20%|██████████████████████▉ | 15/74 [02:21<09:18, 9.47s/it][A + truthfulqa_hu: 22%|████████████████████████▍ | 16/74 [02:30<09:00, 9.31s/it][A + truthfulqa_hu: 23%|█████████████████████████▉ | 17/74 [02:39<08:46, 9.23s/it][A + truthfulqa_hu: 24%|███████████████████████████▍ | 18/74 [02:48<08:36, 9.23s/it][A + truthfulqa_hu: 26%|█████████████████████████████ | 19/74 [02:58<08:34, 9.36s/it][A + truthfulqa_hu: 27%|██████████████████████████████▌ | 20/74 [03:07<08:23, 9.33s/it][A + truthfulqa_hu: 28%|████████████████████████████████ | 21/74 [03:17<08:17, 9.39s/it][A + truthfulqa_hu: 30%|█████████████████████████████████▌ | 22/74 [03:27<08:14, 9.51s/it][A + truthfulqa_hu: 31%|███████████████████████████████████ | 23/74 [03:36<07:59, 9.40s/it][A + truthfulqa_hu: 32%|████████████████████████████████████▋ | 24/74 [03:44<07:37, 9.15s/it][A + truthfulqa_hu: 34%|██████████████████████████████████████▏ | 25/74 [03:54<07:31, 9.21s/it][A + truthfulqa_hu: 35%|███████████████████████████████████████▋ | 26/74 [04:03<07:20, 9.19s/it][A + truthfulqa_hu: 36%|█████████████████████████████████████████▏ | 27/74 [04:13<07:21, 9.39s/it][A + truthfulqa_hu: 38%|██████████████████████████████████████████▊ | 28/74 [04:22<07:13, 9.43s/it][A + truthfulqa_hu: 39%|████████████████████████████████████████████▎ | 29/74 [04:31<07:02, 9.38s/it][A + truthfulqa_hu: 41%|█████████████████████████████████████████████▊ | 30/74 [04:41<06:57, 9.49s/it][A + truthfulqa_hu: 42%|███████████████████████████████████████████████▎ | 31/74 [04:50<06:41, 9.34s/it][A + truthfulqa_hu: 43%|████████████████████████████████████████████████▊ | 32/74 [05:00<06:35, 9.43s/it][A + truthfulqa_hu: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:09<06:23, 9.35s/it][A + truthfulqa_hu: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:18<06:07, 9.18s/it][A + truthfulqa_hu: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:27<05:59, 9.23s/it][A + truthfulqa_hu: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:36<05:52, 9.27s/it][A + truthfulqa_hu: 50%|████████████████████████████████████████████████████████▌ | 37/74 [05:45<05:37, 9.12s/it][A + truthfulqa_hu: 51%|██████████████████████████████████████████████████████████ | 38/74 [05:54<05:29, 9.16s/it][A + truthfulqa_hu: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [06:03<05:15, 9.00s/it][A + truthfulqa_hu: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:13<05:15, 9.27s/it][A + truthfulqa_hu: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:22<05:03, 9.21s/it][A + truthfulqa_hu: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [06:31<04:54, 9.20s/it][A + truthfulqa_hu: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [06:40<04:45, 9.20s/it][A + truthfulqa_hu: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [06:50<04:39, 9.32s/it][A + truthfulqa_hu: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [07:00<04:36, 9.53s/it][A + truthfulqa_hu: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [07:09<04:24, 9.46s/it][A + truthfulqa_hu: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:19<04:13, 9.40s/it][A + truthfulqa_hu: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [07:28<04:04, 9.40s/it][A + truthfulqa_hu: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [07:38<03:57, 9.48s/it][A + truthfulqa_hu: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [07:47<03:45, 9.40s/it][A + truthfulqa_hu: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [07:56<03:35, 9.37s/it][A + truthfulqa_hu: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [08:05<03:23, 9.27s/it][A + truthfulqa_hu: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [08:14<03:12, 9.18s/it][A + truthfulqa_hu: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [08:23<03:03, 9.16s/it][A + truthfulqa_hu: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [08:32<02:53, 9.11s/it][A + truthfulqa_hu: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [08:41<02:43, 9.06s/it][A + truthfulqa_hu: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [08:51<02:38, 9.35s/it][A + truthfulqa_hu: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [09:00<02:29, 9.31s/it][A + truthfulqa_hu: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [09:10<02:19, 9.27s/it][A + truthfulqa_hu: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:20<02:13, 9.51s/it][A + truthfulqa_hu: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [09:29<02:04, 9.57s/it][A + truthfulqa_hu: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [09:39<01:53, 9.46s/it][A + truthfulqa_hu: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [09:48<01:43, 9.42s/it][A + truthfulqa_hu: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [09:58<01:34, 9.47s/it][A + truthfulqa_hu: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [10:07<01:25, 9.48s/it][A + truthfulqa_hu: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [10:16<01:15, 9.40s/it][A + truthfulqa_hu: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [10:25<01:05, 9.34s/it][A + truthfulqa_hu: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [10:35<00:55, 9.26s/it][A + truthfulqa_hu: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [10:44<00:46, 9.28s/it][A + truthfulqa_hu: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [10:53<00:36, 9.19s/it][A + truthfulqa_hu: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [11:02<00:27, 9.20s/it][A + truthfulqa_hu: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [11:12<00:18, 9.48s/it][A + truthfulqa_hu: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:21<00:09, 9.35s/it][A + truthfulqa_hu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00, 7.77s/it][A truthfulqa_hu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00, 9.27s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hu_mc1 0.2723735408560311 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hu_mc2 0.4671372826612932 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:38:00,334 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:38:00,334 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:00,453 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:38:00,453 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:00,572 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:38:00,572 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:00,691 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:38:00,691 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:38:00,692 INFO sqlalchemy.engine.Engine [generated in 0.00037s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:38:00,812 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:38:00,812 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_hu_mc1'} +2024-06-01 07:38:00,872 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:38:00,872 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1287, 'value': 0.2723735408560311} +2024-06-01 07:38:00,933 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:38:01,558 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:38:01,558 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:01,681 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:38:01,681 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:01,805 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:38:01,805 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:01,928 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:38:01,929 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:38:01,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:38:02,053 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:38:02,053 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_hu_mc2'} +2024-06-01 07:38:02,116 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:38:02,116 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1288, 'value': 0.4671372826612932} +2024-06-01 07:38:02,178 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 85%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 105/124 [72:50:31<4:01:42, 763.28s/it]['truthfulqa_hy'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:38:02,836 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:38:02,836 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:02,966 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:38:02,966 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:03,096 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:38:03,097 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:38:03,227 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:38:03,227 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 07:38:03,227 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hy'} +2024-06-01 07:38:03,358 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_hy task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 553 examples [00:00, 10483.86 examples/s] +Running loglikelihood requests + + truthfulqa_hy: 0%| | 0/49 [00:00<?, ?it/s][A + truthfulqa_hy: 2%|██▎ | 1/49 [00:11<08:55, 11.16s/it][A + truthfulqa_hy: 4%|████▋ | 2/49 [00:22<08:48, 11.24s/it][A + truthfulqa_hy: 6%|██████▉ | 3/49 [00:35<09:16, 12.11s/it][A + truthfulqa_hy: 8%|█████████▎ | 4/49 [00:46<08:38, 11.52s/it][A + truthfulqa_hy: 10%|███████████▋ | 5/49 [00:59<08:49, 12.03s/it][A + truthfulqa_hy: 12%|█████████████▉ | 6/49 [01:11<08:40, 12.11s/it][A + truthfulqa_hy: 14%|████████████████▎ | 7/49 [01:22<08:18, 11.86s/it][A + truthfulqa_hy: 16%|██████████████████▌ | 8/49 [01:34<08:08, 11.90s/it][A + truthfulqa_hy: 18%|████████████████████▉ | 9/49 [01:47<08:10, 12.26s/it][A + truthfulqa_hy: 20%|███████████████████████ | 10/49 [01:58<07:45, 11.93s/it][A + truthfulqa_hy: 22%|█████████████████████████▎ | 11/49 [02:11<07:37, 12.04s/it][A + truthfulqa_hy: 24%|███████████████████████████▋ | 12/49 [02:23<07:23, 11.99s/it][A + truthfulqa_hy: 27%|█████████████████████████████▉ | 13/49 [02:35<07:17, 12.16s/it][A + truthfulqa_hy: 29%|████████████████████████████████▎ | 14/49 [02:46<06:53, 11.82s/it][A + truthfulqa_hy: 31%|██████████████████████████████████▌ | 15/49 [02:58<06:44, 11.91s/it][A + truthfulqa_hy: 33%|████████████████████████████████████▉ | 16/49 [03:11<06:44, 12.26s/it][A + truthfulqa_hy: 35%|███████████████████████████████████████▏ | 17/49 [03:24<06:32, 12.26s/it][A + truthfulqa_hy: 37%|█████████████████████████████████████████▌ | 18/49 [03:35<06:11, 11.98s/it][A + truthfulqa_hy: 39%|███████████████████████████████████████████▊ | 19/49 [03:48<06:04, 12.15s/it][A + truthfulqa_hy: 41%|██████████████████████████████████████████████ | 20/49 [04:00<05:52, 12.16s/it][A + truthfulqa_hy: 43%|████████████████████████████████████████████████▍ | 21/49 [04:14<05:59, 12.84s/it][A + truthfulqa_hy: 45%|██████████████████████████████████████████████████▋ | 22/49 [04:27<05:45, 12.81s/it][A + truthfulqa_hy: 47%|█████████████████████████████████████████████████████ | 23/49 [04:40<05:33, 12.82s/it][A + truthfulqa_hy: 49%|███████████████████████████████████████████████████████▎ | 24/49 [04:51<05:08, 12.32s/it][A + truthfulqa_hy: 51%|█████████████████████████████████████████████████████████▋ | 25/49 [05:03<04:51, 12.14s/it][A + truthfulqa_hy: 53%|███████████████████████████████████████████████████████████▉ | 26/49 [05:16<04:45, 12.42s/it][A + truthfulqa_hy: 55%|██████████████████████████████████████████████████████████████▎ | 27/49 [05:28<04:35, 12.52s/it][A + truthfulqa_hy: 57%|████████████████████████████████████████████████████████████████▌ | 28/49 [05:40<04:16, 12.20s/it][A + truthfulqa_hy: 59%|██████████████████████████████████████████████████████████████████▉ | 29/49 [05:52<04:06, 12.31s/it][A + truthfulqa_hy: 61%|█████████████████████████████████████████████████████████████████████▏ | 30/49 [06:04<03:49, 12.10s/it][A + truthfulqa_hy: 63%|███████████████████████████████████████████████████████████████████████▍ | 31/49 [06:15<03:31, 11.73s/it][A + truthfulqa_hy: 65%|█████████████████████████████████████████████████████████████████████████▊ | 32/49 [06:26<03:17, 11.60s/it][A + truthfulqa_hy: 67%|████████████████████████████████████████████████████████████████████████████ | 33/49 [06:38<03:04, 11.51s/it][A + truthfulqa_hy: 69%|██████████████████████████████████████████████████████████████████████████████▍ | 34/49 [06:50<02:57, 11.81s/it][A + truthfulqa_hy: 71%|████████████████████████████████████████████████████████████████████████████████▋ | 35/49 [07:02<02:47, 11.99s/it][A + truthfulqa_hy: 73%|███████████████████████████████████████████████████████████████████████████████████ | 36/49 [07:14<02:35, 11.94s/it][A + truthfulqa_hy: 76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 37/49 [07:26<02:23, 11.98s/it][A + truthfulqa_hy: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 38/49 [07:39<02:12, 12.05s/it][A + truthfulqa_hy: 80%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 39/49 [07:50<01:58, 11.87s/it][A + truthfulqa_hy: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 40/49 [08:01<01:45, 11.70s/it][A + truthfulqa_hy: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/49 [08:13<01:34, 11.83s/it][A + truthfulqa_hy: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 42/49 [08:26<01:24, 12.07s/it][A + truthfulqa_hy: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 43/49 [08:39<01:14, 12.38s/it][A + truthfulqa_hy: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/49 [08:51<01:01, 12.30s/it][A + truthfulqa_hy: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 45/49 [09:04<00:49, 12.28s/it][A + truthfulqa_hy: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 46/49 [09:16<00:36, 12.29s/it][A + truthfulqa_hy: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 47/49 [09:26<00:23, 11.74s/it][A + truthfulqa_hy: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 48/49 [09:39<00:12, 12.05s/it][A + truthfulqa_hy: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 49/49 [09:50<00:00, 11.58s/it][A truthfulqa_hy: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 49/49 [09:50<00:00, 12.04s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hy_mc1 0.26763110307414106 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hy_mc2 0.45843600536100165 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:47:54,187 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:47:54,188 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:54,309 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:47:54,309 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:54,432 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:47:54,432 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:54,553 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:47:54,554 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:47:54,554 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:47:54,677 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:47:54,677 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_hy_mc1'} +2024-06-01 07:47:54,739 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:47:54,739 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1289, 'value': 0.26763110307414106} +2024-06-01 07:47:54,801 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:47:55,451 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:47:55,451 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:55,580 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:47:55,580 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:55,708 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:47:55,708 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:55,837 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:47:55,838 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:47:55,838 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:47:55,967 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:47:55,967 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_hy_mc2'} +2024-06-01 07:47:56,033 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:47:56,033 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1290, 'value': 0.45843600536100165} +2024-06-01 07:47:56,099 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 85%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 106/124 [73:00:25<3:33:44, 712.47s/it]['truthfulqa_id'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:47:56,725 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:47:56,725 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:56,848 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:47:56,848 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:56,971 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:47:56,971 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:47:57,093 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:47:57,094 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 07:47:57,094 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_id'} +2024-06-01 07:47:57,217 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_id task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 778 examples [00:00, 11229.42 examples/s] +Running loglikelihood requests + + truthfulqa_id: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_id: 1%|█▌ | 1/74 [00:09<11:51, 9.75s/it][A + truthfulqa_id: 3%|███ | 2/74 [00:19<11:52, 9.89s/it][A + truthfulqa_id: 4%|████▌ | 3/74 [00:28<11:20, 9.58s/it][A + truthfulqa_id: 5%|██████▏ | 4/74 [00:38<11:18, 9.70s/it][A + truthfulqa_id: 7%|███████▋ | 5/74 [00:48<11:02, 9.60s/it][A + truthfulqa_id: 8%|█████████▏ | 6/74 [00:57<10:45, 9.50s/it][A + truthfulqa_id: 9%|██████████▊ | 7/74 [01:07<10:47, 9.67s/it][A + truthfulqa_id: 11%|████████████▎ | 8/74 [01:17<10:35, 9.62s/it][A + truthfulqa_id: 12%|█████████████▊ | 9/74 [01:27<10:31, 9.72s/it][A + truthfulqa_id: 14%|███████████████▎ | 10/74 [01:36<10:11, 9.56s/it][A + truthfulqa_id: 15%|████████████████▊ | 11/74 [01:45<09:55, 9.45s/it][A + truthfulqa_id: 16%|██████████████████▎ | 12/74 [01:55<09:49, 9.52s/it][A + truthfulqa_id: 18%|███████████████████▊ | 13/74 [02:04<09:47, 9.63s/it][A + truthfulqa_id: 19%|█████████████████████▍ | 14/74 [02:14<09:42, 9.70s/it][A + truthfulqa_id: 20%|██████████████████████▉ | 15/74 [02:23<09:21, 9.52s/it][A + truthfulqa_id: 22%|████████████████████████▍ | 16/74 [02:33<09:21, 9.67s/it][A + truthfulqa_id: 23%|█████████████████████████▉ | 17/74 [02:43<09:16, 9.76s/it][A + truthfulqa_id: 24%|███████████████████████████▍ | 18/74 [02:53<09:00, 9.65s/it][A + truthfulqa_id: 26%|█████████████████████████████ | 19/74 [03:02<08:46, 9.57s/it][A + truthfulqa_id: 27%|██████████████████████████████▌ | 20/74 [03:11<08:31, 9.46s/it][A + truthfulqa_id: 28%|████████████████████████████████ | 21/74 [03:21<08:16, 9.37s/it][A + truthfulqa_id: 30%|█████████████████████████████████▌ | 22/74 [03:30<08:07, 9.37s/it][A + truthfulqa_id: 31%|███████████████████████████████████ | 23/74 [03:39<07:54, 9.30s/it][A + truthfulqa_id: 32%|████████████████████████████████████▋ | 24/74 [03:48<07:46, 9.33s/it][A + truthfulqa_id: 34%|██████████████████████████████████████▏ | 25/74 [03:58<07:35, 9.29s/it][A + truthfulqa_id: 35%|███████████████████████████████████████▋ | 26/74 [04:07<07:32, 9.43s/it][A + truthfulqa_id: 36%|█████████████████████████████████████████▏ | 27/74 [04:17<07:26, 9.51s/it][A + truthfulqa_id: 38%|██████████████████████████████████████████▊ | 28/74 [04:26<07:11, 9.39s/it][A + truthfulqa_id: 39%|████████████████████████████████████████████▎ | 29/74 [04:35<07:00, 9.34s/it][A + truthfulqa_id: 41%|█████████████████████████████████████████████▊ | 30/74 [04:45<06:51, 9.35s/it][A + truthfulqa_id: 42%|███████████████████████████████████████████████▎ | 31/74 [04:55<06:47, 9.48s/it][A + truthfulqa_id: 43%|████████████████████████████████████████████████▊ | 32/74 [05:04<06:34, 9.39s/it][A + truthfulqa_id: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:13<06:21, 9.30s/it][A + truthfulqa_id: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:22<06:15, 9.38s/it][A + truthfulqa_id: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:32<06:03, 9.31s/it][A + truthfulqa_id: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:41<05:53, 9.31s/it][A + truthfulqa_id: 50%|████████████████████████████████████████████████████████▌ | 37/74 [05:51<05:51, 9.49s/it][A + truthfulqa_id: 51%|██████████████████████████████████████████████████████████ | 38/74 [06:00<05:38, 9.39s/it][A + truthfulqa_id: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [06:10<05:32, 9.51s/it][A + truthfulqa_id: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:19<05:16, 9.30s/it][A + truthfulqa_id: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:28<05:10, 9.40s/it][A + truthfulqa_id: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [06:38<04:59, 9.37s/it][A + truthfulqa_id: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [06:47<04:49, 9.35s/it][A + truthfulqa_id: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [06:56<04:37, 9.27s/it][A + truthfulqa_id: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [07:06<04:34, 9.46s/it][A + truthfulqa_id: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [07:15<04:25, 9.47s/it][A + truthfulqa_id: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:24<04:13, 9.38s/it][A + truthfulqa_id: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [07:34<04:03, 9.35s/it][A + truthfulqa_id: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [07:43<03:53, 9.34s/it][A + truthfulqa_id: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [07:52<03:42, 9.26s/it][A + truthfulqa_id: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [08:02<03:37, 9.46s/it][A + truthfulqa_id: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [08:11<03:26, 9.37s/it][A + truthfulqa_id: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [08:20<03:16, 9.34s/it][A + truthfulqa_id: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [08:30<03:05, 9.28s/it][A + truthfulqa_id: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [08:39<02:55, 9.25s/it][A + truthfulqa_id: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [08:49<02:49, 9.41s/it][A + truthfulqa_id: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [08:59<02:42, 9.57s/it][A + truthfulqa_id: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [09:08<02:33, 9.62s/it][A + truthfulqa_id: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [09:18<02:23, 9.57s/it][A + truthfulqa_id: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:28<02:14, 9.64s/it][A + truthfulqa_id: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [09:37<02:04, 9.55s/it][A + truthfulqa_id: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [09:46<01:53, 9.44s/it][A + truthfulqa_id: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [09:55<01:42, 9.36s/it][A + truthfulqa_id: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [10:04<01:32, 9.28s/it][A + truthfulqa_id: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [10:14<01:23, 9.25s/it][A + truthfulqa_id: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [10:23<01:13, 9.21s/it][A + truthfulqa_id: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [10:33<01:06, 9.44s/it][A + truthfulqa_id: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [10:43<00:57, 9.61s/it][A + truthfulqa_id: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [10:53<00:48, 9.69s/it][A + truthfulqa_id: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [11:02<00:38, 9.68s/it][A + truthfulqa_id: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [11:11<00:28, 9.50s/it][A + truthfulqa_id: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [11:21<00:18, 9.45s/it][A + truthfulqa_id: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:30<00:09, 9.55s/it][A + truthfulqa_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:39<00:00, 9.18s/it][A truthfulqa_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:39<00:00, 9.45s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_id_mc1 0.2969151670951157 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_id_mc2 0.46962989701782987 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:59:37,226 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:59:37,227 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:37,357 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:59:37,357 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:37,487 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:59:37,487 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:37,617 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:59:37,617 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:59:37,618 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:59:37,749 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:59:37,749 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_id_mc1'} +2024-06-01 07:59:37,815 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:59:37,815 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1291, 'value': 0.2969151670951157} +2024-06-01 07:59:37,881 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:59:38,515 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:59:38,515 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:38,639 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:59:38,639 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:38,763 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:59:38,763 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:38,887 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:59:38,888 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 07:59:38,888 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 07:59:39,013 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 07:59:39,013 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_id_mc2'} +2024-06-01 07:59:39,076 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 07:59:39,076 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1292, 'value': 0.46962989701782987} +2024-06-01 07:59:39,138 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 107/124 [73:12:08<3:21:03, 709.64s/it]['truthfulqa_it'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 07:59:39,778 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 07:59:39,778 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:39,904 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 07:59:39,904 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:40,030 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 07:59:40,030 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 07:59:40,156 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 07:59:40,157 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 07:59:40,157 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_it'} +2024-06-01 07:59:40,284 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_it task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 783 examples [00:00, 10768.84 examples/s] +Running loglikelihood requests + + truthfulqa_it: 0%| | 0/75 [00:00<?, ?it/s][A + truthfulqa_it: 1%|█▌ | 1/75 [00:09<11:24, 9.25s/it][A + truthfulqa_it: 3%|███ | 2/75 [00:19<11:50, 9.74s/it][A + truthfulqa_it: 4%|████▌ | 3/75 [00:28<11:23, 9.50s/it][A + truthfulqa_it: 5%|██████ | 4/75 [00:37<11:00, 9.30s/it][A + truthfulqa_it: 7%|███████▌ | 5/75 [00:46<10:49, 9.28s/it][A + truthfulqa_it: 8%|█████████ | 6/75 [00:56<10:42, 9.31s/it][A + truthfulqa_it: 9%|██████████▋ | 7/75 [01:05<10:28, 9.25s/it][A + truthfulqa_it: 11%|████████████▏ | 8/75 [01:14<10:27, 9.37s/it][A + truthfulqa_it: 12%|█████████████▋ | 9/75 [01:23<10:01, 9.12s/it][A + truthfulqa_it: 13%|███████████████ | 10/75 [01:32<09:51, 9.10s/it][A + truthfulqa_it: 15%|████████████████▌ | 11/75 [01:42<09:53, 9.28s/it][A + truthfulqa_it: 16%|██████████████████ | 12/75 [01:51<09:41, 9.23s/it][A + truthfulqa_it: 17%|███████████████████▌ | 13/75 [02:00<09:28, 9.17s/it][A + truthfulqa_it: 19%|█████████████████████ | 14/75 [02:09<09:24, 9.25s/it][A + truthfulqa_it: 20%|██████████████████████▌ | 15/75 [02:18<09:11, 9.19s/it][A + truthfulqa_it: 21%|████████████████████████ | 16/75 [02:28<09:07, 9.28s/it][A + truthfulqa_it: 23%|█████████████████████████▌ | 17/75 [02:37<08:51, 9.17s/it][A + truthfulqa_it: 24%|███████████████████████████ | 18/75 [02:47<08:53, 9.36s/it][A + truthfulqa_it: 25%|████████████████████████████▋ | 19/75 [02:56<08:43, 9.35s/it][A + truthfulqa_it: 27%|██████████████████████████████▏ | 20/75 [03:05<08:33, 9.33s/it][A + truthfulqa_it: 28%|███████████████████████████████▋ | 21/75 [03:14<08:21, 9.29s/it][A + truthfulqa_it: 29%|█████████████████████████████████▏ | 22/75 [03:23<08:08, 9.22s/it][A + truthfulqa_it: 31%|██████████████████████████████████▋ | 23/75 [03:32<07:52, 9.10s/it][A + truthfulqa_it: 32%|████████████████████████████████████▏ | 24/75 [03:41<07:44, 9.11s/it][A + truthfulqa_it: 33%|█████████████████████████████████████▋ | 25/75 [03:51<07:41, 9.22s/it][A + truthfulqa_it: 35%|███████████████████████████████████████▏ | 26/75 [04:00<07:30, 9.18s/it][A + truthfulqa_it: 36%|████████████████████████████████████████▋ | 27/75 [04:09<07:18, 9.14s/it][A + truthfulqa_it: 37%|██████████████████████████████████████████▏ | 28/75 [04:19<07:25, 9.47s/it][A + truthfulqa_it: 39%|███████████████████████████████████████████▋ | 29/75 [04:28<07:10, 9.35s/it][A + truthfulqa_it: 40%|█████████████████████████████████████████████▏ | 30/75 [04:38<07:00, 9.34s/it][A + truthfulqa_it: 41%|██████████████████████████████████████████████▋ | 31/75 [04:47<06:49, 9.31s/it][A + truthfulqa_it: 43%|████████████████████████████████████████████████▏ | 32/75 [04:56<06:40, 9.30s/it][A + truthfulqa_it: 44%|█████████████████████████████████████████████████▋ | 33/75 [05:06<06:32, 9.35s/it][A + truthfulqa_it: 45%|███████████████████████████████████████████████████▏ | 34/75 [05:15<06:26, 9.43s/it][A + truthfulqa_it: 47%|████████████████████████████████████████████████████▋ | 35/75 [05:24<06:09, 9.23s/it][A + truthfulqa_it: 48%|██████████████████████████████████████████████████████▏ | 36/75 [05:33<05:58, 9.19s/it][A + truthfulqa_it: 49%|███████████████████████████████████████████████████████▋ | 37/75 [05:43<05:55, 9.35s/it][A + truthfulqa_it: 51%|█████████████████████████████████████████████████████████▎ | 38/75 [05:52<05:49, 9.46s/it][A + truthfulqa_it: 52%|██████████████████████████████████████████████████████████▊ | 39/75 [06:02<05:40, 9.45s/it][A + truthfulqa_it: 53%|████████████████████████████████████████████████████████████▎ | 40/75 [06:11<05:26, 9.33s/it][A + truthfulqa_it: 55%|█████████████████████████████████████████████████████████████▊ | 41/75 [06:20<05:15, 9.27s/it][A + truthfulqa_it: 56%|███████████████████████████████████████████████████████████████▎ | 42/75 [06:30<05:07, 9.31s/it][A + truthfulqa_it: 57%|████████████████████████████████████████████████████████████████▊ | 43/75 [06:39<04:56, 9.26s/it][A + truthfulqa_it: 59%|██████████████████████████████████████████████████████████████████▎ | 44/75 [06:48<04:45, 9.23s/it][A + truthfulqa_it: 60%|███████████████████████████████████████████████████████████████████▊ | 45/75 [06:58<04:41, 9.38s/it][A + truthfulqa_it: 61%|█████████████████████████████████████████████████████████████████████▎ | 46/75 [07:06<04:24, 9.12s/it][A + truthfulqa_it: 63%|██████████████████████████████████████████████████████████████████████▊ | 47/75 [07:15<04:17, 9.21s/it][A + truthfulqa_it: 64%|████████████████████████████████████████████████████████████████████████▎ | 48/75 [07:25<04:13, 9.40s/it][A + truthfulqa_it: 65%|█████████████████████████████████████████████████████████████████████████▊ | 49/75 [07:34<04:02, 9.31s/it][A + truthfulqa_it: 67%|███████████████████████████████████████████████████████████████████████████▎ | 50/75 [07:43<03:50, 9.22s/it][A + truthfulqa_it: 68%|████████████████████████████████████████████████████████████████████████████▊ | 51/75 [07:53<03:44, 9.34s/it][A + truthfulqa_it: 69%|██████████████████████████████████████████████████████████████████████████████▎ | 52/75 [08:02<03:32, 9.25s/it][A + truthfulqa_it: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 53/75 [08:11<03:22, 9.21s/it][A + truthfulqa_it: 72%|█████████████████████████████████████████████████████████████████████████████████▎ | 54/75 [08:20<03:13, 9.21s/it][A + truthfulqa_it: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 55/75 [08:29<03:02, 9.13s/it][A + truthfulqa_it: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 56/75 [08:39<02:54, 9.16s/it][A + truthfulqa_it: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 57/75 [08:49<02:49, 9.40s/it][A + truthfulqa_it: 77%|███████████████████████████████████████████████████████████████████████████████████████▍ | 58/75 [08:58<02:40, 9.46s/it][A + truthfulqa_it: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 59/75 [09:07<02:30, 9.38s/it][A + truthfulqa_it: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 60/75 [09:17<02:20, 9.39s/it][A + truthfulqa_it: 81%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 61/75 [09:26<02:12, 9.45s/it][A + truthfulqa_it: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 62/75 [09:36<02:02, 9.44s/it][A + truthfulqa_it: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 63/75 [09:45<01:54, 9.51s/it][A + truthfulqa_it: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 64/75 [09:55<01:43, 9.42s/it][A + truthfulqa_it: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/75 [10:04<01:33, 9.34s/it][A + truthfulqa_it: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 66/75 [10:14<01:25, 9.55s/it][A + truthfulqa_it: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/75 [10:23<01:15, 9.41s/it][A + truthfulqa_it: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 68/75 [10:32<01:04, 9.28s/it][A + truthfulqa_it: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 69/75 [10:41<00:55, 9.30s/it][A + truthfulqa_it: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/75 [10:51<00:47, 9.43s/it][A + truthfulqa_it: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/75 [11:00<00:37, 9.28s/it][A + truthfulqa_it: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/75 [11:09<00:27, 9.25s/it][A + truthfulqa_it: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/75 [11:18<00:18, 9.17s/it][A + truthfulqa_it: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:27<00:09, 9.18s/it][A + truthfulqa_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:34<00:00, 8.44s/it][A truthfulqa_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:34<00:00, 9.26s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_it_mc1 0.3205619412515964 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_it_mc2 0.4714059469693384 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:11:15,623 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:11:15,623 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:15,752 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:11:15,752 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:15,881 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:11:15,881 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:16,011 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:11:16,011 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:11:16,012 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:11:16,142 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:11:16,142 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'truthfulqa_it_mc1'} +2024-06-01 08:11:16,208 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:11:16,208 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1293, 'value': 0.3205619412515964} +2024-06-01 08:11:16,274 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:11:16,926 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:11:16,926 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:17,053 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:11:17,053 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:17,180 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:11:17,180 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:17,307 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:11:17,308 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:11:17,308 INFO sqlalchemy.engine.Engine [generated in 0.00010s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:11:17,436 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:11:17,436 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_it_mc2'} +2024-06-01 08:11:17,501 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:11:17,501 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1294, 'value': 0.4714059469693384} +2024-06-01 08:11:17,565 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 87%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 108/124 [73:23:46<3:08:20, 706.28s/it]['truthfulqa_kn'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:11:18,214 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:11:18,214 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:18,342 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:11:18,342 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:18,470 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:11:18,470 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:11:18,598 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:11:18,599 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 08:11:18,599 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'truthfulqa_kn'} +2024-06-01 08:11:18,727 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_kn task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 678 examples [00:00, 9882.94 examples/s] +Running loglikelihood requests + + truthfulqa_kn: 0%| | 0/63 [00:00<?, ?it/s][A + truthfulqa_kn: 2%|█▊ | 1/63 [00:12<12:31, 12.12s/it][A + truthfulqa_kn: 3%|███▌ | 2/63 [00:24<12:18, 12.11s/it][A + truthfulqa_kn: 5%|█████▍ | 3/63 [00:35<11:43, 11.73s/it][A + truthfulqa_kn: 6%|███████▏ | 4/63 [00:47<11:42, 11.90s/it][A + truthfulqa_kn: 8%|█████████ | 5/63 [00:59<11:20, 11.74s/it][A + truthfulqa_kn: 10%|██████████▊ | 6/63 [01:10<11:10, 11.76s/it][A + truthfulqa_kn: 11%|████████████▋ | 7/63 [01:23<11:10, 11.96s/it][A + truthfulqa_kn: 13%|██████████████▍ | 8/63 [01:36<11:23, 12.43s/it][A + truthfulqa_kn: 14%|████████████████▎ | 9/63 [01:48<11:05, 12.33s/it][A + truthfulqa_kn: 16%|█████████████████▉ | 10/63 [02:00<10:48, 12.23s/it][A + truthfulqa_kn: 17%|███████████████████▋ | 11/63 [02:14<11:00, 12.70s/it][A + truthfulqa_kn: 19%|█████████████████████▌ | 12/63 [02:27<10:53, 12.81s/it][A + truthfulqa_kn: 21%|███████████████████████▎ | 13/63 [02:39<10:19, 12.38s/it][A + truthfulqa_kn: 22%|█████████████████████████ | 14/63 [02:51<10:14, 12.54s/it][A + truthfulqa_kn: 24%|██████████████████████████▉ | 15/63 [03:03<09:48, 12.26s/it][A + truthfulqa_kn: 25%|████████████████████████████▋ | 16/63 [03:16<09:41, 12.38s/it][A + truthfulqa_kn: 27%|██████████████████████████████▍ | 17/63 [03:28<09:30, 12.40s/it][A + truthfulqa_kn: 29%|████████████████████████████████▎ | 18/63 [03:40<09:09, 12.20s/it][A + truthfulqa_kn: 30%|██████████████████████████████████ | 19/63 [03:52<09:00, 12.29s/it][A + truthfulqa_kn: 32%|███████████████████████████████████▊ | 20/63 [04:04<08:33, 11.94s/it][A + truthfulqa_kn: 33%|█████████████████████████████████████▋ | 21/63 [04:16<08:24, 12.01s/it][A + truthfulqa_kn: 35%|███████████████████████████████████████▍ | 22/63 [04:28<08:09, 11.94s/it][A + truthfulqa_kn: 37%|█████████████████████████████████████████▎ | 23/63 [04:40<08:06, 12.16s/it][A + truthfulqa_kn: 38%|███████████████████████████████████████████ | 24/63 [04:52<07:54, 12.16s/it][A + truthfulqa_kn: 40%|████████████████████████████████████████████▊ | 25/63 [05:06<07:56, 12.53s/it][A + truthfulqa_kn: 41%|██████████████████████████████████████████████▋ | 26/63 [05:17<07:33, 12.25s/it][A + truthfulqa_kn: 43%|████████████████████████████████████████████████▍ | 27/63 [05:29<07:17, 12.16s/it][A + truthfulqa_kn: 44%|██████████████████████████████████████████████████▏ | 28/63 [05:42<07:12, 12.35s/it][A + truthfulqa_kn: 46%|████████████████████████████████████████████████████ | 29/63 [05:53<06:47, 12.00s/it][A + truthfulqa_kn: 48%|█████████████████████████████████████████████████████▊ | 30/63 [06:06<06:39, 12.10s/it][A + truthfulqa_kn: 49%|███████████████████████████████████████████████████████▌ | 31/63 [06:17<06:21, 11.91s/it][A + truthfulqa_kn: 51%|█████████████████████████████████████████████████████████▍ | 32/63 [06:29<06:05, 11.79s/it][A + truthfulqa_kn: 52%|███████████████████████████████████████████████████████████▏ | 33/63 [06:41<06:02, 12.08s/it][A + truthfulqa_kn: 54%|████████████████████████████████████████████████████████████▉ | 34/63 [06:54<05:57, 12.33s/it][A + truthfulqa_kn: 56%|██████████████████████████████████████████████████████████████▊ | 35/63 [07:07<05:46, 12.39s/it][A + truthfulqa_kn: 57%|████████████████████████████████████████████████████████████████▌ | 36/63 [07:19<05:36, 12.48s/it][A + truthfulqa_kn: 59%|██████████████████████████████████████████████████████████████████▎ | 37/63 [07:31<05:17, 12.23s/it][A + truthfulqa_kn: 60%|████████████████████████████████████████████████████████████████████▏ | 38/63 [07:42<04:58, 11.94s/it][A + truthfulqa_kn: 62%|█████████████████████████████████████████████████████████████████████▉ | 39/63 [07:53<04:38, 11.62s/it][A + truthfulqa_kn: 63%|███████████████████████████████████████████████████████████████████████▋ | 40/63 [08:04<04:23, 11.47s/it][A + truthfulqa_kn: 65%|█████████████████████████████████████████████████████████████████████████▌ | 41/63 [08:18<04:23, 12.00s/it][A + truthfulqa_kn: 67%|███████████████████████████████████████████████████████████████████████████▎ | 42/63 [08:32<04:28, 12.78s/it][A + truthfulqa_kn: 68%|█████████████████████████████████████████████████████████████████████████████▏ | 43/63 [08:44<04:12, 12.63s/it][A + truthfulqa_kn: 70%|██████████████████████████████████████████████████████████████████████████████▉ | 44/63 [08:57<04:01, 12.70s/it][A + truthfulqa_kn: 71%|████████████████████████████████████████████████████████████████████████████████▋ | 45/63 [09:10<03:48, 12.68s/it][A + truthfulqa_kn: 73%|██████████████████████████████████████████████████████████████████████████████████▌ | 46/63 [09:22<03:33, 12.54s/it][A + truthfulqa_kn: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 47/63 [09:34<03:19, 12.45s/it][A + truthfulqa_kn: 76%|██████████████████████████████████████████████████████████████████████████████████████ | 48/63 [09:46<03:03, 12.26s/it][A + truthfulqa_kn: 78%|███████████████████████████████████████████████████████████████████████████████████████▉ | 49/63 [09:59<02:51, 12.27s/it][A + truthfulqa_kn: 79%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 50/63 [10:11<02:40, 12.37s/it][A + truthfulqa_kn: 81%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 51/63 [10:23<02:25, 12.11s/it][A + truthfulqa_kn: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 52/63 [10:36<02:15, 12.35s/it][A + truthfulqa_kn: 84%|███████████████████████████████████████████████████████████████████████████████████████████████ | 53/63 [10:48<02:03, 12.37s/it][A + truthfulqa_kn: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 54/63 [10:59<01:47, 11.96s/it][A + truthfulqa_kn: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 55/63 [11:11<01:35, 11.97s/it][A + truthfulqa_kn: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 56/63 [11:22<01:22, 11.81s/it][A + truthfulqa_kn: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 57/63 [11:36<01:13, 12.27s/it][A + truthfulqa_kn: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 58/63 [11:50<01:04, 12.89s/it][A + truthfulqa_kn: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 59/63 [12:03<00:51, 12.80s/it][A + truthfulqa_kn: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 60/63 [12:14<00:37, 12.38s/it][A + truthfulqa_kn: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 61/63 [12:27<00:24, 12.45s/it][A + truthfulqa_kn: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/63 [12:40<00:12, 12.73s/it][A + truthfulqa_kn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 63/63 [12:44<00:00, 10.21s/it][A truthfulqa_kn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 63/63 [12:44<00:00, 12.14s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_kn_mc1 0.25958702064896755 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_kn_mc2 0.47291671210025105 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:24:05,020 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:24:05,020 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:05,149 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:24:05,149 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:05,277 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:24:05,277 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:05,405 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:24:05,406 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:24:05,406 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:24:05,535 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:24:05,535 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_kn_mc1'} +2024-06-01 08:24:05,600 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:24:05,600 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1295, 'value': 0.25958702064896755} +2024-06-01 08:24:05,665 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:24:06,318 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:24:06,318 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:06,447 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:24:06,447 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:06,575 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:24:06,575 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:06,704 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:24:06,704 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:24:06,704 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:24:06,834 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:24:06,834 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_kn_mc2'} +2024-06-01 08:24:06,899 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:24:06,900 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1296, 'value': 0.47291671210025105} +2024-06-01 08:24:06,965 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 88%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 109/124 [73:36:36<3:01:18, 725.22s/it]['truthfulqa_ml'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:24:07,592 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:24:07,592 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:07,714 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:24:07,714 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:07,837 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:24:07,837 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:24:07,959 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:24:07,960 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 08:24:07,960 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'truthfulqa_ml'} +2024-06-01 08:24:08,084 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_ml task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 694 examples [00:00, 9512.73 examples/s] +Running loglikelihood requests + + truthfulqa_ml: 0%| | 0/65 [00:00<?, ?it/s][A + truthfulqa_ml: 2%|█▊ | 1/65 [00:12<13:30, 12.67s/it][A + truthfulqa_ml: 3%|███▌ | 2/65 [00:25<13:23, 12.76s/it][A + truthfulqa_ml: 5%|█████▎ | 3/65 [00:37<12:57, 12.53s/it][A + truthfulqa_ml: 6%|███████ | 4/65 [00:49<12:35, 12.39s/it][A + truthfulqa_ml: 8%|████████▊ | 5/65 [01:03<12:50, 12.84s/it][A + truthfulqa_ml: 9%|██████████▌ | 6/65 [01:16<12:38, 12.86s/it][A + truthfulqa_ml: 11%|████████████▎ | 7/65 [01:28<12:02, 12.45s/it][A + truthfulqa_ml: 12%|██████████████ | 8/65 [01:42<12:22, 13.02s/it][A + truthfulqa_ml: 14%|███████████████▊ | 9/65 [01:55<12:07, 12.99s/it][A + truthfulqa_ml: 15%|█████████████████▍ | 10/65 [02:07<11:44, 12.81s/it][A + truthfulqa_ml: 17%|███████████████████ | 11/65 [02:21<11:41, 13.00s/it][A + truthfulqa_ml: 18%|████████████████████▊ | 12/65 [02:33<11:24, 12.91s/it][A + truthfulqa_ml: 20%|██████████████████████▌ | 13/65 [02:45<10:55, 12.61s/it][A + truthfulqa_ml: 22%|████████████████████████▎ | 14/65 [03:00<11:12, 13.18s/it][A + truthfulqa_ml: 23%|██████████████████████████ | 15/65 [03:12<10:49, 12.98s/it][A + truthfulqa_ml: 25%|███████████████████████████▊ | 16/65 [03:25<10:29, 12.84s/it][A + truthfulqa_ml: 26%|█████████████████████████████▌ | 17/65 [03:37<10:14, 12.81s/it][A + truthfulqa_ml: 28%|███████████████████████████████▎ | 18/65 [03:51<10:15, 13.10s/it][A + truthfulqa_ml: 29%|█████████████████████████████████ | 19/65 [04:04<09:59, 13.04s/it][A + truthfulqa_ml: 31%|██████████████████████████████████▊ | 20/65 [04:19<10:15, 13.68s/it][A + truthfulqa_ml: 32%|████████████████████████████████████▌ | 21/65 [04:31<09:35, 13.09s/it][A + truthfulqa_ml: 34%|██████████████████████████████████████▏ | 22/65 [04:44<09:19, 13.00s/it][A + truthfulqa_ml: 35%|███████████████████████████████████████▉ | 23/65 [04:56<08:56, 12.77s/it][A + truthfulqa_ml: 37%|█████████████████████████████████████████▋ | 24/65 [05:08<08:39, 12.66s/it][A + truthfulqa_ml: 38%|███████████████████████████████████████████▍ | 25/65 [05:21<08:20, 12.52s/it][A + truthfulqa_ml: 40%|█████████████████████████████████████████████▏ | 26/65 [05:34<08:18, 12.77s/it][A + truthfulqa_ml: 42%|██████████████████████████████████████████████▉ | 27/65 [05:46<07:57, 12.57s/it][A + truthfulqa_ml: 43%|████████████████████████████████████████████████▋ | 28/65 [05:58<07:40, 12.45s/it][A + truthfulqa_ml: 45%|██████████████████████████████████████████████████▍ | 29/65 [06:12<07:39, 12.78s/it][A + truthfulqa_ml: 46%|████████████████████████████████████████████████████▏ | 30/65 [06:25<07:28, 12.81s/it][A + truthfulqa_ml: 48%|█████████████████████████████████████████████████████▉ | 31/65 [06:37<07:14, 12.77s/it][A + truthfulqa_ml: 49%|███████████████████████████████████████████████████████▋ | 32/65 [06:52<07:19, 13.32s/it][A + truthfulqa_ml: 51%|█████████████████████████████████████████████████████████▎ | 33/65 [07:05<07:02, 13.21s/it][A + truthfulqa_ml: 52%|███████████████████████████████████████████████████████████ | 34/65 [07:18<06:44, 13.05s/it][A + truthfulqa_ml: 54%|████████████████████████████████████████████████████████████▊ | 35/65 [07:31<06:34, 13.15s/it][A + truthfulqa_ml: 55%|██████████████████████████████████████████████████████████████▌ | 36/65 [07:44<06:20, 13.11s/it][A + truthfulqa_ml: 57%|████████████████████████████████████████████████████████████████▎ | 37/65 [07:57<06:04, 13.03s/it][A + truthfulqa_ml: 58%|██████████████████████████████████████████████████████████████████ | 38/65 [08:10<05:54, 13.13s/it][A + truthfulqa_ml: 60%|███████████████████████████████████████████████████████████████████▊ | 39/65 [08:23<05:38, 13.02s/it][A + truthfulqa_ml: 62%|█████████████████████████████████████████████████████████████████████▌ | 40/65 [08:35<05:20, 12.81s/it][A + truthfulqa_ml: 63%|███████████████████████████████████████████████████████████████████████▎ | 41/65 [08:47<04:56, 12.37s/it][A + truthfulqa_ml: 65%|█████████████████████████████████████████████████████████████████████████ | 42/65 [09:00<04:50, 12.65s/it][A + truthfulqa_ml: 66%|██████████████████████████████████████████████████████████████████████████▊ | 43/65 [09:13<04:40, 12.76s/it][A + truthfulqa_ml: 68%|████████████████████████████████████████████████████████████████████████████▍ | 44/65 [09:26<04:28, 12.78s/it][A + truthfulqa_ml: 69%|██████████████████████████████████████████████████████████████████████████████▏ | 45/65 [09:37<04:07, 12.35s/it][A + truthfulqa_ml: 71%|███████████████████████████████████████████████████████████████████████████████▉ | 46/65 [09:50<03:56, 12.43s/it][A + truthfulqa_ml: 72%|█████████████████████████████████████████████████████████████████████████████████▋ | 47/65 [10:02<03:43, 12.40s/it][A + truthfulqa_ml: 74%|███████████████████████████████████████████████████████████████████████████████████▍ | 48/65 [10:16<03:36, 12.73s/it][A + truthfulqa_ml: 75%|█████████████████████████████████████████████████████████████████████████████████████▏ | 49/65 [10:28<03:22, 12.67s/it][A + truthfulqa_ml: 77%|██████████████████████████████████████████████████████████████████████████████████████▉ | 50/65 [10:41<03:12, 12.83s/it][A + truthfulqa_ml: 78%|████████████████████████████████████████████████████████████████████████████████████████▋ | 51/65 [10:53<02:55, 12.51s/it][A + truthfulqa_ml: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 52/65 [11:06<02:45, 12.77s/it][A + truthfulqa_ml: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 53/65 [11:19<02:31, 12.60s/it][A + truthfulqa_ml: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 54/65 [11:31<02:16, 12.38s/it][A + truthfulqa_ml: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 55/65 [11:43<02:05, 12.51s/it][A + truthfulqa_ml: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 56/65 [11:55<01:51, 12.38s/it][A + truthfulqa_ml: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 57/65 [12:07<01:37, 12.22s/it][A + truthfulqa_ml: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/65 [12:21<01:28, 12.65s/it][A + truthfulqa_ml: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/65 [12:32<01:13, 12.32s/it][A + truthfulqa_ml: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 60/65 [12:45<01:02, 12.51s/it][A + truthfulqa_ml: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 61/65 [12:59<00:51, 12.77s/it][A + truthfulqa_ml: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 62/65 [13:11<00:37, 12.58s/it][A + truthfulqa_ml: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 63/65 [13:23<00:24, 12.40s/it][A + truthfulqa_ml: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 64/65 [13:35<00:12, 12.45s/it][A + truthfulqa_ml: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [13:42<00:00, 10.72s/it][A truthfulqa_ml: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [13:42<00:00, 12.66s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ml_mc1 0.28097982708933716 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ml_mc2 0.4966031095563523 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:37:51,592 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:37:51,592 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:51,721 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:37:51,721 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:51,850 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:37:51,850 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:51,979 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:37:51,980 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:37:51,980 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:37:52,110 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:37:52,110 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ml_mc1'} +2024-06-01 08:37:52,176 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:37:52,176 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1297, 'value': 0.28097982708933716} +2024-06-01 08:37:52,241 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:37:52,887 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:37:52,887 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:53,014 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:37:53,014 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:53,141 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:37:53,141 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:53,268 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:37:53,268 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:37:53,268 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:37:53,396 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:37:53,396 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'truthfulqa_ml_mc2'} +2024-06-01 08:37:53,461 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:37:53,461 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1298, 'value': 0.4966031095563523} +2024-06-01 08:37:53,525 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 89%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 110/124 [73:50:22<2:56:18, 755.62s/it]['truthfulqa_mr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:37:54,181 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:37:54,181 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:54,306 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:37:54,306 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:54,432 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:37:54,432 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:37:54,558 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:37:54,559 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 08:37:54,559 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_mr'} +2024-06-01 08:37:54,685 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_mr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 764 examples [00:00, 9482.24 examples/s] +Running loglikelihood requests + + truthfulqa_mr: 0%| | 0/73 [00:00<?, ?it/s][A + truthfulqa_mr: 1%|█▌ | 1/73 [00:11<13:51, 11.55s/it][A + truthfulqa_mr: 3%|███ | 2/73 [00:22<13:02, 11.02s/it][A + truthfulqa_mr: 4%|████▋ | 3/73 [00:33<12:46, 10.94s/it][A + truthfulqa_mr: 5%|██████▏ | 4/73 [00:44<12:40, 11.02s/it][A + truthfulqa_mr: 7%|███████▊ | 5/73 [00:55<12:33, 11.08s/it][A + truthfulqa_mr: 8%|█████████▎ | 6/73 [01:05<12:04, 10.81s/it][A + truthfulqa_mr: 10%|██████████▉ | 7/73 [01:17<12:19, 11.20s/it][A + truthfulqa_mr: 11%|████████████▍ | 8/73 [01:28<12:05, 11.17s/it][A + truthfulqa_mr: 12%|██████████████ | 9/73 [01:40<12:04, 11.32s/it][A + truthfulqa_mr: 14%|███████████████▍ | 10/73 [01:51<11:55, 11.36s/it][A + truthfulqa_mr: 15%|█████████████████ | 11/73 [02:03<11:41, 11.31s/it][A + truthfulqa_mr: 16%|██████████████████▌ | 12/73 [02:14<11:29, 11.30s/it][A + truthfulqa_mr: 18%|████████████████████ | 13/73 [02:25<11:24, 11.40s/it][A + truthfulqa_mr: 19%|█████████████████████▋ | 14/73 [02:37<11:12, 11.40s/it][A + truthfulqa_mr: 21%|███████████████████████▏ | 15/73 [02:48<11:04, 11.46s/it][A + truthfulqa_mr: 22%|████████████████████████▊ | 16/73 [03:00<10:52, 11.44s/it][A + truthfulqa_mr: 23%|██████████████████████████▎ | 17/73 [03:12<10:54, 11.69s/it][A + truthfulqa_mr: 25%|███████████████████████████▊ | 18/73 [03:23<10:31, 11.48s/it][A + truthfulqa_mr: 26%|█████████████████████████████▍ | 19/73 [03:35<10:32, 11.72s/it][A + truthfulqa_mr: 27%|██████████████████████████████▉ | 20/73 [03:47<10:16, 11.64s/it][A + truthfulqa_mr: 29%|████████████████████████████████▌ | 21/73 [03:58<10:00, 11.55s/it][A + truthfulqa_mr: 30%|██████████████████████████████████ | 22/73 [04:09<09:44, 11.46s/it][A + truthfulqa_mr: 32%|███████████████████████████████████▌ | 23/73 [04:21<09:29, 11.40s/it][A + truthfulqa_mr: 33%|█████████████████████████████████████▏ | 24/73 [04:32<09:15, 11.34s/it][A + truthfulqa_mr: 34%|██████████████████████████████████████▋ | 25/73 [04:43<09:01, 11.28s/it][A + truthfulqa_mr: 36%|████████████████████████████████████████▏ | 26/73 [04:54<08:48, 11.24s/it][A + truthfulqa_mr: 37%|█████████████████████████████████████████▊ | 27/73 [05:05<08:36, 11.22s/it][A + truthfulqa_mr: 38%|███████████████████████████████████████████▎ | 28/73 [05:17<08:26, 11.27s/it][A + truthfulqa_mr: 40%|████████████████████████████████████████████▉ | 29/73 [05:28<08:21, 11.39s/it][A + truthfulqa_mr: 41%|██████████████████████████████████████████████▍ | 30/73 [05:40<08:13, 11.47s/it][A + truthfulqa_mr: 42%|███████████████████████████████████████████████▉ | 31/73 [05:50<07:48, 11.15s/it][A + truthfulqa_mr: 44%|█████████████████████████████████████████████████▌ | 32/73 [06:02<07:43, 11.31s/it][A + truthfulqa_mr: 45%|███████████████████████████████████████████████████ | 33/73 [06:15<07:46, 11.67s/it][A + truthfulqa_mr: 47%|████████████████████████████████████████████████████▋ | 34/73 [06:26<07:25, 11.42s/it][A + truthfulqa_mr: 48%|██████████████████████████████████████████████████████▏ | 35/73 [06:37<07:11, 11.35s/it][A + truthfulqa_mr: 49%|███████████████████████████████████████████████████████▋ | 36/73 [06:48<07:03, 11.45s/it][A + truthfulqa_mr: 51%|█████████████████████████████████████████████████████████▎ | 37/73 [07:00<06:48, 11.35s/it][A + truthfulqa_mr: 52%|██████████████████████████████████████████████████████████▊ | 38/73 [07:10<06:27, 11.08s/it][A + truthfulqa_mr: 53%|████████████████████████████████████████████████████████████▎ | 39/73 [07:21<06:19, 11.16s/it][A + truthfulqa_mr: 55%|█████████████████████████████████████████████████████████████▉ | 40/73 [07:33<06:10, 11.23s/it][A + truthfulqa_mr: 56%|███████████████████████████████████████████████████████████████▍ | 41/73 [07:45<06:10, 11.57s/it][A + truthfulqa_mr: 58%|█████████████████████████████████████████████████████████████████ | 42/73 [07:57<05:57, 11.53s/it][A + truthfulqa_mr: 59%|██████████████████████████████████████████████████████████████████▌ | 43/73 [08:07<05:36, 11.23s/it][A + truthfulqa_mr: 60%|████████████████████████████████████████████████████████████████████ | 44/73 [08:17<05:11, 10.73s/it][A + truthfulqa_mr: 62%|█████████████████████████████████████████████████████████████████████▋ | 45/73 [08:28<05:05, 10.91s/it][A + truthfulqa_mr: 63%|███████████████████████████████████████████████████████████████████████▏ | 46/73 [08:39<04:58, 11.05s/it][A + truthfulqa_mr: 64%|████████████████████████████████████████████████████████████████████████▊ | 47/73 [08:50<04:47, 11.06s/it][A + truthfulqa_mr: 66%|██████████████████████████████████████████████████████████████████████████▎ | 48/73 [09:01<04:35, 11.02s/it][A + truthfulqa_mr: 67%|███████████████████████████████████████████████████████████████████████████▊ | 49/73 [09:13<04:26, 11.12s/it][A + truthfulqa_mr: 68%|█████████████████████████████████████████████████████████████████████████████▍ | 50/73 [09:24<04:16, 11.17s/it][A + truthfulqa_mr: 70%|██████████████████████████████████████████████████████████████████████████████▉ | 51/73 [09:35<04:04, 11.10s/it][A + truthfulqa_mr: 71%|████████████████████████████████████████████████████████████████████████████████▍ | 52/73 [09:45<03:49, 10.95s/it][A + truthfulqa_mr: 73%|██████████████████████████████████████████████████████████████████████████████████ | 53/73 [09:56<03:36, 10.83s/it][A + truthfulqa_mr: 74%|███████████████████████████████████████████████████████████████████████████████████▌ | 54/73 [10:07<03:28, 10.96s/it][A + truthfulqa_mr: 75%|█████████████████████████████████████████████████████████████████████████████████████▏ | 55/73 [10:18<03:17, 10.98s/it][A + truthfulqa_mr: 77%|██████████████████████████████████████████████████████████████████████████████████████▋ | 56/73 [10:30<03:07, 11.05s/it][A + truthfulqa_mr: 78%|████████████████████████████████████████████████████████████████████████████████████████▏ | 57/73 [10:40<02:55, 10.95s/it][A + truthfulqa_mr: 79%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 58/73 [10:52<02:46, 11.12s/it][A + truthfulqa_mr: 81%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 59/73 [11:04<02:40, 11.43s/it][A + truthfulqa_mr: 82%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 60/73 [11:16<02:29, 11.49s/it][A + truthfulqa_mr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 61/73 [11:28<02:20, 11.71s/it][A + truthfulqa_mr: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/73 [11:39<02:06, 11.52s/it][A + truthfulqa_mr: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 63/73 [11:50<01:53, 11.39s/it][A + truthfulqa_mr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 64/73 [12:00<01:39, 11.11s/it][A + truthfulqa_mr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 65/73 [12:12<01:28, 11.11s/it][A + truthfulqa_mr: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/73 [12:23<01:18, 11.25s/it][A + truthfulqa_mr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 67/73 [12:35<01:08, 11.35s/it][A + truthfulqa_mr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 68/73 [12:47<00:57, 11.49s/it][A + truthfulqa_mr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 69/73 [12:58<00:46, 11.59s/it][A + truthfulqa_mr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/73 [13:09<00:34, 11.36s/it][A + truthfulqa_mr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/73 [13:20<00:22, 11.30s/it][A + truthfulqa_mr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/73 [13:31<00:11, 11.22s/it][A + truthfulqa_mr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 73/73 [13:36<00:00, 9.22s/it][A truthfulqa_mr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 73/73 [13:36<00:00, 11.18s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_mr_mc1 0.2761780104712042 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_mr_mc2 0.4941865424911148 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:51:31,937 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:51:31,937 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:32,068 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:51:32,068 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:32,199 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:51:32,199 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:32,330 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:51:32,331 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:51:32,331 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:51:32,462 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:51:32,462 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_mr_mc1'} +2024-06-01 08:51:32,529 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:51:32,529 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1299, 'value': 0.2761780104712042} +2024-06-01 08:51:32,595 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:51:33,240 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:51:33,240 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:33,367 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:51:33,367 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:33,493 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:51:33,493 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:33,620 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:51:33,620 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 08:51:33,620 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 08:51:33,748 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 08:51:33,748 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_mr_mc2'} +2024-06-01 08:51:33,812 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 08:51:33,812 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1300, 'value': 0.4941865424911148} +2024-06-01 08:51:33,876 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 111/124 [74:04:03<2:47:55, 775.04s/it]['truthfulqa_ne'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 08:51:34,533 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 08:51:34,533 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:34,661 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 08:51:34,661 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:34,789 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 08:51:34,789 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 08:51:34,917 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 08:51:34,918 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 08:51:34,918 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_ne'} +2024-06-01 08:51:35,047 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_ne task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 774 examples [00:00, 9768.93 examples/s] +Running loglikelihood requests + + truthfulqa_ne: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_ne: 1%|█▌ | 1/74 [00:10<12:35, 10.34s/it][A + truthfulqa_ne: 3%|███ | 2/74 [00:21<12:48, 10.67s/it][A + truthfulqa_ne: 4%|████▌ | 3/74 [00:31<12:29, 10.56s/it][A + truthfulqa_ne: 5%|██████▏ | 4/74 [00:42<12:19, 10.56s/it][A + truthfulqa_ne: 7%|███████▋ | 5/74 [00:52<12:09, 10.57s/it][A + truthfulqa_ne: 8%|█████████▏ | 6/74 [01:03<11:51, 10.46s/it][A + truthfulqa_ne: 9%|██████████▊ | 7/74 [01:13<11:35, 10.39s/it][A + truthfulqa_ne: 11%|████████████▎ | 8/74 [01:24<11:34, 10.53s/it][A + truthfulqa_ne: 12%|█████████████▊ | 9/74 [01:35<11:50, 10.93s/it][A + truthfulqa_ne: 14%|███████████████▎ | 10/74 [01:45<11:16, 10.57s/it][A + truthfulqa_ne: 15%|████████████████▊ | 11/74 [01:55<10:52, 10.36s/it][A + truthfulqa_ne: 16%|██████████████████▎ | 12/74 [02:06<10:43, 10.39s/it][A + truthfulqa_ne: 18%|███████████████████▊ | 13/74 [02:16<10:43, 10.54s/it][A + truthfulqa_ne: 19%|█████████████████████▍ | 14/74 [02:28<10:49, 10.83s/it][A + truthfulqa_ne: 20%|██████████████████████▉ | 15/74 [02:38<10:24, 10.58s/it][A + truthfulqa_ne: 22%|████████████████████████▍ | 16/74 [02:49<10:19, 10.67s/it][A + truthfulqa_ne: 23%|█████████████████████████▉ | 17/74 [03:00<10:12, 10.75s/it][A + truthfulqa_ne: 24%|███████████████████████████▍ | 18/74 [03:10<09:53, 10.60s/it][A + truthfulqa_ne: 26%|█████████████████████████████ | 19/74 [03:21<09:56, 10.85s/it][A + truthfulqa_ne: 27%|██████████████████████████████▌ | 20/74 [03:33<09:53, 11.00s/it][A + truthfulqa_ne: 28%|████████████████████████████████ | 21/74 [03:44<09:47, 11.08s/it][A + truthfulqa_ne: 30%|█████████████████████████████████▌ | 22/74 [03:55<09:33, 11.02s/it][A + truthfulqa_ne: 31%|███████████████████████████████████ | 23/74 [04:04<08:59, 10.57s/it][A + truthfulqa_ne: 32%|████████████████████████████████████▋ | 24/74 [04:15<08:47, 10.55s/it][A + truthfulqa_ne: 34%|██████████████████████████████████████▏ | 25/74 [04:26<08:38, 10.59s/it][A + truthfulqa_ne: 35%|███████████████████████████████████████▋ | 26/74 [04:37<08:33, 10.70s/it][A + truthfulqa_ne: 36%|█████████████████████████████████████████▏ | 27/74 [04:48<08:28, 10.82s/it][A + truthfulqa_ne: 38%|██████████████████████████████████████████▊ | 28/74 [04:59<08:26, 11.01s/it][A + truthfulqa_ne: 39%|████████████████████████████████████████████▎ | 29/74 [05:10<08:14, 10.99s/it][A + truthfulqa_ne: 41%|█████████████████████████████████████████████▊ | 30/74 [05:22<08:17, 11.30s/it][A + truthfulqa_ne: 42%|███████████████████████████████████████████████▎ | 31/74 [05:34<08:12, 11.45s/it][A + truthfulqa_ne: 43%|████████████████████████████████████████████████▊ | 32/74 [05:45<07:55, 11.32s/it][A + truthfulqa_ne: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:55<07:34, 11.09s/it][A + truthfulqa_ne: 46%|███████████████████████████████████████████████████▉ | 34/74 [06:06<07:20, 11.02s/it][A + truthfulqa_ne: 47%|█████████████████████████████████████████████████████▍ | 35/74 [06:18<07:13, 11.13s/it][A + truthfulqa_ne: 49%|██████████████████████████████████████████████████████▉ | 36/74 [06:28<06:50, 10.80s/it][A + truthfulqa_ne: 50%|████████████████████████████████████████████████████████▌ | 37/74 [06:39<06:39, 10.79s/it][A + truthfulqa_ne: 51%|██████████████████████████████████████████████████████████ | 38/74 [06:50<06:36, 11.01s/it][A + truthfulqa_ne: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [07:01<06:21, 10.89s/it][A + truthfulqa_ne: 54%|█████████████████████████████████████████████████████████████ | 40/74 [07:12<06:10, 10.91s/it][A + truthfulqa_ne: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [07:22<05:59, 10.89s/it][A + truthfulqa_ne: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [07:33<05:44, 10.77s/it][A + truthfulqa_ne: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [07:43<05:31, 10.69s/it][A + truthfulqa_ne: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [07:54<05:20, 10.69s/it][A + truthfulqa_ne: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [08:05<05:08, 10.63s/it][A + truthfulqa_ne: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [08:16<05:00, 10.75s/it][A + truthfulqa_ne: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [08:26<04:50, 10.77s/it][A + truthfulqa_ne: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [08:37<04:39, 10.77s/it][A + truthfulqa_ne: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [08:47<04:24, 10.59s/it][A + truthfulqa_ne: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [08:58<04:16, 10.67s/it][A + truthfulqa_ne: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [09:09<04:08, 10.80s/it][A + truthfulqa_ne: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [09:21<04:01, 10.99s/it][A + truthfulqa_ne: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [09:32<03:54, 11.16s/it][A + truthfulqa_ne: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [09:43<03:40, 11.03s/it][A + truthfulqa_ne: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [09:54<03:28, 10.99s/it][A + truthfulqa_ne: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [10:04<03:14, 10.79s/it][A + truthfulqa_ne: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [10:15<03:05, 10.91s/it][A + truthfulqa_ne: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [10:26<02:54, 10.92s/it][A + truthfulqa_ne: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [10:38<02:44, 10.98s/it][A + truthfulqa_ne: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [10:48<02:31, 10.86s/it][A + truthfulqa_ne: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [10:59<02:22, 10.93s/it][A + truthfulqa_ne: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [11:10<02:10, 10.88s/it][A + truthfulqa_ne: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [11:21<01:59, 10.90s/it][A + truthfulqa_ne: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [11:33<01:53, 11.38s/it][A + truthfulqa_ne: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [11:44<01:40, 11.19s/it][A + truthfulqa_ne: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [11:54<01:27, 10.92s/it][A + truthfulqa_ne: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [12:05<01:16, 10.88s/it][A + truthfulqa_ne: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [12:16<01:04, 10.72s/it][A + truthfulqa_ne: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [12:26<00:52, 10.57s/it][A + truthfulqa_ne: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [12:36<00:41, 10.43s/it][A + truthfulqa_ne: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [12:47<00:31, 10.53s/it][A + truthfulqa_ne: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [12:57<00:21, 10.58s/it][A + truthfulqa_ne: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [13:08<00:10, 10.57s/it][A + truthfulqa_ne: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:14<00:00, 9.08s/it][A truthfulqa_ne: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:14<00:00, 10.73s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ne_mc1 0.2648578811369509 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ne_mc2 0.4423175696291004 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:04:49,922 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:04:49,922 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:50,046 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:04:50,046 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:50,171 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:04:50,171 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:50,295 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:04:50,295 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:04:50,296 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:04:50,421 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:04:50,421 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ne_mc1'} +2024-06-01 09:04:50,484 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:04:50,484 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1301, 'value': 0.2648578811369509} +2024-06-01 09:04:50,547 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:04:51,201 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:04:51,201 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:51,330 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:04:51,330 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:51,460 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:04:51,460 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:51,589 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:04:51,589 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:04:51,589 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:04:51,720 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:04:51,720 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ne_mc2'} +2024-06-01 09:04:51,785 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:04:51,785 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1302, 'value': 0.4423175696291004} +2024-06-01 09:04:51,851 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 112/124 [74:17:21<2:36:23, 781.92s/it]['truthfulqa_nl'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:04:52,464 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:04:52,464 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:52,584 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:04:52,584 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:52,703 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:04:52,703 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:04:52,823 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:04:52,824 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 09:04:52,824 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_nl'} +2024-06-01 09:04:52,944 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_nl task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 785 examples [00:00, 10954.39 examples/s] +Running loglikelihood requests + + truthfulqa_nl: 0%| | 0/75 [00:00<?, ?it/s][A + truthfulqa_nl: 1%|█▌ | 1/75 [00:08<10:42, 8.69s/it][A + truthfulqa_nl: 3%|███ | 2/75 [00:16<10:06, 8.31s/it][A + truthfulqa_nl: 4%|████▌ | 3/75 [00:25<10:14, 8.53s/it][A + truthfulqa_nl: 5%|██████ | 4/75 [00:33<09:57, 8.42s/it][A + truthfulqa_nl: 7%|███████▌ | 5/75 [00:43<10:15, 8.80s/it][A + truthfulqa_nl: 8%|█████████ | 6/75 [00:52<10:11, 8.86s/it][A + truthfulqa_nl: 9%|██████████▋ | 7/75 [01:00<09:53, 8.73s/it][A + truthfulqa_nl: 11%|████████████▏ | 8/75 [01:09<09:53, 8.86s/it][A + truthfulqa_nl: 12%|█████████████▋ | 9/75 [01:18<09:33, 8.70s/it][A + truthfulqa_nl: 13%|███████████████ | 10/75 [01:26<09:23, 8.67s/it][A + truthfulqa_nl: 15%|████████████████▌ | 11/75 [01:35<09:21, 8.78s/it][A + truthfulqa_nl: 16%|██████████████████ | 12/75 [01:44<09:10, 8.74s/it][A + truthfulqa_nl: 17%|███████████████████▌ | 13/75 [01:53<09:04, 8.79s/it][A + truthfulqa_nl: 19%|█████████████████████ | 14/75 [02:01<08:45, 8.62s/it][A + truthfulqa_nl: 20%|██████████████████████▌ | 15/75 [02:11<08:52, 8.88s/it][A + truthfulqa_nl: 21%|████████████████████████ | 16/75 [02:19<08:38, 8.79s/it][A + truthfulqa_nl: 23%|█████████████████████████▌ | 17/75 [02:28<08:28, 8.77s/it][A + truthfulqa_nl: 24%|███████████████████████████ | 18/75 [02:36<08:08, 8.58s/it][A + truthfulqa_nl: 25%|████████████████████████████▋ | 19/75 [02:44<07:54, 8.47s/it][A + truthfulqa_nl: 27%|██████████████████████████████▏ | 20/75 [02:53<07:52, 8.59s/it][A + truthfulqa_nl: 28%|███████████████████████████████▋ | 21/75 [03:01<07:38, 8.50s/it][A + truthfulqa_nl: 29%|█████████████████████████████████▏ | 22/75 [03:10<07:37, 8.62s/it][A + truthfulqa_nl: 31%|██████████████████████████████████▋ | 23/75 [03:19<07:24, 8.54s/it][A + truthfulqa_nl: 32%|████████████████████████████████████▏ | 24/75 [03:27<07:12, 8.47s/it][A + truthfulqa_nl: 33%|█████████████████████████████████████▋ | 25/75 [03:35<06:53, 8.28s/it][A + truthfulqa_nl: 35%|███████████████████████████████████████▏ | 26/75 [03:43<06:47, 8.31s/it][A + truthfulqa_nl: 36%|████████████████████████████████████████▋ | 27/75 [03:52<06:51, 8.57s/it][A + truthfulqa_nl: 37%|██████████████████████████████████████████▏ | 28/75 [04:00<06:36, 8.43s/it][A + truthfulqa_nl: 39%|███████████████████████████████████████████▋ | 29/75 [04:09<06:25, 8.38s/it][A + truthfulqa_nl: 40%|█████████████████████████████████████████████▏ | 30/75 [04:17<06:15, 8.34s/it][A + truthfulqa_nl: 41%|██████████████████████████████████████████████▋ | 31/75 [04:25<06:04, 8.28s/it][A + truthfulqa_nl: 43%|████████████████████████████████████████████████▏ | 32/75 [04:34<05:58, 8.34s/it][A + truthfulqa_nl: 44%|█████████████████████████████████████████████████▋ | 33/75 [04:43<05:58, 8.53s/it][A + truthfulqa_nl: 45%|███████████████████████████████████████████████████▏ | 34/75 [04:51<05:54, 8.64s/it][A + truthfulqa_nl: 47%|████████████████████████████████████████████████████▋ | 35/75 [05:00<05:44, 8.60s/it][A + truthfulqa_nl: 48%|██████████████████████████████████████████████████████▏ | 36/75 [05:09<05:39, 8.70s/it][A + truthfulqa_nl: 49%|███████████████████████████████████████████████████████▋ | 37/75 [05:17<05:26, 8.59s/it][A + truthfulqa_nl: 51%|█████████████████████████████████████████████████████████▎ | 38/75 [05:26<05:22, 8.72s/it][A + truthfulqa_nl: 52%|██████████████████████████████████████████████████████████▊ | 39/75 [05:35<05:14, 8.74s/it][A + truthfulqa_nl: 53%|████████████████████████████████████████████████████████████▎ | 40/75 [05:44<05:03, 8.66s/it][A + truthfulqa_nl: 55%|█████████████████████████████████████████████████████████████▊ | 41/75 [05:51<04:47, 8.45s/it][A + truthfulqa_nl: 56%|███████████████████████████████████████████████████████████████▎ | 42/75 [06:00<04:42, 8.55s/it][A + truthfulqa_nl: 57%|████████████████████████████████████████████████████████████████▊ | 43/75 [06:09<04:37, 8.67s/it][A + truthfulqa_nl: 59%|██████████████████████████████████████████████████████████████████▎ | 44/75 [06:17<04:23, 8.51s/it][A + truthfulqa_nl: 60%|███████████████████████████████████████████████████████████████████▊ | 45/75 [06:26<04:14, 8.49s/it][A + truthfulqa_nl: 61%|█████████████████████████████████████████████████████████████████████▎ | 46/75 [06:34<04:02, 8.37s/it][A + truthfulqa_nl: 63%|██████████████████████████████████████████████████████████████████████▊ | 47/75 [06:43<03:57, 8.49s/it][A + truthfulqa_nl: 64%|████████████████████████████████████████████████████████████████████████▎ | 48/75 [06:51<03:47, 8.43s/it][A + truthfulqa_nl: 65%|█████████████████████████████████████████████████████████████████████████▊ | 49/75 [07:00<03:42, 8.57s/it][A + truthfulqa_nl: 67%|███████████████████████████████████████████████████████████████████████████▎ | 50/75 [07:08<03:31, 8.45s/it][A + truthfulqa_nl: 68%|████████████████████████████████████████████████████████████████████████████▊ | 51/75 [07:18<03:31, 8.79s/it][A + truthfulqa_nl: 69%|██████████████████████████████████████████████████████████████████████████████▎ | 52/75 [07:26<03:20, 8.73s/it][A + truthfulqa_nl: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 53/75 [07:35<03:12, 8.75s/it][A + truthfulqa_nl: 72%|█████████████████████████████████████████████████████████████████████████████████▎ | 54/75 [07:44<03:04, 8.79s/it][A + truthfulqa_nl: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 55/75 [07:53<02:57, 8.90s/it][A + truthfulqa_nl: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 56/75 [08:02<02:48, 8.87s/it][A + truthfulqa_nl: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 57/75 [08:10<02:36, 8.68s/it][A + truthfulqa_nl: 77%|███████████████████████████████████████████████████████████████████████████████████████▍ | 58/75 [08:19<02:28, 8.71s/it][A + truthfulqa_nl: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 59/75 [08:28<02:21, 8.85s/it][A + truthfulqa_nl: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 60/75 [08:37<02:14, 8.98s/it][A + truthfulqa_nl: 81%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 61/75 [08:46<02:04, 8.87s/it][A + truthfulqa_nl: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 62/75 [08:55<01:55, 8.88s/it][A + truthfulqa_nl: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 63/75 [09:03<01:43, 8.65s/it][A + truthfulqa_nl: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 64/75 [09:12<01:35, 8.69s/it][A + truthfulqa_nl: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/75 [09:20<01:26, 8.63s/it][A + truthfulqa_nl: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 66/75 [09:29<01:17, 8.60s/it][A + truthfulqa_nl: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/75 [09:37<01:07, 8.43s/it][A + truthfulqa_nl: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 68/75 [09:45<00:59, 8.48s/it][A + truthfulqa_nl: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 69/75 [09:54<00:51, 8.66s/it][A + truthfulqa_nl: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/75 [10:03<00:43, 8.63s/it][A + truthfulqa_nl: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/75 [10:12<00:34, 8.71s/it][A + truthfulqa_nl: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/75 [10:20<00:25, 8.59s/it][A + truthfulqa_nl: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/75 [10:29<00:17, 8.66s/it][A + truthfulqa_nl: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [10:37<00:08, 8.57s/it][A + truthfulqa_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [10:45<00:00, 8.37s/it][A truthfulqa_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [10:45<00:00, 8.61s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_nl_mc1 0.3414012738853503 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_nl_mc2 0.48819037239766405 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:15:39,622 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:15:39,623 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:39,749 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:15:39,749 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:39,875 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:15:39,875 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:40,002 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:15:40,002 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:15:40,002 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:15:40,131 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:15:40,131 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_nl_mc1'} +2024-06-01 09:15:40,195 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:15:40,195 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1303, 'value': 0.3414012738853503} +2024-06-01 09:15:40,260 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:15:40,882 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:15:40,882 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:41,004 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:15:41,004 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:41,126 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:15:41,126 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:41,248 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:15:41,248 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:15:41,248 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:15:41,371 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:15:41,371 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'truthfulqa_nl_mc2'} +2024-06-01 09:15:41,433 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:15:41,433 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1304, 'value': 0.48819037239766405} +2024-06-01 09:15:41,495 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 113/124 [74:28:10<2:16:04, 742.24s/it]['truthfulqa_pt'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:15:42,144 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:15:42,145 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:42,273 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:15:42,273 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:42,401 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:15:42,401 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:15:42,530 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:15:42,530 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 09:15:42,531 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_pt'} +2024-06-01 09:15:42,660 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_pt task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 788 examples [00:00, 10865.82 examples/s] +Running loglikelihood requests + + truthfulqa_pt: 0%| | 0/76 [00:00<?, ?it/s][A + truthfulqa_pt: 1%|█▌ | 1/76 [00:09<11:41, 9.35s/it][A + truthfulqa_pt: 3%|███ | 2/76 [00:18<11:24, 9.25s/it][A + truthfulqa_pt: 4%|████▌ | 3/76 [00:27<10:51, 8.93s/it][A + truthfulqa_pt: 5%|██████ | 4/76 [00:36<10:48, 9.01s/it][A + truthfulqa_pt: 7%|███████▌ | 5/76 [00:45<10:37, 8.98s/it][A + truthfulqa_pt: 8%|█████████ | 6/76 [00:54<10:36, 9.10s/it][A + truthfulqa_pt: 9%|██████████▌ | 7/76 [01:03<10:19, 8.98s/it][A + truthfulqa_pt: 11%|████████████ | 8/76 [01:12<10:09, 8.96s/it][A + truthfulqa_pt: 12%|█████████████▌ | 9/76 [01:21<10:13, 9.16s/it][A + truthfulqa_pt: 13%|██████████████▊ | 10/76 [01:30<10:00, 9.10s/it][A + truthfulqa_pt: 14%|████████████████▎ | 11/76 [01:40<09:57, 9.19s/it][A + truthfulqa_pt: 16%|█████████████████▊ | 12/76 [01:48<09:37, 9.03s/it][A + truthfulqa_pt: 17%|███████████████████▎ | 13/76 [01:57<09:31, 9.08s/it][A + truthfulqa_pt: 18%|████████████████████▊ | 14/76 [02:06<09:13, 8.93s/it][A + truthfulqa_pt: 20%|██████████████████████▎ | 15/76 [02:15<09:13, 9.07s/it][A + truthfulqa_pt: 21%|███████████████████████▊ | 16/76 [02:24<08:53, 8.90s/it][A + truthfulqa_pt: 22%|█████████████████████████▎ | 17/76 [02:33<08:49, 8.98s/it][A + truthfulqa_pt: 24%|██████████████████████████▊ | 18/76 [02:42<08:38, 8.95s/it][A + truthfulqa_pt: 25%|████████████████████████████▎ | 19/76 [02:51<08:26, 8.89s/it][A + truthfulqa_pt: 26%|█████████████████████████████▋ | 20/76 [03:00<08:17, 8.89s/it][A + truthfulqa_pt: 28%|███████████████████████████████▏ | 21/76 [03:08<08:00, 8.74s/it][A + truthfulqa_pt: 29%|████████████████████████████████▋ | 22/76 [03:17<07:49, 8.69s/it][A + truthfulqa_pt: 30%|██████████████████████████████████▏ | 23/76 [03:26<07:48, 8.85s/it][A + truthfulqa_pt: 32%|███████████████████████████████████▋ | 24/76 [03:35<07:40, 8.86s/it][A + truthfulqa_pt: 33%|█████████████████████████████████████▏ | 25/76 [03:43<07:24, 8.72s/it][A + truthfulqa_pt: 34%|██████████████████████████████████████▋ | 26/76 [03:52<07:20, 8.81s/it][A + truthfulqa_pt: 36%|████████████████████████████████████████▏ | 27/76 [04:01<07:20, 8.99s/it][A + truthfulqa_pt: 37%|█████████████████████████████████████████▋ | 28/76 [04:11<07:20, 9.18s/it][A + truthfulqa_pt: 38%|███████████████████████████████████████████ | 29/76 [04:20<07:10, 9.15s/it][A + truthfulqa_pt: 39%|████████████████████████████████████████████▌ | 30/76 [04:29<07:02, 9.18s/it][A + truthfulqa_pt: 41%|██████████████████████████████████████████████ | 31/76 [04:39<06:58, 9.29s/it][A + truthfulqa_pt: 42%|███████████████████████████████████████████████▌ | 32/76 [04:48<06:46, 9.24s/it][A + truthfulqa_pt: 43%|█████████████████████████████████████████████████ | 33/76 [04:57<06:35, 9.20s/it][A + truthfulqa_pt: 45%|██████████████████████████████████████████████████▌ | 34/76 [05:06<06:25, 9.17s/it][A + truthfulqa_pt: 46%|████████████████████████████████████████████████████ | 35/76 [05:15<06:07, 8.97s/it][A + truthfulqa_pt: 47%|█████████████████████████████████████████████████████▌ | 36/76 [05:24<06:05, 9.13s/it][A + truthfulqa_pt: 49%|███████████████████████████████████████████████████████ | 37/76 [05:34<05:58, 9.20s/it][A + truthfulqa_pt: 50%|████████████████████████████████████████████████████████▌ | 38/76 [05:42<05:41, 9.00s/it][A + truthfulqa_pt: 51%|█████████████████████████████████████████████████████████▉ | 39/76 [05:52<05:36, 9.10s/it][A + truthfulqa_pt: 53%|███████████████████████████████████████████████████████████▍ | 40/76 [06:01<05:34, 9.30s/it][A + truthfulqa_pt: 54%|████████████████████████████████████████████████████████████▉ | 41/76 [06:11<05:29, 9.42s/it][A + truthfulqa_pt: 55%|██████████████████████████████████████████████████████████████▍ | 42/76 [06:20<05:15, 9.29s/it][A + truthfulqa_pt: 57%|███████████████████████████████████████████████████████████████▉ | 43/76 [06:29<05:06, 9.29s/it][A + truthfulqa_pt: 58%|█████████████████████████████████████████████████████████████████▍ | 44/76 [06:39<05:01, 9.41s/it][A + truthfulqa_pt: 59%|██████████████████████████████████████████████████████████████████▉ | 45/76 [06:48<04:46, 9.24s/it][A + truthfulqa_pt: 61%|████████████████████████████████████████████████████████████████████▍ | 46/76 [06:57<04:34, 9.14s/it][A + truthfulqa_pt: 62%|█████████████████████████████████████████████████████████████████████▉ | 47/76 [07:06<04:24, 9.12s/it][A + truthfulqa_pt: 63%|███████████████████████████████████████████████████████████████████████▎ | 48/76 [07:15<04:16, 9.17s/it][A + truthfulqa_pt: 64%|████████████████████████████████████████████████████████████████████████▊ | 49/76 [07:24<04:06, 9.15s/it][A + truthfulqa_pt: 66%|██████████████████████████████████████████████████████████████████████████▎ | 50/76 [07:33<03:58, 9.18s/it][A + truthfulqa_pt: 67%|███████████████████████████████████████████████████████████████████████████▊ | 51/76 [07:42<03:47, 9.11s/it][A + truthfulqa_pt: 68%|█████████████████████████████████████████████████████████████████████████████▎ | 52/76 [07:52<03:41, 9.23s/it][A + truthfulqa_pt: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 53/76 [08:01<03:30, 9.16s/it][A + truthfulqa_pt: 71%|████████████████████████████████████████████████████████████████████████████████▎ | 54/76 [08:09<03:17, 8.97s/it][A + truthfulqa_pt: 72%|█████████████████████████████████████████████████████████████████████████████████▊ | 55/76 [08:19<03:10, 9.07s/it][A + truthfulqa_pt: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 56/76 [08:28<03:02, 9.10s/it][A + truthfulqa_pt: 75%|████████████████████████████████████████████████████████████████████████████████████▊ | 57/76 [08:37<02:52, 9.08s/it][A + truthfulqa_pt: 76%|██████████████████████████████████████████████████████████████████████████████████████▏ | 58/76 [08:46<02:43, 9.10s/it][A + truthfulqa_pt: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 59/76 [08:55<02:33, 9.04s/it][A + truthfulqa_pt: 79%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 60/76 [09:04<02:26, 9.17s/it][A + truthfulqa_pt: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 61/76 [09:14<02:17, 9.15s/it][A + truthfulqa_pt: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/76 [09:23<02:07, 9.11s/it][A + truthfulqa_pt: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/76 [09:32<01:57, 9.07s/it][A + truthfulqa_pt: 84%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 64/76 [09:40<01:47, 8.93s/it][A + truthfulqa_pt: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 65/76 [09:49<01:39, 9.00s/it][A + truthfulqa_pt: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/76 [09:58<01:28, 8.85s/it][A + truthfulqa_pt: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 67/76 [10:07<01:19, 8.86s/it][A + truthfulqa_pt: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 68/76 [10:16<01:11, 8.96s/it][A + truthfulqa_pt: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/76 [10:24<01:01, 8.81s/it][A + truthfulqa_pt: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/76 [10:34<00:53, 8.96s/it][A + truthfulqa_pt: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 71/76 [10:43<00:45, 9.12s/it][A + truthfulqa_pt: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 72/76 [10:53<00:36, 9.20s/it][A + truthfulqa_pt: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 73/76 [11:02<00:27, 9.15s/it][A + truthfulqa_pt: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 74/76 [11:11<00:18, 9.11s/it][A + truthfulqa_pt: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:19<00:08, 8.99s/it][A + truthfulqa_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:24<00:00, 7.66s/it][A truthfulqa_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:24<00:00, 9.00s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_pt_mc1 0.3464467005076142 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_pt_mc2 0.48189955745510354 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:27:07,848 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:27:07,848 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:07,972 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:27:07,972 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:08,095 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:27:08,095 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:08,217 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:27:08,218 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:27:08,218 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:27:08,342 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:27:08,343 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_pt_mc1'} +2024-06-01 09:27:08,405 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:27:08,405 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1305, 'value': 0.3464467005076142} +2024-06-01 09:27:08,468 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:27:09,102 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:27:09,102 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:09,227 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:27:09,227 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:09,352 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:27:09,352 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:09,477 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:27:09,477 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:27:09,478 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:27:09,604 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:27:09,604 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_pt_mc2'} +2024-06-01 09:27:09,667 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:27:09,667 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1306, 'value': 0.48189955745510354} +2024-06-01 09:27:09,730 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 114/124 [74:39:39<2:01:00, 726.04s/it]['truthfulqa_ro'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:27:10,356 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:27:10,356 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:10,478 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:27:10,478 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:10,601 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:27:10,601 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:27:10,724 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:27:10,724 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 09:27:10,724 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_ro'} +2024-06-01 09:27:10,848 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_ro task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 779 examples [00:00, 10203.59 examples/s] +Running loglikelihood requests + + truthfulqa_ro: 0%| | 0/75 [00:00<?, ?it/s][A + truthfulqa_ro: 1%|█▌ | 1/75 [00:09<11:33, 9.37s/it][A + truthfulqa_ro: 3%|███ | 2/75 [00:18<11:27, 9.42s/it][A + truthfulqa_ro: 4%|████▌ | 3/75 [00:28<11:20, 9.45s/it][A + truthfulqa_ro: 5%|██████ | 4/75 [00:37<10:59, 9.29s/it][A + truthfulqa_ro: 7%|███████▌ | 5/75 [00:46<10:55, 9.36s/it][A + truthfulqa_ro: 8%|█████████ | 6/75 [00:56<10:54, 9.49s/it][A + truthfulqa_ro: 9%|██████████▋ | 7/75 [01:05<10:42, 9.46s/it][A + truthfulqa_ro: 11%|████████████▏ | 8/75 [01:15<10:25, 9.34s/it][A + truthfulqa_ro: 12%|█████████████▋ | 9/75 [01:24<10:17, 9.36s/it][A + truthfulqa_ro: 13%|███████████████ | 10/75 [01:33<10:03, 9.29s/it][A + truthfulqa_ro: 15%|████████████████▌ | 11/75 [01:42<09:41, 9.08s/it][A + truthfulqa_ro: 16%|██████████████████ | 12/75 [01:51<09:38, 9.18s/it][A + truthfulqa_ro: 17%|███████████████████▌ | 13/75 [02:01<09:34, 9.27s/it][A + truthfulqa_ro: 19%|█████████████████████ | 14/75 [02:10<09:27, 9.30s/it][A + truthfulqa_ro: 20%|██████████████████████▌ | 15/75 [02:20<09:28, 9.47s/it][A + truthfulqa_ro: 21%|████████████████████████ | 16/75 [02:29<09:15, 9.41s/it][A + truthfulqa_ro: 23%|█████████████████████████▌ | 17/75 [02:38<09:00, 9.31s/it][A + truthfulqa_ro: 24%|███████████████████████████ | 18/75 [02:47<08:47, 9.26s/it][A + truthfulqa_ro: 25%|████████████████████████████▋ | 19/75 [02:57<08:37, 9.25s/it][A + truthfulqa_ro: 27%|██████████████████████████████▏ | 20/75 [03:06<08:24, 9.18s/it][A + truthfulqa_ro: 28%|███████████████████████████████▋ | 21/75 [03:15<08:20, 9.27s/it][A + truthfulqa_ro: 29%|█████████████████████████████████▏ | 22/75 [03:24<07:59, 9.05s/it][A + truthfulqa_ro: 31%|██████████████████████████████████▋ | 23/75 [03:33<08:00, 9.25s/it][A + truthfulqa_ro: 32%|████████████████████████████████████▏ | 24/75 [03:42<07:47, 9.17s/it][A + truthfulqa_ro: 33%|█████████████████████████████████████▋ | 25/75 [03:52<07:52, 9.44s/it][A + truthfulqa_ro: 35%|███████████████████████████████████████▏ | 26/75 [04:01<07:37, 9.34s/it][A + truthfulqa_ro: 36%|████████████████████████████████████████▋ | 27/75 [04:11<07:24, 9.27s/it][A + truthfulqa_ro: 37%|██████████████████████████████████████████▏ | 28/75 [04:19<07:10, 9.16s/it][A + truthfulqa_ro: 39%|███████████████████████████████████████████▋ | 29/75 [04:29<07:01, 9.16s/it][A + truthfulqa_ro: 40%|█████████████████████████████████████████████▏ | 30/75 [04:39<07:02, 9.39s/it][A + truthfulqa_ro: 41%|██████████████████████████████████████████████▋ | 31/75 [04:48<06:48, 9.28s/it][A + truthfulqa_ro: 43%|████████████████████████████████████████████████▏ | 32/75 [04:57<06:36, 9.21s/it][A + truthfulqa_ro: 44%|█████████████████████████████████████████████████▋ | 33/75 [05:06<06:26, 9.20s/it][A + truthfulqa_ro: 45%|███████████████████████████████████████████████████▏ | 34/75 [05:15<06:16, 9.19s/it][A + truthfulqa_ro: 47%|████████████████████████████████████████████████████▋ | 35/75 [05:24<06:07, 9.19s/it][A + truthfulqa_ro: 48%|██████████████████████████████████████████████████████▏ | 36/75 [05:34<06:07, 9.43s/it][A + truthfulqa_ro: 49%|███████████████████████████████████████████████████████▋ | 37/75 [05:43<05:56, 9.39s/it][A + truthfulqa_ro: 51%|█████████████████████████████████████████████████████████▎ | 38/75 [05:52<05:37, 9.13s/it][A + truthfulqa_ro: 52%|██████████████████████████████████████████████████████████▊ | 39/75 [06:02<05:33, 9.27s/it][A + truthfulqa_ro: 53%|████████████████████████████████████████████████████████████▎ | 40/75 [06:11<05:21, 9.19s/it][A + truthfulqa_ro: 55%|█████████████████████████████████████████████████████████████▊ | 41/75 [06:20<05:12, 9.20s/it][A + truthfulqa_ro: 56%|███████████████████████████████████████████████████████████████▎ | 42/75 [06:29<05:03, 9.20s/it][A + truthfulqa_ro: 57%|████████████████████████████████████████████████████████████████▊ | 43/75 [06:38<04:53, 9.17s/it][A + truthfulqa_ro: 59%|██████████████████████████████████████████████████████████████████▎ | 44/75 [06:47<04:44, 9.19s/it][A + truthfulqa_ro: 60%|███████████████████████████████████████████████████████████████████▊ | 45/75 [06:57<04:35, 9.19s/it][A + truthfulqa_ro: 61%|█████████████████████████████████████████████████████████████████████▎ | 46/75 [07:06<04:25, 9.17s/it][A + truthfulqa_ro: 63%|██████████████████████████████████████████████████████████████████████▊ | 47/75 [07:15<04:16, 9.17s/it][A + truthfulqa_ro: 64%|████████████████████████████████████████████████████████████████████████▎ | 48/75 [07:24<04:11, 9.32s/it][A + truthfulqa_ro: 65%|█████████████████████████████████████████████████████████████████████████▊ | 49/75 [07:33<03:59, 9.22s/it][A + truthfulqa_ro: 67%|███████████████████████████████████████████████████████████████████████████▎ | 50/75 [07:43<03:51, 9.24s/it][A + truthfulqa_ro: 68%|████████████████████████████████████████████████████████████████████████████▊ | 51/75 [07:52<03:40, 9.18s/it][A + truthfulqa_ro: 69%|██████████████████████████████████████████████████████████████████████████████▎ | 52/75 [08:01<03:32, 9.25s/it][A + truthfulqa_ro: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 53/75 [08:10<03:23, 9.25s/it][A + truthfulqa_ro: 72%|█████████████████████████████████████████████████████████████████████████████████▎ | 54/75 [08:20<03:17, 9.43s/it][A + truthfulqa_ro: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 55/75 [08:29<03:07, 9.36s/it][A + truthfulqa_ro: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 56/75 [08:39<03:00, 9.49s/it][A + truthfulqa_ro: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 57/75 [08:48<02:44, 9.16s/it][A + truthfulqa_ro: 77%|███████████████████████████████████████████████████████████████████████████████████████▍ | 58/75 [08:57<02:35, 9.16s/it][A + truthfulqa_ro: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 59/75 [09:06<02:27, 9.20s/it][A + truthfulqa_ro: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 60/75 [09:16<02:20, 9.34s/it][A + truthfulqa_ro: 81%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 61/75 [09:26<02:13, 9.54s/it][A + truthfulqa_ro: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 62/75 [09:35<02:02, 9.42s/it][A + truthfulqa_ro: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 63/75 [09:44<01:51, 9.32s/it][A + truthfulqa_ro: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 64/75 [09:54<01:43, 9.42s/it][A + truthfulqa_ro: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/75 [10:03<01:33, 9.35s/it][A + truthfulqa_ro: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 66/75 [10:11<01:22, 9.13s/it][A + truthfulqa_ro: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/75 [10:21<01:14, 9.33s/it][A + truthfulqa_ro: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 68/75 [10:30<01:04, 9.28s/it][A + truthfulqa_ro: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 69/75 [10:40<00:55, 9.26s/it][A + truthfulqa_ro: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/75 [10:49<00:46, 9.23s/it][A + truthfulqa_ro: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/75 [10:58<00:37, 9.28s/it][A + truthfulqa_ro: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/75 [11:08<00:28, 9.34s/it][A + truthfulqa_ro: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/75 [11:17<00:18, 9.25s/it][A + truthfulqa_ro: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:26<00:09, 9.26s/it][A + truthfulqa_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:31<00:00, 8.00s/it][A truthfulqa_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:31<00:00, 9.22s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ro_mc1 0.3042362002567394 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ro_mc2 0.4553128850083903 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:38:43,207 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:38:43,207 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:43,327 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:38:43,327 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:43,446 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:38:43,446 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:43,566 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:38:43,567 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:38:43,567 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:38:43,687 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:38:43,688 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_ro_mc1'} +2024-06-01 09:38:43,749 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:38:43,749 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1307, 'value': 0.3042362002567394} +2024-06-01 09:38:43,810 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:38:44,457 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:38:44,457 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:44,586 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:38:44,586 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:44,714 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:38:44,714 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:44,842 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:38:44,843 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:38:44,843 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:38:44,972 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:38:44,972 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ro_mc2'} +2024-06-01 09:38:45,039 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:38:45,039 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1308, 'value': 0.4553128850083903} +2024-06-01 09:38:45,108 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 115/124 [74:51:14<1:47:31, 716.84s/it]['truthfulqa_ru'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:38:45,717 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:38:45,717 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:45,836 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:38:45,836 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:45,954 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:38:45,954 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:38:46,073 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:38:46,073 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 09:38:46,073 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_ru'} +2024-06-01 09:38:46,193 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_ru task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 788 examples [00:00, 9820.19 examples/s] +Running loglikelihood requests + + truthfulqa_ru: 0%| | 0/76 [00:00<?, ?it/s][A + truthfulqa_ru: 1%|█▌ | 1/76 [00:10<13:16, 10.62s/it][A + truthfulqa_ru: 3%|███ | 2/76 [00:19<12:01, 9.76s/it][A + truthfulqa_ru: 4%|████▌ | 3/76 [00:29<11:37, 9.56s/it][A + truthfulqa_ru: 5%|██████ | 4/76 [00:39<11:39, 9.71s/it][A + truthfulqa_ru: 7%|███████▌ | 5/76 [00:49<11:40, 9.86s/it][A + truthfulqa_ru: 8%|█████████ | 6/76 [00:58<11:21, 9.73s/it][A + truthfulqa_ru: 9%|██████████▌ | 7/76 [01:09<11:39, 10.13s/it][A + truthfulqa_ru: 11%|████████████ | 8/76 [01:19<11:19, 9.99s/it][A + truthfulqa_ru: 12%|█████████████▌ | 9/76 [01:28<11:03, 9.90s/it][A + truthfulqa_ru: 13%|██████████████▊ | 10/76 [01:39<11:03, 10.06s/it][A + truthfulqa_ru: 14%|████████████████▎ | 11/76 [01:49<11:02, 10.18s/it][A + truthfulqa_ru: 16%|█████████████████▊ | 12/76 [01:59<10:46, 10.10s/it][A + truthfulqa_ru: 17%|███████████████████▎ | 13/76 [02:09<10:25, 9.94s/it][A + truthfulqa_ru: 18%|████████████████████▊ | 14/76 [02:19<10:17, 9.95s/it][A + truthfulqa_ru: 20%|██████████████████████▎ | 15/76 [02:29<10:09, 10.00s/it][A + truthfulqa_ru: 21%|███████████████████████▊ | 16/76 [02:39<10:01, 10.02s/it][A + truthfulqa_ru: 22%|█████████████████████████▎ | 17/76 [02:50<10:01, 10.20s/it][A + truthfulqa_ru: 24%|██████████████████████████▊ | 18/76 [02:59<09:38, 9.97s/it][A + truthfulqa_ru: 25%|████████████████████████████▎ | 19/76 [03:08<09:14, 9.72s/it][A + truthfulqa_ru: 26%|█████████████████████████████▋ | 20/76 [03:19<09:15, 9.92s/it][A + truthfulqa_ru: 28%|███████████████████████████████▏ | 21/76 [03:29<09:06, 9.94s/it][A + truthfulqa_ru: 29%|████████████████████████████████▋ | 22/76 [03:38<08:51, 9.84s/it][A + truthfulqa_ru: 30%|██████████████████████████████████▏ | 23/76 [03:48<08:45, 9.92s/it][A + truthfulqa_ru: 32%|███████████████████████████████████▋ | 24/76 [03:58<08:33, 9.87s/it][A + truthfulqa_ru: 33%|█████████████████████████████████████▏ | 25/76 [04:07<08:16, 9.73s/it][A + truthfulqa_ru: 34%|██████████████████████████████████████▋ | 26/76 [04:17<08:07, 9.74s/it][A + truthfulqa_ru: 36%|████████████████████████████████████████▏ | 27/76 [04:27<07:58, 9.77s/it][A + truthfulqa_ru: 37%|█████████████████████████████████████████▋ | 28/76 [04:37<07:52, 9.85s/it][A + truthfulqa_ru: 38%|███████████████████████████████████████████ | 29/76 [04:47<07:47, 9.95s/it][A + truthfulqa_ru: 39%|████████████████████████████████████████████▌ | 30/76 [04:57<07:37, 9.94s/it][A + truthfulqa_ru: 41%|██████████████████████████████████████████████ | 31/76 [05:06<07:15, 9.69s/it][A + truthfulqa_ru: 42%|███████████████████████████████████████████████▌ | 32/76 [05:16<07:06, 9.69s/it][A + truthfulqa_ru: 43%|█████████████████████████████████████████████████ | 33/76 [05:26<07:02, 9.83s/it][A + truthfulqa_ru: 45%|██████████████████████████████████████████████████▌ | 34/76 [05:36<06:55, 9.88s/it][A + truthfulqa_ru: 46%|████████████████████████████████████████████████████ | 35/76 [05:46<06:44, 9.87s/it][A + truthfulqa_ru: 47%|█████████████████████████████████████████████████████▌ | 36/76 [05:55<06:28, 9.72s/it][A + truthfulqa_ru: 49%|███████████████████████████████████████████████████████ | 37/76 [06:06<06:27, 9.93s/it][A + truthfulqa_ru: 50%|████████████████████████████████████████████████████████▌ | 38/76 [06:16<06:15, 9.87s/it][A + truthfulqa_ru: 51%|█████████████████████████████████████████████████████████▉ | 39/76 [06:25<05:59, 9.72s/it][A + truthfulqa_ru: 53%|███████████████████████████████████████████████████████████▍ | 40/76 [06:35<05:49, 9.72s/it][A + truthfulqa_ru: 54%|████████████████████████████████████████████████████████████▉ | 41/76 [06:45<05:44, 9.85s/it][A + truthfulqa_ru: 55%|██████████████████████████████████████████████████████████████▍ | 42/76 [06:54<05:33, 9.80s/it][A + truthfulqa_ru: 57%|███████████████████████████████████████████████████████████████▉ | 43/76 [07:04<05:24, 9.83s/it][A + truthfulqa_ru: 58%|█████████████████████████████████████████████████████████████████▍ | 44/76 [07:13<05:08, 9.63s/it][A + truthfulqa_ru: 59%|██████████████████████████████████████████████████████████████████▉ | 45/76 [07:23<05:01, 9.74s/it][A + truthfulqa_ru: 61%|████████████████████████████████████████████████████████████████████▍ | 46/76 [07:33<04:54, 9.81s/it][A + truthfulqa_ru: 62%|█████████████████████████████████████████████████████████████████████▉ | 47/76 [07:43<04:44, 9.81s/it][A + truthfulqa_ru: 63%|███████████████████████████████████████████████████████████████████████▎ | 48/76 [07:53<04:35, 9.84s/it][A + truthfulqa_ru: 64%|████████████████████████████████████████████████████████████████████████▊ | 49/76 [08:03<04:26, 9.86s/it][A + truthfulqa_ru: 66%|██████████████████████████████████████████████████████████████████████████▎ | 50/76 [08:13<04:16, 9.85s/it][A + truthfulqa_ru: 67%|███████████████████████████████████████████████████████████████████████████▊ | 51/76 [08:22<04:02, 9.69s/it][A + truthfulqa_ru: 68%|█████████████████████████████████████████████████████████████████████████████▎ | 52/76 [08:33<03:59, 10.00s/it][A + truthfulqa_ru: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 53/76 [08:43<03:48, 9.92s/it][A + truthfulqa_ru: 71%|████████████████████████████████████████████████████████████████████████████████▎ | 54/76 [08:52<03:36, 9.83s/it][A + truthfulqa_ru: 72%|█████████████████████████████████████████████████████████████████████████████████▊ | 55/76 [09:02<03:24, 9.76s/it][A + truthfulqa_ru: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 56/76 [09:12<03:14, 9.71s/it][A + truthfulqa_ru: 75%|████████████████████████████████████████████████████████████████████████████████████▊ | 57/76 [09:21<03:04, 9.70s/it][A + truthfulqa_ru: 76%|██████████████████████████████████████████████████████████████████████████████████████▏ | 58/76 [09:31<02:55, 9.74s/it][A + truthfulqa_ru: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 59/76 [09:41<02:49, 9.95s/it][A + truthfulqa_ru: 79%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 60/76 [09:51<02:38, 9.92s/it][A + truthfulqa_ru: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 61/76 [10:02<02:32, 10.15s/it][A + truthfulqa_ru: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/76 [10:12<02:19, 9.97s/it][A + truthfulqa_ru: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/76 [10:22<02:13, 10.23s/it][A + truthfulqa_ru: 84%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 64/76 [10:32<02:00, 10.02s/it][A + truthfulqa_ru: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 65/76 [10:41<01:48, 9.84s/it][A + truthfulqa_ru: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/76 [10:52<01:39, 9.96s/it][A + truthfulqa_ru: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 67/76 [11:01<01:27, 9.74s/it][A + truthfulqa_ru: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 68/76 [11:11<01:18, 9.78s/it][A + truthfulqa_ru: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/76 [11:20<01:07, 9.65s/it][A + truthfulqa_ru: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/76 [11:30<00:59, 9.85s/it][A + truthfulqa_ru: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 71/76 [11:40<00:49, 9.87s/it][A + truthfulqa_ru: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 72/76 [11:50<00:39, 9.83s/it][A + truthfulqa_ru: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 73/76 [12:00<00:29, 9.93s/it][A + truthfulqa_ru: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 74/76 [12:09<00:19, 9.72s/it][A + truthfulqa_ru: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [12:19<00:09, 9.72s/it][A + truthfulqa_ru: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [12:25<00:00, 8.45s/it][A truthfulqa_ru: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [12:25<00:00, 9.80s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ru_mc1 0.3223350253807107 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ru_mc2 0.47598357382780243 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:51:12,420 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:51:12,421 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:12,544 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:51:12,544 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:12,667 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:51:12,667 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:12,789 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:51:12,790 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:51:12,790 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:51:12,914 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:51:12,915 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_ru_mc1'} +2024-06-01 09:51:12,977 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:51:12,977 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1309, 'value': 0.3223350253807107} +2024-06-01 09:51:13,040 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:51:13,683 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:51:13,683 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:13,810 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:51:13,810 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:13,937 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:51:13,937 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:14,064 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:51:14,065 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 09:51:14,065 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 09:51:14,193 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 09:51:14,193 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ru_mc2'} +2024-06-01 09:51:14,258 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 09:51:14,258 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1310, 'value': 0.47598357382780243} +2024-06-01 09:51:14,322 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 116/124 [75:03:43<1:36:52, 726.55s/it]['truthfulqa_sk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 09:51:14,971 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 09:51:14,971 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:15,099 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 09:51:15,099 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:15,227 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 09:51:15,227 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 09:51:15,355 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 09:51:15,356 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 09:51:15,356 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_sk'} +2024-06-01 09:51:15,484 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_sk task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 778 examples [00:00, 10224.88 examples/s] +Running loglikelihood requests + + truthfulqa_sk: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_sk: 1%|█▌ | 1/74 [00:09<11:56, 9.81s/it][A + truthfulqa_sk: 3%|███ | 2/74 [00:18<11:09, 9.30s/it][A + truthfulqa_sk: 4%|████▌ | 3/74 [00:27<10:53, 9.20s/it][A + truthfulqa_sk: 5%|██████▏ | 4/74 [00:37<10:45, 9.22s/it][A + truthfulqa_sk: 7%|███████▋ | 5/74 [00:46<10:43, 9.32s/it][A + truthfulqa_sk: 8%|█████████▏ | 6/74 [00:55<10:22, 9.15s/it][A + truthfulqa_sk: 9%|██████████▊ | 7/74 [01:04<10:11, 9.12s/it][A + truthfulqa_sk: 11%|████████████▎ | 8/74 [01:13<09:59, 9.08s/it][A + truthfulqa_sk: 12%|█████████████▊ | 9/74 [01:22<09:50, 9.08s/it][A + truthfulqa_sk: 14%|███████████████▎ | 10/74 [01:32<09:52, 9.26s/it][A + truthfulqa_sk: 15%|████████████████▊ | 11/74 [01:41<09:43, 9.27s/it][A + truthfulqa_sk: 16%|██████████████████▎ | 12/74 [01:51<09:42, 9.40s/it][A + truthfulqa_sk: 18%|███████████████████▊ | 13/74 [02:00<09:26, 9.28s/it][A + truthfulqa_sk: 19%|█████████████████████▍ | 14/74 [02:10<09:26, 9.45s/it][A + truthfulqa_sk: 20%|██████████████████████▉ | 15/74 [02:19<09:11, 9.35s/it][A + truthfulqa_sk: 22%|████████████████████████▍ | 16/74 [02:28<09:09, 9.47s/it][A + truthfulqa_sk: 23%|█████████████████████████▉ | 17/74 [02:38<08:56, 9.41s/it][A + truthfulqa_sk: 24%|███████████████████████████▍ | 18/74 [02:46<08:34, 9.18s/it][A + truthfulqa_sk: 26%|█████████████████████████████ | 19/74 [02:55<08:18, 9.07s/it][A + truthfulqa_sk: 27%|██████████████████████████████▌ | 20/74 [03:04<08:07, 9.03s/it][A + truthfulqa_sk: 28%|████████████████████████████████ | 21/74 [03:14<08:10, 9.25s/it][A + truthfulqa_sk: 30%|█████████████████████████████████▌ | 22/74 [03:23<07:59, 9.23s/it][A + truthfulqa_sk: 31%|███████████████████████████████████ | 23/74 [03:32<07:49, 9.20s/it][A + truthfulqa_sk: 32%|████████████████████████████████████▋ | 24/74 [03:42<07:53, 9.47s/it][A + truthfulqa_sk: 34%|██████████████████████████████████████▏ | 25/74 [03:51<07:38, 9.36s/it][A + truthfulqa_sk: 35%|███████████████████████████████████████▋ | 26/74 [04:00<07:16, 9.09s/it][A + truthfulqa_sk: 36%|█████████████████████████████████████████▏ | 27/74 [04:09<07:05, 9.05s/it][A + truthfulqa_sk: 38%|██████████████████████████████████████████▊ | 28/74 [04:17<06:50, 8.93s/it][A + truthfulqa_sk: 39%|████████████████████████████████████████████▎ | 29/74 [04:26<06:43, 8.97s/it][A + truthfulqa_sk: 41%|█████████████████████████████████████████████▊ | 30/74 [04:35<06:35, 8.98s/it][A + truthfulqa_sk: 42%|███████████████████████████████████████████████▎ | 31/74 [04:45<06:27, 9.01s/it][A + truthfulqa_sk: 43%|████████████████████████████████████████████████▊ | 32/74 [04:55<06:31, 9.32s/it][A + truthfulqa_sk: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:04<06:22, 9.32s/it][A + truthfulqa_sk: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:13<06:15, 9.39s/it][A + truthfulqa_sk: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:23<06:02, 9.30s/it][A + truthfulqa_sk: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:31<05:49, 9.18s/it][A + truthfulqa_sk: 50%|████████████████████████████████████████████████████████▌ | 37/74 [05:41<05:41, 9.23s/it][A + truthfulqa_sk: 51%|██████████████████████████████████████████████████████████ | 38/74 [05:50<05:31, 9.21s/it][A + truthfulqa_sk: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [05:59<05:24, 9.27s/it][A + truthfulqa_sk: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:09<05:19, 9.40s/it][A + truthfulqa_sk: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:19<05:13, 9.50s/it][A + truthfulqa_sk: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [06:28<04:58, 9.32s/it][A + truthfulqa_sk: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [06:36<04:42, 9.11s/it][A + truthfulqa_sk: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [06:45<04:33, 9.10s/it][A + truthfulqa_sk: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [06:54<04:23, 9.08s/it][A + truthfulqa_sk: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [07:04<04:14, 9.10s/it][A + truthfulqa_sk: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:13<04:06, 9.13s/it][A + truthfulqa_sk: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [07:22<03:58, 9.19s/it][A + truthfulqa_sk: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [07:32<03:52, 9.30s/it][A + truthfulqa_sk: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [07:40<03:37, 9.07s/it][A + truthfulqa_sk: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [07:49<03:28, 9.09s/it][A + truthfulqa_sk: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [07:59<03:22, 9.23s/it][A + truthfulqa_sk: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [08:08<03:12, 9.16s/it][A + truthfulqa_sk: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [08:17<03:02, 9.12s/it][A + truthfulqa_sk: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [08:26<02:53, 9.15s/it][A + truthfulqa_sk: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [08:35<02:44, 9.13s/it][A + truthfulqa_sk: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [08:45<02:38, 9.34s/it][A + truthfulqa_sk: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [08:54<02:28, 9.26s/it][A + truthfulqa_sk: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [09:04<02:22, 9.47s/it][A + truthfulqa_sk: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:14<02:12, 9.45s/it][A + truthfulqa_sk: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [09:23<02:01, 9.34s/it][A + truthfulqa_sk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [09:32<01:53, 9.43s/it][A + truthfulqa_sk: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [09:42<01:45, 9.56s/it][A + truthfulqa_sk: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [09:52<01:36, 9.67s/it][A + truthfulqa_sk: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [10:01<01:25, 9.46s/it][A + truthfulqa_sk: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [10:11<01:16, 9.51s/it][A + truthfulqa_sk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [10:20<01:05, 9.42s/it][A + truthfulqa_sk: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [10:29<00:56, 9.34s/it][A + truthfulqa_sk: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [10:38<00:46, 9.36s/it][A + truthfulqa_sk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [10:48<00:37, 9.29s/it][A + truthfulqa_sk: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [10:57<00:27, 9.22s/it][A + truthfulqa_sk: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [11:06<00:18, 9.32s/it][A + truthfulqa_sk: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:15<00:09, 9.32s/it][A + truthfulqa_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00, 9.35s/it][A truthfulqa_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00, 9.26s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sk_mc1 0.2750642673521851 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sk_mc2 0.46416705304898886 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:02:41,677 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:02:41,677 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:41,802 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:02:41,802 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:41,927 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:02:41,927 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:42,052 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:02:42,053 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:02:42,053 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:02:42,179 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:02:42,179 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'truthfulqa_sk_mc1'} +2024-06-01 10:02:42,243 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:02:42,243 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1311, 'value': 0.2750642673521851} +2024-06-01 10:02:42,306 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:02:42,955 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:02:42,955 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:43,083 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:02:43,083 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:43,211 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:02:43,211 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:43,339 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:02:43,339 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:02:43,339 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:02:43,468 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:02:43,468 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_sk_mc2'} +2024-06-01 10:02:43,533 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:02:43,533 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1312, 'value': 0.46416705304898886} +2024-06-01 10:02:43,598 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 117/124 [75:15:12<1:23:27, 715.37s/it]['truthfulqa_sr'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:02:44,250 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:02:44,250 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:44,378 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:02:44,378 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:44,506 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:02:44,506 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:02:44,634 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:02:44,635 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 10:02:44,635 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_sr'} +2024-06-01 10:02:44,764 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_sr task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 785 examples [00:00, 10202.62 examples/s] +Running loglikelihood requests + + truthfulqa_sr: 0%| | 0/75 [00:00<?, ?it/s][A + truthfulqa_sr: 1%|█▌ | 1/75 [00:09<11:18, 9.17s/it][A + truthfulqa_sr: 3%|███ | 2/75 [00:18<11:03, 9.08s/it][A + truthfulqa_sr: 4%|████▌ | 3/75 [00:27<11:06, 9.26s/it][A + truthfulqa_sr: 5%|██████ | 4/75 [00:36<10:51, 9.18s/it][A + truthfulqa_sr: 7%|███████▌ | 5/75 [00:45<10:42, 9.18s/it][A + truthfulqa_sr: 8%|█████████ | 6/75 [00:55<10:41, 9.30s/it][A + truthfulqa_sr: 9%|██████████▋ | 7/75 [01:05<10:42, 9.45s/it][A + truthfulqa_sr: 11%|████████████▏ | 8/75 [01:15<10:46, 9.64s/it][A + truthfulqa_sr: 12%|█████████████▋ | 9/75 [01:24<10:26, 9.50s/it][A + truthfulqa_sr: 13%|███████████████ | 10/75 [01:33<10:14, 9.46s/it][A + truthfulqa_sr: 15%|████████████████▌ | 11/75 [01:43<10:13, 9.59s/it][A + truthfulqa_sr: 16%|██████████████████ | 12/75 [01:53<09:59, 9.52s/it][A + truthfulqa_sr: 17%|███████████████████▌ | 13/75 [02:02<09:41, 9.37s/it][A + truthfulqa_sr: 19%|█████████████████████ | 14/75 [02:10<09:22, 9.22s/it][A + truthfulqa_sr: 20%|██████████████████████▌ | 15/75 [02:20<09:14, 9.25s/it][A + truthfulqa_sr: 21%|████████████████████████ | 16/75 [02:29<09:02, 9.20s/it][A + truthfulqa_sr: 23%|█████████████████████████▌ | 17/75 [02:38<08:50, 9.15s/it][A + truthfulqa_sr: 24%|███████████████████████████ | 18/75 [02:47<08:42, 9.16s/it][A + truthfulqa_sr: 25%|████████████████████████████▋ | 19/75 [02:56<08:36, 9.23s/it][A + truthfulqa_sr: 27%|██████████████████████████████▏ | 20/75 [03:06<08:34, 9.35s/it][A + truthfulqa_sr: 28%|███████████████████████████████▋ | 21/75 [03:15<08:20, 9.26s/it][A + truthfulqa_sr: 29%|█████████████████████████████████▏ | 22/75 [03:24<08:07, 9.21s/it][A + truthfulqa_sr: 31%|██████████████████████████████████▋ | 23/75 [03:33<07:49, 9.03s/it][A + truthfulqa_sr: 32%|████████████████████████████████████▏ | 24/75 [03:41<07:32, 8.87s/it][A + truthfulqa_sr: 33%|█████████████████████████████████████▋ | 25/75 [03:50<07:27, 8.95s/it][A + truthfulqa_sr: 35%|███████████████████████████████████████▏ | 26/75 [04:00<07:26, 9.11s/it][A + truthfulqa_sr: 36%|████████████████████████████████████████▋ | 27/75 [04:08<07:05, 8.87s/it][A + truthfulqa_sr: 37%|██████████████████████████████████████████▏ | 28/75 [04:17<06:54, 8.81s/it][A + truthfulqa_sr: 39%|███████████████████████████████████████████▋ | 29/75 [04:26<06:54, 9.01s/it][A + truthfulqa_sr: 40%|█████████████████████████████████████████████▏ | 30/75 [04:35<06:43, 8.97s/it][A + truthfulqa_sr: 41%|██████████████████████████████████████████████▋ | 31/75 [04:44<06:29, 8.86s/it][A + truthfulqa_sr: 43%|████████████████████████████████████████████████▏ | 32/75 [04:53<06:28, 9.04s/it][A + truthfulqa_sr: 44%|█████████████████████████████████████████████████▋ | 33/75 [05:03<06:21, 9.08s/it][A + truthfulqa_sr: 45%|███████████████████████████████████████████████████▏ | 34/75 [05:12<06:14, 9.14s/it][A + truthfulqa_sr: 47%|████████████████████████████████████████████████████▋ | 35/75 [05:21<06:02, 9.06s/it][A + truthfulqa_sr: 48%|██████████████████████████████████████████████████████▏ | 36/75 [05:30<05:57, 9.16s/it][A + truthfulqa_sr: 49%|███████████████████████████████████████████████████████▋ | 37/75 [05:39<05:48, 9.17s/it][A + truthfulqa_sr: 51%|█████████████████████████████████████████████████████████▎ | 38/75 [05:48<05:39, 9.16s/it][A + truthfulqa_sr: 52%|██████████████████████████████████████████████████████████▊ | 39/75 [05:57<05:22, 8.95s/it][A + truthfulqa_sr: 53%|████████████████████████████████████████████████████████████▎ | 40/75 [06:06<05:15, 9.00s/it][A + truthfulqa_sr: 55%|█████████████████████████████████████████████████████████████▊ | 41/75 [06:15<05:04, 8.96s/it][A + truthfulqa_sr: 56%|███████████████████████████████████████████████████████████████▎ | 42/75 [06:24<04:57, 9.00s/it][A + truthfulqa_sr: 57%|████████████████████████████████████████████████████████████████▊ | 43/75 [06:33<04:49, 9.04s/it][A + truthfulqa_sr: 59%|██████████████████████████████████████████████████████████████████▎ | 44/75 [06:43<04:44, 9.17s/it][A + truthfulqa_sr: 60%|███████████████████████████████████████████████████████████████████▊ | 45/75 [06:52<04:40, 9.34s/it][A + truthfulqa_sr: 61%|█████████████████████████████████████████████████████████████████████▎ | 46/75 [07:02<04:32, 9.38s/it][A + truthfulqa_sr: 63%|██████████████████████████████████████████████████████████████████████▊ | 47/75 [07:11<04:20, 9.31s/it][A + truthfulqa_sr: 64%|████████████████████████████████████████████████████████████████████████▎ | 48/75 [07:20<04:07, 9.16s/it][A + truthfulqa_sr: 65%|█████████████████████████████████████████████████████████████████████████▊ | 49/75 [07:28<03:52, 8.94s/it][A + truthfulqa_sr: 67%|███████████████████████████████████████████████████████████████████████████▎ | 50/75 [07:37<03:40, 8.80s/it][A + truthfulqa_sr: 68%|████████████████████████████████████████████████████████████████████████████▊ | 51/75 [07:46<03:32, 8.87s/it][A + truthfulqa_sr: 69%|██████████████████████████████████████████████████████████████████████████████▎ | 52/75 [07:55<03:25, 8.91s/it][A + truthfulqa_sr: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 53/75 [08:04<03:17, 8.97s/it][A + truthfulqa_sr: 72%|█████████████████████████████████████████████████████████████████████████████████▎ | 54/75 [08:13<03:09, 9.01s/it][A + truthfulqa_sr: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 55/75 [08:22<02:59, 8.99s/it][A + truthfulqa_sr: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 56/75 [08:30<02:48, 8.87s/it][A + truthfulqa_sr: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 57/75 [08:40<02:41, 8.98s/it][A + truthfulqa_sr: 77%|███████████████████████████████████████████████████████████████████████████████████████▍ | 58/75 [08:49<02:32, 8.97s/it][A + truthfulqa_sr: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 59/75 [08:58<02:23, 8.96s/it][A + truthfulqa_sr: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 60/75 [09:06<02:11, 8.79s/it][A + truthfulqa_sr: 81%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 61/75 [09:16<02:07, 9.10s/it][A + truthfulqa_sr: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 62/75 [09:25<01:59, 9.20s/it][A + truthfulqa_sr: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 63/75 [09:34<01:50, 9.20s/it][A + truthfulqa_sr: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 64/75 [09:43<01:40, 9.13s/it][A + truthfulqa_sr: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/75 [09:52<01:31, 9.13s/it][A + truthfulqa_sr: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 66/75 [10:02<01:21, 9.10s/it][A + truthfulqa_sr: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/75 [10:10<01:12, 9.05s/it][A + truthfulqa_sr: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 68/75 [10:20<01:03, 9.06s/it][A + truthfulqa_sr: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 69/75 [10:28<00:53, 8.97s/it][A + truthfulqa_sr: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/75 [10:37<00:45, 9.04s/it][A + truthfulqa_sr: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/75 [10:47<00:36, 9.06s/it][A + truthfulqa_sr: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/75 [10:56<00:27, 9.08s/it][A + truthfulqa_sr: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/75 [11:05<00:18, 9.14s/it][A + truthfulqa_sr: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:14<00:08, 8.96s/it][A + truthfulqa_sr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:23<00:00, 9.09s/it][A truthfulqa_sr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:23<00:00, 9.11s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sr_mc1 0.3286624203821656 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sr_mc2 0.5016689393126756 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:14:09,340 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:14:09,341 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:09,468 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:14:09,468 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:09,595 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:14:09,596 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:09,723 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:14:09,724 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:14:09,724 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:14:09,852 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:14:09,852 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_sr_mc1'} +2024-06-01 10:14:09,917 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:14:09,917 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1313, 'value': 0.3286624203821656} +2024-06-01 10:14:09,982 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:14:10,620 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:14:10,620 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:10,745 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:14:10,745 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:10,870 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:14:10,870 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:10,995 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:14:10,996 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:14:10,996 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:14:11,122 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:14:11,122 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_sr_mc2'} +2024-06-01 10:14:11,185 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:14:11,185 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1314, 'value': 0.5016689393126756} +2024-06-01 10:14:11,248 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 118/124 [75:26:40<1:10:42, 707.05s/it]['truthfulqa_sv'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:14:11,887 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:14:11,887 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:12,012 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:14:12,013 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:12,138 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:14:12,138 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:14:12,264 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:14:12,264 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 10:14:12,265 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_sv'} +2024-06-01 10:14:12,391 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_sv task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 774 examples [00:00, 10444.23 examples/s] +Running loglikelihood requests + + truthfulqa_sv: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_sv: 1%|█▌ | 1/74 [00:09<11:09, 9.16s/it][A + truthfulqa_sv: 3%|███ | 2/74 [00:18<11:12, 9.34s/it][A + truthfulqa_sv: 4%|████▌ | 3/74 [00:27<10:50, 9.16s/it][A + truthfulqa_sv: 5%|██████▏ | 4/74 [00:36<10:39, 9.14s/it][A + truthfulqa_sv: 7%|███████▋ | 5/74 [00:45<10:26, 9.08s/it][A + truthfulqa_sv: 8%|█████████▏ | 6/74 [00:54<10:18, 9.10s/it][A + truthfulqa_sv: 9%|██████████▊ | 7/74 [01:03<09:56, 8.91s/it][A + truthfulqa_sv: 11%|████████████▎ | 8/74 [01:12<09:52, 8.98s/it][A + truthfulqa_sv: 12%|█████████████▊ | 9/74 [01:21<09:49, 9.07s/it][A + truthfulqa_sv: 14%|███████████████▎ | 10/74 [01:30<09:44, 9.13s/it][A + truthfulqa_sv: 15%|████████████████▊ | 11/74 [01:40<09:37, 9.16s/it][A + truthfulqa_sv: 16%|██████████████████▎ | 12/74 [01:48<09:19, 9.03s/it][A + truthfulqa_sv: 18%|███████████████████▊ | 13/74 [01:57<08:59, 8.84s/it][A + truthfulqa_sv: 19%|█████████████████████▍ | 14/74 [02:06<08:52, 8.87s/it][A + truthfulqa_sv: 20%|██████████████████████▉ | 15/74 [02:15<08:41, 8.84s/it][A + truthfulqa_sv: 22%|████████████████████████▍ | 16/74 [02:23<08:24, 8.70s/it][A + truthfulqa_sv: 23%|█████████████████████████▉ | 17/74 [02:32<08:19, 8.76s/it][A + truthfulqa_sv: 24%|███████████████████████████▍ | 18/74 [02:41<08:16, 8.86s/it][A + truthfulqa_sv: 26%|█████████████████████████████ | 19/74 [02:50<08:07, 8.86s/it][A + truthfulqa_sv: 27%|██████████████████████████████▌ | 20/74 [02:59<08:03, 8.95s/it][A + truthfulqa_sv: 28%|████████████████████████████████ | 21/74 [03:07<07:48, 8.83s/it][A + truthfulqa_sv: 30%|█████████████████████████████████▌ | 22/74 [03:17<07:43, 8.91s/it][A + truthfulqa_sv: 31%|███████████████████████████████████ | 23/74 [03:26<07:43, 9.08s/it][A + truthfulqa_sv: 32%|████████████████████████████████████▋ | 24/74 [03:36<07:42, 9.25s/it][A + truthfulqa_sv: 34%|██████████████████████████████████████▏ | 25/74 [03:45<07:37, 9.33s/it][A + truthfulqa_sv: 35%|███████████████████████████████████████▋ | 26/74 [03:54<07:22, 9.22s/it][A + truthfulqa_sv: 36%|█████████████████████████████████████████▏ | 27/74 [04:03<07:07, 9.10s/it][A + truthfulqa_sv: 38%|██████████████████████████████████████████▊ | 28/74 [04:12<06:56, 9.06s/it][A + truthfulqa_sv: 39%|████████████████████████████████████████████▎ | 29/74 [04:20<06:40, 8.89s/it][A + truthfulqa_sv: 41%|█████████████████████████████████████████████▊ | 30/74 [04:30<06:37, 9.03s/it][A + truthfulqa_sv: 42%|███████████████████████████████████████████████▎ | 31/74 [04:38<06:20, 8.86s/it][A + truthfulqa_sv: 43%|████████████████████████████████████████████████▊ | 32/74 [04:48<06:18, 9.01s/it][A + truthfulqa_sv: 45%|██████████████████████████████████████████████████▍ | 33/74 [04:57<06:08, 9.00s/it][A + truthfulqa_sv: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:06<06:02, 9.07s/it][A + truthfulqa_sv: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:15<05:56, 9.14s/it][A + truthfulqa_sv: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:24<05:47, 9.14s/it][A + truthfulqa_sv: 50%|████████████████████████████████████████████████████████▌ | 37/74 [05:34<05:40, 9.21s/it][A + truthfulqa_sv: 51%|██████████████████████████████████████████████████████████ | 38/74 [05:43<05:30, 9.18s/it][A + truthfulqa_sv: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [05:52<05:22, 9.22s/it][A + truthfulqa_sv: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:01<05:12, 9.20s/it][A + truthfulqa_sv: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:10<05:01, 9.13s/it][A + truthfulqa_sv: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [06:19<04:53, 9.17s/it][A + truthfulqa_sv: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [06:29<04:48, 9.29s/it][A + truthfulqa_sv: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [06:39<04:43, 9.44s/it][A + truthfulqa_sv: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [06:48<04:29, 9.29s/it][A + truthfulqa_sv: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [06:56<04:12, 9.02s/it][A + truthfulqa_sv: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:05<04:03, 9.02s/it][A + truthfulqa_sv: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [07:14<03:50, 8.88s/it][A + truthfulqa_sv: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [07:23<03:44, 8.98s/it][A + truthfulqa_sv: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [07:31<03:30, 8.79s/it][A + truthfulqa_sv: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [07:41<03:25, 8.92s/it][A + truthfulqa_sv: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [07:49<03:13, 8.78s/it][A + truthfulqa_sv: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [07:58<03:05, 8.84s/it][A + truthfulqa_sv: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [08:07<02:58, 8.92s/it][A + truthfulqa_sv: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [08:16<02:49, 8.94s/it][A + truthfulqa_sv: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [08:26<02:44, 9.11s/it][A + truthfulqa_sv: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [08:35<02:34, 9.06s/it][A + truthfulqa_sv: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [08:44<02:25, 9.08s/it][A + truthfulqa_sv: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [08:53<02:17, 9.15s/it][A + truthfulqa_sv: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:02<02:08, 9.16s/it][A + truthfulqa_sv: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [09:11<01:58, 9.13s/it][A + truthfulqa_sv: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [09:20<01:49, 9.13s/it][A + truthfulqa_sv: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [09:30<01:40, 9.15s/it][A + truthfulqa_sv: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [09:38<01:30, 9.09s/it][A + truthfulqa_sv: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [09:48<01:24, 9.34s/it][A + truthfulqa_sv: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [09:57<01:13, 9.19s/it][A + truthfulqa_sv: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [10:06<01:02, 8.95s/it][A + truthfulqa_sv: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [10:14<00:52, 8.82s/it][A + truthfulqa_sv: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [10:23<00:43, 8.69s/it][A + truthfulqa_sv: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [10:32<00:35, 8.93s/it][A + truthfulqa_sv: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [10:42<00:27, 9.14s/it][A + truthfulqa_sv: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [10:51<00:18, 9.12s/it][A + truthfulqa_sv: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:00<00:09, 9.08s/it][A + truthfulqa_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:08<00:00, 8.80s/it][A truthfulqa_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:08<00:00, 9.03s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sv_mc1 0.32299741602067183 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sv_mc2 0.4847141382655701 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:25:21,549 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:25:21,549 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:21,667 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:25:21,667 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:21,785 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:25:21,785 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:21,903 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:25:21,904 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:25:21,904 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:25:22,023 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:25:22,023 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_sv_mc1'} +2024-06-01 10:25:22,084 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:25:22,084 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1315, 'value': 0.32299741602067183} +2024-06-01 10:25:22,144 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:25:22,775 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:25:22,775 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:22,900 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:25:22,900 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:23,025 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:25:23,025 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:23,150 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:25:23,151 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:25:23,151 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:25:23,277 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:25:23,277 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_sv_mc2'} +2024-06-01 10:25:23,340 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:25:23,340 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1316, 'value': 0.4847141382655701} +2024-06-01 10:25:23,403 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 119/124 [75:37:52<58:02, 696.58s/it]['truthfulqa_ta'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:25:24,035 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:25:24,035 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:24,159 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:25:24,159 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:24,282 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:25:24,283 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:25:24,406 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:25:24,407 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 10:25:24,407 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_ta'} +2024-06-01 10:25:24,531 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_ta task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 743 examples [00:00, 9961.22 examples/s] +Running loglikelihood requests + + truthfulqa_ta: 0%| | 0/71 [00:00<?, ?it/s][A + truthfulqa_ta: 1%|█▌ | 1/71 [00:12<14:46, 12.66s/it][A + truthfulqa_ta: 3%|███▏ | 2/71 [00:25<14:30, 12.62s/it][A + truthfulqa_ta: 4%|████▊ | 3/71 [00:38<14:38, 12.91s/it][A + truthfulqa_ta: 6%|██████▍ | 4/71 [00:51<14:35, 13.07s/it][A + truthfulqa_ta: 7%|████████ | 5/71 [01:04<14:01, 12.76s/it][A + truthfulqa_ta: 8%|█████████▋ | 6/71 [01:17<13:56, 12.87s/it][A + truthfulqa_ta: 10%|███████████▏ | 7/71 [01:29<13:36, 12.76s/it][A + truthfulqa_ta: 11%|████████████▊ | 8/71 [01:42<13:30, 12.86s/it][A + truthfulqa_ta: 13%|██████████████▍ | 9/71 [01:55<13:17, 12.87s/it][A + truthfulqa_ta: 14%|███████████████▉ | 10/71 [02:07<12:54, 12.69s/it][A + truthfulqa_ta: 15%|█████████████████▌ | 11/71 [02:20<12:44, 12.75s/it][A + truthfulqa_ta: 17%|███████████████████ | 12/71 [02:32<12:13, 12.43s/it][A + truthfulqa_ta: 18%|████████████████████▋ | 13/71 [02:44<11:56, 12.36s/it][A + truthfulqa_ta: 20%|██████████████████████▎ | 14/71 [02:57<11:56, 12.57s/it][A + truthfulqa_ta: 21%|███████████████████████▊ | 15/71 [03:09<11:28, 12.29s/it][A + truthfulqa_ta: 23%|█████████████████████████▍ | 16/71 [03:21<11:07, 12.13s/it][A + truthfulqa_ta: 24%|███████████████████████████ | 17/71 [03:33<11:03, 12.29s/it][A + truthfulqa_ta: 25%|████████████████████████████▋ | 18/71 [03:47<11:09, 12.62s/it][A + truthfulqa_ta: 27%|██████████████████████████████▏ | 19/71 [03:59<10:45, 12.42s/it][A + truthfulqa_ta: 28%|███████████████████████████████▊ | 20/71 [04:12<10:42, 12.59s/it][A + truthfulqa_ta: 30%|█████████████████████████████████▍ | 21/71 [04:25<10:41, 12.83s/it][A + truthfulqa_ta: 31%|███████████████████████████████████ | 22/71 [04:39<10:39, 13.06s/it][A + truthfulqa_ta: 32%|████████████████████████████████████▌ | 23/71 [04:51<10:12, 12.75s/it][A + truthfulqa_ta: 34%|██████████████████████████████████████▏ | 24/71 [05:02<09:43, 12.42s/it][A + truthfulqa_ta: 35%|███████████████████████████████████████▊ | 25/71 [05:15<09:41, 12.63s/it][A + truthfulqa_ta: 37%|█████████████████████████████████████████▍ | 26/71 [05:28<09:27, 12.62s/it][A + truthfulqa_ta: 38%|██████████████████████████████████████████▉ | 27/71 [05:41<09:18, 12.69s/it][A + truthfulqa_ta: 39%|████████████████████████████████████████████▌ | 28/71 [05:54<09:07, 12.74s/it][A + truthfulqa_ta: 41%|██████████████████████████████████████████████▏ | 29/71 [06:09<09:30, 13.57s/it][A + truthfulqa_ta: 42%|███████████████████████████████████████████████▋ | 30/71 [06:22<09:08, 13.38s/it][A + truthfulqa_ta: 44%|█████████████████████████████████████████████████▎ | 31/71 [06:36<09:03, 13.59s/it][A + truthfulqa_ta: 45%|██████████████████████████████████████████████████▉ | 32/71 [06:48<08:31, 13.12s/it][A + truthfulqa_ta: 46%|████████████████████████████████████████████████████▌ | 33/71 [07:01<08:12, 12.95s/it][A + truthfulqa_ta: 48%|██████████████████████████████████████████████████████ | 34/71 [07:15<08:13, 13.35s/it][A + truthfulqa_ta: 49%|███████████████████████████████████████████████████████▋ | 35/71 [07:29<08:11, 13.65s/it][A + truthfulqa_ta: 51%|█████████████████████████████████████████████████████████▎ | 36/71 [07:41<07:38, 13.10s/it][A + truthfulqa_ta: 52%|██████████████████████████████████████████████████████████▉ | 37/71 [07:54<07:20, 12.97s/it][A + truthfulqa_ta: 54%|████████████████████████████████████████████████████████████▍ | 38/71 [08:07<07:07, 12.97s/it][A + truthfulqa_ta: 55%|██████████████████████████████████████████████████████████████ | 39/71 [08:19<06:46, 12.70s/it][A + truthfulqa_ta: 56%|███████████████████████████████████████████████████████████████▋ | 40/71 [08:31<06:27, 12.51s/it][A + truthfulqa_ta: 58%|█████████████████████████████████████████████████████████████████▎ | 41/71 [08:44<06:19, 12.65s/it][A + truthfulqa_ta: 59%|██████████████████████████████████████████████████████████████████▊ | 42/71 [08:57<06:06, 12.63s/it][A + truthfulqa_ta: 61%|████████████████████████████████████████████████████████████████████▍ | 43/71 [09:09<05:52, 12.59s/it][A + truthfulqa_ta: 62%|██████████████████████████████████████████████████████████████████████ | 44/71 [09:23<05:52, 13.06s/it][A + truthfulqa_ta: 63%|███████████████████████████████████████████████████████████████████████▌ | 45/71 [09:36<05:37, 12.96s/it][A + truthfulqa_ta: 65%|█████████████████████████████████████████████████████████████████████████▏ | 46/71 [09:50<05:30, 13.23s/it][A + truthfulqa_ta: 66%|██████████████████████████████████████████████████████████████████████████▊ | 47/71 [10:03<05:16, 13.17s/it][A + truthfulqa_ta: 68%|████████████████████████████████████████████████████████████████████████████▍ | 48/71 [10:16<05:05, 13.30s/it][A + truthfulqa_ta: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 49/71 [10:29<04:49, 13.18s/it][A + truthfulqa_ta: 70%|███████████████████████████████████████████████████████████████████████████████▌ | 50/71 [10:42<04:31, 12.93s/it][A + truthfulqa_ta: 72%|█████████████████████████████████████████████████████████████████████████████████▏ | 51/71 [10:55<04:18, 12.93s/it][A + truthfulqa_ta: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 52/71 [11:06<03:58, 12.55s/it][A + truthfulqa_ta: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 53/71 [11:19<03:46, 12.60s/it][A + truthfulqa_ta: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 54/71 [11:32<03:36, 12.73s/it][A + truthfulqa_ta: 77%|███████████████████████████████████████████████████████████████████████████████████████▌ | 55/71 [11:46<03:27, 12.99s/it][A + truthfulqa_ta: 79%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 56/71 [12:02<03:28, 13.93s/it][A + truthfulqa_ta: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 57/71 [12:15<03:11, 13.65s/it][A + truthfulqa_ta: 82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 58/71 [12:27<02:53, 13.32s/it][A + truthfulqa_ta: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 59/71 [12:40<02:39, 13.25s/it][A + truthfulqa_ta: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/71 [12:53<02:24, 13.16s/it][A + truthfulqa_ta: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 61/71 [13:07<02:11, 13.16s/it][A + truthfulqa_ta: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/71 [13:18<01:54, 12.73s/it][A + truthfulqa_ta: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 63/71 [13:31<01:40, 12.62s/it][A + truthfulqa_ta: 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 64/71 [13:44<01:28, 12.71s/it][A + truthfulqa_ta: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 65/71 [13:58<01:19, 13.30s/it][A + truthfulqa_ta: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 66/71 [14:11<01:06, 13.29s/it][A + truthfulqa_ta: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 67/71 [14:23<00:51, 12.87s/it][A + truthfulqa_ta: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 68/71 [14:36<00:38, 12.77s/it][A + truthfulqa_ta: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 69/71 [14:49<00:26, 13.00s/it][A + truthfulqa_ta: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/71 [15:01<00:12, 12.60s/it][A + truthfulqa_ta: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 71/71 [15:06<00:00, 10.24s/it][A truthfulqa_ta: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 71/71 [15:06<00:00, 12.77s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ta_mc1 0.2772543741588156 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ta_mc2 0.4935520390214543 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:40:31,777 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:40:31,777 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:31,908 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:40:31,908 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:32,040 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:40:32,040 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:32,171 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:40:32,172 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:40:32,172 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:40:32,305 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:40:32,305 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_ta_mc1'} +2024-06-01 10:40:32,372 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:40:32,372 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1317, 'value': 0.2772543741588156} +2024-06-01 10:40:32,439 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:40:33,088 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:40:33,088 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:33,216 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:40:33,216 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:33,343 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:40:33,343 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:33,471 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:40:33,471 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:40:33,471 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:40:33,600 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:40:33,600 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_ta_mc2'} +2024-06-01 10:40:33,664 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:40:33,664 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1318, 'value': 0.4935520390214543} +2024-06-01 10:40:33,729 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 120/124 [75:53:03<50:42, 760.71s/it]['truthfulqa_te'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:40:34,367 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:40:34,367 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:34,492 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:40:34,492 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:34,617 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:40:34,617 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:40:34,742 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:40:34,743 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 10:40:34,743 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_te'} +2024-06-01 10:40:34,869 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_te task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 705 examples [00:00, 9965.44 examples/s] +Running loglikelihood requests + + truthfulqa_te: 0%| | 0/66 [00:00<?, ?it/s][A + truthfulqa_te: 2%|█▋ | 1/66 [00:11<12:27, 11.50s/it][A + truthfulqa_te: 3%|███▍ | 2/66 [00:24<13:10, 12.35s/it][A + truthfulqa_te: 5%|█████▏ | 3/66 [00:35<12:24, 11.81s/it][A + truthfulqa_te: 6%|██████▉ | 4/66 [00:47<12:13, 11.83s/it][A + truthfulqa_te: 8%|████████▋ | 5/66 [00:58<11:46, 11.58s/it][A + truthfulqa_te: 9%|██████████▎ | 6/66 [01:10<11:31, 11.52s/it][A + truthfulqa_te: 11%|████████████ | 7/66 [01:21<11:09, 11.35s/it][A + truthfulqa_te: 12%|█████████████▊ | 8/66 [01:33<11:09, 11.55s/it][A + truthfulqa_te: 14%|███████████████▌ | 9/66 [01:45<11:08, 11.72s/it][A + truthfulqa_te: 15%|█████████████████ | 10/66 [01:57<11:08, 11.94s/it][A + truthfulqa_te: 17%|██████████████████▊ | 11/66 [02:09<10:57, 11.96s/it][A + truthfulqa_te: 18%|████████████████████▌ | 12/66 [02:19<10:19, 11.47s/it][A + truthfulqa_te: 20%|██████████████████████▎ | 13/66 [02:31<10:07, 11.45s/it][A + truthfulqa_te: 21%|███████████████████████▉ | 14/66 [02:42<09:45, 11.27s/it][A + truthfulqa_te: 23%|█████████████████████████▋ | 15/66 [02:53<09:29, 11.17s/it][A + truthfulqa_te: 24%|███████████████████████████▍ | 16/66 [03:04<09:23, 11.27s/it][A + truthfulqa_te: 26%|█████████████████████████████ | 17/66 [03:16<09:20, 11.44s/it][A + truthfulqa_te: 27%|██████████████████████████████▊ | 18/66 [03:28<09:14, 11.56s/it][A + truthfulqa_te: 29%|████████████████████████████████▌ | 19/66 [03:39<08:57, 11.44s/it][A + truthfulqa_te: 30%|██████████████████████████████████▏ | 20/66 [03:50<08:46, 11.43s/it][A + truthfulqa_te: 32%|███████████████████████████████████▉ | 21/66 [04:02<08:35, 11.46s/it][A + truthfulqa_te: 33%|█████████████████████████████████████▋ | 22/66 [04:13<08:18, 11.34s/it][A + truthfulqa_te: 35%|███████████████████████████████████████▍ | 23/66 [04:23<07:53, 11.01s/it][A + truthfulqa_te: 36%|█████████████████████████████████████████ | 24/66 [04:35<07:57, 11.36s/it][A + truthfulqa_te: 38%|██████████████████████████████████████████▊ | 25/66 [04:47<07:51, 11.51s/it][A + truthfulqa_te: 39%|████████████████████████████████████████████▌ | 26/66 [04:59<07:46, 11.67s/it][A + truthfulqa_te: 41%|██████████████████████████████████████████████▏ | 27/66 [05:11<07:30, 11.55s/it][A + truthfulqa_te: 42%|███████████████████████████████████████████████▉ | 28/66 [05:22<07:17, 11.51s/it][A + truthfulqa_te: 44%|█████████████████████████████████████████████████▋ | 29/66 [05:34<07:07, 11.56s/it][A + truthfulqa_te: 45%|███████████████████████████████████████████████████▎ | 30/66 [05:44<06:46, 11.28s/it][A + truthfulqa_te: 47%|█████████████████████████████████████████████████████ | 31/66 [05:57<06:49, 11.70s/it][A + truthfulqa_te: 48%|██████████████████████████████████████████████████████▊ | 32/66 [06:08<06:35, 11.63s/it][A + truthfulqa_te: 50%|████████████████████████████████████████████████████████▌ | 33/66 [06:19<06:12, 11.28s/it][A + truthfulqa_te: 52%|██████████████████████████████████████████████████████████▏ | 34/66 [06:30<05:56, 11.14s/it][A + truthfulqa_te: 53%|███████████████████████████████████████████████████████████▉ | 35/66 [06:43<06:02, 11.68s/it][A + truthfulqa_te: 55%|█████████████████████████████████████████████████████████████▋ | 36/66 [06:53<05:40, 11.34s/it][A + truthfulqa_te: 56%|███████████████████████████████████████████████████████████████▎ | 37/66 [07:05<05:32, 11.48s/it][A + truthfulqa_te: 58%|█████████████████████████████████████████████████████████████████ | 38/66 [07:16<05:19, 11.42s/it][A + truthfulqa_te: 59%|██████████████████████████████████████████████████████████████████▊ | 39/66 [07:28<05:13, 11.61s/it][A + truthfulqa_te: 61%|████████████████████████████████████████████████████████████████████▍ | 40/66 [07:40<05:00, 11.55s/it][A + truthfulqa_te: 62%|██████████████████████████████████████████████████████████████████████▏ | 41/66 [07:53<04:59, 11.99s/it][A + truthfulqa_te: 64%|███████████████████████████████████████████████████████████████████████▉ | 42/66 [08:04<04:39, 11.65s/it][A + truthfulqa_te: 65%|█████████████████████████████████████████████████████████████████████████▌ | 43/66 [08:14<04:19, 11.28s/it][A + truthfulqa_te: 67%|███████████████████████████████████████████████████████████████████████████▎ | 44/66 [08:25<04:07, 11.26s/it][A + truthfulqa_te: 68%|█████████████████████████████████████████████████████████████████████████████ | 45/66 [08:37<03:58, 11.35s/it][A + truthfulqa_te: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 46/66 [08:49<03:49, 11.49s/it][A + truthfulqa_te: 71%|████████████████████████████████████████████████████████████████████████████████▍ | 47/66 [09:00<03:37, 11.47s/it][A + truthfulqa_te: 73%|██████████████████████████████████████████████████████████████████████████████████▏ | 48/66 [09:12<03:26, 11.50s/it][A + truthfulqa_te: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 49/66 [09:22<03:11, 11.28s/it][A + truthfulqa_te: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 50/66 [09:34<03:02, 11.41s/it][A + truthfulqa_te: 77%|███████████████████████████████████████████████████████████████████████████████████████▎ | 51/66 [09:46<02:53, 11.55s/it][A + truthfulqa_te: 79%|█████████████████████████████████████████████████████████████████████████████████████████ | 52/66 [09:57<02:41, 11.52s/it][A + truthfulqa_te: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 53/66 [10:09<02:29, 11.53s/it][A + truthfulqa_te: 82%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 54/66 [10:20<02:17, 11.44s/it][A + truthfulqa_te: 83%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 55/66 [10:31<02:04, 11.31s/it][A + truthfulqa_te: 85%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 56/66 [10:42<01:52, 11.30s/it][A + truthfulqa_te: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 57/66 [10:55<01:44, 11.60s/it][A + truthfulqa_te: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 58/66 [11:06<01:32, 11.60s/it][A + truthfulqa_te: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 59/66 [11:18<01:21, 11.67s/it][A + truthfulqa_te: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 60/66 [11:30<01:10, 11.82s/it][A + truthfulqa_te: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 61/66 [11:42<00:58, 11.71s/it][A + truthfulqa_te: 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/66 [11:54<00:48, 12.00s/it][A + truthfulqa_te: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/66 [12:05<00:34, 11.62s/it][A + truthfulqa_te: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/66 [12:17<00:23, 11.58s/it][A + truthfulqa_te: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/66 [12:27<00:11, 11.15s/it][A + truthfulqa_te: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 66/66 [12:35<00:00, 10.14s/it][A truthfulqa_te: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 66/66 [12:35<00:00, 11.44s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_te_mc1 0.2723404255319149 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_te_mc2 0.4825645616710309 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:53:10,849 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:53:10,849 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:10,979 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:53:10,979 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:11,110 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:53:11,110 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:11,240 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:53:11,241 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:53:11,241 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:53:11,372 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:53:11,372 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_te_mc1'} +2024-06-01 10:53:11,438 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:53:11,438 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1319, 'value': 0.2723404255319149} +2024-06-01 10:53:11,505 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:53:12,162 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:53:12,162 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:12,291 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:53:12,291 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:12,420 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:53:12,420 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:12,549 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:53:12,550 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 10:53:12,550 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 10:53:12,680 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 10:53:12,680 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_te_mc2'} +2024-06-01 10:53:12,745 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 10:53:12,745 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1320, 'value': 0.4825645616710309} +2024-06-01 10:53:12,810 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 121/124 [76:05:42<38:00, 760.22s/it]['truthfulqa_uk'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 10:53:13,461 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 10:53:13,461 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:13,588 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 10:53:13,589 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:13,716 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 10:53:13,716 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 10:53:13,844 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 10:53:13,845 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 10:53:13,845 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_uk'} +2024-06-01 10:53:13,973 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_uk task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 770 examples [00:00, 10153.43 examples/s] +Running loglikelihood requests + + truthfulqa_uk: 0%| | 0/74 [00:00<?, ?it/s][A + truthfulqa_uk: 1%|█▌ | 1/74 [00:10<12:49, 10.54s/it][A + truthfulqa_uk: 3%|███ | 2/74 [00:20<12:33, 10.46s/it][A + truthfulqa_uk: 4%|████▌ | 3/74 [00:31<12:15, 10.36s/it][A + truthfulqa_uk: 5%|██████▏ | 4/74 [00:40<11:49, 10.14s/it][A + truthfulqa_uk: 7%|███████▋ | 5/74 [00:51<11:36, 10.09s/it][A + truthfulqa_uk: 8%|█████████▏ | 6/74 [01:01<11:27, 10.11s/it][A + truthfulqa_uk: 9%|██████████▊ | 7/74 [01:10<11:02, 9.89s/it][A + truthfulqa_uk: 11%|████████████▎ | 8/74 [01:20<10:53, 9.90s/it][A + truthfulqa_uk: 12%|█████████████▊ | 9/74 [01:30<10:44, 9.92s/it][A + truthfulqa_uk: 14%|███████████████▎ | 10/74 [01:39<10:26, 9.78s/it][A + truthfulqa_uk: 15%|████████████████▊ | 11/74 [01:49<10:19, 9.83s/it][A + truthfulqa_uk: 16%|██████████████████▎ | 12/74 [01:59<10:05, 9.77s/it][A + truthfulqa_uk: 18%|███████████████████▊ | 13/74 [02:08<09:45, 9.60s/it][A + truthfulqa_uk: 19%|█████████████████████▍ | 14/74 [02:18<09:41, 9.70s/it][A + truthfulqa_uk: 20%|██████████████████████▉ | 15/74 [02:28<09:30, 9.66s/it][A + truthfulqa_uk: 22%|████████████████████████▍ | 16/74 [02:38<09:30, 9.84s/it][A + truthfulqa_uk: 23%|█████████████████████████▉ | 17/74 [02:48<09:29, 10.00s/it][A + truthfulqa_uk: 24%|███████████████████████████▍ | 18/74 [02:58<09:16, 9.94s/it][A + truthfulqa_uk: 26%|█████████████████████████████ | 19/74 [03:09<09:15, 10.11s/it][A + truthfulqa_uk: 27%|██████████████████████████████▌ | 20/74 [03:19<09:06, 10.13s/it][A + truthfulqa_uk: 28%|████████████████████████████████ | 21/74 [03:29<08:56, 10.12s/it][A + truthfulqa_uk: 30%|█████████████████████████████████▌ | 22/74 [03:39<08:37, 9.96s/it][A + truthfulqa_uk: 31%|███████████████████████████████████ | 23/74 [03:48<08:28, 9.96s/it][A + truthfulqa_uk: 32%|████████████████████████████████████▋ | 24/74 [03:58<08:08, 9.76s/it][A + truthfulqa_uk: 34%|██████████████████████████████████████▏ | 25/74 [04:08<08:02, 9.85s/it][A + truthfulqa_uk: 35%|███████████████████████████████████████▋ | 26/74 [04:18<07:52, 9.84s/it][A + truthfulqa_uk: 36%|█████████████████████████████████████████▏ | 27/74 [04:27<07:39, 9.78s/it][A + truthfulqa_uk: 38%|██████████████████████████████████████████▊ | 28/74 [04:37<07:35, 9.90s/it][A + truthfulqa_uk: 39%|████████████████████████████████████████████▎ | 29/74 [04:48<07:33, 10.08s/it][A + truthfulqa_uk: 41%|█████████████████████████████████████████████▊ | 30/74 [04:58<07:19, 10.00s/it][A + truthfulqa_uk: 42%|███████████████████████████████████████████████▎ | 31/74 [05:07<07:04, 9.88s/it][A + truthfulqa_uk: 43%|████████████████████████████████████████████████▊ | 32/74 [05:17<06:56, 9.92s/it][A + truthfulqa_uk: 45%|██████████████████████████████████████████████████▍ | 33/74 [05:29<07:08, 10.45s/it][A + truthfulqa_uk: 46%|███████████████████████████████████████████████████▉ | 34/74 [05:39<06:52, 10.32s/it][A + truthfulqa_uk: 47%|█████████████████████████████████████████████████████▍ | 35/74 [05:49<06:42, 10.31s/it][A + truthfulqa_uk: 49%|██████████████████████████████████████████████████████▉ | 36/74 [05:59<06:29, 10.24s/it][A + truthfulqa_uk: 50%|████████████████████████████████████████████████████████▌ | 37/74 [06:10<06:21, 10.30s/it][A + truthfulqa_uk: 51%|██████████████████████████████████████████████████████████ | 38/74 [06:20<06:06, 10.18s/it][A + truthfulqa_uk: 53%|███████████████████████████████████████████████████████████▌ | 39/74 [06:31<06:04, 10.41s/it][A + truthfulqa_uk: 54%|█████████████████████████████████████████████████████████████ | 40/74 [06:41<05:48, 10.24s/it][A + truthfulqa_uk: 55%|██████████████████████████████████████████████████████████████▌ | 41/74 [06:51<05:37, 10.23s/it][A + truthfulqa_uk: 57%|████████████████████████████████████████████████████████████████▏ | 42/74 [07:01<05:23, 10.10s/it][A + truthfulqa_uk: 58%|█████████████████████████████████████████████████████████████████▋ | 43/74 [07:10<05:04, 9.83s/it][A + truthfulqa_uk: 59%|███████████████████████████████████████████████████████████████████▏ | 44/74 [07:19<04:50, 9.67s/it][A + truthfulqa_uk: 61%|████████████████████████████████████████████████████████████████████▋ | 45/74 [07:29<04:44, 9.82s/it][A + truthfulqa_uk: 62%|██████████████████████████████████████████████████████████████████████▏ | 46/74 [07:39<04:36, 9.89s/it][A + truthfulqa_uk: 64%|███████████████████████████████████████████████████████████████████████▊ | 47/74 [07:49<04:28, 9.93s/it][A + truthfulqa_uk: 65%|█████████████████████████████████████████████████████████████████████████▎ | 48/74 [08:00<04:21, 10.06s/it][A + truthfulqa_uk: 66%|██████████████████████████████████████████████████████████████████████████▊ | 49/74 [08:09<04:08, 9.96s/it][A + truthfulqa_uk: 68%|████████████████████████████████████████████████████████████████████████████▎ | 50/74 [08:19<03:59, 9.96s/it][A + truthfulqa_uk: 69%|█████████████████████████████████████████████████████████████████████████████▉ | 51/74 [08:29<03:49, 9.98s/it][A + truthfulqa_uk: 70%|███████████████████████████████████████████████████████████████████████████████▍ | 52/74 [08:40<03:41, 10.06s/it][A + truthfulqa_uk: 72%|████████████████████████████████████████████████████████████████████████████████▉ | 53/74 [08:49<03:26, 9.84s/it][A + truthfulqa_uk: 73%|██████████████████████████████████████████████████████████████████████████████████▍ | 54/74 [09:00<03:21, 10.07s/it][A + truthfulqa_uk: 74%|███████████████████████████████████████████████████████████████████████████████████▉ | 55/74 [09:09<03:06, 9.83s/it][A + truthfulqa_uk: 76%|█████████████████████████████████████████████████████████████████████████████████████▌ | 56/74 [09:19<02:57, 9.88s/it][A + truthfulqa_uk: 77%|███████████████████████████████████████████████████████████████████████████████████████ | 57/74 [09:29<02:48, 9.93s/it][A + truthfulqa_uk: 78%|████████████████████████████████████████████████████████████████████████████████████████▌ | 58/74 [09:39<02:38, 9.90s/it][A + truthfulqa_uk: 80%|██████████████████████████████████████████████████████████████████████████████████████████ | 59/74 [09:49<02:29, 9.94s/it][A + truthfulqa_uk: 81%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 60/74 [09:59<02:19, 9.95s/it][A + truthfulqa_uk: 82%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/74 [10:08<02:05, 9.69s/it][A + truthfulqa_uk: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 62/74 [10:19<02:00, 10.03s/it][A + truthfulqa_uk: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 63/74 [10:29<01:50, 10.03s/it][A + truthfulqa_uk: 86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 64/74 [10:38<01:39, 9.92s/it][A + truthfulqa_uk: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/74 [10:49<01:31, 10.19s/it][A + truthfulqa_uk: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 66/74 [10:59<01:20, 10.05s/it][A + truthfulqa_uk: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 67/74 [11:08<01:09, 9.87s/it][A + truthfulqa_uk: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/74 [11:19<01:00, 10.11s/it][A + truthfulqa_uk: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 69/74 [11:29<00:50, 10.13s/it][A + truthfulqa_uk: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 70/74 [11:39<00:40, 10.08s/it][A + truthfulqa_uk: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 71/74 [11:49<00:30, 10.16s/it][A + truthfulqa_uk: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/74 [12:00<00:20, 10.13s/it][A + truthfulqa_uk: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [12:09<00:09, 9.91s/it][A + truthfulqa_uk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:14<00:00, 8.45s/it][A truthfulqa_uk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:14<00:00, 9.93s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_uk_mc1 0.2727272727272727 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_uk_mc2 0.467055540817401 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:05:29,268 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:05:29,268 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:29,391 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:05:29,391 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:29,514 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:05:29,514 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:29,637 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:05:29,638 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 11:05:29,638 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 11:05:29,762 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 11:05:29,763 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_uk_mc1'} +2024-06-01 11:05:29,825 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 11:05:29,825 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1321, 'value': 0.2727272727272727} +2024-06-01 11:05:29,888 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:05:30,542 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:05:30,542 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:30,671 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:05:30,671 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:30,800 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:05:30,800 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:30,929 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:05:30,930 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 11:05:30,930 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 11:05:31,061 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 11:05:31,061 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_uk_mc2'} +2024-06-01 11:05:31,127 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 11:05:31,127 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1322, 'value': 0.467055540817401} +2024-06-01 11:05:31,192 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 122/124 [76:18:00<25:07, 753.67s/it]['truthfulqa_vi'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:05:31,844 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:05:31,844 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:31,972 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:05:31,972 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:32,101 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:05:32,101 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:05:32,229 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:05:32,230 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 11:05:32,230 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_vi'} +2024-06-01 11:05:32,359 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_vi task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 785 examples [00:00, 9887.56 examples/s] +Running loglikelihood requests + + truthfulqa_vi: 0%| | 0/75 [00:00<?, ?it/s][A + truthfulqa_vi: 1%|█▌ | 1/75 [00:09<11:16, 9.15s/it][A + truthfulqa_vi: 3%|███ | 2/75 [00:19<11:48, 9.70s/it][A + truthfulqa_vi: 4%|████▌ | 3/75 [00:29<11:48, 9.84s/it][A + truthfulqa_vi: 5%|██████ | 4/75 [00:38<11:15, 9.51s/it][A + truthfulqa_vi: 7%|███████▌ | 5/75 [00:47<11:00, 9.43s/it][A + truthfulqa_vi: 8%|█████████ | 6/75 [00:57<10:57, 9.53s/it][A + truthfulqa_vi: 9%|██████████▋ | 7/75 [01:06<10:46, 9.51s/it][A + truthfulqa_vi: 11%|████████████▏ | 8/75 [01:16<10:44, 9.61s/it][A + truthfulqa_vi: 12%|█████████████▋ | 9/75 [01:25<10:24, 9.46s/it][A + truthfulqa_vi: 13%|███████████████ | 10/75 [01:35<10:21, 9.56s/it][A + truthfulqa_vi: 15%|████████████████▌ | 11/75 [01:44<09:56, 9.32s/it][A + truthfulqa_vi: 16%|██████████████████ | 12/75 [01:53<09:45, 9.29s/it][A + truthfulqa_vi: 17%|███████████████████▌ | 13/75 [02:03<09:46, 9.46s/it][A + truthfulqa_vi: 19%|█████████████████████ | 14/75 [02:12<09:31, 9.37s/it][A + truthfulqa_vi: 20%|██████████████████████▌ | 15/75 [02:21<09:23, 9.39s/it][A + truthfulqa_vi: 21%|████████████████████████ | 16/75 [02:31<09:22, 9.53s/it][A + truthfulqa_vi: 23%|█████████████████████████▌ | 17/75 [02:40<09:07, 9.44s/it][A + truthfulqa_vi: 24%|███████████████████████████ | 18/75 [02:50<09:01, 9.50s/it][A + truthfulqa_vi: 25%|████████████████████████████▋ | 19/75 [02:59<08:47, 9.41s/it][A + truthfulqa_vi: 27%|██████████████████████████████▏ | 20/75 [03:09<08:39, 9.44s/it][A + truthfulqa_vi: 28%|███████████████████████████████▋ | 21/75 [03:18<08:29, 9.43s/it][A + truthfulqa_vi: 29%|█████████████████████████████████▏ | 22/75 [03:28<08:24, 9.53s/it][A + truthfulqa_vi: 31%|██████████████████████████████████▋ | 23/75 [03:37<08:05, 9.34s/it][A + truthfulqa_vi: 32%|████████████████████████████████████▏ | 24/75 [03:47<08:02, 9.46s/it][A + truthfulqa_vi: 33%|█████████████████████████████████████▋ | 25/75 [03:57<08:00, 9.62s/it][A + truthfulqa_vi: 35%|███████████████████████████████████████▏ | 26/75 [04:07<08:00, 9.80s/it][A + truthfulqa_vi: 36%|████████████████████████████████████████▋ | 27/75 [04:17<07:59, 9.99s/it][A + truthfulqa_vi: 37%|██████████████████████████████████████████▏ | 28/75 [04:27<07:46, 9.92s/it][A + truthfulqa_vi: 39%|███████████████████████████████████████████▋ | 29/75 [04:37<07:33, 9.87s/it][A + truthfulqa_vi: 40%|█████████████████████████████████████████████▏ | 30/75 [04:47<07:29, 9.99s/it][A + truthfulqa_vi: 41%|██████████████████████████████████████████████▋ | 31/75 [04:57<07:22, 10.06s/it][A + truthfulqa_vi: 43%|████████████████████████████████████████████████▏ | 32/75 [05:07<07:03, 9.84s/it][A + truthfulqa_vi: 44%|█████████████████████████████████████████████████▋ | 33/75 [05:16<06:46, 9.69s/it][A + truthfulqa_vi: 45%|███████████████████████████████████████████████████▏ | 34/75 [05:26<06:38, 9.71s/it][A + truthfulqa_vi: 47%|████████████████████████████████████████████████████▋ | 35/75 [05:35<06:21, 9.54s/it][A + truthfulqa_vi: 48%|██████████████████████████████████████████████████████▏ | 36/75 [05:45<06:14, 9.61s/it][A + truthfulqa_vi: 49%|███████████████████████████████████████████████████████▋ | 37/75 [05:54<06:02, 9.54s/it][A + truthfulqa_vi: 51%|█████████████████████████████████████████████████████████▎ | 38/75 [06:04<05:55, 9.61s/it][A + truthfulqa_vi: 52%|██████████████████████████████████████████████████████████▊ | 39/75 [06:15<06:01, 10.05s/it][A + truthfulqa_vi: 53%|████████████████████████████████████████████████████████████▎ | 40/75 [06:24<05:43, 9.82s/it][A + truthfulqa_vi: 55%|█████████████████████████████████████████████████████████████▊ | 41/75 [06:33<05:27, 9.62s/it][A + truthfulqa_vi: 56%|███████████████████████████████████████████████████████████████▎ | 42/75 [06:43<05:19, 9.68s/it][A + truthfulqa_vi: 57%|████████████████████████████████████████████████████████████████▊ | 43/75 [06:52<05:06, 9.57s/it][A + truthfulqa_vi: 59%|██████████████████████████████████████████████████████████████████▎ | 44/75 [07:03<05:06, 9.89s/it][A + truthfulqa_vi: 60%|███████████████████████████████████████████████████████████████████▊ | 45/75 [07:13<05:01, 10.04s/it][A + truthfulqa_vi: 61%|█████████████████████████████████████████████████████████████████████▎ | 46/75 [07:23<04:50, 10.02s/it][A + truthfulqa_vi: 63%|██████████████████████████████████████████████████████████████████████▊ | 47/75 [07:33<04:38, 9.94s/it][A + truthfulqa_vi: 64%|████████████████████████████████████████████████████████████████████████▎ | 48/75 [07:42<04:22, 9.74s/it][A + truthfulqa_vi: 65%|█████████████████████████████████████████████████████████████████████████▊ | 49/75 [07:52<04:12, 9.70s/it][A + truthfulqa_vi: 67%|███████████████████████████████████████████████████████████████████████████▎ | 50/75 [08:02<04:03, 9.74s/it][A + truthfulqa_vi: 68%|████████████████████████████████████████████████████████████████████████████▊ | 51/75 [08:11<03:46, 9.44s/it][A + truthfulqa_vi: 69%|██████████████████████████████████████████████████████████████████████████████▎ | 52/75 [08:19<03:32, 9.25s/it][A + truthfulqa_vi: 71%|███████████████████████████████████████████████████████████████████████████████▊ | 53/75 [08:29<03:27, 9.45s/it][A + truthfulqa_vi: 72%|█████████████████████████████████████████████████████████████████████████████████▎ | 54/75 [08:39<03:22, 9.62s/it][A + truthfulqa_vi: 73%|██████████████████████████████████████████████████████████████████████████████████▊ | 55/75 [08:49<03:10, 9.54s/it][A + truthfulqa_vi: 75%|████████████████████████████████████████████████████████████████████████████████████▎ | 56/75 [08:59<03:03, 9.65s/it][A + truthfulqa_vi: 76%|█████████████████████████████████████████████████████████████████████████████████████▉ | 57/75 [09:09<02:55, 9.73s/it][A + truthfulqa_vi: 77%|███████████████████████████████████████████████████████████████████████████████████████▍ | 58/75 [09:19<02:51, 10.08s/it][A + truthfulqa_vi: 79%|████████████████████████████████████████████████████████████████████████████████████████▉ | 59/75 [09:30<02:41, 10.09s/it][A + truthfulqa_vi: 80%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 60/75 [09:39<02:29, 9.95s/it][A + truthfulqa_vi: 81%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 61/75 [09:48<02:15, 9.69s/it][A + truthfulqa_vi: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 62/75 [09:58<02:07, 9.78s/it][A + truthfulqa_vi: 84%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 63/75 [10:09<01:59, 9.99s/it][A + truthfulqa_vi: 85%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 64/75 [10:18<01:46, 9.71s/it][A + truthfulqa_vi: 87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/75 [10:27<01:35, 9.56s/it][A + truthfulqa_vi: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 66/75 [10:37<01:25, 9.54s/it][A + truthfulqa_vi: 89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/75 [10:46<01:16, 9.52s/it][A + truthfulqa_vi: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 68/75 [10:56<01:07, 9.66s/it][A + truthfulqa_vi: 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 69/75 [11:05<00:57, 9.54s/it][A + truthfulqa_vi: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/75 [11:15<00:48, 9.63s/it][A + truthfulqa_vi: 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 71/75 [11:24<00:37, 9.37s/it][A + truthfulqa_vi: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/75 [11:34<00:28, 9.54s/it][A + truthfulqa_vi: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/75 [11:43<00:18, 9.42s/it][A + truthfulqa_vi: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:52<00:09, 9.27s/it][A + truthfulqa_vi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:59<00:00, 8.65s/it][A truthfulqa_vi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:59<00:00, 9.59s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_vi_mc1 0.267515923566879 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_vi_mc2 0.4431876857737536 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:17:32,775 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:17:32,775 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:32,905 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:17:32,905 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:33,034 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:17:33,034 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:33,164 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:17:33,165 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 11:17:33,165 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 11:17:33,295 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 11:17:33,296 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_vi_mc1'} +2024-06-01 11:17:33,361 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 11:17:33,361 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1323, 'value': 0.267515923566879} +2024-06-01 11:17:33,427 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:17:34,085 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:17:34,085 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:34,214 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:17:34,214 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:34,344 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:17:34,344 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:34,473 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:17:34,474 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 11:17:34,474 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 11:17:34,604 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 11:17:34,604 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_vi_mc2'} +2024-06-01 11:17:34,670 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 11:17:34,670 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1324, 'value': 0.4431876857737536} +2024-06-01 11:17:34,735 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 123/124 [76:30:04<12:24, 744.63s/it]['truthfulqa_zh'] +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:17:35,391 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:17:35,391 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:35,520 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:17:35,520 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:35,649 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:17:35,649 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:17:35,778 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:17:35,779 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider +FROM tasks +WHERE tasks.name IN (%(name_1_1)s) +2024-06-01 11:17:35,779 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_zh'} +2024-06-01 11:17:35,909 INFO sqlalchemy.engine.Engine ROLLBACK +[Task(name=truthfulqa_zh task_provider=lm_eval)] + + Generating validation split: 0 examples [00:00, ? examples/s][A Generating validation split: 788 examples [00:00, 10817.85 examples/s] +Running loglikelihood requests + + truthfulqa_zh: 0%| | 0/76 [00:00<?, ?it/s][A + truthfulqa_zh: 1%|█▌ | 1/76 [00:07<09:46, 7.82s/it][A + truthfulqa_zh: 3%|███ | 2/76 [00:16<10:05, 8.19s/it][A + truthfulqa_zh: 4%|████▌ | 3/76 [00:24<10:06, 8.31s/it][A + truthfulqa_zh: 5%|██████ | 4/76 [00:32<09:51, 8.21s/it][A + truthfulqa_zh: 7%|███████▌ | 5/76 [00:41<09:47, 8.27s/it][A + truthfulqa_zh: 8%|█████████ | 6/76 [00:49<09:37, 8.25s/it][A + truthfulqa_zh: 9%|██████████▌ | 7/76 [00:56<09:14, 8.04s/it][A + truthfulqa_zh: 11%|████████████ | 8/76 [01:04<08:59, 7.94s/it][A + truthfulqa_zh: 12%|█████████████▌ | 9/76 [01:12<08:54, 7.98s/it][A + truthfulqa_zh: 13%|██████████████▊ | 10/76 [01:20<08:47, 7.99s/it][A + truthfulqa_zh: 14%|████████████████▎ | 11/76 [01:28<08:38, 7.97s/it][A + truthfulqa_zh: 16%|█████████████████▊ | 12/76 [01:36<08:34, 8.03s/it][A + truthfulqa_zh: 17%|███████████████████▎ | 13/76 [01:44<08:21, 7.97s/it][A + truthfulqa_zh: 18%|████████████████████▊ | 14/76 [01:52<08:19, 8.05s/it][A + truthfulqa_zh: 20%|██████████████████████▎ | 15/76 [02:00<08:07, 7.99s/it][A + truthfulqa_zh: 21%|███████████████████████▊ | 16/76 [02:09<08:09, 8.16s/it][A + truthfulqa_zh: 22%|█████████████████████████▎ | 17/76 [02:17<07:56, 8.08s/it][A + truthfulqa_zh: 24%|██████████████████████████▊ | 18/76 [02:24<07:43, 7.98s/it][A + truthfulqa_zh: 25%|████████████████████████████▎ | 19/76 [02:32<07:30, 7.91s/it][A + truthfulqa_zh: 26%|█████████████████████████████▋ | 20/76 [02:40<07:17, 7.81s/it][A + truthfulqa_zh: 28%|███████████████████████████████▏ | 21/76 [02:48<07:09, 7.81s/it][A + truthfulqa_zh: 29%|████████████████████████████████▋ | 22/76 [02:55<07:02, 7.83s/it][A + truthfulqa_zh: 30%|██████████████████████████████████▏ | 23/76 [03:03<06:54, 7.83s/it][A + truthfulqa_zh: 32%|███████████████████████████████████▋ | 24/76 [03:11<06:47, 7.84s/it][A + truthfulqa_zh: 33%|█████████████████████████████████████▏ | 25/76 [03:19<06:39, 7.83s/it][A + truthfulqa_zh: 34%|██████████████████████████████████████▋ | 26/76 [03:27<06:29, 7.80s/it][A + truthfulqa_zh: 36%|████████████████████████████████████████▏ | 27/76 [03:34<06:18, 7.72s/it][A + truthfulqa_zh: 37%|█████████████████████████████████████████▋ | 28/76 [03:42<06:15, 7.82s/it][A + truthfulqa_zh: 38%|███████████████████████████████████████████ | 29/76 [03:50<06:07, 7.82s/it][A + truthfulqa_zh: 39%|████████████████████████████████████████████▌ | 30/76 [03:58<06:00, 7.84s/it][A + truthfulqa_zh: 41%|██████████████████████████████████████████████ | 31/76 [04:06<05:55, 7.89s/it][A + truthfulqa_zh: 42%|███████████████████████████████████████████████▌ | 32/76 [04:14<05:51, 8.00s/it][A + truthfulqa_zh: 43%|█████████████████████████████████████████████████ | 33/76 [04:23<05:47, 8.08s/it][A + truthfulqa_zh: 45%|██████████████████████████████████████████████████▌ | 34/76 [04:31<05:38, 8.07s/it][A + truthfulqa_zh: 46%|████████████████████████████████████████████████████ | 35/76 [04:38<05:26, 7.97s/it][A + truthfulqa_zh: 47%|█████████████████████████████████████████████████████▌ | 36/76 [04:46<05:11, 7.80s/it][A + truthfulqa_zh: 49%|███████████████████████████████████████████████████████ | 37/76 [04:54<05:03, 7.79s/it][A + truthfulqa_zh: 50%|████████████████████████████████████████████████████████▌ | 38/76 [05:01<04:54, 7.75s/it][A + truthfulqa_zh: 51%|█████████████████████████████████████████████████████████▉ | 39/76 [05:09<04:46, 7.76s/it][A + truthfulqa_zh: 53%|███████████████████████████████████████████████████████████▍ | 40/76 [05:17<04:39, 7.75s/it][A + truthfulqa_zh: 54%|████████████████████████████████████████████████████████████▉ | 41/76 [05:25<04:35, 7.87s/it][A + truthfulqa_zh: 55%|██████████████████████████████████████████████████████████████▍ | 42/76 [05:32<04:25, 7.81s/it][A + truthfulqa_zh: 57%|███████████████████████████████████████████████████████████████▉ | 43/76 [05:41<04:22, 7.96s/it][A + truthfulqa_zh: 58%|█████████████████████████████████████████████████████████████████▍ | 44/76 [05:49<04:18, 8.08s/it][A + truthfulqa_zh: 59%|██████████████████████████████████████████████████████████████████▉ | 45/76 [05:57<04:09, 8.06s/it][A + truthfulqa_zh: 61%|████████████████████████████████████████████████████████████████████▍ | 46/76 [06:05<04:01, 8.04s/it][A + truthfulqa_zh: 62%|█████████████████████████████████████████████████████████████████████▉ | 47/76 [06:13<03:52, 8.01s/it][A + truthfulqa_zh: 63%|███████████████████████████████████████████████████████████████████████▎ | 48/76 [06:21<03:42, 7.96s/it][A + truthfulqa_zh: 64%|████████████████████████████████████████████████████████████████████████▊ | 49/76 [06:29<03:36, 8.01s/it][A + truthfulqa_zh: 66%|██████████████████████████████████████████████████████████████████████████▎ | 50/76 [06:38<03:34, 8.23s/it][A + truthfulqa_zh: 67%|███████████████████████████████████████████████████████████████████████████▊ | 51/76 [06:45<03:19, 7.98s/it][A + truthfulqa_zh: 68%|█████████████████████████████████████████████████████████████████████████████▎ | 52/76 [06:54<03:15, 8.16s/it][A + truthfulqa_zh: 70%|██████████████████████████████████████████████████████████████████████████████▊ | 53/76 [07:01<03:03, 7.98s/it][A + truthfulqa_zh: 71%|████████████████████████████████████████████████████████████████████████████████▎ | 54/76 [07:09<02:52, 7.82s/it][A + truthfulqa_zh: 72%|█████████████████████████████████████████████████████████████████████████████████▊ | 55/76 [07:17<02:44, 7.83s/it][A + truthfulqa_zh: 74%|███████████████████████████████████████████████████████████████████████████████████▎ | 56/76 [07:25<02:37, 7.87s/it][A + truthfulqa_zh: 75%|████████████████████████████████████████████████████████████████████████████████████▊ | 57/76 [07:32<02:28, 7.80s/it][A + truthfulqa_zh: 76%|██████████████████████████████████████████████████████████████████████████████████████▏ | 58/76 [07:40<02:20, 7.79s/it][A + truthfulqa_zh: 78%|███████████████████████████████████████████████████████████████████████████████████████▋ | 59/76 [07:48<02:14, 7.91s/it][A + truthfulqa_zh: 79%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 60/76 [07:56<02:06, 7.89s/it][A + truthfulqa_zh: 80%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 61/76 [08:04<01:58, 7.92s/it][A + truthfulqa_zh: 82%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/76 [08:12<01:49, 7.82s/it][A + truthfulqa_zh: 83%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/76 [08:19<01:41, 7.83s/it][A + truthfulqa_zh: 84%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 64/76 [08:27<01:33, 7.83s/it][A + truthfulqa_zh: 86%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 65/76 [08:35<01:26, 7.82s/it][A + truthfulqa_zh: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/76 [08:43<01:18, 7.86s/it][A + truthfulqa_zh: 88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 67/76 [08:51<01:11, 7.89s/it][A + truthfulqa_zh: 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 68/76 [08:59<01:02, 7.80s/it][A + truthfulqa_zh: 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/76 [09:06<00:54, 7.77s/it][A + truthfulqa_zh: 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/76 [09:14<00:46, 7.69s/it][A + truthfulqa_zh: 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 71/76 [09:21<00:38, 7.66s/it][A + truthfulqa_zh: 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 72/76 [09:29<00:31, 7.77s/it][A + truthfulqa_zh: 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 73/76 [09:37<00:23, 7.73s/it][A + truthfulqa_zh: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 74/76 [09:45<00:15, 7.85s/it][A + truthfulqa_zh: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [09:53<00:07, 7.90s/it][A + truthfulqa_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [09:58<00:00, 6.95s/it][A truthfulqa_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [09:58<00:00, 7.87s/it] +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_zh_mc1 0.30710659898477155 +Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_zh_mc2 0.4713374825220428 +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:27:35,475 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:27:35,475 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:27:35,601 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:27:35,601 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:27:35,726 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:27:35,726 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:27:35,852 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:27:35,853 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 11:27:35,853 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 11:27:35,979 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 11:27:35,980 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_zh_mc1'} +2024-06-01 11:27:36,043 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 11:27:36,044 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1325, 'value': 0.30710659898477155} +2024-06-01 11:27:36,108 INFO sqlalchemy.engine.Engine COMMIT +postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres +2024-06-01 11:27:36,733 INFO sqlalchemy.engine.Engine select pg_catalog.version() +2024-06-01 11:27:36,734 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:27:36,856 INFO sqlalchemy.engine.Engine select current_schema() +2024-06-01 11:27:36,856 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:27:36,979 INFO sqlalchemy.engine.Engine show standard_conforming_strings +2024-06-01 11:27:36,979 INFO sqlalchemy.engine.Engine [raw sql] {} +2024-06-01 11:27:37,102 INFO sqlalchemy.engine.Engine BEGIN (implicit) +2024-06-01 11:27:37,103 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id +FROM checkpoints +WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s +2024-06-01 11:27:37,103 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'} +2024-06-01 11:27:37,227 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id +FROM metrics +WHERE metrics.name = %(name_1)s +2024-06-01 11:27:37,227 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_zh_mc2'} +2024-06-01 11:27:37,289 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id +2024-06-01 11:27:37,289 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1326, 'value': 0.4713374825220428} +2024-06-01 11:27:37,352 INFO sqlalchemy.engine.Engine COMMIT + ALL TASKS: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 124/124 [76:40:06<00:00, 702.03s/it] ALL TASKS: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 124/124 [76:40:06<00:00, 2225.86s/it] +Tasks: ['arc_ar', 'arc_bn', 'arc_ca', 'arc_da', 'arc_de', 'arc_es', 'arc_eu', 'arc_fr', 'arc_gu', 'arc_hi', 'arc_hr', 'arc_hu', 'arc_hy', 'arc_id', 'arc_it', 'arc_kn', 'arc_ml', 'arc_mr', 'arc_ne', 'arc_nl', 'arc_pt', 'arc_ro', 'arc_ru', 'arc_sk', 'arc_sr', 'arc_sv', 'arc_ta', 'arc_te', 'arc_uk', 'arc_vi', 'arc_zh', 'hellaswag_ar', 'hellaswag_bn', 'hellaswag_ca', 'hellaswag_da', 'hellaswag_de', 'hellaswag_es', 'hellaswag_eu', 'hellaswag_fr', 'hellaswag_gu', 'hellaswag_hi', 'hellaswag_hr', 'hellaswag_hu', 'hellaswag_hy', 'hellaswag_id', 'hellaswag_it', 'hellaswag_kn', 'hellaswag_ml', 'hellaswag_mr', 'hellaswag_ne', 'hellaswag_nl', 'hellaswag_pt', 'hellaswag_ro', 'hellaswag_ru', 'hellaswag_sk', 'hellaswag_sr', 'hellaswag_sv', 'hellaswag_ta', 'hellaswag_te', 'hellaswag_uk', 'hellaswag_vi', 'hellaswag_zh', 'mmlu_ar', 'mmlu_bn', 'mmlu_ca', 'mmlu_da', 'mmlu_de', 'mmlu_es', 'mmlu_eu', 'mmlu_fr', 'mmlu_gu', 'mmlu_hi', 'mmlu_hr', 'mmlu_hu', 'mmlu_hy', 'mmlu_id', 'mmlu_it', 'mmlu_kn', 'mmlu_ml', 'mmlu_mr', 'mmlu_ne', 'mmlu_nl', 'mmlu_pt', 'mmlu_ro', 'mmlu_ru', 'mmlu_sk', 'mmlu_sr', 'mmlu_sv', 'mmlu_ta', 'mmlu_te', 'mmlu_uk', 'mmlu_vi', 'mmlu_zh', 'truthfulqa_ar', 'truthfulqa_bn', 'truthfulqa_ca', 'truthfulqa_da', 'truthfulqa_de', 'truthfulqa_es', 'truthfulqa_eu', 'truthfulqa_fr', 'truthfulqa_gu', 'truthfulqa_hi', 'truthfulqa_hr', 'truthfulqa_hu', 'truthfulqa_hy', 'truthfulqa_id', 'truthfulqa_it', 'truthfulqa_kn', 'truthfulqa_ml', 'truthfulqa_mr', 'truthfulqa_ne', 'truthfulqa_nl', 'truthfulqa_pt', 'truthfulqa_ro', 'truthfulqa_ru', 'truthfulqa_sk', 'truthfulqa_sr', 'truthfulqa_sv', 'truthfulqa_ta', 'truthfulqa_te', 'truthfulqa_uk', 'truthfulqa_vi', 'truthfulqa_zh'] +Failure rate: 0.0 (0 out of 3098572 samples failed). +Eval done. +Eval done.