БенчмаркиFunctionary Swahili LargeUrdu (Pakistan) завдань

Functionary Swahili Large

8 завдань

Кожен рядок нижче — це окреме завдання бенчмарку, на якому оцінювали цю модель. Стовпець «Оцінка» усереднює всі метрики завдання (точність, F1, точний збіг тощо). Натисніть рядок, щоб переглянути окремі запитання та відповіді моделі.

Середнє

59.1

Оцінка	Мова	Завдання	Метрики
79.1	Urdu (Pakistan)	urdu_uquad urdu qa llm_judge_score: 79.1sample_len: 139.0	llm_judge_score: 79.1sample_len: 139.0
72.4	Urdu (Pakistan)	urdu_factcheckbench urdu claim f1_macro: 72.4sample_len: 387.0	f1_macro: 72.4sample_len: 387.0
71.4	Urdu (Pakistan)	urdu_fake_news urdu classification f1_macro: 71.4sample_len: 300.0	f1_macro: 71.4sample_len: 300.0
70.7	Urdu (Pakistan)	urdu_bingcheck urdu claim f1_macro: 70.7sample_len: 102.0	f1_macro: 70.7sample_len: 102.0
69.0	Urdu (Pakistan)	urdu_facttool_qa urdu claim f1_macro: 69.0sample_len: 160.0	f1_macro: 69.0sample_len: 160.0
56.7	Urdu (Pakistan)	urdu_freshqa urdu qa llm_judge_score: 56.7sample_len: 323.0	llm_judge_score: 56.7sample_len: 323.0
31.5	Urdu (Pakistan)	urdu_emotion_class urdu classification f1_macro: 31.5sample_len: 200.0	f1_macro: 31.5sample_len: 200.0
22.0	Urdu (Pakistan)	urdu_simpleqa urdu qa llm_judge_score: 22.0sample_len: 200.0	llm_judge_score: 22.0sample_len: 200.0