Autism Spectrum Disorder QA (ASD QA) supports the inclusion of people with special needs. First of all, it is a QA dataset in the Russian language for the inclusion of people with autism spectrum disorder (ASD) and Asperger syndrome in particular. The dataset is based on the data from the informational website. The usage of the data is agreed.
Example of results obtained on the project dataset
Results may vary according to the dataset settings and model parameters.
| Base model | F-Score | Exact Match |
|---|---|---|
| XLM-RoBERTa | 0.48 | 0.39 |
| Multilingual BERT | 0.40 | 0.29 |
| Multilingual DistilBERT | 0.42 | 0.32 |
| Russian BERT (Geotrend) | 0.39 | 0.30 |
| 774M GPT-2 | 0.63 | 0.52 |
| 117M GPT-2 | 0.53 | 0.43 |
BERT based model
Q: Каковы социальные черты синдрома Аспергера?
A: Некоторые люди полагают, что синдром Аспергера не более чем иной "способ мышления", то есть вариант нормы.
GPT-2 based model
Q: Отличается ли у аутистов мировосприятие?
A: Некоторые станут утверждать, что несомненно да.