ScandEval

ScandEval er en benchmarking platform for sprogmodeller på dansk, norsk (både bokmål og nynorsk), svensk, islandsk og færøsk. Den indeholder først og fremmest en benchmarking Python pakke, scandeval, som uniformt kan benchmarke alle modeller fra Hugging Face Hub på de 29 datasæt indeholdt i benchmarket. Derudover er der også udgivet ScandEval leaderboards, som sammenligner alle de skandinaviske (og multilinguale) sprogmodeller, som er tilgængelige. Dette udgør pr dags dato 67 modeller.

Udgivet under MIT license

Data og Distribution(er)

ScandEval - Python PakkePython
Tilgå ScandEval pakken til Python.
Mere information
Language model benchmark - HTMLHTML
Se sprogmodels benchmarken fra ScandEval projektet her.
Mere information

Yderligere info

Felt	Værdi
Destinationsside	https://scandeval.github.io/nlu-benchmark/
Metadata sidst opdateret	april 21, 2023, 12:36 (UTC)
Metadata oprettet	november 25, 2021, 14:44 (UTC)
Emne	Sprog og retskrivning Uddannelse, kultur og sport
Kontaktemail	saattrupdan@gmail.com
Kontaktnavn	Dan Saattrup Nielsen
Opdateringsfrekvens	http://publications.europa.eu/resource/authority/frequency/BIWEEKLY
URI	https://data.gov.dk/dataset/lang/72da83f5-b6f6-470a-9df2-15f1ae199f76
Udgivelsesdato	09-08-2021
Udgivernavn	Dan Saattrup Nielsen
Dokumentation	https://arxiv.org/pdf/2304.00906.pdf