Invitation til workshop om evaluering og benchmarking af sprogmodeller på dansk

25. juni 2024

Digitaliseringsstyrelsen inviterer til workshop om evaluering og benchmarking af sprogmodeller på dansk fredag d. 20. september 2024 fra 10:00-15:00, med mulighed for networking frem til 16:00. Det sker i vores lokaler på Landgreven 4, 1301 KBH K.


Dekorativt indhold
Billedet er genereret med kunstig intelligens.

Dagen vil være delt i to hovedsektioner.


  • Først tager vi en status på større igangværende danske indsatser med evaluering/benchmarking af sprogmodeller. Her får vi oplæg om ScandEval (Alexandra Instituttet), Scandinavian Embedding Benchmark (Aarhus Universitet), Danish Semantic Reasoning Benchmark (Københavns Universitet og Dansk Sprog- og Litteraturselskab) samt Danoliterate (DTU), hvor der også vil være mulighed for, at I kan stille spørgsmål til disse værktøjer. Der vil også blive afsat tid til, at deltagere selv kan fortælle om projekter, de måtte sidde med på området.
  • Efter frokost vil vi dernæst bevæge os over i en diskussion af behovet for yderligere indsatser på området, herunder om der mangler specifikke data til evalueringsopgaver på dansk og i så fald hvilke? Diskussionen skal også lægge op til en afklaring af, hvilke målrettede indsatser, det vil give mening for Digitaliseringsstyrelsen (og måske øvrige aktører) at løfte, som kan understøtte det bredere arbejde på området.

Vi forventer, at der vil være plads til ca. 40 deltagere, som fortrinsvis uddeles til de først tilmeldte. Meld derfor gerne snarest tilbage til os på info@sprogteknologi.dk, hvis du er interesseret i at deltage på workshoppen.
Du kan se programmet for dagen neden for. Vi tager forbehold for, at der kan forekomme ændringer.

Program for evalueringsworkshop

Tid Programpunkt
10:00-10:15 Velkommen og rammesætning.
10:15-10:40 Introduktion til evaluering af sprogmodeller og præsentation om ScandEval ved Dan Saattrup Nielsen.
10:40-11:00 Præsentation om Scandinavian Embedding Benchmark ved Kenneth Enevoldsen.
11:00-11:15 Pause.
11:15-11:35 Præsentation om Danish Semantic Reasoning Benchmark ved Center for Sprogteknologi og Dansk Sprog- og Litteraturselskab.
11:35-11:55 Præsentation om Danoliterate ved Søren Vejlgaard Holm.
11:55-12:15 Øvrige projekter?
12:15-12:45 Frokost.
12:45-13:15 Gruppediskussion: Hvad har vi nu? Og hvad mangler vi?
13:15-13:45 Præsentation og diskussion i plenum.
13:45-14:00 Pause.
14:00-14:30 Gruppediskussion: Hvordan kan vi imødekomme manglerne? Og hvem skal involveres i dette arbejde?
14:30-15:00 Præsentation og diskussion i plenum samt opsamling og afrunding.
15:00-16:00 Mulighed for networking.