Dansk ConvBERT

To forskellige størrelser ConvBERT modeller prætrænet på dansk tekstdata (omtrent 17,5 GB data). Til prætræning er der anvendt ELECTRA Pretraining metoden.

ConvBERT er en videreudvikling af BERT model, hvor man har modificeret self-attention komponenten til at modellere global og lokal kontekst mere effektivt. Dette betyder mindre træningsomkostninger og færre model parametre. Det har dog ikke givet markant udslag på kvaliteten af modellen, der præsterer ligeså godt eller bedre end BERT i forskellige NLP opgaver. I denne finder du en dansk udgave af ConvBERT modellen.

Hvis du er interesseret i at læse mere om ConvBERT kan du læse forskningsartiklen ConvBERT: Improving BERT with Span-based Dynamic Convolution