Context-Aware-Splitter

Context-aware-splitter er en model til retrieval augmented generation. Modellen er udviklet til at opdele tekster på den mest optimale måde givet en kontekst.

Opdeling af tekster er vigtigt ift. retrieval augmented generation, da de skal bruges til at finde de relevante stykker tekst frem.

Modellen er trænet på mhenrichsen/context-aware-splits, som er et datasæt genereret vh.a. DanskGPT.