1. Transformer architektúra
Základom súčasných systémov je mechanizmus "attention". Tento algoritmus umožňuje stroju identifikovať kontextové prepojenia medzi slovami bez ohľadu na ich vzdialenosť v texte. Na rozdiel od starších RNN modelov, transformery spracovávajú dáta paralelne. To výrazne zvyšuje rýchlosť tréningu a presnosť výsledkov.
2. Vektorové vkladanie (Embeddings)
Slová nie sú pre AI reťazce písmen. Sú to body vo viacrozmernom priestore. Každý pojem má svoje súradnice. Podobné slová ako "auto" a "vozidlo" sa nachádzajú blízko seba. Tento matematický prístup eliminuje chyby v synonymách. Systém chápe význam, nielen formu.
- Redukcia sémantického šumu v odborných textoch.
- Presná identifikácia gramatických kategórií.