Predstavitev normalizacije
V tem poglavju je strnjeno predstavljen potek normalizacije nestandardnih besed. Podrobnejšo predstavitev najdete v smernicah v poglavju Označevalne smernice.
Normalizacija tvitov, v tabeli razdeljenih na pojavnice, je potekala hkrati s tokenizacijo.
Šlo je za 5 vrst ročnih popravkov:
Več besed, ki so bile nestandardno zapisane skupaj in jih je bilo treba razdružiti ter po potrebi še normalizirati, npr. nauta v ne in bosta, pri čemer je presledek med pojavnicama označen z navpičnico |; gl. tabelo.
Beseda, ki je bila nestandardno zapisana v več pojavnicah in jo je bila treba združiti v eno in združek po potrebi normalizirati, npr. o ga bn v ogabno; odvečne vrstice (gl. tabelo) so bile označene s sosledje znakov $0.
Beseda, ki jo je tokenizator avtomatsko razdružil; npr. s'm (narečni zapis pomožnega glagola »sem«) v tri pojavnice s + ' + m. Tovrstne pojavnice so bile najprej ročno združene in po potrebi normalizirane.
Beseda, ki jo je tokenizator avtomatsko združil, npr. 5km kot ena pojavnica, kar je bilo treba ročno razdružiti in po potrebi normalizirati.