Predstavitev normalizacije

V tem poglavju je strnjeno predstavljen potek normalizacije nestandardnih besed. Podrobnejšo predstavitev najdete v smernicah v poglavju Označevalne smernice.

Normalizacija tvitov, v tabeli razdeljenih na pojavnice, je potekala hkrati s tokenizacijo.
Pri ročnem pregledu je bilo odkritih 5 vrst popravkov:

• Beseda, ki ji je bilo treba zgolj pripisati normalizirano ustreznico, npr. tukó, ki je bil ročno normaliziran v tako.
  
• Več besed, ki so bile nestandardno zapisane skupaj in jih je bilo treba razdružiti ter po potrebi še normalizirati, npr. nauta v ne in bosta, pri čemer je presledek med pojavnicama označen z navpičnico | (gl. Tabelo 1).
  
• Beseda, ki je bila nestandardno zapisana v več pojavnicah in jo je bilo treba združiti v eno in združek po potrebi normalizirati, npr. o ga bn v ogabno; odvečne vrstice (gl. Tabelo 1) so bile označene s sosledjem znakov $0.
  
• Beseda, ki jo je tokenizator avtomatsko razdružil; npr. s'm (narečni zapis oblike »sem« pomožnega glagola) v tri pojavnice: s + ' + m. Tovrstne pojavnice so bile najprej ročno združene in po potrebi normalizirane.
  
• Beseda, ki jo je tokenizator avtomatsko združil, npr. 5km kot ena pojavnica, kar je bilo treba ročno razdružiti in po potrebi normalizirati.
  

Tabela 1: Normalizacija in tokenizacija tvita.