Predstavitev normalizacije

V tem poglavju je strnjeno predstavljen potek normalizacije nestandardnih besed. Podrobnejšo predstavitev najdete v smernicah v poglavju Označevalne smernice.

Normalizacija tvitov, v tabeli razdeljenih na pojavnice, je potekala hkrati s tokenizacijo.
Pri ročnem pregledu je bilo odkritih 5 vrst popravkov:

Pojavnica tokenizacija normalizacija
zato
tukó tako
nauta ne l bosta
s s’m sem
$0 $0
m $0 $0
pršva prišla

Tabela 1: Normalizacija in tokenizacija tvita.


Revision #11
Created 5 March 2023 21:30:52 by Tina Munda
Updated 30 November 2023 12:12:30 by Tina Munda