tokenizer

close. #114

readme.md

@@ -1012,6 +1012,7 @@ thumbnail | миниатюра(ч) | _в буквален превод озна
 time-series data | времеви данни(ч) | _или времеви серии(ч)_
 time zone | часови пояс
 token | знак, жетон(ч), белег | token е „нещо“, което може да „дадете“, „размените“ и чрез което можете да удостоверите/разпознаете еднозначно феномен или ресурс. _жетон е възприет превод, но е чуждица от френското jeton (от jeter — хвърлям, мятам). най-лесно ако трябва да се обясни е "карта за достъп". интересно дали можем да възприемем знак или значка като превод, защото знак е [от ст.б.](https://ru.wiktionary.org/wiki/%D0%B7%D0%BD%D0%B0%D0%BA#%D0%AD%D1%82%D0%B8%D0%BC%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F), отбелязано като църкславянски, което е същото по отношение на корените на думите и най-вероятно е синоним или кратка форма на [ꙁнамень  ](https://histdict.uni-sofia.bg/oldbgdict/oldbg_show/d_02916/)_
+tokenizer | раздробител, разчленител | _разчленител сякаш не е книжовна дума, въпрреки, че в обществената реч е вече възприето макар и с негативен смисъл. има "[разломявам](https://histdict.uni-sofia.bg/oldbgdict/oldbg_show/d_08127/)", от което би следвало да има дума "ломител" или "ломач", но такава няма. но пък има [ломт](https://histdict.uni-sofia.bg/oldbgdict/oldbg_show/d_04189/) в ст.б., от което би следвало "ломитан" да е тоя дето ломи..._
 tool | уред, прибор, пособие, оръдие (на труда), средство, инструмент(ч) | _инструмент е директна заемка [от латински](https://ru.wiktionary.org/wiki/%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82#%D0%AD%D1%82%D0%B8%D0%BC%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F); 'it is possible with other tools' може да се преведе като 'това става с други средства'_
 topic | тема(ч), въпрос, предмет на разговор | за сравнение - title е заглавие, subject е по-скоро „конкретна тема“.
 touchscreen | допирен екран | _50% преведено, пак е нещо (от @avataar)_