"Пару лет назад писал здесь про поиск ""аномальных токенов"" в GPT-3. Аномальные токены — это такие слова, при работе с которыми LLM начинает сходить с ума и вести себя неправильно. Сейчас наткнулся на пост чувака, который нашел кучу подобных токенов в новой deepseek. С deepseek и подобными ""проклятыми"" словами играться куда интереснее, потому что в отличие от GPT-3 можно посмотреть еще и процесс размышлений модельки перед ответом. Там же автор описывает довольно интересный процесс поиска подобных слов и показывает примеры поведения LLM при работе с ними. Занятие на вечер найдено — буду придрачивать deepseek этими токенами до посинения"