Добыча из отзывовN-грамма
Группа из N идущих подряд слов. Единица, которой извлекают фразы из длинного текста.
Разрезав отзыв или описание на группы из одного, двух и трёх слов, получают фразы-кандидаты. Это шаг, который превращает свободный текст в нечто измеримое.
Полезным извлечение делает фильтр, а не разрез. Отбрасываются служебные слова, повторы бренда и — фильтр, сильнее всего меняющий результат — фразы с местоимениями первого и второго лица.
Свёртка регистра идёт по правилам страны, а не по глобальным. Применить турецкие правила везде — значит превратить AI во что-то другое, а фраза, свёрнутая двумя способами, это две фразы для системы.