Extraction depuis les avisN-gramme
Un groupe de N mots consécutifs. L'unité avec laquelle on extrait des expressions d'un texte long.
En découpant un avis ou une description en groupes d'un, deux et trois mots, on obtient les expressions candidates. C'est l'étape qui transforme du texte libre en quelque chose de mesurable.
Ce qui rend l'extraction utile, c'est le filtre et non le découpage. On écarte les mots vides, les répétitions de marque et - le filtre qui change le plus le résultat - les expressions contenant un pronom de première ou de deuxième personne.
Le pliage des majuscules suit les règles du pays, pas des règles globales. Appliquer partout les règles turques transforme « AI » en autre chose, et une expression pliée de deux façons fait deux expressions pour le système.