تنقيب المراجعاتالمقطع اللفظي (N-gram)
مجموعة من N كلمات متتالية. وهي وحدة استخراج العبارات من نصّ طويل.
بتقطيع مراجعة أو وصف إلى مجموعات من كلمة وكلمتين وثلاث تخرج العبارات المرشّحة. وهذه هي الخطوة التي تحوّل النصّ الحرّ إلى شيء قابل للقياس.
وما يجعل الاستخراج نافعًا هو المرشّح لا التقطيع. تُستبعد الكلمات الفارغة وتكرار العلامة و — المرشّح الأكثر تغييرًا للنتيجة — العبارات التي فيها ضمير متكلّم أو مخاطب.
وطيّ الأحرف يجري بقواعد البلد لا بقواعد عامّة. فتطبيق القواعد التركية في كل مكان يحوّل AI إلى شيء آخر، وعبارة مطويّة بطريقتين عبارتان بالنسبة للنظام.