N-ग्राम

किसी समीक्षा या विवरण को एक, दो और तीन शब्दों के समूहों में काटने से उम्मीदवार वाक्यांश निकलते हैं। यही वह क़दम है जो मुक्त पाठ को मापने योग्य चीज़ में बदलता है।

निष्कर्षण को उपयोगी छननी बनाती है, कटाई नहीं। निरर्थक शब्द, ब्रांड के दोहराव और — नतीजा सबसे ज़्यादा बदलने वाली छननी — पहले या दूसरे पुरुष के सर्वनाम वाले वाक्यांश हटा दिए जाते हैं।

अक्षरों का मोड़ना देश के नियमों से होता है, वैश्विक नियमों से नहीं। तुर्की नियम हर जगह लगाने से AI कुछ और बन जाता है, और दो तरह से मोड़ा गया वाक्यांश सिस्टम के लिए दो वाक्यांश हैं।