Minería de reseñasN-grama
Un grupo de N palabras seguidas. La unidad con la que se extraen frases de un texto largo.
Al partir una reseña o una descripción en grupos de una, dos y tres palabras salen las frases candidatas. Es el paso que convierte texto libre en algo que se puede medir.
Lo que hace útil la extracción es el filtro, no el corte. Se descartan las palabras vacías, las repeticiones de marca y - el filtro que más cambia el resultado - las frases con pronombres de primera o segunda persona, porque la gente escribe frases que se posicionan pero que nadie busca.
El plegado de mayúsculas se hace con las reglas del país, no con reglas globales. Aplicar las reglas turcas en todas partes convierte AI en algo distinto, y una frase plegada de dos formas es dos frases para el sistema.