Программа анализа тональности текстов на основе методов

Бинарные векторы	84,5	88,25	85,3
91,5
Частотные векторы	85,2	87,4	86,2	89,4

Наивный Байесовский классификатор показал очень хорошие результаты, наиболее эффективной конфигурацией в плане точности оказалось сочетание биграмм и частотной функции взвешивания – точность 86%. Хотя, на рассматриваемой выборке, для разных параметров классификации, оценка точности варьируется слабо – поэтому эффективным можно считать любое сочетание.

Таблица 4. Метод k ближайших соседей (для k = 3)

Векторная модель	Униграммы		Биграммы
Веса векторов	Точность, %	Полнота, %	Точность, %	Полнота, %
Бинарные векторы	63,6	68,5	52,3	80
Частотные векторы	61,75	71,5	51	96,1

Были получены довольно низкие результаты для метода k ближайших соседей. Лучший результат – 63% точности для сочетания униграмм и бинарной функции взвешивания. Это может быть объяснено тем, что для формирования векторов использовался весь словарь обучающей выборки, заключающий в себе примерно 30000 уникальных терминов для униграмм. Словарь терминов-биграмм гораздо больше, т.к. уникальных биграмм в выборке очень много. Вследствие этого, каждый конкретный вектор имел много измерений, был сильно разрежен. В этом случае, все вектора в n-мерном пространстве почти одинаково далеки друг от друга, что дает весьма неточный результат в поиске ближайших соседей. Предположительно, результат станет лучше после сокращения словаря, определения ключевых слов.