Программа анализа тональности текстов на основе методов

3.4. Дальнейшие направления исследований

Для повышения эффективности программы, возможно, следует дополнить существующее решение элементами лингвистики. Лингвистические подходы позволяют определять тональность частей текста, тем самым существенно увеличивая точность классификации для отдельного текста – ведь, как правило, в рецензиях упоминаются и положительные и отрицательные стороны объекта тональности.

Кроме этого, стоит исключать из составляетмого словаря слова, не имеющие эмоциональной окраски, т.е. незначащие. Вполне возможно, что лучшие результаты даст извлечение ключевых слов (признаков).
Далее, для уменьшения словаря, также стоит проводить стемминг (приведение слов к их стеммам - основам). Также, можно высчитывать важность слов: например, согласно нотации TF.IDF. Важными словами для конкретного текста будут считаться слова, часто встречающиеся в данном тексте и редко – в остальных текстах выборки. Малозначимые слова можно убирать из словаря, тем самым, опять же, уменьшая его.

Заключение

В ходе данного исследования была реализована программа анализа тональности текстов на основе методов машинного обучения.

Были решены следующие задачи:

1. 
   Изучена проблема анализа тональности, проанализированы подходы ее решения.
   
2. 
   Релизовано два алгоритма классификации текстов по тональности (наивный Байесовский классификатор и алгоритм k ближайших соседей).
   
3. 
   Выбраны метрики и вычислены оценки эффективности алгоритмов.
   
4. 
   Проведено тестирование эффективности алгоритмов методом кросс-валидации.
   
5. 
   Для каждого алгоритма было выбрано сочетание векторной модели языка (биграммы, униграммы) и функции весов (бинарная, частотная), которое дало наилучший показатель точности на данной выборке.
   

Для повышения оценок эффективности алгоритмов, предположительно, следует дополнить их элементами лингвистического анализа. Исследования [3, 4, 7] показывают, что лучшие результаты достигаются путем комбинирования лингвистического и статистического подходов.