195
19. ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА В
ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ
19.1 Основные понятия о системах, использующих
естественный язык
Системы, в которых используется естественный язык (ЕЯ) можно
разделить на классы как показано на рис. 19.1 [3].
Рисунок 19.1 - Основные классы прикладных систем, основанных на ЕЯ,
и решаемые при их создании задачи
Говоря о возможных решениях задачи анализа естественного языка
(моделирования понимания системой ИИ естественного языка), можно
выделить следующие два основных подхода [3]:
1.
Психолингвистический подход
– состоит в моделировании
психологических
механизмов
человека,
обеспечивающих
полноценное понимание естественно-языковых текстов.
2.
Утилитарный подход
– состоит в
создании технических средств,
обеспечивающих
взаимодействие
на
естественном
языке
с
компьютерными системами различного назначения, решающими
какие-то свои задачи, сами по себе, чаще всего нелингвистические.
Первый из них связан с большими трудностями, т. к. естественный
язык и диалог на нем отражает в себе все
многообразие и сложность
мышления в естественном мозге. Это – использование контекста, умолчаний,
анафорических ссылок, метафор, здравого смысла, внелингвистических
методов передачи информации в процессе диалога (жесты, мимика). Таким
196
образом, его реализацию можно приравнять к реализации искусственного
разума в полном объеме.
Утилитарный подход
связан с разработкой систем, понимающих
ограниченный или похожий на естественный язык (деловой прозы).
Существуют
два
основных
подхода
к
реализации
систем,
моделирующих понимание естественного языка (ЕЯ) [3]:
-
синтаксически-ориентированный,
-
семантически-ориентированный.
В синтаксически-ориентированном подходе строго выдерживается
следующая последовательность этапов анализа [3]:
1) морфологический
анализ
–
анализ
структуры
слов,
т. е.
распознавание корня и аффиксов (приставок, суффиксов, окончаний), с
использованием словарей корней и аффиксов;
2) синтаксический анализ – анализ структуры предложения, т. е. частей
предложения (или ролей слов в нем) с использованием грамматики языка;
3) семантический анализ – анализ смысла предложения, т.е.
интерпретация его в терминах представления смысла, с использованием базы
знаний о предметной области и знаний о синтаксисе представления смысла;
4) прагматический анализ – анализ целей предложения или ожиданий и
желаний его источника с целью планирования
реакции на анализируемое
предложение.
Недостатками синтаксически-ориентированного подхода являются [3]:
-
расточительность в использовании ресурсов – времени и памяти за
счет необходимости использования огромной грамматики ЕЯ и
емких словарей;
-
сложность и трудоемкость обнаружения и исправления на
последующих этапах ошибок анализа,
допущенных на предыдущих
этапах с учетом того, что морфологические и синтаксические
ошибки в предложениях ЕЯ вполне естественны.
В отличие от этого подхода в семантически-ориентированном анализе
главным и первым этапом анализа является анализ семантики (смысла),
иногда, предварительный, т. к. далее
смысл может уточняться с
использованием уже синтаксического и морфологического анализа. В этом
случае можно говорить не об анализе, а о распознавании смысла
предложения.