Методы повышения показателей качества фильтрации dlp-систем на основе предметно-ориентированной морфологической модели естественного языка

Контекстно-зависимые грамматики Хомского 
Основоположником применения формальных грамматик к описанию ЕЯ 
можно считать Ноама Хомского. Он первый в явном виде сформулировал задачу 
превращения лингвистики в точную науку путем построения формализуемых 
моделей языка, которые могут быть реализованы на компьютере, назвав это 
генеративной парадигмой [73]. Рассмотрим возможность применения моделей ЕЯ 
на основе грамматик Хомского в морфологических анализаторах DLP-систем. 
Введем следующие обозначения: 
A – алфавит 
L – язык 
G – грамматика 
Совокупность строк (или предложений) называется языком. Формально, язык 
L над алфавитом A – это множество строк в
⋃
, поэтому 
. 
Следовательно, операции над строками индуцируют операции на языках. Отсюда 
получаем 
и 
следующим образом: 
а) 
{ } ; 
б) если 
и 
– языки, то 
{
} ; 
в) 
; 
г) 
⋃
д) 
⋃
 
Обозначим через L(G) язык, порожденный грамматикой G. Тогда алгоритм 
проверки вхождения 
называется грамматическим разбором; он 
использует α и G. 
Грамматикой с фазовой структурой (ГФС) G называется алгебраическая 
структура, содержащая из упорядоченной четверки (N, T, P, S), где: 

---

25 
а) N и T – непустые конечные алфавиты нетерминальных и терминальных 
символов соответственно, таких что 
; 
б) P – конечное множество продукций, 
, где 
называется словарем G; 
в) 
называется начальным символом или источником. 
Предполагая, что символ → не содержится в V, соотношение 
обычно записывают в виде 
. 
Понятие продукции, которую также называют правилом преобразования, 
должно давать возможность заменять одну строку символов другой. 
Терминальные символы обычно расматриваются как неизменяемые символы.
Иерархия грамматик Хомского определяется следующим образом. Пусть 
является ГФС, описанной выше. Такую грамматику называют 
грамматикой Хомского типа 0. Если все элементы P получаются из формы 
, 
где 
, a 
, 
, 
,
, то говорят что G является 
контекстно-зависимой грамматикой, или грамматикой Хомского типа 1. Здесь 
строки 
и 
могут рассматриваться как контекст, в котором 
может заменяться 
посредством 
. 
Существует и другое ограничение для гамматики Хомского типа 1: в каждой 
продукции 
и должны быть такими, чтобы | | | |. Эти определения 
эквивалентны. 
Если подстановки могут быть выполнены без рассмотрения контекстов,
тогда можно заменить «контексты» 
и 
пустой строкой 
и получить более 
слабое ограничение: если 
, то и
. Этому ограничению 
удовлетворяют грамматики Хомского типа 2. Наконец, если P состоит только из 
продукций вида 
, где и (так, что правая часть является 
или единичным терминалом, или единичным терминалом, за которым следует 
единичный нетерминал), то говорят что G является грамматикой Хомского типа 3. 
Часто бывает полезно использовать более общие формы внутри множества 
продукций, хотя формально это не разрешается. Удобно включать пустую строку 

---

26 
Ʌ в качестве правой части любой продукции. Такие Ʌ-продукции крайне 
необходимы с общей точки зрения, если только 
. В этом случае мы можем 
добавить 
к P при условии, что S не втречается в правой части любой 
продукции. Однако в некоторых случаях необходимо разрешать также и более 
общие Ʌ-продукции. Чтобы различать грамматики Хомского и те грамматики, в 
которых разрешаются Ʌ-продукции, вводятся расширеные версии грамматик 
Хомского типа 2 и 3 – контестно-свободные и регулярные грамматики 
соответственно. 
Языки, порожденные каким-либо из этих типов грамматик, имеют 
аналогичные названия. Так, структурная грамматика порождает структурный 
язык, структурная грамматика Хомского типа 1 – язык Хомского типа 1, 
контекстно-свободная грамматика – контекстно-свободный язык, а регулярная 
грамматика порождает регулярный язык [5]. 
На практике конеткстно-свободные грамматики используются достаточно 
широко, однако в чистом виде непригодны для полноценного анализа, так как их 
мощности недостаточно для работы с синтаксическими явлениями, 
характеризующимися наличием нелокальных связей, как, например, разрывные 
составляющие и эллипсис [6]. 
Контекстно-зависимые грамматики, будучи несколько более мощными чем 
КС-грамматики, позволяют анализировать большинство типов синтаксически 
релевантных нелокальных связей. Наиболее распространенными формальными 
системами данного класса являются древоприсоединительные грамматики [7]. 
Контекстно-зависимые грамматики позволяют определять языковые 
структуры, не охваченные контекстно-независимыми грамматиками, но их 
практическое применение при создании анализаторов для DLP-систем сопряжено 
с некоторыми сложностями следующего характера. 
1. При использовании контекстно-зависимых грамматик резко возрастает 
количество правил и нетерминальных символов.
2. В контекстно-зависимых грамматиках размывается структура фраз языка, 
столь ясно представимая с помощью контекстно-независимых правил. 

---

27 
3. При попытке описать более сложные соглашения и обеспечить 
семантическую согласованность самой грамматики теряются многие 
преимущества разделения синтаксическою и семантического компонентов 
языка. 
4. Контекстно-зависимые грамматики не решают проблемы построения 
семантического представления значения текста. Анализатор, который 
просто принимает или отвергает предложение, никому не нужен. Он 
должен возвращать эффективное представление семантического значения 
предложений [21].