|
Г Л А В А 1
ОБЩИЕ СВЕДЕНИЯ О СТАТИСТИЧЕСКИХ ПОДХОДАХ
К ИССЛЕДОВАНИЮ ЯЗЫКОВЫХ СТРУКТУР
ВВЕДЕНИЕ
С развитием кибернетики и возрастающей роли электронно-вычис-
лительной техники в обработке большого объема информации особое
значение приобретает математическое моделирование языковых струк-
тур, без которого значительно сужаются возможности автоматизации
переработки сообщений на естественном языке.
Математическое моделирование предполагает ф о р м а л ь н о -
с т р у к т у р н о е ч л е н е н и е лингвистического объекта и выделе-
ние в нем формальных элементов, которые становятся предметом даль-
нейшего изучения. Таким образом, использование математических при-
емов в лингвистике имеет целью заменить словесное описание языка
описанием его с помощью математических символов. Другими словами,
необходимо заменить диффузную, интуитивно сформулированную линг-
вистическую задачу простыми, имеющими алгоритмическое решение
заданиями на математическом языке. Это требование обусловлено тем,
что машина не воспринимает словесных значений, а различает материаль-
ные воплощения этих значений. Следовательно, необходимо формализо-
вать язык до уровня, приемлемого для компьютера, т.е. при построении
модели языкового объекта внимание должно быть направлено на его
существенные формальные стороны.
Выбор системы математических приемов в лингвистических иссле-
дованиях зависит в первую очередь от определения основных задач и
объектов анализа. В этом плане можно условно выделить два направле-
ния. Первое направление, называемое а л г е б р а и ч е с к о й л и н г -
в и с т и к о й , интенсивно разрабатывается в теории порождающих
грамматик Н. Хомского, в теоретико-множественных моделях С. Марку-
са, И.И. Ревзина и др. Это направление основывается на таких разделах
(неколичественной) математики, как теория множеств, теория алгорит-
мов, математическая логика и т. п. Второе направление — в е р о я т -
н о с т н о - с т а т и с т и ч е с к о е — имеет в своей основе методы
теории вероятностей и математической статистики, с помощью которых
удается количественно оценить как структурную организацию текста,
так и заключенную в нем смысловую информацию.
Опыт кибернетической лингвистики последних лет показал, что
при автоматизированной переработке информации большое значение
придается статистическому описанию различных языковых подсистем,
на базе которых создаются подъязыки*, обслуживающие разнообразные
сферы производственной деятельности человека.
____________
*Набор языковых элементов и их отношений в текстах с однородной темати-
кой называют п о д ъ я з ы к о м [6].
8
При этом становится очевидным, что подъязыки отличаясь друг от
друга совокупностью лексических и лексико-грамматических единиц
с разнообразными вероятностными весами, являются тем материалом,
который удобно формализовать и на базе которого можно строить
лингвостатистическую модель. Это, в свою очередь, дает возможность
применять широкий класс статистических методов для анализа исходной
информации, априори опирающегося на вероятностную природу лингви-
стических объектов. В результате статистические данные, получаемые
при исследовании лингвистических объектов, используются для теоре-
тических научных выводов и практической их реализации при разработ-
ке вычислительных алгоритмов.
При построении модели языка мы последовательно проходим фо-
немный, морфологический, семантико-синтаксический уровни. Она
приобретает на каждом из них новый, более усложненный вид. Продви-
гаясь от низшего (фонемного) уровня языка к высшему (семантическо-
му) мы сталкиваемся с возрастанием числа единиц и категорий, которые
взаимно различаются, взаимно соотносятся и зависят друг от друга.
Если бы эти лингвистические единицы не различались, они не могли бы
отражать элементы реальной действительности и, следовательно, служить
целям общения. Но различаясь, элементы языка образуют некоторую
совокупность со своими отношениями и связями, которую принято
называть я з ы к о в о й с т р у к т у р о й [36]. При моделировании той
или иной языковой структуры (морфологической или другой структу-
ры) необходимо учитывать, что с возрастанием уровня языка увеличи-
вается и мера связанности плана выражения с внеязыковой действитель-
ностью. При этом весьма существенен вопрос о точности результатов
анализа, степень которой зависит от характера исходных данных. Если
исходные данные содержат достаточное количество предварительных
знаний, то это облегчает построение и применение модели.
Для корректного проведения статистического анализа, предприни-
маемого в целях создания модели, необходима тщательная подготови-
тельная работа, заключающаяся в установлении общей структуры исход-
ных данных. Такая модель может быть построена в результате сбора и
инвентаризации отдельных единиц наблюдения, извлеченных из совокуп-
ности текстов с определенно функционально-коммуникативной направ-
ленностью, с их последующей систематизацией и группировкой.
Существует два подхода к статистическому анализу исходных дан-
ных. Рассмотрим эти подходы.
Целью статистического анализа является исследование
Do'stlaringiz bilan baham: |
