Москва «высшая школа» 1988

---

БИБЛИОТЕКА ФИЛОЛОГА
Л. А. Турыгина
Моделирование
языковых
структур
средствами
вычислительной
техники
МОСКВА
«ВЫСШАЯ ШКОЛА»
1988

---

ПРЕДИСЛОВИЕ
В настоящее время в связи со все возрастающим проникновением математики
не только в самые различные сферы современных исследований, но и в самую
жизнь общества целые армии будущих специалистов - представителей весьма да-
леких друг от друга областей знания - все больше нуждаются в серьезной и разно-
сторонней математической подготовке, которая давала бы им возможность иссле-
довать сугубо свои научные проблемы с помощью математических средств, умело
применять вычислительную технику и использовать все это в будущей практичес-
кой деятельности.
Для успешного решения такой педагогической задачи прежде всего необходи-
мо, чтобы обучающиеся получали достаточное представление о математических под-
ходах к изучению явлений различной природы, о математических моделях и их
применениях.
Появление и развитие быстродействующих вычислительных машин приводят
к качественно новым возможностям использования математических методов.
Последние, как никогда, стали действенным инструментом познания закономерно-
стей в таких, как раньше казалось, далеких от математики науках как биология,
экономика, социология, лингвистика и т. п. Для того чтобы правильно использо-
вать технику (а без этого уже трудно представить работу большинства современ-
ных специалистов) необходимо не только быть знакомым хотя бы с элементами
программирования, но и уметь математически грамотно и адекватно описать явле-
ния, корректно поставить проблему, предназначенную для конкретного исследо-
вания. В частности, соответствующий круг педагогических вопросов, приобрел
сегодня значительную остроту и при обучении лингвистов-прикладников.
Вопрос о месте математики в лингвистической науке не прост. Многие годы
преобладало мнение о нецелесообразности использования математических приемов
в языкознании. Проникновение математики в соответствующие разделы лингви-
стики вначале определялось лишь количественными подсчетами изучаемых линг-
вистических фактов. Отсюда укоренилось и существовало некоторое время пред-
ставление о математике как о науке, оперирующей лишь числами, не дающими
ничего, кроме количественных оценок. Однако эта проблема ставится и шире и
глубже. Математика - это и язык формального описания реальных явлений, это
и принципы и качественные методы исследования, это, наконец, особая культура
мышления, необходимая представителям всех областей современной науки, вклю-
чая и языкознание. И сама практика последних исследований стала все больше
опровергать прежние представления.
Иногда высказывается и противоположная точка зрения, обязанная своим
появлением огромным успехам практических приложений математической науки.
Это создает представление о «всемогуществе» математики, о том, что математика
может играть роль универсального ключа к разгадке всяких тайн. Такая точка зре-
ния имеет другую крайность, также далекую от действительного положения вещей.
Не следует забывать, что без развития внутренних экспериментальных и теоретичес-
ких исследований в конкретной науке, например, в той же социологии или лингви-
стике, невозможно существенно продвинуться вперед путем лишь формальных
применений математических средств. Для построения содержательной математи-
ческой модели в социологии или лингвистике необходимо вскрытие социальных
или языковых законов, нужны прежде всего содержательные собственно социаль-
ные или собственно лингвистические гипотезы
Математическое изучение реальных объектов и явлений часто начинается
с их математического моделирования. Это — одно из принципиальных звеньев
исследования, всегда заслуживающее особого внимания. Моделирование представ-
ляет собой мощное и экономное средство как проведения теоретического научного
поиска, так и выполнения разнообразных экспериментальных работ. Так, в инже-
нерно-математической лингвистике с помощью математического моделирования
и средств вычислительной техники оперативно решаются сложные интеллектуаль-
ные задачи. К их числу относятся человек-машина диалог, реферирование, пере-
.............................................................................
 3

---

вод иноязычного текста. Специалистам хорошо известно вероятностно-статистичес-
кое моделирование в прикладной лингвистике, сыгравшее значительную роль
в познании статистической структуры текста, статистической природы языка.
Моделирование в сочетании с обращением к последним поколениям вычисли-
тельной техники дает в руки ученых качественно новые методы исследования.
По существу, широкое использование такого подхода представляет необходимое
условие успешного развития любой современной науки.
Все сказанное указывает на необходимость подготовки специалистов нового
типа, широкого профиля, умеющих творчески использовать математические мето-
ды и грамотно реализовать их на ЭВМ. Вопрос о подготовке таких специалистов -
один из самых важных и актуальных вопросов современного образования. В осо-
бенности это относится к гуманитарным дисциплинам, в частности к лингвистике.
Здесь, как и в других интенсивно развивающихся областях науки, уровень подго-
товки специалистов отстает от потребностей жизни. Сегодня, в процессе обучения,
а затем в прямой деятельности по специальностям постоянно ощущается необхо-
димость в детальном методическом руководстве по применению статистических
моделей для описания различных явлений в системе языка. Издание книг по теории
вероятностей и математической статистике, рассчитанных на математиков и инже-
неров, осуществляется у нас постоянно. Издание же руководств для лиц, имеющих
дело с реально наблюдаемыми закономерностями в области лингвистики, обстоит
значительно хуже. Лингвисты-прикладники и филологи, интересующиеся инженер-
но-математической лингвистикой, нуждаются в более широкой специализирован-
ной методической литературе по лингвостатистике. Таких книг у нас издается пока
мало. Здесь требуется творческое содружество математиков, лингвистов, кибер-
нетиков.
Предлагаемая вниманию читателя книга посвящена вопросам систематизации
вероятностно-статистических методов, применяемых в лингвостатистике. В книге
освещается ряд лингвостатистических понятий, связанных с применением вероят-
ностных схем в языке и обсуждаются различные вероятностно-статистические под-
ходы к исследованию языкового механизма, вплоть до рецептурного их описания.
Автор
ВВЕДЕНИЕ
Прогресс науки — явление сложное и противоречивое, прежде всего
оказывающее влияние на состояние самой науки. Появляются новые
научные направления, увеличивается количество специализаций, без ко-
торых трудно себе представить развитие конкретных научных знаний.
Но наряду с процессом экстенсификации происходит и обратный синте-
зирующий процесс, объединяющий идеи и методы, созданные в разных
научных дисциплинах. Именно на стыке разных научных дисциплин
появляются наиболее значительные новые исследования. Этот процесс
хорошо известен в естественных науках (например, физическая химия,
химическая физика), где осуществляется синтез различных научных
школ и направлений. Подобные процессы происходят и в гуманитарных
науках, в частности, в лингвистике.
В лингвистических исследованиях любое обобщение оказывается
крайне сложным, так как приходится иметь дело с огромным количе-
ством разнородного материала, который не всегда можно формализо-
вать. Тем не менее и в лингвистике рождаются новые синтетические
конструкции, объединяющие в единое целое ряд концепций, и помогаю-
щие, в конечном итоге, построить общую теорию, как результат много-
численных экспериментальных исследований.
Особую роль в процессе синтеза играет математика. Она является
не только тем инструментом, который способствует решению разнооб-
разных проблем, возникающих внутри данной науки, но и позволяет
использовать целый ряд идей и подходов, созданных в других областях
человеческих знаний. Это может происходить только на базе междисцип-
линарных исследований, где необходимо применение математических
методов и современных средств обработки информации. Иначе говоря,
объединяющим является математическое моделирование объектов дан-
ной науки на базе электронно-вычислительной техники. Эта проблема
особенно остро встает в век научно-технической революции, когда на-
копление знаний резко ускорилось и потребовалась быстрая переработка
информации средствами автоматизации. В этих условиях синтезирующая
роль математики возрастает. Поэтому разработка лингво-математичес-
ких моделей стала центром внимания кибернетической лингвистики.
Следовательно, актуальность проблемы, решение которой позволяет вы-
явить и прогнозировать свойства лингвистических объектов с целью по-
строения систем автоматической переработки информации, определяется
требованиями самой жизни общества.
Использование естественного языка в компьютерных системах
вызвано многими факторами. Основными из них являются неотъемле-
мые свойства языка — его динамичность и надежность функционирова-
ния. Необходимо знать весь механизм действия языка, чтобы иметь
возможность использовать заключенные в нем потенции при автомати-
ческой переработке информации.
Из сказанного с очевидностью следует, что для успешного решения
поставленных задач необходимым условием является системно-матема-
5

---

тическое описание языка. Понятно, что эта проблема представляет боль-
шие трудности. Для ее решения требуется соединение описательно-эври-
стического подхода, характерного для языкознания, с объективной
методикой, присущей математике.
Этот подход создает условия для систематизации и осмысления
фактического материала, для анализа лингвистических объектов и свя-
зей, для раскрытия количественных и структурных закономерностей
языковых явлений. Он основан на диалектико-материалистических прин-
ципах единства количества и качества, формального и содержательного
[19]. В этом плане широкое развитие получили как общие теоретические
исследования в области языкознания, так и частные практические зада-
ч и — в прикладной лингвистике — построение статистических моделей
на базе разнообразного математического аппарата, без привлечения ко-
торого невозможно до конца постичь природу языка.
Процесс сближения языкознания с точными науками оказывает
влияние на унификацию понятийного и категориального аппарата науки.
Такое развитие связано с уточнениями и качественно новым осмысле-
нием лингвистических понятий, систематизацией терминов, формули-
ровками определенных положений. Применение в языковедческой науке
математических понятий не подменяет собой концептуального аппарата
данной науки, а лишь способствует его совершенствованию и развитию
некоторых его разделов, расширяя рамки традиционно качественного
подхода к лингвистическим проблемам. Так, перевод понятий и пред-
ставлений в области языка и механизма текстообразования на язык
математики привел к уточнению и совершенствованию понятий кванти-
тативной типологии текста. Методы математики, используемые в научно-
практических областях лингвистики - лингводидактике, лексикогра-
фии, теории речевой коммуникации, теории письменности, теории пере-
вода и др., — повышают точность результатов и создают возможность
их воспроизводимости. На последнее обстоятельство обратил внимание
Л.В. Щерба в своей программной работе «О трояком аспекте языковых
явлений и об эксперименте в языкознании»: «Исследователь живых язы-
ков... тоже должен исходить из так или иначе понятого языкового ма-
териала. Но построив из фактов этого материала отвлеченную схему,
необходимо проверить ее на новых фактах, т.е. смотреть, отвечают ли
выводимые из нее факты действительности» f 105].
Этот принцип воспроизводимости особенно важен при моделирова-
нии лингвистических объектов на электронно-вычислительной технике,
где имеется возможность представить формальную систему некоторого
лингвистического объекта, но прежде чем реализовать модель на ЭВМ
вся необходимая информация должна быть грамотно описана в терминах
математики. Это объясняется тем, что математические методы дают
возможность для более объективного объяснения языковых фактов.
Как отмечал М.И. Стеблин-Каменский, «Содружество с представителями
точных наук ориентирует языковеда на большую точность в исследова-
нии и формулировках» [94, с. 57]