Языки и грамматики. В дальнейшем нам понадобятся следующие понятия и определения лежащие в основе математической лингвистики. Назовем конечное множество словарем. Элементами будут слова. Рассмотрим множество Т всех конечных последовательностей слов из. Подмножество Ф правильно построенных последовательностей предложений из Т назовем языком над, а содержащиеся в Ф последовательности будем называть отмеченными последовательностями.
Порождающей грамматикой языка Ф называется конечное множество правил, задающее все последовательности из Ф и только эти последовательности и сопоставляющее каждой последовательности из Ф описание ее структуры, которое определяет, из каких элементов состоит последовательность их порядок, иерархию и взаимозависимость, а также содержит другую грамматическую информацию, необходимую для того, чтобы определить, как используется и понимается данная последовательность.
Такой подход приводит к порождающим моделям языков. Он тесно связан с теорией формальных систем и другими фундаментальными разделами современной математической логики. В данной работе мы будем придерживаться другой точки зрения на построения модели языка, а именно, точки зрения аналитической грамматики.
Аналитическая грамматика языка Ф исходит из предположения, что язык уже задан, и ставит перед собой цель получить описание последовательностей, принадлежащих множеству последовательностей из Ф изнутри, т.е. как описание отношений между словами и подпоследовательностями в зависимости от их позиции в последовательности. Такая точка зрения тесно связана с традицией структурной лингвистики, в особенности с традицией так называемой дискриптивной лингвистики, основы которой заложены в работах 2-6. Для того, чтобы провести ясное различие между порождающей и аналитической грамматикой, рассмотрим следующий пример.
Известно, что язык с конечным числом состояний может быть задан несколькими различными способами. Если используется неоднозначная грамматика, то мы можем обнаружить так называемую структурную омонимию, которая возникает в тех случаях, когда одно и то же предложение имеет как бы несколько различных конструкций. Вот например, омонимичное английское предложение 7 They are flying planes, которое, в сущности, является двумя разными предложениями 1 They are flying planes и 2 They are flying planes. Грамматические структуры и смысл обоих этих предложений различны.
Это различие может быть установлено с помощью грамматики с конечным числом состояний, допускающей неоднозначности. Такая ситуация является типичной для порождающей грамматики. Рассмотрим теперь другую ситуацию. Назовем последовательности x и y эквивалентными в Ф, если для каждой пары последовательностей u, v выполняется либо uxv Ф, uyv Ф, либо uxv Т - Ф, uyv Т - Ф. Основной результат, полученный в работе 8, а так же теорема Б а р - Х и л л е л а и Ш а- м и р а 7 говорят, что Ф является языком с конечным числом состояний тогда и только тогда, когда в нем существует конечное число классов эквивалентности.
Такое определение языков с конечным числом состояний, которое предполагает знание только их внутренней структуры, является основным принципом аналитической грамматики. Приведенный выше пример показывает не только различие, но также и тесную связь между этими двумя типами грамматик.
Каждая из них дополняет описание, задаваемое другой. 3.