Методика разработки информационно-поискового тезауруса

Разработка информационно-поискового тезауруса включает несколько этапов:

— построение словаря (словника) ключевых слов;

— дескрипторизация ключевых слов;

— установление парадигматических отношений между дескрипторами;

— оформление тезауруса.

Разработка тезауруса требует исследования системы и логики знаний тех областей, которые найдут отражение в нем. Терминология, которая будет использована в тезаурусе, должна быть полной, однородной и охватывать все основные тематические группы. В свою очередь, тематические группы могут быть расширены в целях охвата смежных проблем. При отборе массива документов необходимо соблюдать:

— точное соответствие документов тематической направленности работы;

— полный охват каждой области знаний, а также равномерное распределение их по отдельным тематическим областям как по характеру документов, так и по их количеству;

— терминологическую насыщенность информационных документов и степень важности содержащейся в них информации;

— освещение тематики с учетом различных аспектов (материалов исследований, сведений об устройстве, применении и т. д.).

Критериями количественных и качественных параметров представительного массива документов и словника являются:

— скорость роста массива документов и словника;

— дифференцированность и устойчивость частотных характеристик элементов;

— процентное содержание в словнике специальных, общих и смежных терминов;

— вероятность использования элементов словника при индексировании и поиске документов.

Процесс создания тезауруса включает научную разработку классификационных схем понятий и выявление терминологического фонда из представительного фонда информационных документов. Кроме того, предполагается дополнение его терминами, которые позаимствованы из вспомогательных источников:

— тезаурусов по родственной тематике;

— терминологических и толковых словарей;

— энциклопедических словарей;

— научно-технических словарей и справочников;

— таблиц универсальной десятичной (децимальной) классификации (УДК);

— тематических рубрикаторов;

— библиотечно-библиографической классификации (ББК);

— государственных стандартов и других источников

 

9.3.1 Составление словаря ключевых слов

 

Составление словаря ключевых слов происходит путем отбора из заглавий, аннотаций, рефератов и текстов документов слов естественного языка, которые могут использоваться в поисковых образах документов (ПОД) и поисковых предписаниях (ПП). Важ­нейшим требованием к словарю ключевых слов является полнота охвата терминологии, так как в тезаурус включают терминологию, фигурирующую в документах, вводимых в ИПС. Таким образом, в тезаурусе могут отсутствовать термины, требующиеся для описания содержательных или формальных аспектов вводимых в ИПС текстов. Такой тезаурус может оказаться недостаточно полным. Существует прямая зависимость работоспособности тезауруса от методики индексирования документов. Процесс индексирования заключается в следующем:

— составление мысленной аннотации, в которой отражаются основные и второстепенные темы документа, представляющие интерес для пользователей ИПС;

— выбор из этой аннотации ключевых слов.

Составление поисковых аннотаций считается творческим процессом, поэтому результат этого процесса в той или иной мере зависит от субъективных качеств индексатора. Результат обработки одного и того же документа разными индексаторами может быть различным. Для того чтобы предотвратить расхождения в индексировании, необходимо стандартизировать построение поисковых образов. Для того чтобы отделить ключевые слова от «неключевых» (не подлежащих вводу в тезаурус), индексаторы используют общие методические указания:

— служебные слова (предлоги, союзы, частицы и т. д.) следует считать неключевыми;

— в качестве ключевых слов могут выступать существительные, прилагательные, числительные, причастия и их сочетания, наречия, деепричастия и местоимения в состав ключевых слов не входят, глаголы – очень редко;

— не следует включать в словарь ключевых слов термины, которые очень редко встречаются в данном документном массиве, их можно учесть в отдельном списке в роли ключевых слов-кандидатов;

— часто встречающиеся, но общие термины («метод», «система», «описание», «устройство» и т. п.) надо либо исключить, либо использовать в сочетании с другими словами, которые сузили бы их значение;

— не имеет смысла включать в словарь термины, не относящиеся к данной терминологической области;

— полисемичные термины могут быть включены только в тех значениях, в которых они употребляются в данной тематической области, с соответствующими пояснениями.

После того как произведен отбор ключевых слов из текстов, необходимо решить вопрос об ихформулировке.

Существует два подхода к этой проблеме:

— ориентироваться на ключевые слова – развернутые словосочетания. Например: «коммерческие информационные службы»;

— ориентироваться на ключевые слова – унитермы (отдельные лексические единицы). Например: «оформление», «механика», «логика».

В зависимости от того, какой подход будет использован при формулировке ключевых слов, результат будет разным, т. е. будут получены различные словари ключевых слов, а значит и различные дескрипторные языки. «Унитермная» ориентировка через свободную манипуляцию элементами поисковых образов обеспечит глубокое и детальное индексирование и увеличит количество точек доступа к разыскиваемым документам. Но разделение устойчивых словосочетаний, которые соответствуют определенным научно- техническим понятиям, грозит потерей информации при поиске. Суть заключается в том, что определенные понятия не всегда могут быть выражены единичным термином. Иными словами, ключевые слова, включаемые в словарь, принимают с учетом точки зрения интересов поиска информации для каждого ключевого слова отдельно и с учетом их лексикографической обработки.

Решение о разделении или сохранении словосочетаний или сложных слов принимают с учетом лингвистических и прагматических критериев. В лингвистике словосочетания делятся на свободные иустойчивые (лексиколизованные) словосочетания. Свободные словосочетания характерны устной речи. Устойчивые словосочетания являются цельными лексическими единицами языка и по своим функциям эквивалентны отдельным словам. Для координатного индексирования рекомендуется вводить в качестве ключевых слов устойчивые словосочетания. При формировании словника ключевых слов руководствуются лингвистическими критериями. Словосочетание является устойчивым, если:

— при его образовании одно из слов изменяет свое значение – происходит переосмысление одного из компонентов словосочетания. Например: «легкая музыка», «легкая промышленность» (переосмысливается прилагательное «легкий»);

— употребляется в единственном или во множественном числе. Например: «немецкий язык», «европейские языки»;

— имеет один или несколько синонимов. Например: «перспективы» = «будущее» = «перспективы развития» = «тенденции».

— при замене составляющих его слов, изменении порядка слов в нем или при преобразовании прилагательного в существительное с предлогом потеряется его смысл. Например: «железная дорога».

К устойчивым словосочетаниям относят имена собственные или словосочетания, включающие имена собственные. Например: «Латинская Америка», «Таблица Менделеева».

Если словосочетания соответствуют этим критериям, они считаются устойчивыми.

На решение о сохранении словосочетаний влияют и прагматические соображения:

— рекомендуется сохранять часто встречающиеся словосочетания;

— рекомендуется сохранять словосочетания, если их компоненты не могут использоваться по отдельности;

— рекомендуется сохранять словосочетания как способ устранения информационного шума.

Таким образом, разработчикам тезауруса следует ориентироваться на единичные ключевые слова, сохраняя устойчивые словосочетания, удовлетворяющие выше приведенным лингвистическим и прагматическим критериям.

9.3.2. Дескрипторизация ключевых слов

 

Дескрипторизация словарязаключается в переводе поисковых образов текстов документов с языка ключевых слов на дескрипторный язык. Процесс дескрипторизации включает:

— нормализацию ключевых слов;

— установление классов условной эквивалентности.

Нормализация терминов индексированиязаключается в приведении их к стандартной для информационно-поисковых тезаурусов форме записи.

Ключевые слова должны быть представлены в тезаурусе в унифицированной грамматической форме:

— различные формы глагола должны заменяться существительными;

— различные формы прилагательного, используемого в роли отдельного КС, заменяются формой именительного падежа единственного числа мужского рода;

— различные формы существительного заменяются формой именительного падежа. Если существительное имеет две формы числа (единственное и множественное), то оно приводится к типовым формам согласно ГОСТ 18383–73.

При нормализации ключевых слов важно иметь в виду порядок слов.

Например, к словосочетанию, состоящему из прилагательного (или нескольких) и существительного, возникает вопрос, какой порядок записи использовать: прямой или инвертированый. Чтобы обеспечить экономичность и единообразие формулировок ключевых выражений и дескрипторов, используют инвертированную форму записи – существительное, затем прилагательное. Например: «каталог библиотечный». В этом случае дается отсылка от отвергнутой к принятой форме, что приводит к росту объема справочного аппарата. Используют и другой вариант: словосочетания приводят в прямой форме (не инвертируют). Например: «библиотечный каталог».

Важную роль в теории и практике дескрипторных ИПС выполняет понятие«условная эквивалентность ключевых слов».

Условная эквивалентность ключевых слов выражается в следующем: если ключевое слово в любом тексте документального массива, введенного в ИПС, может быть заменено другим ключевым словом так, что на запрос решение о выдаче остается таким же, как и до замены, то такие ключевые слова являются эквивалентными в сфере действия данной ИПС.

Существует два вида эквивалентности ключевых слов:

Имманентная (безусловная) и факультативная (условная), существующая только в рамках конкретной узкотематической ИПС.

Имманентная эквивалентность может быть представлена:

— лексическими синонимами (существительными и прилагательными). Например: «габарит – размер». В качестве лексических синонимов выступает русский термин и соответствующий ему из иностранного языка;

— полным наименованием и общепринятым сокращением. Например: «НТИ = научно-техническая информация».

Причиной факультативной эквивалентности является условный характер дескрипторного языка. Факультативная эквивалентность может быть представлена:

— семантически родственными словами, смысловым различием которых можно пренебречь в рамках конкретной ИПС (квазисинонимы). Например: «воздух = атмосфера»;

— терминами, выражающими понятия и представления, связанные логическими отношениями и психологическими ассоциациями. Как правило, такие связи представляются в виде парадигматических отношений, но иногда они подменяются отношением эквивалентности. Например: «авиация = самолет»; «алфавит = буква» (родовидовые отношения и отношения целое – часть); «громкоговоритель = радиовещание» (предмет – функция); «алюминий = дюраль» (сходство); «страна зарубежная = иностранный» (предмет – признак);

— эллипсами (пропусками слов в речи), имеющими хождение в определенной отрасли знания. Например: «машина = электронная вычислительная машина».

Факультативная эквивалентность ключевых слов является регулярным средством формирования классов условной эквивалентности. Имманентная эквивалентность ключевых слов менее распространена.

Естественный язык обладает рядом свойств, осложняющих его использование для записи и поиска информации. Часто точное значение слов можно определить только из контекста, в котором они употреблены. Сложности для автоматизированной обработки слов и словосочетаний создают явленияомонимии иполисемии.Неоднозначность и многозначность слов естественного языка препятствуют достижению соответствия между содержанием документа и средствами выражения этого содержания.

Омонимия и полисемия ключевых слов устраняется при помощи специальных помет (лексикографически). Например: «библиография» (наука) – «библиография» (деятельность). Таким образом, уточняют значение ключевого слова. Многозначность единичных ключевых слов можно снять путем перевода их в словосочетания. Единичные ключевые слова со значением омонима подвергаются дескрипторизации наряду с другими ключевыми словами, в результате чего происходит расчленение множества ключевых слов на классы условной эквивалентности. В качестве представителя данного класса (доминанты) в дескрипторном ИПЯ выбирается одно из ключевых слов этого класса. Это слово можно назвать «де­скриптором», и оно имеет два значения: 1) класс условно эквивалентных (взаимозаменяемых) ключевых слов и 2) ключевое слово, являющееся представителем данного класса эквивалентности. В дескрипторном словаре, представляющем собой алфавитный перечень ключевых слов и дескрипторов, от ключевых слов даются отсылки к соответствующим дескрипторам. Около слов, обозначающих дескрипторы, перечисляются условно эквивалентные ключевые слова. Благодаря этому уточняется значение дескриптора.

 

9.3.3. Установление парадигматических отношений

 

Парадигматические (базисные, аналитические)отношениявыражают постоянныесемантические (смысловые) связи между лексическими единицами ИПЯ, не зависящие от текста. К ним относят: «род – вид», «целое – часть» и т. п. Эти отношения стабильны для каждой предметной области и фиксируются в словаре. В ИПТ фиксируются следующие парадигматические отношения (связи):

1) Род – вид (родовидовые, выше – ниже, шире – уже).

2) Отношение синонимии (условной эквивалентности).

3) Ассоциативные отношения различного вида.

Используя логический анализ для сопоставления объемов понятий (дескрипторов), между ними выявляются отношенияподчинения (объем одного понятия целиком включается в объем другого понятия) ипересечения (объемы понятий пересекаются). Логическое отношение подчинения связывает родовое понятие (понятие большого объема) и видовое понятие (понятие меньшего объема).

Родовидовые отношения между несколькими дескрипторами можно выстроить в виде иерархического дерева. Процесс построения иерархических деревьев включает распределение дескрипторов по все более узким семантическим категориям. В качестве главных семантических категорий выступают, например: «технологические процессы», «естественные явления», «материальные предметы», «свойства», «время» и др. Эти категории представляют собой общие понятия соответствующей области знания и включаются в тезаурус в качестве родовых для определенной группы дескрипторов.

Деление на категории позволяет собрать вместе дескрипторы, обозначающие родственные понятия.

Отношение пересечения понятий выражаются через ссылки «см. также». Например:

а) Родовидовые отношения

Преобразование информации

См. также Декодирование

Кодирование

б) Отношение функция (назначение) – предмет (процесс)

Надежность

См. также Защита

в) Отношение признак (свойство) – предмет (процесс)

Движение

См. также Динамика и т. д.

Родовидовые отношения выражают сильные парадигматические отношения. Отношения пересечения между дескрипторами представлены слабыми парадигматическими отношениями.

Кроме родовидовых отношений, между дескрипторами существуютассоциативные отношения. Ассоциативные отношения можно установить с помощью сопоставления признаков, входящих в определения данных понятий и анализа содержания данной тематической области. Анализ текстов документов по конкретной тематике поможет выявить основную систему ассоциаций. Развивать систему ассоциаций могут помочь рекомендации заинтересованных пользователей АИС.

Использование тех или иных ассоциативных отношений зависит от специфики соответствующего лексического материала и ориентации на задачи поиска информации.

Примерами ассоциативных отношений могут служить отношения «часть – целое», «функциональное сходство», «следствие – причина» и др.

Отношение«целое – часть» («часть – целое») отражает факт вхождения одного объекта (предмета) или процесса в состав другого. Например:

БРОНХИ

ДЫХАТЕЛЬНАЯ ГЛОТКА

СИСТЕМА ГОРТАНЬ

ЛЕГКИЕ

НОС

ОКОЛОНОСОВЫЕ ПАЗУХИ

В процессе выявления таких отношений необходимо ответить на ряд вопросов: какие составные части имеет объект, обозначаемый дескриптором, в состав каких других объектов может входить объект, обозначенный дескриптором, и другие подобные вопросы. При этом рекомендуется пользоваться энциклопедическими и толковыми словарями, так как ответы на эти вопросы относятся к числу энциклопедических сведений. Разновидностью такого от­ношения можно назвать отношение «система – элемент». В информационной деятельности таким примером может служить отношение: «информационно-поисковая система – информационно-поисковый язык».

Отношение«причина – следствие» – это такое отношение между парой дескрипторов, когда наличие предмета (процесса, свойства), обозначенного одним дескриптором означает наличие предмета (процесса, свойства), обозначенного другим дескриптором.

Такое понимание ассоциации не предполагает разграничения между причиной и следствием и не требует наличия подлинной причинно-следственной связи. К причинно-следственным отношениям можно отнести отношение «функция (назначение) – предмет (процесс)» или «предмет (процесс) – признак (свойство)». Например: «арктика – холод».

Между предметами (процессами, свойствами), обладающими общими признаками (общность назначения, формы, функции и т. д.) существует отношениесходства. Например: «картотека – каталог».

В том случае, когда происходит противопоставление предметов, процессов, свойств по критерию отличия, между ними устанавливается отношениеконтраста. Например: «хороший – плохой». Ассоциации по контрасту возникают вследствие наличия в языке антонимов (противоположных по значению слов).

Ассоциативная связь между предметами или явлениями, воспринимающимися в непосредственной близости друг к другу в пространстве и во времени, называется отношениемсмежности.Например: «стол – стул».

Морфологическая характеристика термина «индексирование» заключается в отнесении его к лексикографическим категориям. В словник ИПТ включаются, как правило, следующие типы ЛЕ:

— существительные, прилагательные, числительные, наречия, некоторые причастия и их сочетания, очень редко глаголы;

— именные словосочетания;

— лексически значимые компоненты сложных слов;

— сокращение слов и словосочетаний.

Отобранные из текстов ключевые слова подвергаются лексикографической обработке, которая заключается в выполнении следующих операций:

— решение вопроса о разделении выделенного словосочетания из двух или более слов или сохранение его в качестве целостного КС;

— решение вопроса об использовании сложного слова в качестве КС или членении его на два или более ключевых слова;

— устранение омонимии и полисемии лексических единиц естественного языка.

Морфологический анализ, заключающийся в разделении слов естественного языка на основы, аффиксы (префиксы и суффиксы) и окончания, позволяетпреобразовать сложные слова в словосочетания или сократить. Морфологический анализ выполняется по следующей схеме:

— определяется грамматический класс слова по его буквенному составу;

— существительные подвергаются анализу на определение отглагольных существительных;

— сложные слова разделяются на самостоятельные единицы: префиксоид и основу. Например: сложное слово «самолетостроение» разбивается на префиксоид («самолето») и основу («строение»).

Различные словоформы одного слова приводятся к одной основе (путем опознавания и отсечения окончаний и суффиксов). Например: слова «библиотечный», «библиотека» в результате морфологического анализа будут приведены к одной форме «библиот». Слова, обозначающие предметы и пишущиеся через дефис, включаются в ИПТ в их натуральном виде. Например: «фотограф-любитель».

Омонимия и полисемия (многозначность) ключевых слов устраняются с помощью специальных помет (пояснений), являющихся частями лексических единиц. Специальные пометы помещаются в круглых скобках непосредственно после КС через пробел. Они указывают на соответствующую область знания, отнесение к более крупной категории, приведение синонима и т. д. Часто эти пометы называют реляторами. Например: «библиография (наука) – библиография (деятельность) – библиография (указатель литературы)». Иногда применяются лексические примечания, представляющие собой пояснительный текст на естественном языке. Приводятся в косых скобках и не являются частями лексических единиц.

Ключевые слова должны быть приведены в тезаурусе в унифицированной грамматической форме:

— различные формы глагола заменяются существительными;

— различные формы прилагательного, используемого в качестве отдельного КС, заменяются формой именительного падежа единственного числа мужского рода;

— различные формы существительного заменяются формой именительного падежа;

— существительные, имеющие две формы числа (единственное и множественное), приводятся к типовым формам согласно ГОСТ 18383–73.

Словосочетания приводятся в ИПТ в прямой форме (не инвертируются).

9.3.4. Указатели роли и связи

 

Роль термина индексирования указывают в ПОД для уточнения места соответствующего понятия в содержании документа.

Как правило, тезаурусы являются основой ИПЯ, не использующего текстуальных отношений (грамматических средств). Но требования к точности выдачи, а также необходимость использования системы в режиме, близком к фактографическому поиску, ставит перед фактом использования грамматических средств в ИПЯ. Перестраивать лексику действующей поисковой системы трудно, поэтому эту возможность необходимо учесть на стадии построения ИПТ.

В качестве простых грамматических средств ИПЯ рекомендуется использоватьуказатели роли иуказатели связи. Уже на стадии набора лексики ИПТ, в процессе составления поисковых аннотаций документов, использование этих грамматических средств существенно влияет на лексический состав тезауруса, особенно при решении вопросов выбора словосочетаний – их количество заметно уменьшается.

Существенный вклад в разработку проблемы грамматических отношений внес В. Ш. Рубашкин. В работе «О грамматических средствах информационных языков» (1975) он использовал аппарат логики предикатов для представления текстов на дескрипторном ИПЯ в виде модели. Основной единицей его модели является предикатная структура. Любой текст можно разбить на высказывания (фразы). Чтобы раскрыть смысл этих высказываний, нужно указать, о каких предметах идет речь и какие признаки, свойства, отношения приписываются этим предметам.

Элементами предикатной структуры являются следующие логические составляющие: предикатные термины, предметные термины и определители места в предикате, занимаемого данным предметным термином.

Грамматические средства привлекаются для того, чтобы с помощью фрагментирования определить место каждого дескриптора в предикатной структуре, а также роль каждого дескриптора в соответствующих предикатных структурах (предикатный и предметный термины, определитель места в предикате).

В качестве средств представления синтагматических отношений в рамках предикатной структуры любой сложности используется древовидная структура графа. Такая структура позволяет связать все дескрипторы высказывания (ПОД или ПП запроса) таким образом, что для каждого дескриптора определены его место и роль в предикатной структуре. Смысл заключается в том, что предикатный термин всегда связан отношениями подчинения («выше – ниже») с предметными терминами, заполняющими его места. Ветви дерева выполняют функцию определителя места в предикате. Перечень значений ветвей представляется в виде списка указателей роли, принятых в определенной ИПС.

Представление текстов на дескрипторном языке в виде совокупности предикатных структур помогает решить проблему разграничения лексики и грамматики. Суть заключается в том, что смысловые средства указателей роли выражаются в виде категорий: «конечный продукт», «исходный продукт», «среда, окружение, атмосфера» и т. д. Эти категории включаются в лексический состав дескрипторного языка и используются в процессе координатного индексирования. В результате система указателей роли переходит из сферы грамматики в сферу лексики. Таким образом, логические составляющие предикатной структуры – предикатные и предметные термины – относятся к лексическому составу ИПЯ.

Термины – определители места в предикате (средства интерпретирования ветвей древовидного графа) относятся к сфере грамматики. К грамматическим средствам ИПЯ можно отнести и указатели связи. Указатель связи представляет собой символ (буква, цифра, знак пунктуации), который приписывается всем лексическим единицам, входящим в данный фрагмент. Некоторые лексические единицы могут входить в несколько фрагментов, а это означает – иметь несколько указателей связи. По сути дела, указатели связи определяют, какие из дескрипторов имеют между собой связь в ПОД. Таким образом, указатели роли и указатели связи являются средством выделения отдельных фрагментов (предложений, фраз), соответствующих законченному высказыванию, а также средством определения смысловой роли лексических единиц, входящих в выделенные фрагменты. Иными словами, они выполняют фрагментирующие и смыслоразличительные грамматические функции.