рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Тема 10. Методика конкретных социологических исследований в праве.

Тема 10. Методика конкретных социологических исследований в праве. - раздел Социология, Социология права   1. Систематизация Фактов И Анализ Зависимостей 2. О ...

 

1. Систематизация фактов и анализ зависимостей

2. О выборе методов изучения проблемы

3. Экспериментальная проверка гипотез в социологии права

 

1. Задача любого научного исследования — познание общего, типичного в многообразии изучаемых явлений. В методологии науки обобщение рассматривается как необходимая предпосылка объяснения. В логическом плане под обобщением понимают процесс образования общего понятия или раскрытия общего, существенного в отдельном, и всеобщего, существующего в особенном и единичном. Обобщение не является формально-логической операцией, а предполагает выявление существенных признаков объекта. Формально-логические операции способны только выявить общие признаки. Однако обоснование их существенности, раскрытия их действительной природы под силу лишь теоретическому анализу.

В философской литературе в зависимости от задач обобщения и от той области, на которую оно распространяется, различают следующие его типы: обобщение на основе эмпирического материала, на основе выработанных понятий и на основе теории.

В социологии права используются все указанные виды обобщений. Однако сложная иерархическая структура социологического знания обусловливает доминирование того или иного вида обобщения на различных уровнях познаний. Для конкретно-социологических исследований наиболее характерен первый вид обобщений (обобщение на основе эмпирического материала). Конечно, на данном уровне используются и другие виды обобщений в тех случаях, когда достаточно развита соответствующая специальная теория изучаемой проблемы. Однако спецификой конкретно-социологических исследований является обобщение эмпирического материала, полученного на этапе сбора социологических данных. На более высоких уровнях познания этот вид обобщения не используется; конкретные исследования поставляют им результаты своих обобщений для более глубокого теоретического анализа.

Обобщение фактологического материала в конкретных исследованиях нельзя рассматривать как способ простого упорядочения результатов первичного научного описания, как чисто формальную процедуру. Этот этап «в существе своем — мыслительная деятельность, связанная уже не с ассимиляцией данных «живого созерцания» в системе принятых в науке абстракций и обозначений, а с получением нового, более высокого слоя знания на основе фактофиксирующих суждений — обобщений, эмпирических законов, зависимостей, классификации, эмпирических типологий и пр.»

Это новое значение хотя и получается как результат логической обработки фактов, но отражает уже информацию об объекте, полностью не сводимую к внешним эмпирическим проявлениям. Оно выявляет латентные (скрытые) структуры, определяющие свойства наблюдаемых явлений.

Обобщение фактов является процессом их систематизации, т. е. группировки, разделения на классы, включения в классы новых определяющих признаков, Она позволяет выделять некоторые свойства объектов в качестве существенных признаков, на основании которых осуществляются указанные процедуры с фактами. Одним из видов такой систематизации выступает классификация эмпирических данных.

Классификация есть распределение множества предметов на классы по определенному общему для каждого класса признаку так, что классы множества составляют систему. Классификация данных, полученных на этапе сбора эмпирической информации — необходимое условие целостного научного описания объекта. Она переводит исходные первичные данные к такому виду, при котором становится возможен их теоретический анализ. Научная классификация — это отражение объективной взаимосвязи явлений, первый этап в движении знания от явления к сущности.

По своей логической природе классификация является делением, т. е. раскрытием объема родового понятия через перечисление всех видов понятий. Чтобы классификация не была искусственной, основанием деления должен служить существенный признак. Обоснование существенности признака — задача теоретического анализа. При отсутствии строгой теоретической модели объекта признак классификации может носить гипотетический характер. Классификация в практике социологических исследований права нередко осуществляется и эмпирическим путем, особенно в многомерном анализе. Но и в этом случае теоретическое обоснование признака обнаруженной группировки в дальнейшем необходимо.

Классификация строится по определенным правилам (единство основания, адекватность, отсутствие пересекающихся группировок и т. п.). Распространенным способом классификации социологических фактов выступают статистические группировки. Метод группировок позволяет решать следующие типы исследовательских задач: выявление типов социальных явлений, изучение структуры социальных объектов, анализ зависимостей между явлениями. Соответственно выделяют типологическую, структурную и аналитическую группировки'.

Задача группировки — упорядочение, классификация результатов первичного описания данных по признаку подобия и различия. Как уже отмечалось, признак группировки обосновывается теоретически (выводится из теории), либо формулируется в виде гипотезы. Иными словами, введение этого признака заранее обосновывается. Группировки, в которых объясняется основание классификации, называют органическими. Так, например, при изучении юридических знаний населения можно оценить различия в этих знаниях по отраслям права (группировка по отраслям). Можно также исследовать уровень правовых знаний различных групп населения (группировки по социальных и социально-демографическим признакам). Здесь основания группировок с самого начала получают объяснение. В первом случае обоснование группировки содержится в концепции системы права; во втором — в теории социальной структуры.

Наряду с органическими классификациями в конкретно-социологических исследованиях используются и так называемые эклектические группировки. В них признак группировки на первом этапе не имеет объяснения, а обнаруживается эмпирическим путем в результате перекрестного анализа.

Эклектические группировки тем не менее имеют познавательную ценность. Они используются для выявления скрытых (латентных) свойств объекта, определяющих вариацию и связь наблюдаемых признаков. В юридической социологии многомерные классификации с использованием методов таксономии, факторного анализа и т. п. нередко выступают вначале как эклектические группировки. Очевидно, что после теоретического обоснования эклектической группировки она может рассматриваться как органическая. Иными словами, эклектические группировки — промежуточный этап научного описания фактов в многомерных классификациях.

В зависимости от числа признаков различают простую и сложную группировки. В простой группировке классификация проводится по одному признаку, в сложной — по двум и более признакам одновременно.

Процедура простой группировки в достаточной степени освещена в юридической литературе. Поэтому нет необходимости останавливаться на ней подробно. Отметим только некоторые требования к ней с точки зрения задач конкретно-социологического анализа.

Известно, что исходная информация в простых группировках представляется в форме абсолютных и относительных частот. Однако работа даже с такими элементарными видами статистической информации требует рационального осмысления и теоретического обоснования. В противном случае корректные с формально-статистической точки зрения процедуры, по существу, будут необоснованными. В качестве примера неадекватной работы с исходной информацией простых группировок могут служить данные о рецидивной преступности. Известно, что критерием ресоциализации преступников обычно выбирают данные о рецидиве. Однако, как отмечает А. Б. Сахаров, расчет этого показателя на практике не обоснован. Относительные частоты рецидива рассчитывают по отношению ко всему массиву осужденных, из-за чего частно-предупредительный эффект наказания получается достаточно высоким (около 80%). В то же время в массиве осужденных часть преступлений имеет ничтожную вероятность рецидива (так называемые «случайные преступления»). Было бы правильнее исключить их из общего массива при расчете данных рецидива. В таком случае показатель эффективности наказания значительно бы снизился. Но он был бы более адекватным.

Наряду с частотами большую пользу в обобщении информации оказывают средние величины, которые представляют собой типичную характеристику всей совокупности.

Существуют, как известно, различные виды средних величин: мода, медиана, среднее арифметическое и др. При этом нет универсального вида средней, которую можно было бы применять в любых случаях. Поэтому в каждом случае необходимо выбирать этот тип среднего, который не только наиболее адекватен с точки зрения задач анализа, но и согласуется с распределением и с видом вариационного ряда.

Но не всегда существует подобная возможность выбора. Дело в том, что уровень измерения признака накладывает ограничения на использование средних величин в анализе. Следовательно, в данном вопросе совершенствование методов первичного измерения в юридической социологии — предпосылка увеличения разнообразия используемых в анализе процедур.

При анализе простых группировок следует производить расчет вариации не только количественных, но и качественных переменных. Коэффициенты вариации качественных признаков позволяют более строго проводить сравнения характеристик различных объектов, измеренных по номинальной шкале (различие в структуре преступности, например). К сожалению, данные приемы анализа сравнительно редко используются в социологии права.

Анализ простых группировок может выявить относительную устойчивость проявлений ряда социальных процессов. Так, установлено, например, что распределения многих статистических показателей в криминологии подчиняются закономерностям, изученным в математике и, следовательно, могут быть описаны в терминах статистических распределении. Это повышает надежность их количественного анализа, а главное, их последующего прогноза.

Наряду с простой группировкой средством научного описания фактов служат сложные группировки, в которых данные классифицируются по двум или более признакам. Сложные группировки — более углубленный метод анализа социологической информации. Они не только упорядочивают первичный материал, но и создают предпосылку для обнаружения зависимостей между исследуемыми явлениями.

Наиболее распространенными в настоящее время являются двухмерные группировки, которые также довольно подробно описаны в методической литературе. Однако при всей их важности для анализа познавательные возможности подобных группировок ограниченны. Сложная структура социальных явлений и процессов, их обусловленность совместным действием совокупности факторов вызывают потребность в многомерной классификации объектов.

Методы многомерной классификации позволяют систематизировать первичный материал по целой системе признаков, в нескольких измерениях одновременно. Существенно то обстоятельство, что методы многомерной классификации позволяют систематизировать огромные по числу переменных массивы данных. В этих условиях обычно используемые меры (средние, вариации, коэффициенты парной корреляции и т. п.) не могут выполнить задачу конденсации данных, их компактного представления.

Возможность сведения (редукции) многомерного массива данных без существенной потери информации к меньшей по числу признаков системе обусловлена самим характером первичного эмпирического материала. Последний обладает информационной избыточностью с точки зрения отражения свойств объекта. Как отмечалось в литературе, в подобных многопризнаковых информационных системах наблюдаемые (или измеряемые) параметры являются лишь косвенными характеристиками изучаемого явления, на самом же деле существуют скрытые внутренние (латентные, фундаментальные) параметры или свойства, число которых мало и которые определяют значения наблюдаемых параметров.

Многомерная классификация может быть направлена на группировку объектов со сходными сочетаниями признаков либо на группировку признаков, взаимосвязанных друг с другом. В первом случае мы имеем дело с использованием таких методов, как автоматическая классификация, таксономия и т. п. Во втором случае — с широким набором процедур анализа скрытых факторов, обусловливающих взаимосвязь наблюдаемых признаков. Методы многомерной классификации можно сгруппировать и по другому основанию, учитывая их различия в механизме свертывания исходной информации. Первая группа методов основана на построении новых признаков, объясняющих поведение наблюдаемых переменных (например, факторный анализ). В методах второй группы из исходных признаков отбираются признаки наиболее информативные.

В теоретико-методологическом смысле многомерная классификация — более высокий уровень обобщения фактов. Она может выступать средством эмпирической типологизации социальных объектов.

В результате систематизации данных достигается приращение знания об объекте исследования (характеристики явлений внутри группы, особенности группы, некоторые отношения между группами). Однако более сложная задача конкретных исследований — выявление зависимостей между изучаемыми явлениями. Установленные зависимости являются фактологической основой для поиска более глубинных причинных структур, объяснения фактов на уровне уже теоретического анализа. Однако анализ зависимостей предполагает использование более строгих методов, нежели при группировке фактов».

2. Главная задача любого научного исследования — раскрытие причинно-следственных связей между изучаемыми явлениями. Окончательно выполнить эту задачу способен только теоретический анализ; на эмпирическом же уровне познания обнаруживаются лишь зависимости, которые сами нуждаются в теоретическом объяснении. Тем не менее поиск зависимостей — один из этапов обнаружения причинно-следственных связей. Эмпирические зависимости (в предельном случае — эмпирические законы) позволяют выявлять в многообразии фактов общие, устойчивые, повторяемые черты, которые являются отражением глубинных причинно-следственных связей.

В содержательном плане различают три блока связей правовой системы: генетические, т. е. внешние по отношению к праву, но определяющие его содержание, связи внутри правовой системы и обратные связи права с общественными отношениями, раскрывающие организующие и регулятивные функции правовой системы.

Говоря о задачах анализа этих связей, речь идет не только об установлении фундаментальных взаимодействий права и экономики, права и социальных отношений и т. п., но и «о конкретных сцеплениях между ними, выраженных в определенных механизмах взаимодействия и взаимовлияния». Устанавливаемые в социологических исследованиях зависимости проясняют вопрос о конкретном механизме действия связей правовой системы.

Действительно, внешние связи правовой системы в конкретно-социологических исследованиях принимают вид влияния социальных факторов (социальная структура, социально-демографические характеристики условия жизни и т. п.) на правовое сознание и поведение людей. Внутренние связи правовой системы также приобретают конкретную форму в эмпирических исследованиях (правовые ориентации и правовое поведение, деятельность юстиции и престиж закона и т.п.). Обратные связи правовой системы изучаются в конкретных исследованиях, в первую очередь при анализе эффективности юридических норм.

Зависимости, которые устанавливаются в конкретно-социологических исследованиях, могут служить исходной информацией для раскрытия в теоретическом анализе законов развития, функционирования и структуры правовой системы. Так, фактологический материал о развитии правовой деятельности фиксируется в конкретных исследованиях при изучении тенденций, прогнозировании и т. п.

Корреляционный и многомерный анализ, моделирование проясняют вопрос о структуре правовых явлении и взаимосвязях между элементами структуры правовой системы (функциональный аспект).

Различают два типа зависимостей: функциональную и статистическую. Под функциональной зависимостью между переменными понимается такая связь, которая с помощью строгой математической формулы может быть определенно выражена для каждого конкретного случая. Здесь каждому значению одной величины соответствуют одно или несколько определенных значений зависимой переменной. Для социальных же явлений больше характерны статистические зависимости. В них связь между величинами проявляется не в каждом конкретном случае, а обнаруживается как тенденция, характеризующая всю совокупность анализируемых случаев.

Принцип совместного проявления событий гласит, что постоянное парное проявление двух признаков дает основание предполагать наличие связи между ними. Для определения данного типа зависимостей могут использоваться коэффициент ассоциации (в таблице 2 х 2) и коэффициент взаимной сопряженности. Указанные коэффициенты применяются для определения зависимости между двумя переменными, измеренными на номинальном уровне. Поэтому они широко используются при исследовании качественных признаков.

Вторая группа методов основана на принципе ковариации, т. е. параллельного изменения в рядах исследуемых переменных. Если для двух рядов количественных данных изменения в одном из них согласуются с изменениями в другом, есть основание предположить о наличии связи между этими рядами. Принцип ковариации не может использоваться для переменных, измеренных на номинальном уровне.

В случае порядкового шкалирования применяются коэффициенты ранговой корреляции. Расчет коэффициента корреляции позволяет установить степень связи между двумя явлениями.

В юридической социологии, при использовании коэффициентов ранговой корреляции ограничиваются, как правило, оценкой связи между двумя рядами (двумя переменными). Однако сложность социально-правовых явлений требует применения более адекватных процедур. В случае порядкового шкалирования следует, на наш взгляд, шире использовать множественные коэффициенты ранговой корреляции, которые позволяют измерять связи большого числа ранжированных переменных.

Для анализа связей, измеренных на метрическом уровне (интервальная шкала и шкала отношений) широко используется корреляционный анализ, который основан на расчете отклонений точек от линии регрессии. Чем больше разброс точек, тем слабее связь. Корреляционный анализ наиболее широко используется в криминологических исследованиях.

В настоящее время в социологическом анализе используют также энтропийные меры связи между переменными. Их плодотворность для социологических исследований права отмечалась и в юридической литературе. Энтропия характеризует меру неопределенности предсказания о поведении данной величины. В случае слабой связи между двумя переменными трудно предсказать значение одной переменной при фиксированном значении другой, при усилении связей неопределенность предсказания уменьшается; соответственно растет значение коэффициента связи.

Уровень измерения признаков накладывает ограничения на применение тех или иных приемов установления связей. Так, на самом низком уровне измерения социальных характеристик (номинальное шкалирование) используются коэффициенты сопряженности. В случае измерения признаков по шкале порядка, к этим коэффициентам добавляется коэффициент ранговой корреляции. Что касается более строгих методов установления зависимостей (коэффициент корреляции Пирсона, корреляционное отношение и т. п.), то они применимы только начиная с интервального уровня измерений. Таким образом, чем строже уровень измерения признаков, тем богаче и точнее арсенал статистических средств анализа зависимостей, что говорит о необходимости разработки более совершенных методов количественного описания правовых явлений.

3. Зависимости между двумя переменными при всей их важности для конкретно-социологического анализа огрубляют реальную картину взаимосвязи правовых явлений. Многофакторная обусловленность социально-правовых процессов требует раскрытия целого комплекса взаимосвязей. Парные корреляции не претендуют на эту роль в социологическом анализе. В то же время они могут служить исходной базой для использования более сложных методов поиска связей между многими переменными.

Так, к этим методам можно отнести множественный коэффициент ранговой корреляции, который измеряет связи между ранжированными рядами нескольких переменных одновременно. О нем мы уже говорили выше.

Другим приемом многопеременного анализа является построение графа, позволяющего выявить структуру взаимодействия всей системы переменных и представляющего собой простейшую модель объекта. Так, в форме графа может быть представлена структура взаимосвязи между компонентами правового сознания. В этом случае вершинами графа будут служить компоненты правосознания (знание права, оценки, установки и т. п.). Ребра графа отразят картину связей этих элементов.

Рассмотренные методы в определенных ситуациях могут использоваться при анализе сложных причинных структур. Однако и они не в состоянии раскрыть всего богатства связей между социальными явлениями. Для этого в конкретной социологии применяют специальные методы многомерного (многопеременного) анализа. Их разработка и внедрение в исследовательскую практику (в частности, и в сферу юридической социологии) — реакция науки на сложность и необозримость исходного эмпирического материала. С помощью этих методов исследователь из широкого набора признаков выделяет ограниченное число характеристик, необходимых и достаточных для объяснения изучаемого явления.

Одним из таких методов является таксономия (распознание образов). Мы уже говорили о нем как о способе систематизации исходного массива данных, который позволяет разбивать большое количество изучаемых объектов на значительно меньшее число однородных групп (таксонов или образов). Таксоны могут интерпретироваться как устойчивые социальные типы. Несмотря на то, что они выявлены путем эмпирической типологизации, есть серьезные основания полагать, что разбиение объектов на однородные, отличающиеся друг от друга классы вызвано различиями в существенных свойствах социальных явлений. Конечно, подобный вывод в каждом конкретном случае должен быть теоретически обоснован, так как выявление существенных свойств объектов в конечном счете осуществимо только на уровне теоретического анализа. Таксономия — начальный пункт, а не итог теоретической интерпретации эмпирических данных большого объема и значительной меры сложности.

Задача таксономии — поиск скрытых закономерностей путем группировки объектов со сходными признаками. Другой класс многопеременных процедур направлен на установление причинных зависимостей посредством группировки признаков, взаимосвязанных между собой. Основными методами здесь являются факторный анализ, многомерное шкалирование и кластерный анализ

Факторный анализ находит все большее применение в конкретно-социологических исследованиях права. Идея метода состоит в том, что взаимосвязь (или вариация) наблюдаемых признаков рассматривается как результат действия ограниченного числа скрытых причинных факторов. Факторный анализ «приводит к выделению определенного числа основных факторов, лежащих в основе рассчитанных корреляций. Выделение таких основных фундаментальных влияний или факторов позволяет продолжить исследования взаимосвязи признаков и тех закономерностей, которым они подчиняются».

Так, например, использование факторного анализа позволило обобщить данные о влиянии нескольких десятков демографических и экономических характеристик на состояние преступности. В результате анализа было выделено четыре укрупненных фактора, которые оказывают воздействие права на нарушения. Причем первый фактор (уровень урбанизации) объяснил взаимосвязь 8 признаков, второй фактор (структура занятости населения) — взаимосвязь 14 признаков и т. д.

Разработаны две основные разновидности методов факторного анализа: центроидный метод (более традиционный) и метод главных компонент. Первый метод основан на анализе корреляций между признаками; второй — на анализе дисперсий. Однако теоретико-методологический смысл данных процедур является общим, что и позволяет нам в дальнейшем отвлечься от их конкретных особенностей.

Факторный анализ обладает серьезными познавательными возможностями. Подобно другим многомерным методам он позволяет компактно упорядочить разнообразные данные об объекте, свести их к ограниченному кругу основополагающих характеристик. Так, по расчетной формуле Л. Терстоуна, в центроидном методе при выделении 5 факторов минимальное число первичных признаков должно составлять 9 (на практике количество признаков берется значительно большим). В методе главных компонент выделяется, как правило, 5-10 факторов, в то время как число исходных признаков в несколько раз больше. Эти примеры говорят о том, какой мощной способностью «сжатия» избыточных данных обладает факторный анализ. Конечно, подобное сведение данных должно осуществляться без существенных потерь информации, содержащейся в исходном множестве признаков.

Одновременно факторный анализ не просто устраняет избыточную информацию, затушевывающую общую картину. Он позволяет отделить существенные признаки от несущественных путем перехода от внешних свойств объекта к его внутренним, скрытым характеристикам, которые непосредственно нельзя измерить в данном эксперименте. Последние могут интерпретироваться в качестве объясняющих переменных, т. е. причинных факторов, определяющих взаимосвязь внешних признаков. Существенно при этом, что факторный анализ способен дать нетривиальное решение, которое «нельзя предвидеть и усмотреть, не применяя специальную технику извлечения факторов».

В то же время достоинства метода не должны заслонять те слабости и ограничения, которые ему присущи. В противном случае возможны серьезные ошибки в интерпретации материалов факторного анализа. Особое место в исследованиях занимают модели.

4. Существуют различные классификации моделей. В зависимости от решаемых проблем различают функциональные и структурные модели; с точки зрения задач — эвристические и прогностические модели; по методам построения моделей — метрические и неметрические и т. п. В социологии права используются различные конкретные модели этих классификаций.

 

2. О выборе методов изучения проблемы

 

При определении конкретных методов изучения права правильнее исходить не из отдельных сторон, а из общеметодологических принципов, разработанных в теории и проверенных на практике. Опыт показывает, что конкретные методы исследования должны способствовать получению объективных и полных данных об изучаемом объекте, содержательной и достаточной по объему информации, исследованию мнения различных групп людей. Они должны также соответствовать задачам и целям, стоящим перед исследователем, особенностям исследуемого объекта и реальным возможностям организатора и исследователя. Любой другой подход был бы односторонним, поскольку в этом случае исследователь использует конкретные методы, которые не в состоянии раскрыть в достаточной степени сущность и особенности исследуемой проблемы. В то же время накопленный опыт свидетельствует, что с успехом могут применяться следующие конкретные методы: наблюдение, анализ документов, всеобщие обсуждения, научно-теоретические конференции, анализ практической деятельности людей, интервью, анкеты. В зависимости от характера, целей и задач конкретного исследования могут быть использованы те или иные конкретные методы.

Эффективность любого метода зависит от того, какие стороны, моменты и особенности изучаются, какие цели и задачи ставятся перед исследователем. Если, например, исследуется степень распространения функционирующего общественного мнения, то одним из самых эффективных конкретных методов может служить анкетирование. Но если его содержание изучается только с помощью анкетирования, то не всегда можно получить достаточно полную информацию. Поэтому следует использовать массовое наблюдение, анализ документов и практической деятельности людей. Ни один из указанных конкретных методов не может считаться самым подходящим, самым эффективным и самым научно обоснованным. Каждый из них по-своему эффективен и результативен.

Важное теоретическое и практическое значение имеет научная классификация конкретных методов, применяемых при изучении общественного мнения.

В научной классификации в качестве критерия обычно используются объективно обоснованные принципы и предпосылки, а не отдельные элементы, характеризующие объект. Вот почему в данном случае речь идет не о группировке или систематизации конкретных методов, что имеет свое самостоятельное значение, а о раскрытии тех общих и специфических особенностей и признаков, которые объединяют их в логическую зависимость и обусловленность. Научная классификация конкретных методов позволяет раскрыть сходство, различия и направления исследования процессов и явлений, разграничить признаки и привести в известный порядок и последовательность собранный фактический материал.

В качестве критериев классификации конкретных методов могут выступать различные стороны и моменты изучаемого предмета: его сущность как социально-психологического явления, характер исследования, объект, задачи, средства, особенности функционирования, технические предпосылки и т. п. Именно это многообразие усложняет и затрудняет выбор основного критерия. Если, например, исходить из характера объекта, то методы могут быть общими, частными и локальными, а если исходить из того, кто проводит исследования, то надлежит применять конкретные методы: интервью, анкету, наблюдение и т. п. Именно поэтому каждый отдельно взятый критерий может служить основой классификации конкретных методов. Но главное состоит в том, чтобы определить возможность более целостного логического обоснования и взаимосвязи между отдельными методами, определить, насколько соответствующая классификация позволяет зафиксировать конкретно и более точно сущность проблемы в целом.

Определяющее значение здесь имеет объект отражения, т. е. каков он по своему характеру, как отражаются его особенности, закономерности развития и т. д. Таким образом, классификация конкретных методов дает исследователю возможность использовать те из них, которые способны обеспечить необходимую по объему и содержанию информацию, главным образом о характере исследуемого объекта. На этой основе некоторые авторы определяют две основные группы методов изучения общественного мнения. В первую группу входят методы анализа внешних объективных фактов сознания, т. е. действия, поведение и отношения людей к процессам, явлениям, фактам.

Вторую группу составляют методы, изучающие отражение непосредственных фактов сознания, т. е. то мнение, которое не нашло объективного отражения в действиях и поведении людей.

Методы изучения отражения объективированных фактов сознания таковы: наблюдение — массовое, стихийное, организованное, открытое, однократное, многократное; изучение документов — личных, общественных; всенародные обсуждения — региональные, коллективные, профессионально-демографические: теоретические конференции — научно-теоретические, теоретико-практические, пропагандистские: анализ практической деятельности людей — действие и поведение отдельной личности, коллектива, организации, группы.

Методы изучения отражения непосредственных фактов сознания следующие: наблюдения, интервью — свободное, полусвободное, стандартное, по телефону; анкетирование — прямое, косвенное.

По своему характеру и сущности наблюдение — сложный объективный психологический процесс отражения действительности. Его сложность обусловливается тем, что процессы и явления наблюдаются в непосредственной и естественной обстановке. Кроме того, место и роль исследователя как наблюдателя оказывает определенное влияние и воздействие на наблюдаемых, на подбор и обобщение информации. Но в большинстве случаев роль исследователя пассивна, поскольку он лишь фиксирует проявившееся мнение или отношение людей к процессам, фактам и явлениям. Использование наблюдения как метода дает возможность в самом широком плане изучить общественные процессы и явления.

В зависимости от места наблюдателя, от организации наблюдения и других факторов в социологии различаются несколько его видов: в зависимости от взаимоотношений между наблюдателем и наблюдаемыми — внешнее, внутреннее и экспериментальное; в зависимости от особенностей организации — запланированное и незапланированное, стихийное и организованное; в зависимости от объекта — частичное, общее, массовое, групповое, коллективное, индивидуальное и т. д.

Один из конкретных методов исследования проблемы — изучение документов. В социологии существуют различные взгляды на это понятие. Одни авторы сужают, а другие, наоборот, слишком расширяют его содержание. В письменных документах мнение выражено в более определенной форме. Но значительную и богатую информацию можно получить также и из анализа фотоснимков, записей, телевизионных передач и пр. Они также являются документами.

Практика показывает, что без анализа содержания изучаемых документов невозможно раскрыть ни мнения, которое выражено в них, ни специфических особенностей его формирования и функционирования.

Как конкретный метод изучение документов характеризуется некоторыми специфическими особенностями, которые определяют и его место в социально-психологических исследованиях.

Именно с помощью документов раскрываются и уточняются некоторые характерные особенности формирования, функционирования и способа проявления коллективного, группового и индивидуального мнения, успешно выясняются место и значение отдельных объективных и субъективных факторов формирования поведения, механизм его образования и упрочения. Исследователь имеет возможность изучать, сопоставлять и анализировать выявленные факты более продолжительное время, в одних и тех же или различных условиях и социально-демографических группах.

При изучении функционирующего мнения особое внимание уделяется его интенсивности и распространению. Выяснение этих моментов имеет важное практическое значение для правильного руководства процессом формирования общественного мнения, ибо его сила обусловливается не только диапазоном охвата, даже не столько тем, что фактически выявлено его субъектом и выразителем, сколько политической и правовой активностью масс, их реальным участием в решении конкретных задач.

Таким путем можно точнее выяснить, среди каких категорий населения, каким образом формировалось соответствующее мнение, каковы его направленность, общественная сила и т. д.

2. Для изучения отражения непосредственных фактов сознания применяются конкретные методы — интервью и анкета. Характерно, что при использовании этих методов полученная информация обычно поступает в форме словесного или письменного суждения и сообщения. Она дает возможность раскрыть некоторые моменты, связанные с внутренней мотивацией субъекта, с его конкретными поступками в прошлом и настоящем, планами, идеями и т. п. Это особенно важно для анализа содержания и специфических особенностей функционирующего закона, права.

Интервью и анкета позволяют исследователю раскрыть новые стороны проблемы. По сравнению с другими методами данные конкретные методы позволяют реципиентам свободнее и не смущаясь посторонних факторов, точнее и откровеннее высказывать свое мнение и отношение к поставленным вопросам. Как конкретные методы, они создают большие возможности для представительности, оперативности и широты охвата исследования.

Нет сомнения, эти методы очень важны для изучения проблемы, но они, на наш взгляд, не могут быть ведущими и определяющими. Дело не в тех сторонах и моментах каждого конкретного метода, которые в определенной степени ограничивают или расширяют его познавательные возможности, а в содержании, сущности и особенностях исследования. При определении того или иного метода в первую очередь следует исходить из программы эмпирического социологического исследования, их характера и источников информации, из состава исследуемой совокупности людей и особенностей каждого конкретного метода. Эти требования являются обязательными и при использовании отдельных методов социологических исследований.

Как и другие конкретные методы, интервью и анкеты имеют некоторые специфические недостатки, которые наиболее ярко проявляются при их самостоятельном использовании. Речь идет о степени субъективизма информации, ее эффективности, «престиже», «анонимности», о реальных возможностях соответствующей организации, о целесообразности этой информации и ряде других предпосылок, которые необходимо выяснить и уточнить еще на подготовительном этапе.

Известно, что для общественного сознания как социально-психологического явления характерны гласность, определенная форма и степень обобщения. Однако некоторые факторы могут оказывать тормозящее и ограничивающее воздействие на выражение общностью и личностью мнения, еще не объективизированного обществом. Вот почему при применении этих методов надо не только раскрывать тормозящие факторы и предпосылки, но использовать такие приемы и формы, которые способны ограничить и свести к минимуму их влияние и воздействие на объем и содержание получаемой информации.

Организация и структура социологических исследований по своей сущности есть комплексная, целенаправленная и научно обоснованная программа действий со своими закономерностями и особенностями реализации, которые необходимо предварительно выяснить. Независимо от характера и особенностей общественного мнения как социально-психологического явления основные принципы организации его исследования не отличаются существенно от принципов эмпирических социологических исследований, но и неидентичны им. Общие принципиальные положения конкретизируются, «модифицируются» и «специализируются», отражая специфику, следует, это учитывать при подготовке исследования.

3. Подготовка и проведение эмпирических социологических исследований, в том числе и с целью изучения общественного мнения, реализуются в трех взаимосвязанных этапах: первый этап — подготовка, пробное исследование, второй этап — проведение исследования и третий этап — обработка полученного материала.

Каждый из этих трех этапов обладает своей внутренней структурой и особенностями. Подготовка конкретного социологического исследования включает:

программу, в которой ставятся цели и задачи исследования, указывается, какая информация должна быть обеспечена, какими должны быть объект и субъект исследования, различные организационные вопросы;

проект обработки, в котором выясняются способ и методы обработки полученной информации;

организационный план, который содержит вопросы, связанные с организационной и технической подготовкой и проведением соответствующего исследования;

документацию для проведения исследования и регистрации результатов.

Таким образом, на этапе подготовки осмысливается целостный план конкретного исследования. Важнейшим и определяющим моментом на данном этапе является выработка программы.

Все эти моменты тесно взаимосвязаны и обусловливаются процессом самого конкретного исследования уже на этапе его проведения.

 

3. Экспериментальная проверка гипотез в социологии права

 

Экспериментальная проверка научных гипотез — одна из наиболее существенных форм воздействия конкретных исследований на развитие теории. Последнее обусловлено местом и ролью гипотез в научном познании.

Выдвижение и проверка гипотез является необходимым условием развития научного знания на любом этапе науки. Для теории, находящейся в стадии становления, развернутые системы гипотез могут служить прообразом ее будущих концептуальных схем. Для зрелых теории гипотетические построения — средство ассимиляции новых фактов, пересмотр ее устаревших положений.

Гипотезы — это научно обоснованные предположения о структуре социальных объектов, о характере элементов и связей этих объектов, о механизме их функционирования и развития. Гипотезы в конкретных исследованиях права выдвигаются на этапе разработки программы как предположительный способ решения научной проблемы. Соответственно они выступают конституирующим фактором всего дальнейшего процесса исследования.

В то же время выдвижение гипотез — это и своеобразный итог теоретической деятельности исследователя при разработке программы. Действительно, гипотезы непосредственно связаны с постановкой проблемы, так как степень ее содержательности во многом предопределяет и научную плодотворность гипотез. Требования эмпирической проверки гипотезы связывает ее с таким этапом, как интерпретация понятий, ибо только строгость операционных определений обеспечивает возможность сопоставления выводимых из гипотез следствий с опытными данными. И, наконец, системный анализ предмета позволяет очертить круг переменных и основные связи между ними, относительно которых выдвигаются детализированные гипотезы.

Связь гипотезы с концепцией исследования объясняет роль теоретического анализа в ее обосновании. Однако гипотеза в отличие от теоретического вывода не следует с логической необходимостью из теоретического знания. Гипотеза и теоретический вывод отличаются по истинности исходных посылок. В гипотезах правильность исходных посылок проблематична до тех пор, пока она не будет проверена опытом. Принцип эмпирической проверяемости гипотезы требует соблюдения правил логического вывода следствий из гипотез — оснований и отсутствия в гипотезах-следствиях неверифицированных терминов.

Логической схемой подтверждения гипотезы является редукция. При ее сравнении с дедуктивной схемой выявляется отличительная особенность вывода об истинности гипотезы — он не носит необходимого характера. Действительно, дедукция осуществляется по следующей схеме: «Если истинно высказывание А, то истинно высказывание В; А истинно, следовательно В истинно». Истинность В следует с необходимостью из условного высказывания и истинности А.

Редукционная схема иная: «Если истинно А, истинно В: В истинно, вероятно, А истинно». Здесь заключение делается относительно истинности А (в нашем случае — гипотезы) из условного высказывания об истинности В. Оно не является логически необходимым и носит вероятностный характер'.

Вероятностные выводы имеют различные градации, или уровни доказательности знания, начиная с маловероятных, т. е. крайне ненадежных, суждений, до положений, непосредственно смыкающихся с достоверным знанием. Поэтому степень обоснованности вывода по редукционной схеме необходимо оценивать с учетом каждого конкретного случая. Наибольшая вероятность истинности возникает, когда обнаруживаются ранее неизвестные, но предсказанные гипотезой факты.

2. Наиболее сильным способом проверки научных гипотез является эксперимент. Познавательная сила эксперимента обусловлена тем, что он. как деятельность, выступает видом человеческой практики (научной практики), которая в целом является критерием истины.

Эксперимент в науке выступает как единство познавательной и практической деятельности. Роль эксперимента как одной из форм научной практики возрастает в условиях превращения науки в производительную силу общества. Это справедливо не только для естественнонаучных, но и для социальных экспериментов. Последние используются в практике социального планирования и управления для выработки научно обоснованных управленческих решений (созидательный эксперимент). В области права эксперимент все чаще выступает компонентом нормотворческого процесса. Так, разработка концепций новых нормативных актов невозможна без их всесторонней и серьезной экспериментальной проверки. Однако на практике нередко предложения по новым законам даются учеными без должного обоснования. Необходимо использовать имеющиеся в юридической науке широкие возможности для проведения экспериментов по повышению эффективности правотворческой деятельности.

В настоящее время не только в основном преодолено мнение о невозможности эксперимента при изучении социальных явлений, но и накоплен определенный опыт использования экспериментальных процедур в научном анализе. Это положение справедливо и для правовой науки. В ней нарастает число публикаций как по проблемам методологии и методики экспериментирования в праве, так и по результатам исследований, построенных с учетом требований экспериментального плана. Однако в целом многие проблемы в этой области еще ждут своего решения.

Эксперимент как научная процедура — это метод получения знания об объекте путем воздействия на него управляемых и контролируемых факторов. Активное воздействие исследователя с объектом, возможность вычленения действия причинного фактора и неоднократного воспроизведения экспериментальной ситуации делают эксперимент самым действенным методом конкретно-социологического исследования. В отличие от наблюдения эксперимент дает возможность «очистить» объекты от случайных явлений, нивелировать их и тем самым обнажить связи детерминации.

В социологических исследованиях права эта проблема выступает как специфическая задача вычленения действия правового фактора из всей системы детерминации, которая наиболее остро стоит перед исследователями эффективности юридических норм. Так, одним из показателей эффективности правовой нормы может служить степень достижения ее целей. Однако сам по себе это весьма условный показатель, так как норма действует не изолированно, а в системе с другими социальными факторами. Положительный эффект может быть достигнут и за счет действия других, неправовых факторов при слабой эффективности нормы. И наоборот, достижение положительного эффекта может тормозиться действием неправовых факторов, сводящим на нет регулирующую роль и совершенного нормативного акта. Поэтому в каждом конкретном случае необходимо определить меру воздействия на социальное изменение собственно правовой нормы. Теоретический анализ этой проблемы, опирающийся также и на результаты конкретных исследований показывает, что подобное вычленение как определение результата действия правовой нормы, изолированной от всей системы других факторов, вряд ли достижимо. Поэтому «вычленение не просто механическое выделение веса того или иного фактора, а определение его количественного значения с учетом взаимосвязей с другими факторами, обусловливающими состояние изучаемого процесса». Соглашаясь в принципе с данным положением, следует отметить, что такой подход все-таки не снимает полностью трудности в проведении реального эксперимента. Он приемлем в сравнительно простых ситуациях, когда число таких факторов сравнительно невелико. При их увеличении исследователь сталкивается с эмпирической неэкспериментальной ситуацией, в которой проблема «упирается в наличие сложной системы множественных связей, каждая из которых не может быть изолирована и проконтролирована в эксперименте». Такая проблема, на наш взгляд, может быть решена путем мысленного экспериментирования, в частности с помощью разработки и решения причинных моделей.

Таким образом, необходимость учета влияния всей системы условий при изучении действия правового фактора не исключает возможности проведения эксперимента в юридической науке. При этом следует отметить, что сам правовой фактор является сложной системой. Поэтому, например, при изучении эффективности законодательства, регламентирующего производственную деятельность, многие эксперименты являются, по существу, экономико-правовыми, где экономика и право выступают вместе. По аналогии можно говорить о политико-правовых, культурно-правовых и других экспериментах. В этом проявляется единство материального содержания и юридической формы закона, которую можно разорвать только в абстракции, но не в реальном эксперименте. Иными словами, понятие собственно правового эксперимента — это в определенной мере идеализация. Сказанное не означает, что чисто правовых экспериментов не существует. «К такого рода экспериментам могут быть отнесены... те, которые связаны с принятием экспериментальных норм, имеющих правоохранительные и некоторые другие цели, условно названные нами юридическими ». К этому следует добавить, что к преимущественно правовым можно отнести эксперименты в сфере процессуального права. Это относится, например, к введению суда присяжных в Российской Федерации.

Сложность связей детерминации проявляется не только во множественности причин, но и во множественности следствий (зависимых переменных). Как правило, социальные исследования имеют дело не с одним элементарным следствием, а с системой следствий, из которых они могут охватить лишь некоторые фрагменты. Отсюда трудность экспериментальной проверки гипотезы, так как подтверждение данного следствия не позволяет в полной мере судить об обоснованности гипотезы. Возможно, что данное следствие принадлежит нескольким гипотезам. Выход из этой ситуации — проверка как можно большего числа следствий из гипотезы. Но это соответственно усложняет экспериментальную процедуру.

Для правовых экспериментов проблема учета времени действия причинного фактора приобретает особенную остроту особенно при изучении эффективности опытных норм. Р. Лукич справедливо пишет, что эксперимент обычно длится непродолжительное время и поэтому причинная связь может быть не установлена с полной надежностью. Действительно, эффект действия нормы не осуществляется по схеме «стимул — реакция». Нередко требуется время, чтобы действие нового закона вызвало позитивные социальные изменения. Поэтому, когда исследователь после эксперимента не обнаруживает ощутимых изменений в объекте, у нас нет полной гарантии неэффективности нормы. Может иметь место несовпадение времени эксперимента и времени развертывания причинного фактора. Возможна и другая ситуация: эксперимент зафиксировал изменения в объекте. Однако и здесь не всегда есть уверенность в том, что это не временный эффект и что, отреагировав на воздействие, система по прошествии определенного периода не вернется в исходное состояние. В социологии права имеются примеры подобной инерционности правовой сферы.

3. В зависимости от содержания экспериментального фактора в юридической социологии мы можем выделить две группы экспериментов. В первой группе экспериментальной переменной сами правовые нормы не выступают; во второй — право является экспериментальным фактором. Так, к экспериментам первой группы можно отнести исследования эффективности правовой пропаганды и правового воспитания населения, эффективности профилактики правонарушений и т. п., если эти исследования проводятся с учетом требований экспериментальных процедур. Однако наибольший интерес представляют эксперименты второй группы, когда опытным путем на локальном объекте проверяется новый законодательный акт.

В социологии различают активно направленные и естественные эксперименты. В активном опыте исследователь сам вводит в действие экспериментальный фактор как гипотетическую причину предполагаемых следствий. В естественном эксперименте импульс изменения объекта не вводится социологом, а возникает как результат естественного хода событий

Задача исследователя — определить, в какой мере ожидаемые в соответствии с его гипотезой следствия совпадают с реальными изменениями объекта. Законодательный эксперимент является активно направленным, так как опытная норма всегда вводится в жизнь с целью проверки ее эффективности. Однако и естественные эксперименты представляют большую познавательную ценность. Они как бы ставятся самой жизнью и открывают широкие возможности для исследователя права. К. Кульчар справедливо замечает, что «можно считать введение в действие любой правовой нормы опытом, проводимым... в естественной среде, если удастся выделить из нее общественные последствия, непосредственно связанные с этой «независимой переменной». Естественные эксперименты не низводят исследователя до роли пассивного наблюдателя. Они предполагают активную творческую деятельность по выявлению последствий правового фактора и здесь также возможен достаточно строгий контроль переменных. Тем не менее активно направленные законодательные эксперименты позволяют получать информацию о качестве закона оперативнее, а главное, еще до его повсеместного введения. Тем самым существенно уменьшается риск принятия несовершенного нормативного акта.

Познавательные возможности законодательного эксперимента могут быть реализованы только при соблюдении всех научных требований экспериментальной процедуры. Однако на этом пути имеются трудности объективного и субъективного плана.

Все сказанное ранее о специфике и проблемах социальных экспериментов в полной мере относится и к законодательным экспериментам. К этому следует добавить, что для последних особенно важен отбор типичных локальных объектов для проверки опытного нормативного акта. Кроме того, необходимо, чтобы условия проведения эксперимента оставались нормальными. Так, например, при проведении некоторых хозяйственных экспериментов создаются льготные условия для их участников, что является нарушением принципа объективности. Нарушает чистоту эксперимента и ухудшение условий для участников эксперимента (усиление контроля и требовательности сверху, повышение ответственности за исход эксперимента, обстановка нервозности, дефицит времени и т. п.).

4. Следует учитывать и психологические особенности законодательных экспериментов. Как отмечается в литературе, и «законодательный эксперимент связан с очевидными неудобствами. Зная о том, что закон не окончателен, недовольные им лица склонны выжидать, а не действовать в соответствии с ним». Следовательно, при анализе результатов эксперимента следует вносить соответствующие поправки.

Практика проведения законодательных экспериментов сейчас значительно расширяется. Одним из ярких примеров подобных экспериментов является введение системы пропорциональных выборов, многомандатной системы и т. д.

Так, при изучении эффективности опытной локальной нормы ее нельзя вводить повторно на одном объекте. Для погашения эффекта неучтенных факторов, по-видимому, здесь уместен другой прием: введение опытной нормы на ряде идентичных объектов, которые условно рассматриваются как серия повторных замеров на одном объекте. Например, исследование влияния годового вознаграждения на текучесть кадров, проведенное ВНИИ СЗ, было построено по данному принципу. Исследователи отобрали 44 предприятия, выравненных по основным параметрам (условия труда, техническая вооруженность, организация труда и т. д.), но отличающихся только одним показателем — средним размером годового вознаграждения (экспериментальный фактор). С помощью корреляционного анализа определялась сила связи между размером вознаграждения и текучестью кадров. Как видим, логическая схема эксперимента строилась по методу сопутствующих изменений.

Сложности в проведении натурного эксперимента (невозможность полного устранения действия неучтенных факторов, сложность контроля за известными факторами, трудности в повторном воспроизведении экспериментальной ситуации) повышают значение мысленного экспериментирования в социологии права, в котором реальные объекты замещаются информацией об этих объектах.

Метод мысленного эксперимента обладает широкими возможностями в социологии права, особенно если учесть сложность проблемы социального времени для действия права.

Применим он и в других ситуациях. Так, в криминологии при изучении личностных особенностей правонарушителей стало общепринятым сравнение экспериментальной (преступники, отбывающие наказание) и контрольной (лица с позитивным поведением) групп. Эти группы выравнены по всем основным социальным и демографическим характеристикам (пол, возраст, образование и т. п.). Исследователи оценивают, имеются ли значимые различия между группами по отношению к праву (гипотетический экспериментальный фактор). Ясно, что здесь анализ обращен в прошлое, так как предполагается, что изъяны в правосознании были одним из факторов совершения преступления лицами из экспериментальной группы.

Итак, использование эксперимента как способа проверки научных гипотез существенно повышает статус конкретных исследований в социологии права, расширяет их познавательные возможности. Без выдвижения гипотез не может развиваться теоретическое знание. Однако проверка их обоснованности осуществляется в плоскости эмпирического уровня знания путем сопоставления выводимых из гипотез следствий с опытными данными. Эвристическая ценность эксперимента состоит в том, что он является приемом активного взаимодействия исследователя с объектом, разновидностью научной практики. С его помощью создаются условия, соответствующие логике проверки гипотез, осуществляется реальное воздействие на объект, и измеряются результаты действия гипотетического причинного фактора. Никакой другой метод не в состоянии обеспечить выполнения всех этих условий. Социология права располагает определенными возможностями для проведения реальных экспериментов. Она также в состоянии использовать и процедуры мысленного экспериментирования путем разработки причинных моделей, ретроспективного анализа, моделирования и т. п. Тем самым научная проверка гипотез получает еще более надежный фундамент.

 


[1] См.: Казимирчук В. П., Кудрявцев В. Н. Современная социология права: Учебник для вузов. – М.: Юристъ, 1995. С. 9.

[2] См.: Нерсесянц В. С. Право и закон. М., 1989.

[3] См.: Керимов Д. А. Философские основания политико-правовых исследований. М., 1986. С. 71-72.

– Конец работы –

Эта тема принадлежит разделу:

Социология права

Министерство юстиции Российской Федерации.. Юридический факультет.. ЧЕРНЯКИН В Г Социология права..

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Тема 10. Методика конкретных социологических исследований в праве.

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Предмет социологии права.
2. Место социологии права в ряду гуманитарных дисциплин.   Социология права — новое научное направление в отечественном обществоведении, которое рассматривает правовую систем

Лекция 2. Основные черты зарубежной социологии права
1. Основные методологические подходы социологии права. 2. Юридический позитивизм и социология права. 3. Европейская школа социологии права 4. Американская школа социологи

Лекция 3. Некоторые аспекты истории отечественной социологии права
1. Становление социологического подхода к изучению права в России и СССР. 2. Современное состояние российской социологии права.   1. Социологический подход к изучени

Тема 4. Социальная обусловленность права
  1. Содержание правотворческого процесса 2. Законодательная социология 3. Закон и общественное мнение.     1. Правотворчество —

Лекция 5. Социальное действие права
  1. Социальные функции права 2. Механизм социального действия права 3. Факторы реализации права 4. Механизм убеждения и принуждения  

Лекция 6. Правовая социализация личности
  1. Понятие правовой социализации 2. Соотношение субъективного и объективного в процессе правовой социализации 3. Правовая культура как фактор социализации

Лекция 7. Правовое поведение личности
  1. Общая характеристика правового поведения 2. Правовое поведение гражданина 3. Социальная природа правонарушения 4. Особенности личности правонарушителя

Лекция 8. Социология юридической организации
  1. Особенности юридической организации 2. Социология судебной деятельности   1. Под юридической организацией понимается государствен

Тема 9. Правовая конфликтология
  1. Понятие юридического конфликта 2. Динамика и типология юридического конфликта 3. Криминальный конфликт 4. Завершение конфликта  

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги