рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Порядковая шкала

Порядковая шкала - Лекция, раздел Социология, Стратегия социологического исследования   Полностью Упорядоченная Шкала Наименований Устанавливает Отн...

 

Полностью упорядоченная шкала наименований устанавливает отношения равенства между явлениями в каждом классе и отношения последовательности в поня­тиях ">" и "<" между всеми без исключения классами.

Упорядоченные номинальные шкалы общеупотреби-мы при опросах общественного мнения. С их помощью измеряют интенсивность оценок каких-то свойств, суж­дений, событий, степени согласия или несогласия с пред­ложенными утверждениями.

Вот обычные наименования пунктов таких шкал: "вполне согласен", "пожалуй, согласен", "затрудняюсь от­ветить", "пожалуй, не согласен", "совершенно не согла­сен"; или: "уверен, что так", "думаю, что так", "затрудня­юсь сказать", "думаю, что не так", "уверен, что не так"; или: "целиком одобряю", "одобряю в основном", "зат­рудняюсь сказать", "в основном не одобряю", "совер­шенно не одобряю"; или: "так всегда бывает", "так бы­вает иногда", "бывает и так, и иначе", "так обычно не бывает", "так никогда не бывает"; или: "вполне удовлет­ворен", "удовлетворен", "скорее удовлетворен, чем не удовлетворен", "затрудняюсь сказать", "скорее не удов­летворен, чем удовлетворен**, "не удовлетворен", "совер­шенно не удовлетворен"; или: "это очень важно", "это важно", "трудно сказать, важно это или нет", "это неваж­но", "это не имеет никакого значения" и т. п.

Упорядоченные номинальные шкалы имеют и более сложные конструкции (например, шкала Гуттмана, кото­рую мы рассмотрим ниже), а в простейшем варианте являются составными элементами многих мерительных операций, в особенности методов суммирования оценок по ряду шкал (см. операции с числами, пункт 2).

 

Весьма часто употребляемая разновидность шкал этого типа — ранговые. Они предполагают полное упо­рядочение каких-то объектов от наиболее к наименее важному, значимому, предпочитаемому. Например, мож­но ранжировать соотносительную важность тех или иных методов решения общественной проблемы, предпочтения тех или иных действий ради достижения желаемой цели, какие-то ценностные суждения и т. д. Задание на ранжирование респонденту (или эксперту) обычно формулируется так: "Из перчисленных ниже суждений (возможных решений некоторой проблемы...) выберите самое для Вас предпочтительное, затем — наи­менее предпочтительное, а остальные расположите от первого к последнему".

Далее предлагаются объекты для ранжирования и указывается место, где следует приписать нужный ран­говый порядок:

Указание в скобках слева значения рангов — ре­зультат работы опрашиваемого. В опросном листе обо­значено лишь место (оставлена линейка) для приписы­вания ранга каждому объекту. Важно иметь в виду, что при обработке данных шкала в цифровом выражении может быть "перевернута" в обратном порядке, т. е. последнему, низшему рангу можно приписать наимень­шее числовое значение — 1, а первому — наибольшее. Тогда последовательность 1, 2,... и т. д. будет соответ­ствовать возрастанию значимости объектов.

Полезно не забывать о том, что численность объек­тов для ранжирования не может быть слишком боль­шой, скажем — 15. В противном случае данные ранжи­рования крайне неустойчивы. Кроме того, в любом ва­рианте более устойчивы первые и последние ранги (при повторных опросах опытных групп они обычно приписываются тем же объектам), а срединная зона, как правило, менее устойчива. Поэтому для повышения на­дежности данных ранжирования следует после проведе­ния пробы на повторный опрос небольшой группы ис­пытуемых (микромодель будущей выборочной совокуп­ности) объединить в один ранг те из них, которые обнаружат наибольшую неустойчивость.

Предположим, что после второго замера произошли сдвиги рангов: 1—2, 3—5, 6—10, 11—13 и 14—15. Ины­ми словами, многие из тех, кто, например, первоначально приписывал данному объекту 6-й ранг, во втором заме­ре приписали ему 7-й, 8-й, 9-й или даже 10-й. Опреде­лив неустойчивые области, мы можем в основном ис­следовании, не изменяя инструкции для ранжирования, при анализе данных преобразовать 15-ранговую шкалу в 5-ранговую, как показано на схеме, т. е. обеспечить большую устойчивость и надежность данных ранжиро­вания (схема 9).13

13 Подробнее см. [232. C. 74-77]

 

 

Помимо того, что оценка уровня устойчивости ито­гов ранжирования — способ повышения надежности шкалы, это к тому же и показатель содержательного ха­рактера. Объекты, в отношении которых опрашиваемые неуверены (ранги таких объектов смещаются), по-види­мому, обладают для них меньшей субъективной значи­мостью, выпадают из сферы повседневных интересов.

Нередко приходится ранжировать множество объек­тов, существенно больше 15. Объединение рангов здесь также помогает повысить устойчивость, но одновременно резко снижает чувствительность шкалы. В таком слу­чае можно прибегнуть к несколько более трудоемкой для анализа, но более простой для респондента и более надежной процедуре ранжирования методом парных сравнений [75; 193; 231; 265].

Ранжирование состоит в том, что предлагается по­парно сопоставить предпочтительность объектов (пусть очень обширного списка) путем всех возможных их парных комбинаций.

Допустим, что у нас имеется 25 кандидатов, участву­ющих в выборах, ранжировать которых задача психоло­гически почти невыполнимая. Тогда при массовом оп­росе накануне выборов (во время самих выборов избира­тель просто голосует "да—нет" в отношении каждого кандидата) предложим следующее задание: "Из всех перечисленных попарно кандидатов в каждой из пар выберите того, который кажется Вам более предпочти­тельным из данной пары. Не пропускайте ни одной строчки. Предпочитаемого кандидата обведите в кру­жок" (схема 10).

Поскольку объекты А и Е имеют равное число выбо­ров (по 1), им приписывается одинаковый ранг, а так как число перестановок оказывается весьма большим, то одинаковые значения получат несколько объектов. До­казано, что результаты такого ранжирования весьма устойчивы.14 И тогда в нашем примере основания для прогноза исхода реальных выборов становятся более на­дежными (хотя они будут зависеть и от других, неучтен­ных здесь обстоятельств).15

14 Надежность парных сравнений существенно повышается, если предлагается оценить предпочтительность одного из двух объектов не дихотомически (либо-либо), а в пяти-семибалльной шкале. Такой спо­соб применил В. А. Лосепков при разработке методики изучения соци­альных установок [235. С. 220— 222].

15 См. об этом на с. 470.

 

 

Операции с числами. Прежде всего следует помнить, что интервалы в школе не равны, поэтому числа обозна­чают лишь порядок следования признаков. И операции с числами — это операции с рангами, но не с количе­ственным выражением свойств в каждом пункте.

 

1. Числа поддаются монотонным преобразованиям: их можно заменить другими с сохранением прежнего порядка (именно поэтому шкалы данного типа называют также порядковыми). Так, вместо ранжирования от 1 до 5 можно упорядочить тот же ряд в числах от 2 до 10 или от (—1) до (+1). Отношения между рангами останутся неизменными:

Это свойство важно в тех случаях, когда данные, из­меренные шкалами с различным числом интервалов, приходится приводить к "общему знаменателю", т. е. выражать в одной шкале с постоянной величиной за­данных интервалов.

2. Суммарные оценки по ряду упорядоченных номинальных шкал — хороший способ измерять одно и то же свойство по набору различных индикаторов. Такое суммирование, предложенное Лайкертом, получило название "кафетерий" ("кафетерий" — это как бы набор блюд в меню с подсчетом общей стоимости обеда).

Рассмотрим пример суммирования оценок по шкале, изме­ряющей отношение женщин к детям [353. С. 134—137]. Опра­шиваемых просят указать вариант ответа на каждое суждение, расположенное по вертикали (схема 11).

Прежде чем суммировать итоговый балл, следует оценить порядок всех пунктов десяти шкал, составляющих "кафетерий". Очевидно, что пункты 1, 2, 5, 9 и 10 выражают положительное отношение к детям, а пункты 3, 4, 6, 7, 8— отрицательное. Важ­но, чтобы число позитивных и негативных суждений было оди­наковым, или, как в данном случае, различалось не более, чем на 1/10.Тогда для первого ряда ответов "совершенно согласна" оценивается баллом "5" и "совершенно не согласна" — баллом "1**, а для второго ряда — в обратном порядке.

Общая оценка для нашего примера складывается из баллов по строкам:

3. Для работы с материалом, собранным по упорядо­ченной шкале, можно использовать, помимо модальных показателей, поиск средней тенденции с помощью меди­аны (Me), которая делит ранжированный ряд пополам. Медиана применяется для обнаружения порогов на шкале: справа и слева от нее располагаются признаки, тяготеющие к противоположным полюсам (см. также пример в табл. 17).

4. Наиболее сильный показатель для таких шкал — корреляция рангов (по Спирмену — р или по Кендал-лу — R). Ранговые корреляции указывают на наличие или отсутствие функциональных связей в двух рядах признаков, измеренных упорядоченными номинальными шкалами.

 

– Конец работы –

Эта тема принадлежит разделу:

Стратегия социологического исследования

Автор: В. А. Ядов. Лекционный материал по дисциплине "Стратегия социологического исследования"...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Порядковая шкала

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

О ПРЕДМЕТЕ СОЦИОЛОГИИ
Говоря о методологии и методах социологического исследования, мы должны, конечно, уяснить, каков пред­мет социологии как науки. Вопросы о предмете науки — это вопросы о том, что и как изу

К истории развития предмета социологии
  Что есть объект и предмет научного знания, совпа­дают ли они? Нет, не совпадают, ибо объект любой науки есть то, на что направлен процесс исследования, а пред­метная ее область — т

К вопросу о марксистской ориентации в социологии
  В развитии отечественной социологии, начиная с конца 50-х годов и до середины 80-х, безусловно господ­ствовала марксистская ориентация. Сегодня, в условиях очевидного краха советск

Структура социологического знания
  Нам представляется, что социально-философская ориентация задает общие мировоззренческие "рамки" развертывания общесоциологической теории. Эту тео­рию еще надлежит разрабо

ПОНЯТИЕ СОЦИАЛЬНОГО ФАКТА
  Что же представляет собой фактуальная основа социологического знания, что означает понятие "соци­альный факт"? Факты можно рассматривать в онтологическом (не за

МЕТОДОЛОГИЯ
  Методологией называют систему принципов науч­ного исследования. Именно методология определяет, в какой мере собранные факты могут служить реальным и надежным основанием

МЕТОДЫ, ТЕХНИКА, ПРОЦЕДУРЫ
  В отличие от методологии методы и процедуры ис­следования — это система более или менее формализо­ванных правил сбора, обработки и анализа доступной информации. Но и

ПРОГРАММА ТЕОРЕТИКО-ПРИКЛАДНОГО ИССЛЕДОВАНИЯ С ПОСЛЕДУЮЩИМ КОЛИЧЕСТВЕННЫМ АНАЛИЗОМ ДАННЫХ
  Программа исследования — это изложение его тео­ретико-методологических предпосылок (общей концеп­ции) в соответствии с основными целями предприни­маемой работы и гипотез исследо

ПРОБЛЕМА, ОБЪЕКТ И ПРЕДМЕТ ИССЛЕДОВАНИЯ
Исходным пунктом всякого исследования является проблемная ситуация. При этом можно выделить две стороны проблемы: гносеологическую и предметную. В гносеологическом смысле (т. е. с точк

ОПРЕДЕЛЕНИЕ ЦЕЛИ И ЗАДАЧ ИССЛЕДОВАНИЯ
  Цель исследования ориентирует на его конечный результат, .теоретико-познавательный и практически-прикладной, задачи формулируют вопросы, на которые должен быть получен ответ для

УТОЧНЕНИЕ И ИНТЕРПРЕТАЦИЯ ОСНОВНЫХ ПОНЯТИЙ
  Обоснованность научных и практических предполо­жений (гипотез) проверяется путем сопоставления об­щих посылок с менее общими, а в конечном счете — на основе непосредственного соотн

ПРЕДВАРИТЕЛЬНЫЙ СИСТЕМНЫЙ АНАЛИЗ ОБЪЕКТА ИССЛЕДОВАНИЯ
  В процессе интерпретаций основных понятий мы наметили эмпирическую область, соответствующую вы­деленному ранее предмету исследования (отношение к труду в нашем примере), который бл

ВЫДВИЖЕНИЕ РАБОЧИХ ГИПОТЕЗ
  Гипотеза — главный методологический инструмент, организующий весь процесс исследования и подчиняю­щий его строгой логике. Логическая конструкция ги­потезы представляет собой условн

ПРИНЦИПИАЛЬНЫЙ (СТРАТЕГИЧЕСКИЙ) ПЛАН ИССЛЕДОВАНИЯ
  Основная предпосылка для выбора принципиального плана — состояние наших знаний к моменту сбора эмпи­рических данных и отсюда — возможность для разработ­ки гипотез. Можно выделить ч

Программные требования к выборке.
  В подавляющем большинстве случаев социолог использует тот или иной способ выделения из большой совокупности явлений и объектов изучения некоторую их часть в надежде, что на этой вы

ОБЩИЕ ТРЕБОВАНИЯ К ПРОГРАММЕ
  Составление программы — необходимое условие ус­пешности всей работы. На рис. 4 показана принципи­альная последовательность действий социолога в про­цессе разработки программы, а на

ПЕРВИЧНОЕ ИЗМЕРЕНИЕ (КВАНТИФИКАЦИЯ) СОЦИАЛЬНЫХ ХАРАКТЕРИСТИК
  Мы уже знаем, что, поскольку социолог имеет дело с массовыми процессами, он по необходимости оперирует различными числовыми показателями, выражающими ча­стоты, протяженности и напр

КОНСТРУИРОВАНИЕ ЭТАЛОНА ИЗМЕРЕНИЯ — ШКАЛЫ
  Рассмотрим некоторые общие правила первичной измерительной процедуры и способов проверки этой процедуры на надежность.2 2 Подчеркнем, что в этойтлав

Поиск эталона измерения.
  Нахождение эталона измерения осуществляется в четыре стадии, каждая из которых — необходимая пред­посылка надежности будущей шкалы. Первая стадия — качественная кл

Обоснование шкалы увлеченности телевидением по независимому критерию.
  Шкала "увлеченности" по средне-просмотровому времени в неделю     Шкала "изменения привычек"

Выбор более точной шкалы путем сравнения величин относительной устойчивости измерения
      Но относительные ошибки при у

ОБЩАЯ ХАРАКТЕРИСТИКА ШКАЛ
Применяют различные классификации измеритель­ных эталонов. Мы будем пользоваться наиболее распро­страненной — континуальной классификацией (схе­ма 7), в которой шкалы упорядочены по мере повыше­ния

Простая номинальная шкала
  Номинальная шкала служит предпосылкой всех шкальных процедур. Она устанавливает отношения ра­венства между явлениями, которые включены в один класс. Пункты шкалы — эталоны качестве

Частично упорядоченная шкала
Эта шкала служит для установления отношений ра­венства между явлениями в каждом классе и отноше­ний последовательности в терминах ">" или "<" между несколькими* но не всем

Метрическая шкала равных интервалов
  Класс метрических шкал, в отличие от номиналь­ных, устанавливает отношение между пунктами не про­сто в понятиях больше-меньше, но позволяет фиксиро­вать величину интервала. Заметим

Шкала пропорциональных оценок
  Здесь мы имеем дело с идеальной или абсолютной метрической шкалой, напоминающей шкалу равных интервалов, но с одним преимуществом: отсчет в этой шкале начинается не с произвольной

Анализ распределения судейских оценок для построения шкалы равных интервалов
Пункт шкалы Число суден, поместивших суждение в этот пункт Процентная доля ко всему числу судей Суммарный (кумулятивный) п

МЕТОДЫ И ОПЕРАЦИИ СБОРА ДАННЫХ, ПОДЛЕЖАЩИХ КОЛИЧЕСТВЕННОМУ АНАЛИЗУ
  Предварительные замечания. В современной со­циологии сосуществуют два разных подхода к методам получения первичной социальной информации — ко­личественный и качественный. Ко

ПРЯМОЕ НАБЛЮДЕНИЕ
  Под наблюдением в социологии подразумевают пря­мую регистрацию событий очевидцем.1 В широком смысле любое научное знание начинается с наблюдения — непосредстве

ДОКУМЕНТАЛЬНЫЕ ИСТОЧНИКИ
  Документальной в социологии называют любую ин­формацию, фиксированную в печатном или рукописном тексте, на магнитной ленте, на фото- или кинопленке. В этом смысле значение т

АНКЕТНЫЕ ОПРОСЫ И ИНТЕРВЬЮ
Опросы — незаменимый прием получения информа­ции о субъективном мире людей, их склонностях, моти­вах деятельности, мнениях. Говорят, что о намерениях лучш

Разновидности опросов
Существуют два больших класса опросных методов: интервью и анкетные опросы. (Интервью — проводимая по определенному плану беседа, предполагающая прямой контакт интервьюера с респон

Повышение надежности информации
  Объектами информации могут быть самые различ­ные стороны жизни людей, их субъективные состояния, наблюдения за происходящими вокруг событиями. Как задавать вопросы, относящиеся к э

Конструкция вопроса и интерпретация ответа
Надежность данных существенно зависит не только от содержания планируемой информации, но, конечно, и от конструкции самого вопроса, целесообразность кото­рой диктуется конкретной задачей и условиям

Почтовый и экспертный опросы
  Почтовый опрос, естественно, обеспечивает меньший возврат заполненных анкет. Однако, учитывая его суще­ственно меньшую стоимость (в-10—20 раз дешевле, чем сбор да

Особенности интервьюирования
  Идеальное интервью напоминает оживленную и непринужденную беседу двух равно заинтересованных в ней людей. Однако один из участников — интервью­ер — помнит, что в данной ситуации он

Общая оценка возможностей опросных методов
Как уже говорилось, при изучении субъективных со­стояний людей, мотивации, мнений и отношения к со­бытиям опросы имеют большие преимущества перед другими методами сбора данных. Пространны

НЕКОТОРЫЕ ТЕСТОВЫЕ ПРОЦЕДУРЫ
  В социологическом исследовании объектом изуче­ния является социальная группа, некоторая социальная общность. Но очень часто сведения о социальной общ­ности приходится получать путе

Психологические тесты
Тестом называют кратковременное испытание, с помощью которого измеряется уровень развития или степень выраженности некоторого психического свой­ства (черты, характеристики), а также совокупности

Проективная техника
  Особенность проективных процедур в том. что стимулирующая ситуация приобретает смысл не в силу ее объективного содержания, но по причинам, свя­занным с субъективными наклонностями

Тесты на выявление личностных диспозиций
Диспозиция личности — это фиксированная в ее социальном опыте предрасположенность воспринимать и оценивать условия деятельности, собственную ак­тивность и действия других, а также предуго

Социометрическая процедура
  Социометрическая техника используется для изме­рения не личностных, но групповых свойств. Эту проце­дуру называют также социометрическим тестом, так как она фиксирует определенные

Глава V
"ЖЕСТКИЙ" АНАЛИЗ ЭМПИРИЧЕСКИХ ДАННЫХ1   1 "Жестким" мы называем статистический анализ в отличие от "мягкого" — ка

ГРУППИРОВКА И ЭМПИРИЧЕСКАЯ ТИПОЛОГИЗАЦИЯ
Группировка и классификация — элементарные процедуры упорядочения данных, предваряющих их анализ. С помощью этих действий мы "уплотняем" ин­формацию, как бы расширяем области подобия и ус

ТЕОРЕТИЧЕСКАЯ ТИПОЛОГИЗАЦИЯ И ЕЕ ПРОВЕРКА В ЭМПИРИЧЕСКОМ АНАЛИЗЕ
  Теоретическая (или конструированная) типологи-зация — обобщение признаков социальных явлений на основе идеальной теоретической модели и по теорети­чески обоснованным критериям. Так

ПОИСК ВЗАИМОСВЯЗЕЙ МЕЖДУ ПЕРЕМЕННЫМИ
  Перекрестная группировка по двум и более призна­кам — прямой путь к обнаружению возможных взаи­мосвязей между переменными. Для этого нужно соста­вить таблицу определенным образом,

Участие в инновациях как следствие статуса работников
  Статус Участие в инновациях (чел.) Итого   участвуют не участвую

Активность персонала в зависимости от статуса работника
Статус Участие в инновациях (чел.)     участвуют не участвуют

Взаимосвязь между интересом телезрителей к двум типам программ А и В
    В + В -   А +

Матрица интеркорреляций пяти переменных (А, В, С, D, Е)
  А В С D Е А 0,96

СОЦИАЛЬНЫЙ ЭКСПЕРИМЕНТ КАК МЕТОД ПРОВЕРКИ НАУЧНОЙ ГИПОТЕЗЫ
  Социальный эксперимент выполняет две основные функции: достижение эффекта в практически-преобра­зовательной деятельности и проверка научной гипоте­зы. В последнем случае процедура

ПОСЛЕДОВАТЕЛЬНОСТЬ ДЕЙСТВИЙ ПРИ АНАЛИЗЕ ДАННЫХ
В зависимости от программных целей исследования анализ полученных данных может быть более или ме­нее глубоким и основательным. Цель исследования определяет уровень анализа в том смысле, ч

Особенности методологии качественного исследования
Описанные в предыдущих главах приемы шкалиро­вания, сбора данных и их анализа относятся к так назы­ваемым "жестким" методам. Их теоретико-методологи­ческая основа — представление об общес

Познавательные возможности качественного подхода
В данной главе мы рассмотрим качественный под­ход — как "другую" методологию социологического ана­лиза. Она существенно отличается от описанных выше стратегий и процедур, так как базирует

Теоретические истоки качественных методов
Качественную парадигму называют иногда гуманис­тической социологией, а также интерпретативной или понимающей — в соответствии с теоретическими кон­цепциями, лежащими в основе данного направления.

Разновидности качественных исследований.
Многообразие тактик, применяемых в настоящее время в области качественной социологии, в целом можно свести к следующим наиболее распространен­ным: кейс-стади, этнографические исследования, устная и

Логика действий исследователя
Если отталкиваться от уже знакомой нам последо­вательности операций "количественного" исследования, то отличия по этапам развития поиска отражены в схе­ме 33. Схема с некоторыми изменения

Очертания проблемы и подготовка к полю
На начальном этапе исследователь имеет дело с не­структурированным проблемным полем. При постанов­ке проблемы достаточно очертить круг исследовательс­кого интереса относительно объекта: какие харак

Особенности интервью в качественном исследовании
Технология качественных интервью может быть различной по своим особенностям, в зависимости от це­лей исследования. Нарративные интервью (narrative — рассказ, по­вест

Структурирование текста
За единицу анализа иногда принимается текст в це­лом (например, как образец языкового своеобразия дан­ного человека), но чаще всего единицей становится от­дельный отрывок, эпизод как элементарная ч

Кластеризация и метод аналитической индукции
Далее категориальный анализ предполагает соеди­нение номинальных классификаций в кластеры,. Клас­теры объединяют внутренне тождественные и не связан­ные между собой категории в более емкие &

Представление данных в публикации
В исследовании количественными методами итого­вый результат — представление данных в виде таблиц и доказательств гипотез в систематизированном виде. Другими словами — это форма отчета. В качественн

ОСОБЕННОСТИ ОРГАНИЗАЦИИ ТЕОРЕТИКО-ПРИКЛАДНОГО ИССЛЕДОВАНИЯ
Теоретико-прикладные исследования выполняются, как правило, в рамках перспективной исследовательс­кой программы, в которой должны быть предусмотрены направления и наиболее важные стадии разработки

Условия и логика развертывания исследования
Специфика прикладного исследования. Граница, разделяющая теоретико-прикладное и прикладное ис­следования, определяется в зависимости от основной цели, по преимуществу связанной с углублением

Специфика программы и организации прикладного исследования
Программа и рабочий план прикладного исследо­вания6 образуют единый документ, который обсуждается с заказчиком и должен быть им одобрен. 6 Общие проблемы

ПРОФЕССИОНАЛЬНЫЙ КОДЕКС СОЦИОЛОГА
I. Общие положения: Профессиональный кодекс социолога был принят VI Всесоюзной конференцией Советской социологичес­кой ассоциации в марте 1987 г. Российское общество соци

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги