рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Уровень статистической значимости

Уровень статистической значимости - раздел Психология, Психологии и Социальной Работы При Обосновании Статистического Вывода Следует Решить Вопрос, Где Же Проходит...

При обосновании статистического вывода следует решить вопрос, где же проходит линия между принятием и отвержением нулевой гипотезы? В силу наличия в эксперименте случайных влияний эта граница не может быть проведена абсолютно точно. Она базируется на понятии уровня значимости. Уровнем значимости называется вероятность ошибочного отклонения нулевой гипотезы. Или, иными словами, уровень значимости это вероятность ошибки первого рода при принятии решения. Для обозначения этой вероятности, как правило, употребляют либо греческую букву α, либо латинскую букву р. В дальнейшем мы будем употреблять букву р.

Исторически сложилось так, что в прикладных науках, использующих статистику, и в частности в психологии, считается, что низшим уровнем статистической значимости является уровень р = 0,05; достаточным — уровень р = 0,01 и высшим уровень р = 0,001. Поэтому в статистических таблицах, которые приводятся в приложении к учебникам по статистике, обычно даются таблич­ные значения для уровней р = 0,05, р = 0,01 и р = 0,001. Иногда даются табличные значения для уровней р — 0,025 и р = 0,005.

Величины 0,05, 0,01 и 0,001 — это так называемые стандартные уровни статистической значимости. При статистическом анализе экспериментальных данных психолог в зависимости от задач и гипотез исследования должен выбрать необходимый уровень значимости. Как видим, здесь наибольшая величина, или нижняя граница уровня статистической значимости, равняется 0,05 — это означает, что допускается пять ошибок в выборке из ста элементов (случаев, испытуемых) или одна ошибка из двад­цати элементов (случаев, испытуемых). Считается, что ни шесть, ни семь, ни большее количество раз из ста мы ошибиться не можем. Цена таких ошибок будет слишком велика.

Заметим, что в современных статистических пакетах на ЭВМ используются не стандартные уровни значимости, а уровни, подсчитываемые непосредственно в процессе работы с соответ­ствующим статистическим методом. Эти уровни, обозначаемые буквой р, могут иметь различное числовое выражение в интервале от 0 до 1, например, р = 0,7, р = 0,23 или р = 0,012. Понятно, что в первых двух случаях полученные уровни значимости слишком велики и говорить о том, что результат значим нельзя. В то же время в последнем случае результаты значимы на уровне 12 тысячных. Это достоверный уровень.

Правило принятия статистического вывода таково: на основании полученных экспериментальных данных психолог подсчи­тывает по выбранному им статистическому методу так называе­мую эмпирическую статистику, или эмпирическое значение. Эту величину удобно обозначить как Чэмп. Затем эмпирическая стати­стика Чэмп сравнивается с двумя критическими величинами, ко­торые соответствуют уровням значимости в 5% и в 1% для выб­ранного статистического метода и которые обозначаются как Чкр. Величины Чкр находятся для данного статистического метода по соответствующим таблицам, приведенным в приложении к любому учебнику по статистике. Эти величины, как правило, всегда различны и их в дальнейшем для удобства можно назвать как Чкр1 и Чкр2. Найденные по таблицам величины критических значений Чкр1 и Чкр2 удобно представлять в следующей стандартной форме записи:

 

Подчеркнем, однако, что мы использовали обозначения Чэмп и Чкр как сокращение слова «число». Во всех статистических методах приняты свои символические обозначения всех этих вели­чин: как подсчитанной по соответствующему статистическому методу эмпирической величины, так и найденных по соответ­ствующим таблицам критических величин. Например, при подсчете рангового коэффициента корреляции Спирмена по таблице критических значений этого коэффициента были найдены сле­дующие величины критических значений, которые для этого метода обозначаются греческой буквой ρ («ро»). Так для р = 0,05 по таб­лице найдена величина ρкр1 = 0,61 и для р = 0,01 величина ρкр2 = 0,76.

В принятой в дальнейшем изложении стандартной форме записи это выглядит следующим образом:

Теперь нам необходимо сравнить наше эмпирическое значе­ние с двумя найденными по таблицам критическими значения­ми. Лучше всего это сделать, расположив все три числа на так называемой «оси значимости». «Ось значимости» представляет собой прямую, на левом конце которой располагается 0, хотя он, как правило, не отмечается на самой этой прямой, и слева направо идет увеличение числового ряда. По сути дела это при­вычная школьная ось абсцисс ОХ декартовой системы координат. Однако особенность этой оси в том, что на ней выделено три участка, «зоны». Одна крайняя зона называется зоной незначимости, вторая крайняя зона — зоной значимости, а промежуточная — зоной неопреде­ленности. Границами всех трех зон являются Чкр1 для р = 0,05 и Чкр2 для р = 0,01, как это показано на рисунке.

В зависимости от правила принятия решения (правила вывода), предписанного в данном статистическом методе возможно два варианта.

Первый вариант: альтернативная гипотеза принимается, если ЧэмпЧкр.

 

Или второй вариант: альтернативная гипотеза принимается, если ЧэмпЧкр.

 

Подсчитанное Чэмп по какому либо статистическому методу должно обязательно попасть в одну из трех зон.

Если эмпирическое значение попадает в зону незначимости, то принимается гипотеза Н0 об отсутствии различий.

Если Чэмп попало в зону значимости, принимается альтернативная гипотеза Н1 о на­личии различий, а гипотеза Н0 отклоняется.

Если Чэмп попадает в зону неопределенности, перед исследователем стоит дилемма. Так, в зависи­мости от важности решаемой задачи он может считать полученную статистическую оценку достоверной на уровне 5%, и принять, тем самым гипотезу Н1, отклонив гипотезу Н0, либо — недостоверной на уровне 1%, приняв тем самым, гипотезу Н0. Подчеркнем, одна­ко, что это именно тот случай, когда психолог может допустить ошибки первого или второго рода. Как уже говорилось выше, в этих обстоятельствах лучше всего увеличить объем выборки.

Подчеркнем также, что величина Чэмп может точно совпасть либо с Чкр1 либо Чкр2. В первом случае можно считать, что оценка достоверна точно на уровне в 5% и принять гипотезу Н1, или, напротив, принять гипотезу Н0. Во втором случае, как пра­вило, принимается альтернативная гипотеза Н1 о наличии разли­чий, а гипотеза Н0 отклоняется.

– Конец работы –

Эта тема принадлежит разделу:

Психологии и Социальной Работы

Психологии и Социальной Работы... КАФЕДРА ОБЩЕЙ И ДИФФЕРЕНЦИАЛЬНОЙ ПСИХОЛОГИИ Тютюнник Е И Раскин В Н...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Уровень статистической значимости

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Учебно-методическое пособие
      Санкт-Петербург 2012 г. Рассмотрено и утверждено на заседании кафедры общей и дифференциальной психологии Протокол за

Цели и задачи изучения дисциплины «Математические методы в психологии» и сфера профессионального использования
  Психологу в своей научной и практической работе постоянно приходится отбирать, классифицировать и упорядочивать те конкретные результаты, которые он получает в практическом исследов

Методические указания для студентов
Учитывая специфику учебной дисциплины «Математические методы в психологии», следует обратить внимание на следующие методические рекомендации. · Важно учитывать, что данная дисциплина являе

Методические рекомендации к изучению темы
При изучении данной темы необходимо обратить внимание на специфику использования математической статистики в психологических исследованиях. И здесь следует обратить внимание на материалы, приводимы

Материалы лекции.
Математическая статистика — это наука о случайных явлениях. Под явлением понимается любой подлежащий изучению объект независимо от его конкретного содержания. По степени количестве

Типы измерений и измерительные шкалы
Почти любая наука в процессе своего развития приходит к измерениям. Измерение можно рассматривать как построение своеобразной функциональной зависимости, в которой аргументами являются реальные вел

Генеральная совокупность и выборочное исследование. Статистическая достоверность
  Исследование обычно начинается с некоторого предположения, требую­щего проверки с привлечением фактов. Это предположение — гипотеза — формулируется в отношении связи явлений или сво

Этапы обработки результатов психологического исследования
Предварительный этап. После того, как проведено исследование (собраны первичные материалы) и каждый протокол (бланк для ответов) обработан, составляется исходная матрица первичных данных

Методические рекомендации к изучению темы
При изучении темы 2 следует обратить особое внимание на различные способы репрезентации результатов исследования и их возможности. Обратите внимание на возможные ошибки при построении графиков. Вни

Материалы лекции.
Итак, математическая статистика — это математический аппарат, разработанный для анализа случайных событий. Случайное событие— событие, которое в основных условиях иногда п

Результаты исследования экстраверсии
xi S f i

Алгоритм построения сгруппированного (или табулированного) ряда
  I. Определение размаха выборки: R= xmax – xmin   II. Выбор количества разрядов k Чи

Общий обзор параметров распределений
Измерительная шкала Меры положения или меры центральной тенденции Меры изменчивости или меры рассеивания

Методические рекомендации к изучению темы
При измерении методом регистрации правила измерения таковы, что они позволяют лишь установить, что один объект отличается по измеряемому свойству от другого объекта, у которого изм

Материалы лекции.
Вспомним, что при измерении методом регистрации на основании правил измерения устанавливается тождественность качества свойства у измеряемых объектов. Измерение сводится к классификации объектов по

Результаты исследования экстраверсии
xi S f i

Меры изменчивости, или меры рассеивания
Дисперсия(Variance) — — это средний квадрат отклонений всех значений признака от среднего арифмети

Проверка на выскакивание наибольшего значения
А) Когда одно наибольшее значение подозревается в выскакивании где xn

Проверка на выскакивание наименьшего значения
А) Когда одно наименьшее значение подозревается в выскакивании где xn

Нормальный закон распределения
Рис. 14. Кривая нормального распределения   Нормальный закон[4] распределения во всех естественных науках имеет фундаментальное значение. И в психологических дисциплин

Гамма-распределение
Если воздействие одного или нескольких ф

Биномиальное распределение
Пусть выполняется n независимых испытаний, в каждом из которых может появиться некоторое случайное событие А, безусловная вероятность появления которого постоянна и равна Р, а вероятность его непоя

Проверка «нормальности» эмпирического распределения
В практике математико-статистического анализа результатов психологических исследований нередко встает задача проверки, является ли полученное в исследовании эмпирическое распределение нормальным (н

Стандартизация данных и стандартизованные шкалы в психологии
Стандартизация данных, полученных с помощью той или иной психологической методики — это процесс создания стандартных тестовых шкал или стандартизованных шкал. Основные цели стандартизации: а) сравн

Шкала стенайнов Гилфорда
Шкала Т-баллов (например, опросники MMPI, CPI, САТ, ГТ и т. п.)

Процентильные нормы для детей 5;5 – 11 лет
(точка с запятой отделяет количество лет от количества месяцев) Процентили Возраст испытуемого(лет; месяцев) Процентили

Методические рекомендации к изучению темы
При изучении темы таблицу 1 необходимо выучить наизусть, это поможет в дальнейшем выбирать меры оценки взаимосвязей, адекватные данному конкретному случаю. Обратите внимание на то, что пользование

Понятие статистической зависимости
  Зависимость (взаимосвязь) между случайными событиями состоит в том, что появление одного из событий изменяет вероятность появления другого события. Факт взаимосвязи между с

Общий обзор мер связи
  Измерительные шкалы Шкала наименований Шкала порядка Интервальная, пропорциональная шкалы k = 2

Коэффициент контингенции
  Если оба признака измерены по шкале наименований и каждый из них может иметь только два значения, то мерой связи является коэффициент контингенции «фи» — φ. В некоторых книгах

Описание критерия
Критерий χ2 отвечает на вопрос о том, с одинаковой ли частотой встречаются разные значения признака в эмпирическом и теоретическом распределениях или в двух и более эмпирических рас

Ограничения критерия
1. Объем выборки должен быть достаточно большим: N>30. При N<30 критерий χ2 дает весьма приближенные значения. Точность крите­рия повышается при больших N. 2. Теорети

Правила ранжирования
1. Меньшему значению присваивается меньший ранг. Наименьшему значению начисляется ранг 1. Наибольшему значению начисляется ранг, соответствующий количеству ранжируемых значений, за исключением тех

Бисериальные коэффициенты корреляции
Бисериальные коэффициенты корреляции оценивают зависимость между двумя признаками, один из которых измерен в шкале наименований с двумя градациями признака (дихотомической шкале). Бисериальные коэф

Коэффициент взаимной сопряженности Чупрова
Коэффициент взаимной сопряженности Чупрова К является мерой связи двух признаков, если один из них измерен по шкале наименований и может иметь несколько значений (больше двух), а в

Коэффициент взаимной сопряженности Пирсона
Коэффициент взаимной сопряженности Пирсона С также является мерой связи двух признаков, если один из них измерен по шкале наименований и может иметь несколько значений (больше двух

Ранговой коэффициент корреляции Спирмена
  Метод ранговой корреляции Спирмена позволяет определить тес­ноту (силу) и направление корреляционной связи между двумя призна­ками или двумя профилями (иерархиями) при

Ограничения коэффициента ранговой корреляции
1. По каждой переменной должно быть представлено не менее 5 на­блюде­ний. Верхняя граница выборки определяется имеющимися таб­лицами критиче­ских значений, а именно N<40. Однако возможен

Алгоритм расчета ранговой корреляции Спирмена
1. Определить, какие два признака или две иерархии признаков будут участвовать в расчетах. Для удобства расчетов составить таблицу следующего вида: Таблица 20

Коэффициент линейной корреляции Пирсона
Коэффициент линейной корреляции Пирсона является мерой связи для признаков, измеренных по количественным шкалам (интервальной или пропорциональной) и оценивает линейные взаи

Алгоритм расчета коэффициента линейной корреляции Пирсона
1. После составления исходной матрицы данных для каждого признака находятся средние арифметические

Рассчитайте поправки для различных случаев связанных рангов: а=2; а=3; а=4; а=5 и а=6.
4. Определите, существует ли сходство в выраженности акцентуируемых черт личности матери и 8-летнего сына. Выраженность черт оценивалась с помощью методики Шмишека, в таблиц

Методические рекомендации к изучению темы
При изучении данной темы необходимо обратить внимание на сущность статистических гипотез и этапы принятия статистического решения. Особое внимание следует обратить на следующий материал: с

Статистические гипотезы
Полученные в исследованиях выборочные данные всегда ог­раничены и носят в значительной мере случайный характер. Именно поэтому для анализа таких данных и используется мате­матическая статистика, по

Этапы принятия статистического решения
Принятие статистического решения разбивается на этапы или шаги. 1.Формулировка нулевой и альтернативной гипотез. 2.Определение объема выборки N. 3.Выбор соответств

Обзор наиболее часто применяемых параметрических критериев
Задачи Условия Критерии Ограничения Выявление различий в уровне исследуемого признака (сравнение двух параме

Общий обзор непараметрических критериев
Задачи Условия Критерии Ограничения 1. Выявление различий в уровне исследуемого признака Незави

Методические рекомендации к изучению темы
При изучении данной темы необходимо обратить внимание на то, что критерий Стьюдента применяется для сравнения любых двух параметров распределений, однако в лекциях приведены формулы лишь для сравне

Назначение критерия
Критерий Стьюдента применяется: А) для сравнения любых двух параметров распределений или проверки гипотез о случайности различий между параметрами (Н0); Б) для интервал

Назначение критерия
Критерий Фишера применяется: а) для сравнения двух дисперсий; б) для проверки гипотезы о значимости коэффициентов детерминации; в) для проверки гипотезы об однородности р

Поправка Снедекора
Критерий Стьюдента рассчитывается обычным способом. Поправка Снедекора заключается в том, что расчетное значение сравнивают не с обычным критическим значением, а с иным, которое повышает это критич

Назначение критерия
Критерий Розенбаума применяется для оценки различий между двумя выборками по уровню какого-либо признака. Этот метод сравнивает два ряда упорядоченных значений и определяет, достаточно ли

Ограничения критерия
1. Признак должен быть измерен по ординальной, интервальной или пропорциональной шкале. 2. Выборки должны быть независимыми. 3. В каждой выборке должно быть не меньше 11 наблюдени

Алгоритм расчета критерия Розенбаума
1. В каждой выборке отдельно упорядочить значения признака по возрастанию. При этом считать 1-й выборку тот ряд значений, в котором значения по предварительной оценке выше, а 2-й — ту выборку, в ко

Назначение критерия
U — критерий Манна-Уитни предназначен для оценки различий между двумя выборками по уровню какого-либо признака, измеренного начиная со шкалы порядка (не ниже). Он позволяет выявлять различия

Ограничения критерия
1. Признак должен быть измерен по ординальной, интервальной или пропорциональной шкале. 2. Выборки должны быть независимыми. 3. В каждой выборке должно быть не менее 3 наблюдений:

Алгоритм подсчета критерия Манна-Уитни.
1. Для расчета критерия необходимо мысленно все значения 1-й выборки и 2-й выборки объединить в одну общую объединенную выборку и упорядочить их. Все рас

Методические рекомендации к изучению темы
При изучении данной темы необходимо учесть то, что рассматриваются две группы критериев: оценка выраженности признака и оценка сдвига значений признака. Обратите особое внимание на правила принятия

Материалы лекции.
  Нередко, сравнивая «на глазок» результаты «до» и «после» какого либо воздействия (например, тренинга), психолог видит тенденции повторного измерения — большинство показателей может

Назначение критерия
Критерий Стьюдента применяется: А) для сравнения любых двух параметров распределений или проверки гипотез о случайности различий между параметрами (Н0); Б) для интервал

Ограничения критерия.
1. Признак должен быть измерен по ординальной, интервальной или пропорциональной шкале. 2. Минимальное количество испытуемых, прошедших измерения в двух условиях — 5 человек. Максимальное

Ограничения критерия
1. Признак должен быть измерен по ординальной, интервальной или пропорциональной шкале. 2. Минимальное количество испытуемых, прошедших измерения в двух условиях — 5 человек. Максимальное

Алгоритм подсчета критерия Вилкоксона
1. Составить список испытуемых в любом порядке, например, алфавитном. В таблицу 31 занести первичные значения. Таблица 31 №№ п/п х1i

Назначения критерия
Критерий χ2 применяется в двух целях; 1) для сопоставления эмпирического распределения признака с теоре­тическим - равномерным, нормальным или каким-то иным;

Назначение критерия
Критерий предназначен для сопоставления двух распределений: а) эмпирического с теоретическим, например, равномерным или нормальным; б) одного эмпирического распределения с другими

Алгоритм расчета критерия
Расчет критерия при сопоставлении двух эмпирических распределений[7] 1. Расчеты целесообразно провести, пользуясь следующей та

Крит.= 1,63 для уровня значимости р=0,99
Если λэмп. ≥ λкрит., то различия между распределениями статистически достоверны. Если λэмп. < λкрит., то различия м

Методические рекомендации к изучению темы
При изучении данной темы необходимо учесть то, что оба критерия непараметрические, они оперируют частотами абсолютными или процентными. Обратите особое внимание на правила принятия решения для расс

Материалы лекции.
Многофункциональные статистические критерии — это критерии, которые могут использоваться по отношению к самым разнообразным данным, выборкам и задачам. Это означает, что данные могут быть представл

Назначение критерия
Критерий Фишера предназначен для сопоставления двух выборок по частоте встречаемости интересующего исследователя эффекта. Критерий оценивает достоверность различий между процентными долями

Алгоритм расчет критерия
1. На основании первичных данных составляется 4-хклеточная таблица следующего вида. Таблица 34 Замеры   Второй замер

Обратите внимание, что для способов А и Б правила принятия решения разные (противоположны).
  Контрольные вопросы: 1. В каких случаях следует использовать критерий «угловое преобразование» Фишера? 2. Почему критерий «угловое преобразование»

Методические рекомендации к изучению темы
При изучении данной темы обратите внимание на условия применения дисперсионного анализа. Одно из этих условий — нормальность распределения признака. Следует вспомнить из предыдущего материалы спосо

Однофакторный дисперсионный анализ
  В данной теме будет рассмотрен только однофакторный дисперсионный анализ, используемый для несвязанных выборок. Оперируя как основным понятием дисперсии, этот анализ базируется на р

Методические рекомендации к изучению темы
Данная тема является наиболее сложной в курсе. Обратите внимание на то, что общее знакомство с многомерными методами предполагает знание назначения каждого метода, его общие математико-статистическ

Материалы лекции.
Роль математических методов в любой области знания (не только в психологии) — представление эмпирических данных в пригодном для интерпретации виде, поиск смысла в исходной эмпирической информации.

Множественный регрессионный анализ
Назначение метода: 1) изучение взаимосвязи одной переменной («зависимой», результирующей) от нескольких других («независимых», исходных); 2) выявление среди «независимых» п

Матрица корреляций пяти показателей интеллекта
№ Показатели Счет в уме 1,00

Факторные нагрузки после варимакс-вращения
Исходные переменные Факторные нагрузки h2 (общность)     F1

Выбор исходных данных.
А) Факторный анализ применяется для признаков, измеренных по интервальной или пропорциональной шкалам. Б) Все признаки должны иметь нормальное распределение.

Факторизация матрицы интеркорреляций.
Выбирается метод факторизации, желательно метод с операциями по общностям, или максимального правдоподобия. В результате получаем матрицу факторных нагрузок, которую следует подвергнуть предварител

А) Ортогональное вращение (четырёх видов).
Варимакс. Минимизируется количество переменных, имеющих высокие нагрузки на данные факторы. При этом максимально увеличивается дисперсия фактора за счёт группировки вокруг него

Б) Косоугольное (облическое) вращение.
Облимин – наиболее распространённый метод косоугольного вращения. Интерпретацию после вращения нужно проводить в следующем порядке: · По кажд

Принятие решения о качестве факторной структуры.
Формальные требования к факторной структуре сформулировал в 30-х годах XX века Терстоун – «Принцип простой структуры». Геометрически этот принцип означает, что все переменные имеют нагрузки, близки

Компьютерные пакеты прикладных статистических программ
Широко распространены и известны универсальные статистические программы STATISTICA и SPSS. Они содержат почти весь спектр статистических методов — от простейших до самых современных. По мнению мног

Критические значения отношения для исключения выскакивающих значений
(по книге: Ашмарин И. В. Статистические методы в микробиологическом исследовании./ И. В. Ашмарин, А. А. Воробьев – Л.: Медгиз, 1962. – 160 с.) Если полученная (расчетная) величина отношени

Критические значения коэффициента ранговой корреляции Спирмена
(по книге: Суходольский Г.В. Основы математической статистики для психологов [Текст]: учебник / Г. В. Суходольский. - СПб.: Изд-во СПбГУ, 1998. - 464 с. - С. 419. )

Критические значения коэффициента линейной корреляции Пирсона
(по книге: Суходольский Г.В. Основы математической статистики для психологов [Текст]: учебник / Г. В. Суходольский. - СПб.: Изд-во СПбГУ, 1998. - 464 с. - С. 418.)

Критические значения критерия хи-квадрат Пирсона
(по книге: Суходольский Г.В. Основы математической статистики для психологов [Текст]: учебник / Г. В. Суходольский. - СПб.: Изд-во СПбГУ, 1998. - 464 с. - С. 419-420). При c2

Критические значения критерия Стьюдента
(по книге: Суходольский Г.В. Основы математической статистики для психологов [Текст]: учебник / Г. В. Суходольский. - СПб.: Изд-во СПбГУ, 1998. - 464 с. - С.420.) При tрасч.

Критические значения критерия Фишера
(по книге: Суходольский Г.В. Основы математической статистики для психологов [Текст]: учебник / Г. В. Суходольский. - СПб.: Изд-во СПбГУ, 1998. - 464 с. - С. 421-422.) При Fра

Критические значения непараметрического критерия Манна-Уитни
(по книге: Сидоренко Е. В. Методы математической обработки в психологии [Текст] / Е. В. Сидоренко. - СПб.: Речь, 2010. - 350 с.: ил. - С.316-321) Различия между двумя выборками можно счита

Критические значения непараметрического критерия Вилкоксона
(по книге: Сидоренко Е. В. Методы математической обработки в психологии [Текст] / Е. В. Сидоренко. - СПб.: Речь, 2010. - 350 с.: ил. - С. 324) При Т расч. £ Т

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги