Во многих психологических экспериментах данные собираются по двум группам испытуемых; одна группа подвергается специфическим экспериментальным воздействиям, а другая служит контрольной. Вопрос в том, существует ли различие между средними показателями этих групп, и если есть, то выдерживается ли оно для всей группы, из которой были взяты эти две выборки. Проще говоря, отражает ли различие между двумя группами истинное различие или оно возникло вследствие ошибки выборки.
В качестве примера сравним показатели экзамена по чтению у выборки мальчиков-первоклассников с показателями у выборки девочек-первоклассниц. Что касается средних показателей, то они у мальчиков ниже, но здесь есть значительное перекрытие; некоторые мальчики справляются исключительно хорошо, а некоторые девочки — крайне плохо. Поэтому мы не можем принять это различие средних, не проведя тест на статистическую значимость. Только тогда можно будет решить, отражают ли наблюдаемые различия в выборке истинные различия в группе или же они объясняются ошибкой выборки. Если некоторые более одаренные девочки и некоторые более тупые мальчики оказались выбраны по чистой случайности, то различие можно объяснить ошибкой выборки.
В качестве еще одного примера предположим, что мы провели эксперимент по сравнению крепости рукопожатия у мужчин правшей и левшей. В верхней части табл. П5 показаны гипотетические данные такого эксперимента. Выборка из 5 мужчин-правшей в среднем на 8 кг сильнее выборки из 5 мужчин левшей. Что вообще можно вывести из таких данных о мужчинах левшах и правшах? Можно ли утверждать, что правши сильнее? Очевидно, нет, поскольку среднее, полученное у большинства правшей, не отличалось бы от среднего у большинства левшей; один примечательно отличающийся показатель величиной 100 говорит о том, что мы имеем дело с неопределенной ситуацией.