Изучение всей генеральной совокупности во многих случаях либо невозможно, либо нецелесообразно в силу больших материальных затрат, уничтожения или порчи исследуемых объектов. Например, анализ среднего дохода населения какого-либо города формально предполагает наличие достоверной информации о каждом жителе города в конкретный момент времени. Получение такой информации просто невозможно. Проверка качества обуви связана с воздействием на нее различных экстремальных факторов, что приводит к потере товарного вида обуви. Поэтому на практике вся генеральная совокупность практически никогда не анализируется. Для осуществления выводов о генеральной совокупности чаще всего используется выборка ограниченного объема. В силу этого задача математической статистики состоит в исследовании свойств выборки и обобщении этих свойств на генеральную совокупность. Полученный при этом вывод называется статистическим.
Информация о генеральной совокупности, полученная на основании выборочного наблюдения, обычно обладает некоторой погрешностью, так как она основывается на изучении только части элементов выборки. Это определяет две проблемы, составляющие содержание математической теории выборки:
1) Как организовать выборочное наблюдение, чтобы полученная информация достаточно полно отражала пропорции генеральной совокупности (проблема репрезентативности выборки);
2) Как использовать результаты выборки для суждения по ним с наибольшей надежностью о свойствах и параметрах генеральной совокупности (проблема оценки).
В силу закона больших чисел можно утверждать, что выборка будет репрезентативной, если отбор будет носить случайный характер. Выборка называется репрезентативной (представительной), если по ее данным можно достаточно уверенно судить об интересующем нас признаке генеральной совокупности.
Выборку можно осуществлять двумя способами. Если после исследования объект из выборки возвращается в генеральную совокупность, то такая выборка называется повторной (возвратной); если объект не возвращается в генеральную совокупность, то выборка называется бесповторной (безвозвратной).