Удаление аномалий

Все темы данного раздела:

Определение СППР
Информационные системы являются в наше время неотъемлемой частью технологий управления бизнесом. Практически на каждом предприятии работают информационные системы, осуществляющие функции учета и ко

Архитектура СППР
Рисунок 1 - Обобщенная архитектура системы поддержки принятия решений Поддержка принятия решений на основе накопленных да

Online Analytical Processing
Любая система поддержки принятия решений, прежде всего, должна обладать средствами отбора и предоставления пользователю данных в удобной для восприятия и анализа форме. Как правило, наиболее удобны

Knowledge Discovery in Databases
KDD (Knowledge Discovery in Databases) – извлечение знаний из баз данных. Это процесс поиска полезных знаний в «сырых данных». KDD включает в себя вопросы подготовки данных, выбора информативных пр

Data Mining
DM (Data Mining) – «добыча» данных. Это метод обнаружения в «сырых» данных ранее неизвестных, нетривиальных, практически полезных и доступных для интерпретации знаний, необходимых для принятия реше

Принципы организации хранилища
1. Проблемно-предметная ориентация. Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют. 2.

Анализ данных с помощью кросс-таблиц и визуализации
Технология комплексного многомерного анализа данных и предоставления результатов этого анализа в удобной для использования форме получила название OLAP. OLAP (Online Analytical Processing)

Теоретические сведения
Корреляционный анализ применяется для оценки зависимости выходных полей данных от входных факторов и устранения незначащих факторов. Принцип корреляционного анализа состоит в поиске таких значений,

Теоретические сведения
Рассмотрим методы, которые используются для прогнозирования неопределенного будущего с целью помочь менеджерам в принятии наилучшего решения. Эти методы состоят в изучении и анализе накопленных дан

Компьютерные пакеты для решения задач прогнозирования
Таблица 2.1 – Классификация программных продуктов для расчетов прогнозов Название инструмента Сфера применения Реализуемые модели

Временные ряды
Информационной базой для анализа экономических процессов являютсядинамические и временные ряды. Совокупность наблюдений некоторого явления (показателя), упорядоченная в зависимости от последователь

Основные описательные статистики для временных рядов.
Среднее и дисперсия временного ряда рассчитываются по формулам: . Выборочная автоковариация k-го порядка вычисляетс

Средние и скользящие средние
Самой простой моделью, основанной на простом усреднении, является Y(t+1)=(1/(t))*[Y(t)+Y(t-1)+...+Y(1)], и в отличие от самой простой "наивной" модели, которой

Моделирование временного ряда
В общем случае каждый уровень временного можно представить как функцию четырех компонент: f(t), S(t), U(t),

Методы Бокса-Дженкинса (ARIMA)
В середине 90-х годов прошлого века был разработан принципиально новый и достаточно мощный класс алгоритмов для прогнозирования временных рядов. Большую часть работы по исследованию методологии и п

Нейросетевые модели прогнозирования
В настоящее время, на наш взгляд, самым перспективным количественным методом прогнозирования является использование нейронных сетей. Можно назвать много преимуществ нейронных сетей над остальными а

Предобработка данных
На практике большинство прогнозируемых временных рядов порождаются сложными динамическими системами, с множеством степеней свободы. Кроме того, в самом временном ряде может присутствовать случайная

Импорт данных из файла
Импорт осуществляется путем вызова Мастера импорта на панели "Сценарии". После запуска Мастера импорта укажем тип импорта "Текстовый файл с разделителями" и перейдем к настройке

Настройка параметров столбцов
На этом шаге Мастера предоставляется возможность настроить параметры каждого поля: имя, метку, размер, тип данных, вид данных и назначение. Некоторые свойства (например, тип данных) можно задавать

Расчет автокорреляции столбцов
Важным фактором для анализа временного ряда и прогноза является определение сезонности. В Deductor Studio инструментом, предназначенным для изучения сезонности, является автокоррел

Преобразование данных к скользящему окну
Когда требуется прогнозировать временной ряд, тем более, если налицо его периодичность (сезонность), то лучшего результата можно добиться, учитывая значения факторов не только в данный момент време

Обучение линейной регрессии
Для построения линейной регрессии необходимо запустить Мастер обработки и выбрать в качестве обработки данных Линейную регрессию. На первом шаге задаем назначение исходных столбцов. Предпо

Прогнозирование с помощью нейронных сетей
Прогнозирование результата на определенное время вперед, основываясь на данных за прошедшее время, – задача, встречающаяся довольно часто. К примеру, перед большинством торговых фирм стоит задача о

Теоретические основы
Кластерный анализ представляет собой статистические методы, используемые для классификации многомерных объектов или событий в относительно однородные группы, которые называют кластерами. Объ

Меры близости в алгоритмах кластеризации
Расстояния между объектами предполагают их представление в виде точек m-мерного пространства Rm. В этом случае могут быть использованы различные подходы к вычислению расстояний.

Иерархические методы кластерного анализа
Суть иерархической кластеризации состоит в последовательном объединении меньших кластеров в большие или разделении больших кластеров на меньшие. Иерархические агломеративные методы (Agglom

Алгоритм k-means
Конструктивно алгоритм представляет собой итерационную процедуру следующего вида. 1. Задается число кластеров k, которое должно быть сформировано из объектов исходной выборки. 3.

Кластеризация
Вначале необходимо осуществить импорт рассматриваемых данных из файла. После этого выбираем и запускаем Мастер обработки "Кластеризация". При запуске Мастера необходимо настроить

Постановка задачи
В коммерческий банк ОАО «Друг» обратились руководители 12 крупных предприятий города А с просьбой о предоставлении кредита. Специалисты кредитного отдела банка с целью принятия надежного решения (т

Решение
1. Скопировать данные табл. 3.1 в файл STATISTICA. 2. Открыть меню«Статистика» (Statistics), в нем выбрать«Многомерные исследовательские

Обзор литературы по Data Mining
1) А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод Методы и модели анализа данных: OLAP и Data Mining (+ CD-ROM)