Назначение, особенности, области применения методов интеллектуального анализа данных.

Интеллектуальный анализ данных (англ. Data Mining) — это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности [1] . Подразделяется на задачи классификации, моделирования и прогнозирования и другие. Методы Data Mining разделяются на статистические (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов) и кибернетические (искусственные нейронные сети, эволюционное программирование, генетические алгоритмы, ассоциативная память, нечеткая логика, деревья решений, системы обработки экспертных знаний).

Визуальные инструменты Data Mining позволяют проводить анализ данных предметными специалистами (аналитиками), не владеющими соответствующими математическими знаниями.

Задачи, решаемые Data Mining

· Классификация — отнесение входного вектора (объекта, события, наблюдения) к одному из заранее известных классов.

· Кластеризация — разделение множества входных векторов на группы (кластеры) по степени «похожести» друг на друга.

· Сокращение описания — для визуализации данных, лаконизма моделей, упрощения счета и интерпретации, сжатия объемов собираемой и хранимой информации.

· Ассоциация — поиск повторяющихся образцов. Например, поиск «устойчивых связей в корзине покупателя» (англ. market basket analysis) — вместе с пивом часто покупают орешки.

· Прогнозирование

· Анализ отклонений — Например, выявление нетипичной сетевой активности позволяет обнаружить вредоносные программы.

· Визуализация

В литературе можно встретить еще ряд классов задач. Базовыми задачами являются первые три. Остальные задачи сводятся к ним тем или иным способом.

Также можно использовать сводные задачи под основу

Этапы обучения

Можно выделить типичный ряд этапов решения задач методами Data Mining:

1. Формирование гипотезы;

2. Сбор данных;

3. Подготовка данных (фильтрация);

4. Выбор модели;

5. Подбор параметров модели и алгоритма обучения;

6. Обучение модели (автоматический поиск остальных параметров модели);

7. Анализ качества обучения, если неудовлетворительный переход на п. 5 или п. 4;

8. Анализ выявленных закономерностей, если неудовлетворительный переход на п. 1, 4 или 5.

Gregory Piatetsky-Shapiro Это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей.

Стадии Data Mining.

СВОБОДНЫЙ ПОИСК (в том числе ВАЛИДАЦИЯ)

ПРОГНОСТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

АНАЛИЗ ИСКЛЮЧЕНИЙ.

Технологические методы.

Непосредственное использование данных, или сохранение данных: кластерный анализ, метод ближайшего соседа, метод k-ближайшего соседа, рассуждение по аналогии (этот метод будет рассмотрен подробнее) Выявление и использование формализованных закономерностей, или дистилляция шаблонов: логические методы; методы визуализации; методы кросс-табуляции; методы, основанные на уравнениях.

Статистические методы.

Дескриптивный анализ и описание исходных данных. Анализ связей (корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ). Многомерный статистический анализ (компонентный анализ, дискриминантный анализ, многомерный регрессионный анализ, канонические корреляции и др.). Анализ временных рядов (динамические модели и прогнозирование).

Кибернетические методы.

Искусственные нейронные сети (распознавание, кластеризация, прогноз); Эволюционное программирование (в т.ч. алгоритмы метода группового учета аргументов); Генетические алгоритмы (оптимизация); Ассоциативная память (поиск аналогов, прототипов); Нечеткая логика; Деревья решений; этот метод будет рассмотрен подробнее. Системы обработки экспертных знаний.

Области применения Data mining.

Database marketers - Рыночная сегментация, идентификация целевых групп, построение профиля клиента Банковское дело - Анализ кредитных рисков, привлечение и удержание клиентов, управление ресурсами Кредитные компании - Детекция подлогов, формирование "типичного поведения" обладателя кредитки, анализ достоверности клиентских счетов , cross-selling программы Страховые компании - Привлечение и удержание клиентов, прогнозирование фингансовых показателей Розничная торговля - Анализ деятельности торговых точек, построение профиля покупателя, управление ресурсами Биржевые трейдеры - Выработка оптимальной торговой стратегии, контроль рисков.

Телекоммуникация и энергетика - Привлечение клиентов, ценовая политика, анализ отказов, предсказание пиковых нагрузок, прогнозирование поступления средств Налоговые службы и аудиторы - Детекция подлогов, прогнозирование поступлений в бюджет Фармацевтические компании - Предсказание результатов будущего тестирования препаратов, программы испытания Медицина - Диагностика, выбор лечебных воздействий, прогнозирование исхода хирургического вмешательства Управление производством - Контроль качества, материально-техническое обеспечение, оптимизация технологического процесса Ученые и инженеры - Построение эмпирических моделей, основанных на анализе данных, решение научно-технических задач.

http://900igr.net/prezentatsii/informatika/Data-Mining/009-Metody-Data-Mining.html

 

8. Количественный анализ интерфейсов методом GOMS - «правила для целей, объектов, методов и выделения» (the model of goals, objects, methods and selection rules).