Принципы организации хранилища - раздел Информатика, Інформаційні системи та технології в управлінні 1. Проблемно-Предметная Ориентация. Данные Объединяются В Категории И ...
1. Проблемно-предметная ориентация. Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют.
2. Интегрированность. Данные объединены так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса.
3. Некорректируемость. Данные в хранилище данных не создаются: т.е. поступают из внешних источников, не корректируются и не удаляются.
4. Зависимость от времени. Данные в хранилище точны и корректны только в том случае, когда они привязаны к некоторому промежутку или моменту времени.
Операции с данными:
1. Извлечение – перемещение информации от источников данных в отдельную БД, приведение их к единому формату.
2. Преобразование – подготовка информации к хранению в оптимальной форме для реализации запроса, необходимого для принятия решений.
3. Загрузка – помещение данных в хранилище, производится атомарно, путем добавления новых фактов или корректировкой существующих.
4. Анализ – OLAP, Data Mining, Reporting и т. д.
5. Представление результатов анализа.
Вся информация в хранилище содержится в структурах типа «снежинка», где в центре расположены таблицы фактов, а «лучами» являются измерения, причем измерение может ссылаться на другие измерения.
Такая архитектура хранилища наиболее адекватна задачам анализа данных, т.к. аналитик на практике оперирует многомерными понятиями. Каждая «снежинка» называется процессом и описывает определенное действие, например, продажи товара, отгрузки, поступления денежных средств и прочее. В Deductor Warehouse может одновременно храниться множество процессов, имеющие общие измерения, например, Товар, фигурирующий в Поступления и в Отгрузка. В Deductor Warehouse реализована полноценная ROLAP-модель (для каждого измерения и каждого процесса создается отдельная таблица).
Рисунок 1.4 – Схема «снежинка» процесса отгрузки
Имеются следующие типы объектов.
Измерение – последовательность значений одного из анализируемых параметров. Например, для параметра Время это последовательность календарных дней, для параметра Регион – список городов.
Атрибут – свойство измерения. Атрибут как бы скрыт внутри другого измерения и помогает пользователю полнее описать исследуемое измерение. Атрибутами измерения Товар могут выступать Цвет, Вес, Габариты.
Факт – значение, соответствующее измерению. Факты – это данные, отражающие сущность события. Как правило, фактами являются численные значения, например, сумма и количество отгруженного товара.
Процесс – совокупность измерений, фактов и атрибутов. По сути, процесс и есть «куб», «снежинка». Процесс описывает определенное действие, например, продажи товара, отгрузки, поступления денежных средств и пр.
Все загружаемые в хранилище данные должны быть обязательно определены как измерение, атрибут либо факт ( рис. 1.3).
Рисунок 1.5- Измерения и факты процесса «Отгрузка»
україни... Запорізький національний технічний університет... Інформаційні системи та технології в управлінні МЕТОДИЧНІ ВКАЗІВКИ...
Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:
Принципы организации хранилища
Что будем делать с полученным материалом:
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
Определение СППР
Информационные системы являются в наше время неотъемлемой частью технологий управления бизнесом. Практически на каждом предприятии работают информационные системы, осуществляющие функции учета и ко
Архитектура СППР
Рисунок 1 - Обобщенная архитектура системы поддержки принятия решений
Поддержка принятия решений на основе накопленных да
Online Analytical Processing
Любая система поддержки принятия решений, прежде всего, должна обладать средствами отбора и предоставления пользователю данных в удобной для восприятия и анализа форме. Как правило, наиболее удобны
Knowledge Discovery in Databases
KDD (Knowledge Discovery in Databases) – извлечение знаний из баз данных. Это процесс поиска полезных знаний в «сырых данных». KDD включает в себя вопросы подготовки данных, выбора информативных пр
Data Mining
DM (Data Mining) – «добыча» данных. Это метод обнаружения в «сырых» данных ранее неизвестных, нетривиальных, практически полезных и доступных для интерпретации знаний, необходимых для принятия реше
Анализ данных с помощью кросс-таблиц и визуализации
Технология комплексного многомерного анализа данных и предоставления результатов этого анализа в удобной для использования форме получила название OLAP.
OLAP (Online Analytical Processing)
Теоретические сведения
Корреляционный анализ применяется для оценки зависимости выходных полей данных от входных факторов и устранения незначащих факторов. Принцип корреляционного анализа состоит в поиске таких значений,
Теоретические сведения
Рассмотрим методы, которые используются для прогнозирования неопределенного будущего с целью помочь менеджерам в принятии наилучшего решения. Эти методы состоят в изучении и анализе накопленных дан
Временные ряды
Информационной базой для анализа экономических процессов являютсядинамические и временные ряды. Совокупность наблюдений некоторого явления (показателя), упорядоченная в зависимости от последователь
Средние и скользящие средние
Самой простой моделью, основанной на простом усреднении, является
Y(t+1)=(1/(t))*[Y(t)+Y(t-1)+...+Y(1)],
и в отличие от самой простой "наивной" модели, которой
Моделирование временного ряда
В общем случае каждый уровень временного можно представить как функцию четырех компонент: f(t), S(t), U(t),
Методы Бокса-Дженкинса (ARIMA)
В середине 90-х годов прошлого века был разработан принципиально новый и достаточно мощный класс алгоритмов для прогнозирования временных рядов. Большую часть работы по исследованию методологии и п
Нейросетевые модели прогнозирования
В настоящее время, на наш взгляд, самым перспективным количественным методом прогнозирования является использование нейронных сетей. Можно назвать много преимуществ нейронных сетей над остальными а
Предобработка данных
На практике большинство прогнозируемых временных рядов порождаются сложными динамическими системами, с множеством степеней свободы. Кроме того, в самом временном ряде может присутствовать случайная
Импорт данных из файла
Импорт осуществляется путем вызова Мастера импорта на панели "Сценарии". После запуска Мастера импорта укажем тип импорта "Текстовый файл с разделителями" и перейдем к настройке
Настройка параметров столбцов
На этом шаге Мастера предоставляется возможность настроить параметры каждого поля: имя, метку, размер, тип данных, вид данных и назначение. Некоторые свойства (например, тип данных) можно задавать
Расчет автокорреляции столбцов
Важным фактором для анализа временного ряда и прогноза является определение сезонности. В Deductor Studio инструментом, предназначенным для изучения сезонности, является автокоррел
Удаление аномалий
Присутствие аномалий при построении моделей оказывает на них большое влияние, ухудшая качество результата. Как видно из диаграммы, выбросы ухудшают статистическую картину распределения данных. Восп
Преобразование данных к скользящему окну
Когда требуется прогнозировать временной ряд, тем более, если налицо его периодичность (сезонность), то лучшего результата можно добиться, учитывая значения факторов не только в данный момент време
Обучение линейной регрессии
Для построения линейной регрессии необходимо запустить Мастер обработки и выбрать в качестве обработки данных Линейную регрессию.
На первом шаге задаем назначение исходных столбцов. Предпо
Прогнозирование с помощью нейронных сетей
Прогнозирование результата на определенное время вперед, основываясь на данных за прошедшее время, – задача, встречающаяся довольно часто. К примеру, перед большинством торговых фирм стоит задача о
Теоретические основы
Кластерный анализ представляет собой статистические методы, используемые для классификации многомерных объектов или событий в относительно однородные группы, которые называют кластерами. Объ
Меры близости в алгоритмах кластеризации
Расстояния между объектами предполагают их представление в виде точек m-мерного пространства Rm. В этом случае могут быть использованы различные подходы к вычислению расстояний.
Иерархические методы кластерного анализа
Суть иерархической кластеризации состоит в последовательном объединении меньших кластеров в большие или разделении больших кластеров на меньшие.
Иерархические агломеративные методы (Agglom
Алгоритм k-means
Конструктивно алгоритм представляет собой итерационную процедуру следующего вида.
1. Задается число кластеров k, которое должно быть сформировано из объектов исходной выборки.
3.
Кластеризация
Вначале необходимо осуществить импорт рассматриваемых данных из файла.
После этого выбираем и запускаем Мастер обработки "Кластеризация". При запуске Мастера необходимо настроить
Постановка задачи
В коммерческий банк ОАО «Друг» обратились руководители 12 крупных предприятий города А с просьбой о предоставлении кредита. Специалисты кредитного отдела банка с целью принятия надежного решения (т
Решение
1. Скопировать данные табл. 3.1 в файл STATISTICA.
2. Открыть меню«Статистика» (Statistics), в нем выбрать«Многомерные исследовательские
Обзор литературы по Data Mining
1) А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод Методы и модели анализа данных: OLAP и Data Mining (+ CD-ROM)
Хотите получать на электронную почту самые свежие новости?
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Новости и инфо для студентов