рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Управляемые случайные последовательности

Управляемые случайные последовательности - раздел Математика, Марковские процессы. Уравнение Чепмена-Колмогорова. Эргодичность Рассмотрим Сначала Управляемый Случайный Процесс С Дискретным Временем. Это Б...

Рассмотрим сначала управляемый случайный процесс с дискретным временем. Это более простой вариант процесса, здесь проще и определение процесса, и постановка задачи, и ее решение. Пусть , - два измеримых пространства, первое называется фазовым пространством процесса, второе – фазовым пространством управления. Чтобы определить управляемый случайный процесс, рассмотрим сначала вырожденный случай, когда случайность отсутствует. Процесс внешне проявляется двумя последовательностями: в Х и в U – последовательностью состояний управляемого процесса и последовательностью управлений. Управления выбираются произвольно и определяют состояния управляемого процесса начального положения, при этом для определения в момент t нужно знать управления лишь в предыдущие моменты времени. Таким образом управляемый процесс определяется последовательностью функций

 

Заметим, что более естественное определение процесса, при котором состояние в момент t определяется предыдущими состояниями и управлениями до момента t, очевидно сводится к сформулированному выше.

При определении случайного управления процесса будем считать, что распределение состояний процесса в момент t зависит от предыдущих состояний процесса и управлений до момента t. Поэтому такой процесс задается последовательностью условных распределений

n = 0,1,2,…

определяющих вероятностей того, что состояние процесса в момент t=n принадлежит , если предыдущие значения процесса , а управления - ( распределение состояния процесса в момент t=0 определяется функцией ). Будем предполагать, что функция зависит - измеримо от своих аргументов. Обычно задача управления состоит в выборе « оптимального» управления. Уточнению смысла этого термина посвящен следующий пункт.

Постановка задачи. Пусть управляемый процесс функционирует на конечном отрезке времени: t = 0,1,2,…,T. Обычно цель управления – либо получить доход, либо прийти к определенному результату с наименьшими затратами, либо уменьшить ожидаемый убыток. И доход, и убыток, и затраты зависят от значений управляемого процесса и использованных управлений. Доход можно рассматривать как отрицательный убыток, а убыток как затраты на функционирование управляемого процесса. Будем поэтому предполагать, что задана функция , характеризующая затраты на управление, если были использованы управления состояния процесса были . Оптимальное управление должно минимизировать стоимость управления. Пусть были выбраны управления тогда совместное распределение состояний процесса ( это случайные элементы в Х, - состояние процесса в момент k ) будет

Средняя стоимость управления

 

есть функция от использованных управлений. Если использовать управления наперед выбранные, то оптимальным будет то управление, которое доставляет минимум функции . Однако можно существенно улучшить управление, если выбирать его зависящим от состояний процесса.

П р и м е р. Пусть где - последовательность независимых одинаково распределенных величин, , , . Тогда

,

. Если считать, что управление на k-ом шаге может зависеть от состояний процесса до момента k включительно, можем записать

.

Выбирая управления так, чтобы , получим уравнение со средней стоимостью 1, которую уже нельзя уменьшить.

 

– Конец работы –

Эта тема принадлежит разделу:

Марковские процессы. Уравнение Чепмена-Колмогорова. Эргодичность

Рассмотрим функцию.. это время..

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Управляемые случайные последовательности

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Марковские процессы. Уравнение Чепмена-Колмогорова. Эргодичность
Будем рассматривать Марковские процессы с дискретным временем, дискретным пространством состояний и однородные. Введем следующие обозначения: пусть пространство состояний состоит из чисел

Марковські процессы с доходами
– доход, который приносит переход из состояния i в состояние j. Можем ввести матрицу доходов R   Чему равен ожидаемый доход за шагов, если мы находимся в

Свойства итерационного метода
1) Определение оптимального решения в процессе последовательных решений сводится к решению системы линейных уравнений с последующим сравнением. 2) Каждое следующее решение, находящееся с п

Свойства оптимальных управлений и оптимальных доходов
1) поглощающее состояние , а при любое состояние i есть состояние вынужденной остановки   2) для всех последовательность оптимальных значений полных ожидаемых доходов

Бесконечный горизонт управления
Согласно свойству 6), у оптимальных доходов при существует конечный предел, поэтому в рекуррентном соотношении можно перейти к пределу, предположив, что число оставшихся шагов может быть достаточно

Управление запасами при случайном потреблении
  – полный ожидаемый доход за шагов при оптимальном управлении, если мы находимся в состоянии i. Рекуррентное соотношение для полных ожидаемых доходов:  

Оптимальное управление
С т р а т е г и я у п р а в л е н и я. Для уточнения способа выбора управления приведем определение стратегии управления. Естественно считать, что управление не может зависеть от будущих состояний

Управляемые цепи Маркова. Уравнение Беллмана
Как и в предыдущем параграфе, рассматриваем пространства - фазовое пространство процесса и - фазовое пространство управления. Управляемый процесс называется марковским ( управляемой цепью Маркова),

Оптимальная остановка цепи Маркова
Рассмотрим цепь Маркова в фазовом пространстве с вероятностью перехода на n-ом шаге . Обозначим через реализацию этой цепи. Управление цепью состоит в выборе момента остановки цепи , стоимость упра

Ставок в игре
{см. Дынкин, Ющкевич Управляемые марковские последовательности, глава 2, пар7} Пусть инвестор вкладывает имеющиеся средства как в рисковые активы (например, в акции) так и в безрисковые (н

Нахождение оптимального управления
Поставлена следующая задача: найти такое управление в модели (2), чтобы к моменту времени N капитал инвестора был максимальным. Искать оптимальное управление будем методом, описанны

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги