Этот раздел содержит общие вопросы относительно HTM и несколько смешанных тем, которые еще не были затронуты. Нет особой необходимости знать эти материалы, чтобы развертывать системы, основанные на HTM, хотя это могло бы прояснить некоторые уже рассмотренные темы. Порядок вопросов не имеет значения.
Как мотивация и эмоции укладываются в теорию HTM?
Общий вопрос, который мы слышим, это «Кажется, мотивация и эмоции не играют никакой роли в HTM. Как HTM может знать, что важно, а что – нет?»
В биологическом мозге есть несколько систем, задействованных в эмоциональной оценке различных ситуаций. Эти эмоциональные центры являются сильно эволюционировавшими подсистемами, которые заточены для их собственных задач. Они расположены не в неокортексе. Как правило, эти эмоциональные субсистемы взаимодействуют с неокортексом довольно простым способом. Они посылают сигналы, которые распространяются по всему неокортексу. Эти сигналы относятся к скорости обучения и степени возбуждения. Это как если бы эти подсистемы говорили: «Я буду вычислять эмоциональную окраску текущей ситуации, и когда я увижу что-то важное, я скажу тебе, неокортекс, чтоб ты это запомнил».
Системы, основанные на HTM, нуждаются в аналогичном сигнале контроля обучения. Большую часть времени, он может быть настолько простым, насколько дизайнер системы решит, когда HTM должна обучаться, и с какой скоростью. HTM визуального интерфейса могла бы обучаться в лаборатории в идеальных условиях и позже развернута уже без способности к дальнейшему обучению. Некоторые приложения могли бы иметь автоматическую систему регуляции обучения, например автомобиль, который автоматически включал бы обучение, когда резко нажаты тормоза. Так что, хотя системы, основанные на HTM, не имеют эмоциональных центров как таковых, функциональная роль эмоций по отношению к неокортексу легко может быть реализована.
Что происходит с CTP? Кода и как они обучаются?
Вспомните, что Байесовские сети пересылают сообщения с гипотезами между узлами. Также вспомните, что CTP (Conditional Probability Tables, Таблицы Условных Вероятностей) являются двумерными матрицами, которые преобразуют гипотезы одного узла в пространство измерений и язык гипотез другого узла. CTP позволяют гипотезам в одном узле модифицировать гипотезы в другом узле. Ранее мы показали CTP с примером узлов, представляющих температуру и осадки. После чего мы не объяснили, как CTP обучаются.
Хотя, мы объяснили, но другим языком. В HTM CTP, используемые при прохождении информации вверх по иерархии от узла к узлу, формируются как результат изучения точек квантования. Функция квантования сама по себе является CTP. В отличие от этого, в традиционных Байесовских сетях причины в каждом узле были бы фиксированными, и CTP создавались бы путем сопоставления мгновенных гипотез между двумя узлами. Мы не можем сделать этого в HTM, поскольку причины, представленные в каждом узле, не фиксированы и должны быть изучены. Изучение точек квантования – это суть метода создания CTP на лету.
CTP, передающие сообщения вниз по иерархии между двумя узлами, могут быть обучены традиционным способом, как только будут обучены оба узла. Также в качестве нисходящей CTP возможно использование транспонированной версии восходящей CTP.
Есть еще одно отличие между реализацией CTP в HTM и в Байесовской сети. В традиционной Байесовской сети, если три дочерних узла проецируются на единый родительский узел, должно быть три отдельных CTP, каждая между своим дочерним узлом и родительским. Биология наводит на мысль, что мозг не использует такой способ. В мозге сообщения от дочерних узлов смешиваются вместе на единой функции CTP/квантования. Есть причины верить, что биологический метод лучше. Именно этот метод Numenta реализовала в своей теории HTM.
Почему количество пространственных паттернов и временных последовательностей в каждом узле фиксировано?
Есть два базовых подхода, которые могут быть использованы для изучения пространственных и временных паттернов в узле. Первый подход заключается в том, чтобы смотреть на поступающие паттерны и перечислять их. Например, при разграничении точек квантования вы могли бы постепенно строить список точек квантования по мере поступления новой информации. Если новый паттерн недостаточно близок к ранее виденным паттернам, вы создаете новую точку квантования. Если близок – вы полагаете, что этот тот же самый паттерн и не создаете новой точки квантования. С течением времени вы строите все более и более длинный список точек пространственного квантования. Тот же самый подход мог бы быть использовать для изучения последовательностей. Вы могли бы динамически строить все более и более длинный список последовательностей по мере поступления новой информации.
Второй подход заключается в том, чтобы начать с фиксированного количества точек пространственного квантования и фиксированного количества последовательностей. Изначально они имели бы случайный смысл. По мере поступления информации вы модифицируете определение существующих точек квантования и последовательностей. Например, вы брали бы новый паттерн и решали бы, к какой из изначально случайных точек квантования новый паттерн ближе всего. Затем вы модифицировали бы эти точки квантования, чтобы «сместить» их ближе к новому паттерну. Вы должны были бы делать это постепенно, поскольку другие узлы в сети зависят от выходной информации первого узла. Если бы вы слишком быстро изменяли смысл точек квантования или последовательностей, другие узлы были бы сбиты с толку.
В корпорации Numenta мы экспериментировали с обоими методами. Возможно, что оба могут работать. Сейчас мы сфокусировались на втором методе по нескольким причинам. Во-первых, мы верим, что в биологическом неокортексе используется именно этот метод. Следовательно, мы уверены, что он сможет работать на том диапазоне задач, которые может решать человек. Другая причина в том, что привязываясь к фиксированному количеству точек квантования и фиксированному количеству последовательностей в каждом узле, все обучение в системе ограничивается постепенными изменениями. Смысл причин в каждом узле изменяется медленно во времени, и, хотя другим узлам необходимо соответственно подстраиваться, ничего страшного не происходит. Размерность входной информации, выходной информации, и, следовательно, размерность CTP остаются фиксированными; изменяются только значения в матрицах.
На первый взгляд кажется проще использовать метод с переменным количеством точек квантования и последовательностей, но он может привести к трудностям, поскольку изменяются размерности входной и выходной информации.
Как представляются временные паттерны?
Общий вопрос звучит, какой длины последовательности, хранящиеся в узлах? Снова, есть два основных способа, которыми вы могли бы подойти к этой задаче; один с фиксированной длиной последовательностей, а другой – с переменной длиной. В этом случае биология использует последовательности с переменной длиной и корпорация Numenta выбрала для эмуляции этот метод, хотя это не обязательно. Чтобы дать вам понять, как это работает, мы используем музыкальную аналогию.
Вообразите, что наш узел имеет двенадцать точек квантования, каждая соответствует одной из двенадцати нот музыкальной октавы. По мере поступления информации каждая из этих двенадцати точек квантования становится активной в соответствии с тем, какая нота звучит.
Затем мы назначаем десять переменных для каждой из точек квантования. Есть десять «до», десять «ре», десять «ля бемоль» и т.д. Каждая из этих переменных представляет конкретную ноту на одном месте в одной последовательности. Узел может изучить любое количество последовательностей и последовательности могут быть любой длины, но с ограничением, что узел может работать только с десятью экземплярами каждой ноты. В одном крайнем случае узел мог бы изучить одну последовательность длиной 120 нот, если каждая нота используется точно десять раз. В другом крайнем случае он мог бы изучить шестьдесят последовательностей длиной в две ноты. Но не важно, сколько последовательностей он изучит, и не важно, какой длины каждая последовательность – ему доступны только десять экземпляров каждой ноты.
На самом деле все чуть сложнее, но эта аналогия дает основную изюминку того, как, по нашему мнению, неокортекс хранит последовательности и того, какой подход предпочитается сейчас корпорацией Numenta.
HTM построены из дискретных областей, но биологический мозг является более непрерывным. В чем разница?
До сих пор HTM описывались как иерархический набор дискретных узлов. Использование дискретных узлов присуще Байесовским сетям, и, несомненно, для любых графических вероятностных моделей.
Однако, биология наводит на мысль, что мозг работает не таким образом. В HTM нижний уровень иерархии это набор очень маленьких узлов; в мозгу нижний уровень иерархии это одна непрерывная область кортекса.
Очевидно, природный подход работает чуть лучше. Однако, у нас еще нет такого математического инструмента для понимания непрерывных моделей, какой есть для дискретных. В корпорации Numenta мы до сих пор используем подход с дискретными узлами. Мы продемонстрировали, что этот подход работает, и изучаем, можно ли его переделать, чтоб он функционировал также, как и непрерывный подход. В конечном счете мы собираемся перейти к непрерывным моделям.
HTM моделируют мир. Но делая это, они не помнят конкретных деталей и событий. Человек имеет способность помнить некоторые конкретные детали. Как это может быть реализовано в системах, основанных на HTM?
HTM, так, как они описаны в этом документе и реализованы корпорацией Numenta, не имеют способности помнить конкретные события. HTM в действительности отбрасывают детали в процессе построения модели мира. Например, если вы обучаете HTM-систему зрения распознавать собак, она не будет помнить конкретные изображения собак, на которых она обучалась. Могут быть миллионы паттернов, на которых обучалась HTM, и ни один она не будет помнить в деталях. Процесс обнаружения причин в мире – это изучение «постоянной» структуры мира, а не изучение конкретных паттернов, которые попадались только однажды.
Однако, человек помнит конкретные единичные события, особенно если событие было эмоционально окрашено. Если происходит что-то особенно плохое или особенно хорошее, вы скорее всего запомните детали этого на долгое время. Например, вы почти наверняка не помните, что вы ели на обед три недели назад. Однако, если во время еды вам стало очень плохо или с вами произошло что-то странное, вы могли бы запомнить детали этого обеда на всю оставшуюся жизнь.
В биологическом мозге гиппокамп прочно завязан на формировании этих «эпизодических» воспоминаний. Мы думаем, что достаточно понимаем отношения между гиппокампом и неокортексом, чтобы создать эквивалент «эпизодической» памяти, как дополнение к HTM. В настоящее время мы продолжаем рассматривать эту способность и в конечном счете намерены добавить ее к HTM.
Что делает фовеальная область и для чего она нужна HTM-системе?
Свет, попадающий на сетчатку на задней стороне глаза, формирует перевернутое но, с другой стороны, неискаженное изображение на сетчатке. Однако, световые рецепторы в сетчатке имеют неравномерное распределение. Имеется высокая концентрация этих клеток в центре сетчатке, называемая фовеальной областью, приводящая к искаженному представлению изображения в оптическом нерве и, в итоге, на первом уровне кортикальной иерархии. По мере движения объектов в мире или по мере движения наших глаз, возникают резкие искажения, вызванные попаданием фовеальной области в различные части визуальной сцены.
Удивительно, что для нашего визуального восприятия мира это искажение неочевидно. Теория в основе HTM объясняет, почему так происходит. Аналогично мозгу, HTM формирует высокоуровневые представления, которые инвариантны к искажению входной информации. HTM формируют высокоуровневые представления мира такого, какой он есть в действительности, а не такого, каким ощущается. Нас не заботят паттерны, приходящие от сенсоров. Нас интересуют устойчивые причины мира, и именно их обнаруживает и представляет HTM. Слепой и глухой человек формируют почти идентичные модели мира, хотя у них совершенно различные сенсорные системы. Они обнаруживают одни и те же причины через совершенно различные сенсорные паттерны. Низкоуровневые сенсорные данные – это всего лишь средство обнаружения причин в мире. Различных сенсоров или искаженной сенсорной информации достаточно до тех пор, пока они достаточно выделяют причины, которые нас интересуют при обучении.
Вопрос, который мы хотели бы рассмотреть не в том, как возникает распознавание, несмотря на наличие фовеальной области. Это всего лишь следствие того, как работает HTM. Вопрос, интересующий нас, заключается в том, значимы ли фовеальные механизмы и должны ли такие принципы применяться к HTM-системам?
Фовеальная область работает подобно механизму внимания. Что бы ни находилось в центре визуального поля – оно представляется в превосходной степени и, скорее всего, будет представлено на вершине визуальной иерархии. Движение глаз в сочетании с механизмом скрытого внимания, описанным ранее, позволяет воспринимать тонкие детали сцены. Вы можете рассматривать его в качестве механизма увеличения в видеокамере.
Теоретически, если бы плотность рецепторов по всей сетчатке была эквивалентна их плотности в фовеальной области, то было бы меньше необходимости двигать глазами. Восприятие тонких деталей могло бы быть достигнуто путем скрытого внимания. Однако, это потребовало бы гораздо больше кортекса и больше памяти. Так что, в конечном итоге фовеальная область – это средство сбережения ресурсов при сохранении остроты зрения.
Те же самые принципы были бы полезны и для некоторых приложений HTM. Например, HTM-система, изучающая погоду, могла бы иметь сенсорный массив, выбирающий данные с метеорологических станций, распределенных по территории. Эта информация могла бы быть представлена в HTM в виде двумерного массива. Однако, могла бы существовать область сенсорного массива, получающая данные со станций, расположенных ближе друг к другу. Это эквивалентно фовеальной области. Путем передислоцирования этой области высокой четкости HTM могла бы фокусироваться на метеорологических деталях в конкретной области. Множество HTM-систем могли бы использовать подобный подход.
В настоящее время, хотя в корпорации Numenta есть мысли о таких идеях, они еще не протестированы в деталях. Это интересная область для экспериментов.
Существуют ли этические вопросы относительно HTM?
Несколько лет мы обсуждали и исследовали вопрос, представляют ли HTM какую-либо этическую дилемму. Мы последовательно приходили к единогласному мнению, что HTM не представляет никакого этического отношения. Они представляют такие же выгоды и такие же потенциальные возможности неправильного использования, как и многие другие технологии, такие как компьютеры или Интернет. Эти темы более детально обсуждаются в книге On Intelligence.