Иерархия HTM соответствует пространственной и временной иерархии реального мира

Одна из причин, по которой HTM эффективны при обнаружении новых причин и выдвижении гипотез, заключается в том, что структура мира иерархична. Вообразите две точки в визуальном пространстве. Мы можем спросить, как коррелирует освещенность этих двух точек. Если точки достаточно близки друг к другу, то их значения будут сильно коррелировать. Однако, если две точки визуально далеко друг от друга, будет сложно найти корреляции между ними. HTM использует эту структуру, сперва отыскивая явные корреляции в сенсорных данных. По мере подъема по иерархии, HTM продолжает этот процесс, но теперь она отыскивает явные корреляции причин с первого уровня, затем явные корреляции причин второго уровня, и так далее.

Объекты в мире и паттерны, создаваемые ими в сенсорных массивах, в основном имеют иерархическую структуру, которая может быть использована иерархией HTM. У тела есть основные части, такие как голова, торс, руки и ноги. Каждый из этих компонентов состоит из более мелких частей. У головы есть волосы, глаза, нос, рот, уши и т.д. Каждый из них состоит из еще более мелких частей. У глаза есть ресницы, зрачок, радужка и веки. На каждом уровне иерархии субкомпоненты близки друг к другу в паттерне, приходящем с более низких уровней иерархии.

Заметьте, что если бы вы произвольно перемешали пикселы с камеры, то визуальная система HTM не смогла бы больше работать. Она не смогла бы обнаруживать причины в мире, поскольку она не смогла бы находить сперва локальные корреляции в поступающей информации.

HTM не просто используют иерархическую пространственную структуру мира. Они так же используют иерархическую временную структуру. Узлы внизу иерархии HTM находят временные корреляции в паттернах, возникающих относительно близко и в пространстве и во времени: «паттерн B следует непосредственно после паттерна A». Поскольку каждый узел преобразует последовательность пространственных паттернов в постоянное значение, следующий уровень иерархии ищет последовательности последовательностей. Мир иерархичен не только пространственно, но и во временном смысле. Например, язык это иерархически структурированная временная последовательность. Простые звуки комбинируются в фонемы, фонемы комбинируются в слова, слова комбинируются в фразы и идеи. Временная иерархическая структура языка может быть очевидной, но даже зрение структурировано подобным образом, по крайней мере для систем, которые могут двигаться относительно мира. Визуальные паттерны, которые следуют последовательно во времени, вероятно коррелируют. Менее вероятно, что паттерны, поступающие далеко друг от друга во времени, коррелируют, но возможно, что корреляция все равно есть при взгляде на более высокоуровневые причины.

Большинство обстановок реального мира, такие как рынок, дорожное движение, биохимические реакции, человеческие отношения, язык, галактики и т.д. имеют и временную и пространственную структуру по своей природе. Эта структура – естественный результат законов физики, где силы природы тем сильнее, чем ближе объекты во времени и пространстве.

Таким образом, HTM работают потому что в мире есть пространственные и временные иерархически организованные корреляции. Корреляции сначала находятся в близком соседстве (в пространстве и времени). Каждый узел иерархии объединяет и пространственную и временную информацию, и, следовательно, по мере продвижения информации вверх по иерархии HTM, представления покрывают все большие области сенсорного пространства и все большие периоды времени.

При разработке систем HTM для определенных задач важно задаться вопросом, имеет пространство задачи (и соответствующие сенсорные данные) иерархическую структуру. Например, если вы хотите, чтобы HTM понимала финансовый рынок, вы могли бы захотеть предоставлять такие данные HTM, где смежные сенсорные данные вероятнее всего были бы скоррелированы в пространстве и во времени. Возможно это означало бы первоначальное группирование биржевых курсов по категориям, и затем по индустриальным сегментам. (То есть, технологические направления, такие как полупроводники, коммуникация и биотехнология были бы сгруппированы вместе на первом уровне. На следующем уровне технологические группы комбинировались бы с промышленными, финансовыми и другими группами). Вы могли бы построить аналогичную иерархию для облигаций, и затем на самом верху скомбинировать акции и облигации.

Вот еще пример. Предположим, вы хотите, чтобы HTM моделировала производственный бизнес. Внизу иерархии могли бы быть узлы, получающие на входе различные производственные параметры. Другой набор узлов внизу иерархии мог бы получать на входе маркетинговые параметры и параметры продаж, а также еще один набор низкоуровневых узлов мог бы получать на входе финансовые параметры. HTM скорее всего в первую очередь находила бы корреляции между производственными параметрами, чем между стоимостью рекламных услуг и доходами производственной линии. Однако, на более высоких уровнях иерархии узлы могли бы научиться представлять причины, глобальные для бизнеса, охватывающие производство и маркетинг. Дизайн иерархии HTM должен был бы отражать наиболее вероятные корреляции ее мира.

Этот принцип отображения иерархии HTM на иерархические структуры мира применяется ко всем системам HTM.

Интересный вопрос – могут ли HTM получать на входе информацию, не имеющую пространственной иерархии? Например, могли бы HTM получать на входе информацию, напрямую представляющую слова, в противовес визуальной информации от напечатанных букв? Просто слова не имеют очевидной пространственной структуры. Как бы мы организовали словарный вход в сенсорном массиве, где каждая входная линия представляет различное слово, так чтоб могли быть найдены локальные пространственные корреляции? Мы еще не знаем ответа на этот вопрос, но мы подозреваем, что HTM могут работать с такой информацией. Интуитивно кажется, что сенсорное пространство могло бы иметь только временную иерархическую организацию, хотя в большинстве случаев имеет обе. Аргументом для этого предположения является то, что на вершине иерархии больше не имеете пространственной ориентации, например, на вершине визуальной иерархии. Но выход этого верхнего узла может быть входом для узла, комбинирующего верхние визуальные и слуховые гипотезы. Выше некоторой точки иерархии уже нет ясного пространственного отображения, в представлениях нет топографии. Биологический мозг решает такую задачу, полагаю, HTM так же должны уметь.

Сенсорные данные могут быть упорядочены более чем в двух измерениях. Человеческое зрение и осязание упорядочены в двух измерениях, потому что сетчатка и кожа являются двумерными сенсорными массивами и неокортекс также имеет соответствующую двумерную организацию. Но предположим, что мы хотим иметь HTM, изучающую океан. Мы могли бы создать трехмерный сенсорный массив путем размещения датчиков температуры и течений на различных глубинах для каждой широты и долготы. Такое упорядочивание создает трехмерный сенсорный массив. Важно, что мы ожидали бы обнаружить локальные корреляции в сенсорных данных по мере продвижения по любому из этих трех измерений. Теперь мы могли бы разработать HTM, где каждый узел первого уровня получал бы данные с трехмерного кубического элемента океана. Следующий уровень иерархии получал бы информацию от низкоуровневых узлов, представляя кубический элемент большего размера и т.д. Такая система была бы хороша для обнаружения причин и выдвижения гипотез, чем система, где сенсорные данные были бы свалены в двумерный массив, как в видеокамере. Люди часто испытывают трудности при интерпретации данных высокой размерности и нам приходится создавать инструменты для визуализации, помогающие нам в таких вещах. HTM могут быть разработаны, чтобы «видеть» и «думать» в трех измерениях.

Нет причины, по которой мы должны были бы остановиться на трех измерениях. Есть математические и физические задачи, решаемые в четырех или более измерениях, и некоторые из повседневных феноменов, такие как структура бизнеса, могли бы быть проанализированы, как задачи в многомерных пространствах. Большинство из причин, которые люди ощущают через двумерные органы чувств, могли бы более эффективно анализироваться через многомерно организованные HTM. Многомерные HTM – это широкое поле для изучения.

Некоторые архитектуры HTM будут эффективнее других на определенных задачах. HTM, способные обнаруживать больше причин на низком уровне иерархии будут эффективнее и лучше при обнаружении высокоуровневых причин. Разработчики некоторых систем HTM будут тратить время на экспериментирование в различными иерархиями и организациями сенсорных массивов, пытаясь оптимизировать и производительность системы, и ее способность к обнаружению высокоуровневых причин. HTM очень работоспособны; любая разумная конфигурация будет работать, то есть, находить причины, но производительность HTM и ее способность находить высокоуровневые причины будут определяться иерархическим дизайном от узла к узлу, тем, что представляют в HTM сенсорные данные, и тем, как сенсорные данные организованы относительно низкоуровневых узлов.

Таким образом, HTM работают в основном из-за того, что их иерархический дизайн улавливает иерархическую структуру мира. Следовательно, ключевые предпосылки при разработке систем, основанных на HTM:

1) Понять, имеет ли пространство задачи соответствующую пространственно-временную структуру.

2) Убедиться, что сенсорные данные организованы так, чтоб в первую очередь обнаруживать локальные корреляции в пространстве задачи.

3) Разработать иерархию для наиболее эффективного использования иерархической структуры в пространстве задачи.