Виявляється, при такому способі організації у міру зниження швидкості доступу до рівня пам'яті знижується також і частота звернень до нього.
Ключову роль тут грає властивість реальних програм, протягом обмеженого відрізання часу здатних працювати з невеликим набором адрес пам'яті. Це емпірично спостережувана властивість відома як принцип локальності або локалізації звернень.
Властивість локальності (сусідні у просторі та часі об'єкти характеризуються схожими властивостями) властиво не тільки функціонуванню ОС, але і природі взагалі. У разі ОС властивість локальності з'ясовна, якщо врахувати, як пишуться програми і як зберігаються дані, тобто зазвичай протягом якогось відрізання часу обмежений фрагмент коди працює з обмеженим набором даних. Цю частину коди і даних вдається розмістити в пам'яті з швидким доступом. В результаті реальний час доступу до пам'яті визначається часом доступу до верхніх рівнів, що і обумовлює ефективність використання ієрархічної схеми. Треба сказати, що описувана організація обчислювальної системи багато в чому імітує діяльність людського мозку при переробці інформації. Дійсно, вирішуючи конкретну проблему, людина працює з невеликим об'ємом інформації, зберігаючи відомості, що не відносяться до справи, в своїй пам'яті або в зовнішній пам'яті (наприклад, в книгах).
Кеш процесора зазвичай є частиною апаратури, тому менеджер пам'яті ОС займається розподілом інформації головним чином в основній і зовнішній пам'яті комп'ютера. У деяких схемах потоки між оперативною і зовнішньою пам'яттю регулюються програмістом (див. наприклад, далі оверлейні структури), проте це пов'язано з витратами часу програміста, так що подібну діяльність прагнуть покласти на ОС.
Адреси в основній пам'яті, що характеризують реальне розташування даних у фізичній пам'яті, називаються фізичними адресами. Набір фізичних адрес, з яким працює програма, називають фізичним адресним простором.