Як відомо, ефективність будь-якої програми визначається двома групами показників, які можна узагальнено назвати «час» і «пам'ять». При розробці системи доводиться приймати багато непростих рішень, пов'язаних з оптимальним балансом цих показників.
Найважливішим показником временнóй ефективності є продуктивність системи, тобто усереднена кількість корисної обчислювальної роботи, виконуваної в одиницю часу. З іншого боку, для діалогових ОС не менш важливо час реакції системи на дії користувача. Ці показники можуть в деякій мірі суперечити один одному. Наприклад, в системах поділу часу збільшення кванта часу підвищує продуктивність (за рахунок скорочення числа перемикань процесів), але погіршує час реакції.
У програмуванні відома аксіома: виграш у часі досягається за рахунок програшу в пам'яті, і навпаки. Це повною мірою відноситься до ОС, розробникам яких постійно доводиться шукати баланс між витратами часу і пам'яті.
Турбота від ефективності довгий час стояла не першому місці при розробці програмного забезпечення, і особливо ОС. На жаль, зворотним боком стрімкого збільшення потужності комп'ютерів стало ослаблення інтересу до ефективності програм. В даний час ефективність є першорядним вимогою хіба що відносно систем реального часу.