Будь-яка складна система повинна мати зрозумілу і раціональну структуру, тобто розділятися на частини — модулі, що мають цілком закінчене функціональне призначення з чітко обумовленими правилами взаємодії. Ясне розуміння ролі кожного окремого модуля істотно спрощує роботу по модифікації і розвитку системи. Навпаки, складну систему без хорошої структури частіше простіше розробити наново, чим модернізувати.
Функціональна складність операційної системи неминуче призводить до складності її архітектури, під якою розуміють структурну організацію ОС на основі різних програмних модулів. Зазвичай до складу ОС входять виконувані і об'єктні модулі стандартних для цієї ОС форматів, бібліотеки різних типів, модулі початкового тексту програм, програмні модулі спеціального формату (наприклад, завантажувач ОС, драйвери введення-виводу), конфігураційні файли, файли документації, модулі довідкової системи і т. д.
Більшість сучасних операційних систем є добре структурованими модульними системами, здатними до розвитку, розширення і перенесення на нові платформи. Якої-небудь єдиної архітектури ОС не існує, але існують універсальні підходи до структуризації ОС.