Революционной идеей является предложенный Нейманом принцип «хранимой программы».Нейман первым догадался, что программа может также храниться в виде набора нулей и единиц, причем в той же самой памяти, что и обрабатываемые, ею числа. Все слова, представляющие числа, команды и прочие объекты, выглядят в ЭВМ совершенно одинаково, и сами по себе неразличимы. Отсутствие принципиальной разницы между программой и данными дало возможность ЭВМ самой формировать для себя программу в соответствии с результатами вычислений.
Над командами можно выполнять такие же действия, как и над данными. Например, программа в процессе своего выполнения также может подвергаться переработке, что позволяет задавать в самой программе правила получения некоторых ее частей. Более того, команды одной программы могут быть получены как результаты исполнения другой программы. На этом принципе основаны методы трансляции — перевода текста программы с языка программирования высокого уровня на язык конкретной машины.