А какие чудесные бывали у нас в доме детские праздники! Приглашались дети — человек 20—30, весь тогдашний Кремль. Тогда в Кремле жило очень много народу, и жили просто, весело. Всегда устраивалась — и долго подготавливалась, вместе с Александром Ивановичем и Наталией Константиновной — детская самодеятельность.
Я помню свой последний (при маме) день рождения в феврале 1932 года, когда мне исполнилось 6 лет. Его справляли на квартире в Кремле — было полно детей. Ставили детский концерт: немецкие и русские стихи, куплеты про ударников и двурушников, украинский гопак в национальных костюмах, сделанных нами же из марли и цветной бумаги. Артем Сергеев (ныне генерал, кавалер всех орденов, а тогда ровесник и товарищ моего брата Василия), накрытый ковром из медвежьей шкуры и стоя на четвереньках, изображал медведя, а кто-то читал басню Крылова. Публика визжала от восторга.
По стенам были развешены наши детские стенгазеты и рисунки. А потом вся орава — и дети, и родители — отправились в столовую, пить чай с пирожными и сладостями. Отец тоже принимал участие в празднике. Правда, он был пассивным зрителем, но его это занимало, изредка, для развлечения он любил детский гвалт. Все это врезалось в память навсегда.
Аллилуева С. С. 164–165
Жена его, Надежда Сергеевна, очень скромная женщина редко обращалась с какими-нибудь просьбами, скромно одевалась, не в пример женам многих ответственных работников.