Варламов родился в 1801 году в Москве. Отец композитора находился на военной, затем на гражданской службе, был чиновником с не слишком большими доходами.
Музыкальные способности и незаурядные вокальные данные проявились у Александра еще в раннем детстве, определив его дальнейшую судьбу: когда мальчику исполнилось девять лет, родители отправили его в Санкт-Петербург, где он был принят «малолетним певчим» в придворную певческую капеллу. В этом хоровом коллективе Варламов под руководством выдающегося русского композитора Д. С. Бортнянского получил музыкальное образование.