З 1919 року жив у Москві, на Арбаті, д. 51. Навчався у колишній Хвостовській гімназії у Кривоарбатському провулку.

Про роман Над «Дітьми Арбата» Анатолій Рибаков почав працювати наприкінці 1950-х років. Повністю роман було закінчено лише 1982 року, а опубліковано 1987 року.

Війну закінчив у званні гвардії інженер-майора, обіймаючи посаду начальника автослужби 4-го Гвардійського стрілецького корпусу. За виявлену мужність та героїзм Анатолію Наумовичу скасували судимість, а у 1960 року він був повністю реабілітований.