Герасимов родился в Москве в 1945 году, с 1962 года играет джазовую музыку. Анатолий был участником оркестров Юрия Саульского, Бориса Рычкова, Анатолия Кролла и остальных составов, узнаваемых на весь Русский Альянс. В 1973 году Герасимов эмигрировал из СССР в Нью-Йорк, где сотрудничал с Четом Бейкером (Chet Baker), Джако Пасториусом (Jaco Pastorius), Джоном Скофилдом (John Scofield), Элвином Джонсом (Elvin Jones) и иными музыкантами

В 80-е годы и сначала 90-х Герасимов жил в Европе (в большей степени в Париже), в 1995 году практически перебрался обратно в Москву.

Ценителям русской музыки Герасимов также известен по концертному сотрудничеству с группой Аукцыон и Алексеем Хвостенко, с которым он записал совместную пластинку «Завтра потоп».