Ему было под пятьдесят, когда он женился на молоденькой Лопухиной. Жена оказалась не под стать ему: больше молилась и вскоре умерла, оставив ему дочь. Орлов всегда жаловался:

— Даже нарядов не нашивала. В икону ткнется — и все тут! В дерюжном бы мешке такую таскать… Нет, это не по мне!

Ему больше нравилась его старая метресса Марья Бахметева, с которой он жил как собака с кошкой, и они то разводились с громом и молниями, так что вся Москва бурлила, то снова съезжались, дружески иронизируя по поводу своих "разводов".

— Эх, Алешка! — говорила Марья. — Шумишь ты, а ведь от меня никуда не денешься… Для всех ты граф Чесменский, а для меня ты князь Деревенский! Лучше б ты подарил мне что-либо…

К дочери Орлов относился деспотично. Если его навещал человек, достойный уважения, он призывал к себе юную графиню:

— Вишь, гость-то каков! Или мы тебя, никудышную, сейчас с кашей съедим, или… мой полы в честь гостя приятного!

Графиня тащила ведро с водой, устраивала поломытие.

— Да не так моешь! — кричал на нее отец. — Не ленись лишний раз тряпку-то выжать… Это тебе не богу маливаться!

Тургеневский герой, однодворец Овсянников, вспоминал: "Пока не знаешь его, не взойдешь к нему, боишься, точно робеешь, а войдешь — словно солнышко пригреет — и весь повеселеешь… Голубей-турманов держал первейшего сорта. Выйдет, бывало, во двор, сядет в кресло и прикажет голубей поднять; а кругом на крышах люди стоят с ружьями против ястребов. К ногам графа большой серебряный таз поставят с водою: он и смотрит в воду на голубков… А рассердится — словно гром прогремит. Страху много, а плакать не на что: смотришь — уж и улыбается.

Совсем иное впечатление производил Орлов на иностранцев.

Англичанка мисс Бальмонт признавалась, что при виде Алехана все ее тело охватила дрожь ужаса, а когда ей следовало поцеловать Орлова в изуродованное лицо, она чуть не упала в обморок.