Дочь Ивана Ивановича Екатерина потеряла право наследования этого участка из-за желания выйти замуж за поручика Алексея Александровича Хлопова. Её отец был категорически против такого брака. Но после смерти отца у Екатерины появился шанс вновь завладеть домом. Улаживание дела о наследстве было поручено Денису Ивановичу Фонвизину, который широко известен как писатель, но состоял так же и на государственной службе. Забота Фонвизина о наследстве была столь активна, что после смерти Хлопова отношения Екатерины Ивановны и Дениса Ивановича стали близкими и в личном плане. В 1774 году они обвенчались.

Жить в доме на набережной семья Фонвизина могла лишь в свои первые годы. Именно тогда в 1779–1782 годах Денис Иванович работал над знаменитым «Недорослем». Уже в 1782 году особняк на берегу Невы был сдан англичанинам Кулю и Смолю. Стоявший за ним дом арендовал немецкий булочник Иоганн Шульц. В 1784 году Екатерина Ивановна отдала весь участок от Английской набережной до Галерной улицы в залог Императорскому воспитательному дому. Сама же с мужем жила на оставшейся при них земле — от Галерной улицы до Адмиралтейского канала. В 1789 году участок на набережной был продан английскому купцу Руту.

В начале XIX века усадьбой владели купец Кремер, затем О.А. Жеребцова. 30 мая 1830 года её приобрели супруги Лаваль (владельцы дома №4 на набережной). 28 апреля 1833 года участок перешёл дочери Лавалей Софье Ивановне Борх. Для неё особняк благоустраивал архитектор Людвиг Людвигович Бонштедт. Здесь Софья Ивановна с мужем жила до 1842 года, когда после смерти графини Лаваль им перешёл её особняк.

Этот же участок Борхами был продан жене флигель-адьютанта Черткова. После неё им завладел Александр Филиппович Кларк. Здесь же разместилось правление торгового дома «Кларк и К», занимавшегося экспортом хлеба и льна. Семья Кларков владела домом на набережной более полувека. Здесь у Александра Филипповича родились и выросли дети: Александр, Феликс и Софья. После смерти главы семейства его вдова решила перестроить дом. Для этого в 1889 году она пригласила сюда архитектора Виктора Александровича Шретера.

В.А. Шретером здесь был построен каменный трёхэтажный дом, сохранившийся до наших дней. Со стороны Английской набережной и Благовещенской площади были сооружены два главных фасада. Главный вход в особняк был с набережной, кроме него существовал вход с Галерной улицы. Второй этаж заняла анфилада парадных гостиных. Все строительные работы были завершены к 1893 году.

В 1912 году дом Кларка был куплен Нефтепромышленным и торговым обществом «Мазут». Здесь расположились офисы и доходный дом. Тогда же по проекту Н.Л. Маркова здание было надстроено четвёртым этажом.

При капитальном ремонте в 1980-х годах были полностью утрачены все парадные интерьеры дома Кларка.

В настоящее время часть левого крыла здания занимает 224 гарнизонный военный суд.