В этом доме Александр Сергеевич Пушкин жил с сентября 1833 года по август 1834 года. Тогда это был дом А.К. Оливье.
Например, П.В. Нащокин, адресуя письма Пушкина, писал таким образом:
«Против Цепного моста в доме Оливье у Понтелеймана, в С. Петербург.»
Пантелеймоновская улица 6 октября 1923 года была переименована в улицу Декабриста Пестеля, с конца 1920-х и по сей день - улица Пестеля.
Цепной мост сейчас называется Пантелеймоновский (во времена Пушкина - Пантелеймонский цепной мост).
В разное время владельцами дома были: Струбинский, Гольмдорф, Лобанов-Ростовский.
В 1880-е годы дом перестраивался; архитектор - Кейзер Андрей Карлович.

В.П. Старк. Новые пушкинские адреса в Петербурге. 1995:
«Квартиру в доме Оливье сняла Наталия Николаевна в отсутствие мужа, переехав в него в первых числах сентября 1833 г. Прожили в нем до середины августа 1834 г. На этот раз перемена квартир была совершена Пушкиным, жена была в Полотняном Заводе. Живя в доме Оливье, Пушкин вновь стал прихожанином Пантелеймоновской церкви, снова гулял по Летнему саду. Он писал жене: «Ведь Летний сад — мой огород. Я, вставши от сна, иду туда в халате и туфлях. После обеда сплю в нем, читаю и пишу. В нем я дома». Именно из дома Оливье пишет Пушкин то письмо Наталье Николаевне, в котором вспоминает о встрече с Павлом I, первом событии в своей жизни. Единственным свидетелем тогда была няня. Эту историю он именно теперь узнал в пересказе родителей. В 1834 г. они жили в ближайшем соседстве на Гагаринской улице в доме Ефремова в трех минутах ходьбы от сына. О постоянном общении той поры родителей с сыном свидетельствуют их письма дочери Ольге Сергеевне Павлищевой. В то время, когда Наталия Николаевна отсутствовала в Петербурге, они особенно часто навещали Пушкина в доме Оливье, а он их в доме Ефремова. Соседство обоих домов с тем на Соляном, где они жили вместе в 1800 г., могло вызвать воспоминание об этом далеком прошлом. Эпизод с Павлом I, который приводит Пушкин в цитированном уже письме Наталии Николаевне, скорее всего был услышан им от родителей только теперь.»

Находится прямо напротив дома. Пушкин был прихожанином этой церкви.

Квартиру в доме А. К. Оливье в начале 1833 г. в отсутствие Пушкина снимает Наталья Николаевна. Из Болдина поэт адресует письма жене: «В С. Петербурге у Цепного моста против Пантелеймона в доме Оливье». Квартира была большая, дорогостоящая — 4800 рублей в год, но Пушкиным она нравилась.
Сразу же за Цепным мостом, на другом берегу Фонтанки, находился Летний сад. Он был излюбленным местом прогулок и увеселений столичной публики. Сад украшали мраморные статуи, вывезенные в XVIII в. из Италии. Они скрывались в густой зелени дубов, кленов, лип. Летом, когда избранная публика покидала Петербург, сад становился тихим и пустынным. Наталье Николаевне, которая весной 1834 г. уехала с детьми в имение Гончаровых Полотняный завод, Пушкин писал: «Петербург пуст, все на дачах. Я сижу дома до 4 часов и пишу. Обедаю у Дюме. Вечером в клобе. Вот и весь мой день».

На последние недели пребывания Пушкина в доме Оливье (конец июля-август 1834 г.) пришлось дело об отставке, которое едва не закончилось для поэта новой опалой и ссылкой. Не дожидаясь возвращения жены, Пушкин начал перебираться в новую квартиру, в дом Баташова.