Виктору Дюрюи, родившемуся в семье обойщиков на протяжении семи поколений, изначально было суждено последовать примеру своего отца, Шарля Дюрюи, управляющего мастерской на фабрике гобеленов . Так он сначала работал в мастерской для учеников, а затем поступил в начальную школу, которой руководил бывший бонапартистский заговорщик Энон. Друг своего отца, заметив его усердную работу, он получил классическое образование в Коллеж Сент-Барб (позже названный Коллеж Роллен ) благодаря половине стипендии.

Поступил в колледж всентябрь 1824 г., он изначально был посредственным учеником из-за множества отсрочек, которые ему постепенно удалось наверстать. Он получил степень бакалавра в 1830 году и в том же году поступил в Нормальную школу  . В 1833 году он был допущен к конкурсу по совокупности истории и географии  . В Сент-Барбе, как и в Нормальной школе, Виктор Дюрюи следовал учению Жюля Мишле , который стал его учителем и был одной из главных опор в начале его карьеры.

Виктор Дюрюи отказался от своих министерских функций и заседал в Сенате до конца Империи. В частности, он выступает за свободу высшего образования и за развитие женского медицинского образования в Алжире. Он остается высокопоставленной фигурой в режиме и участвует вноябрь 1869 г.вместе с императрицей Евгенией во время официальной поездки, организованной по случаю открытия Суэцкого канала . Он воспользовался возможностью, чтобы совершить долгое путешествие по Средиземному морю, посетив Египет, Турцию, Грецию, затем Италию.

Исчезновение Сената4 сентября 1870 г.ставит окончательный конец своей политической карьере: он отказывается от своего поста генерального советника земель в 1871 году и терпит неудачу в 1876 году в своей кандидатуре на первых сенаторских выборах ^{Третьей} республики  .

Тем не менее он сохранил связи с Бонапартами и с бонапартистской партией: посетил Наполеона III в Англии, присутствовал на его похоронах вянварь 1873 г., а в 1881 году подготовил принца Виктора к получению степени бакалавра и вступительным экзаменам в Сен-Сир.