Faltou-lhe, contudo, assistir aos fastos do "Segond Empire", em que François perdeu as funções e, amargurado, afastou-se de Paris, alvo da campanha dos detratores de seus trabalhos. Em 11 de janeiro de 1848, faleceu Elisabeth Sophie Desmaisons, sepultada perto do jazigo comprado por François para o seu irmão, que no mesmo ano foi juntar-se no além com a mulher, com a qual em vida não se entendia. No "Acte de Décés" de 12 de junho, consta ser viúvo, com 80 anos de idade, "artiste peintre, décédé en son domicile, Rue d'Anjou, St. Honoré, n.° 30, hier, a deux heures et demi du soir". As testemunhas da certidão de óbito foram François Debret, "architecte du Gouvernement, membre de la Légion d'Honneur, agé de soixante et douze ans, demeurant Rue du Luxenbourg, n.° 32, frère du defunt, et Pantaléon Nicolas Mignart, concièrge, agé de cinquante quatre ans, demeurant dans la dite Rue d'Anjou, n.° 30". O irmão herdou os bens deixados por Jean Baptiste e os transmitiu a seu filho, também chamado François, falecido em 1850, sem deixar geração. A fatalidade atirou nas mãos de colaterais os trabalhos efetuados por Debret no Brasil, que escasso interesse lhes provocava, praticamente esquecidos em algum sótão, até comerciantes lhes despertarem a atenção sobre o poeirento acervo.

A despeito de esquecimentos e descasos, remanesceu viva a sua obra, culminada pelo Voyage historique et pittoresque, segundo costumava comentar: "Rien n'altera en moi le sentiment de mon utilité et l'enthusiasme que m'inspira la culture de mon art sous un ciel si pur et où la nature déploie aux yeux du peintre philosophe la profusion d'une richesse inconnue de l'Européen, inepuisable source de souvenirs qui charméront le reste de mes jours", evocação da atividade a que devotou muitos dos mais belos anos de sua vida.