Infelizmente, a fraqueza de sua constituição adequava-se pouco com o trabalho excessivo que se havia imposto. Caldas morreu a 2 de Março de 1814. O epitáfio seguinte em versos latinos e portugueses do poeta José Elói Otoni ornam seu túmulo na Igreja de Santo Antônio:
Brasiliae, splendor, verbo, sermone tonabat
Fulmen erat sermo, verbaque fulmen erant.
Do Brasil esplendor, da pátria floria,
Discorrendo ou falando trovejava,
O discurso, a dicção, a essência, a forma
Tão veloz como o raio s'inflamava.
Os traços de devoção que dele se sabem e sua benemerência extrema provam que não era só de boca que pregava a religião do amor. (158) Nota do Autor
De suas obras só apareceram dois volumes (Paris 1820-21 8°) publicadas às expensas de seu sobrinho Antonio de Souza Dias e revistas por seu amigo de infância, o poeta português Garção Stocler. O primeiro contém a versão dos Salmos e uma introdução deste último escritor sobre a língua e a poesia dos hebreus. O segundo, uma escolha de poesias originais de Caldas com notas de Stocler. Apareceu em Coimbra em 1836 (2 vol. 12) uma contrafação de suas poesias.
Não nos devemos esquecer de que Caldas, querendo dedicar-se ao estado eclesiástico, atirou ao fogo grande parte de suas produções, entre as quais duas tragédias. Quanto a seus sermões, só pequeno número conservou-se, em manuscrito.