filho de pai português, também de nome Antônio José Alves, e de baiana D. Ana Joaquina Alves de Sá. Depois dos estudos primários, iniciados em 26 e preparatórios concluídos em 33, matriculou-se no curso de farmácia (35), depois no de medicina (36) que interrompeu no segundo ano, em 37, por ter rebentado a revolta dita da "Sabinada", na qual ofereceu os seus serviços ao governo legal, nomeado cadete, destacado para Cachoeira, onde tomou parte no combate de Campina, sendo, pelo presidente da província, elogiado, quando terminou a luta.
Antes de formar-se, no começo de 41, indo ao sertão em busca de bons ares para a sua débil saúde, viu aí, em Curralinho, uma interessante menina, formosa e prendada, pela qual se apaixonou. Era D. Clélia, filha do sargento-mor José Antônio da Silva Castro, um dos heróis da Independência na Bahia, do 3º Batalhão (chamado dos "Periquitos", pelo distintivo que usava na farda), o qual tivera posto saliente nas ações que antes de 1 de julho de 23, nos arredores da Bahia, descoroçoaram as tropas do General Madeira. Em 25 casara com uma jovem espanhola, cujo pai era abastado negociante na capital, e desse enlace nasceu-lhes, a 14 de março de 26, D. Clélia, que, vinte e um anos mais tarde, dia por dia contados, viria a ser mãe de Castro Alves. Educada na capital, com os estudos e prendas das meninas nobres, fora ter em 41 ao sertão, a Curralinho, entregue aos