Coimbra, D. Francisco de Lemos, seu compatriota, interessou-se por ele, de sorte que em 1796 pôde bacharelar-se em Matemática e não em Direito, o que não teria correspondido à sua inclinação. No ano seguinte, Vilela Barbosa foi nomeado sub-tenente da marinha real e, durante os seus quatro anos de serviço ativo, distinguiu-se não apenas por seus conhecimentos como ainda por sua bravura. De volta a Lisboa, em 1801, obteve um lugar de professor da escola de marinha, e o grau de tenente, depois de capitão. Após haver desempenhado durante algum tempo, como suplente, a cadeira de Astronomia e Náutica, foi nomeado professor de Geometria, emprego que teve até 1822. Publicou, então, seu tratado de Geometria, obra clássica que teve três edições em Portugal e duas no Brasil, e lhe valeu a recepção na Academia de Ciências de Lisboa. Escreveu ainda sobre \"correção das derrotas e estima\" uma teoria importante, que lhe valeu um prêmio e a nomeação de membro da Sociedade Real de Marinha Militar e Geografia de Lisboa. Sua reputação estendia-se, cada vez mais, e um grande número de sociedades sábias honraram-se em contá-lo entre os seus pares.

Devia, no entanto, como José Bonifácio, deixar a cadeira pela tribuna e trocar a tranquilidade do gabinete pelas agitações da vida política. Quando, em seguida à revolução de 1820, a Assembleia Constituinte dos Reinos Unidos de Portugal e Brasil se reuniu em Lisboa, Vilela Barbosa tomou parte como deputado da província do Rio de Janeiro. Foi também nomeado membro da comissão permanente que funcionou no intervalo, entre o fechamento da Constituinte e a convocação da Assembleia Legislativa, tendo tomado parte em todos os seus trabalhos.