A situação, porém, não era tão idílica. A subordinação da gente de cor, baseando-se na diferença de raça, era também uma subordinação de classe. E a ascensão de uma classe à outra não se fazia tão facilmente, nem era possível que se fizesse, num Império escravocrata e agrário como o Brasil. Em 1835 salientava o general José Inácio de Abreu e Lima, no seu Bosquejo histórico, político e literário do Brasil que a nossa população, dividindo-se em dois grandes grupos - pessoas livres - e - pessoas escravas - estes, por sua vez, se subdividiam em outros grupos ou "famílias distintas", como ele chama aos subgrupos, "tão opostas e inimigas umas das outras como as duas grandes seções entre si". E acrescentava: "Que somos todos inimigos e rivais uns dos outros na proporção de nossas respectivas classes, não necessitamos de argumentos para prová-lo, basta que cada um dos que lerem este papel, seja qual for sua condição, meta a mão na sua consciência e consulte os sentimentos do seu coração".
Essas distâncias sociais, se por um lado diminuíram com o declínio do patriarcado rural no Brasil através do século XIX, e com o desenvolvimento das cidades e das indústrias, por outro lado se acentuaram - entre certos subgrupos, pelo menos - com as condições de vida industrial desenvolvidas no país, outrora quase exclusivamente agrícola; com os maiores e mais frequentes atritos entre os homens, que a Revolução Industrial excitou em nosso meio. A casa patriarcal perdeu, nas cidades e nos sítios, muitas das suas qualidades antigas: os senhores dos sobrados e os negros libertos, ou fugidos, dos mocambos, foram se tornando extremos antagônicos; bem diversas, as relações entre eles, das que haviam se desenvolvido entre senhores das casas-grandes e negros de senzala, sob o longo patriarcado rural. Entre esses duros antagonismos é que agiu sempre de maneira poderosa, no sentido de amolecê-los, o elemento socialmente