O termo "cabo" vem do Latim "caput" (cabeça), usado com o significado genérico de "chefe". Em outros países, o mesmo termo latino, com o sentido de chefe, evoluiu para "caporal". Nesses países, por exemplo, os termos "corporal" (Inglês), "caporal" (Francês) ou "caporale (Italiano), são usados para designar a graduação correspondente a "cabo".
A designação "cabo" também é usada como título de uma função de chefia em algumas organizações civis.
O termo "cabo" foi utilizado nos exércitos da Península Ibérica, pelo menos desde o século XVI, para designar os comandantes das esquadras que constituiam cada uma das companhias de Infantaria. Por essa razão, cada um desses comandantes era designado "cabo de esquadra" no sentido de "chefe de esquadra".
Segundo o Regimento dos Capitães-Mores, decretado pelo Rei D. Sebastião I, em 1570, cada uma das companhias, das tropas das Ordenanças de Portugal, seria composta por dez esquadras de 25 homens, cada qual chefiada por um cabo. Os cabos de esquadra estavam, por sua vez subordinados ao capitão da sua companhia.
Em termos similares, na Marinha, a designação "cabo de marinheiros" foi aplicada a um graduado, que chefiava um grupo de marinheiros dentro de um navio.
As funções de cabo de esquadra e de cabo de marinheiros acabaram por se tornar, mais tarde, em postos da categoria de praças, respectivamente do Exército e da Marinha. As designações dos postos foram simplificadas, posteriormente, para, simplesmente "cabo".
Por serem forças auxiliares do Exército Brasileiro, as Polícias Militares trazem consigo o seu escopo de graduações, com exceção de alguns estados que modificaram as leis de organização básica de suas polícias, extinguindo a graduação de cabo da sua hierarquia, como por exemplo a Bahia e o Rio Grande do Sul, onde o militar é promovido diretamente a 1º Sargento.