Le origini del cane Carlino sono molto discusse: c’è chi lo vuole discendente dall’Alano o dal Piccolo Danese, c´è chi lo definisce una miniatura del Dogue de Bordeaux e chi invece ritiene sia un Mastino ridotto alle minime dimensioni (sembrerebbe che il Carlino e il Mastino abbiano origini in comune, essendo entrambi provenienti dallo stesso antichissimo ceppo asiatico). Si pensa sia arrivato in Europa intorno agli inizi del 1600, importato in Olanda dai commercianti delle Compagnie delle Indie di ritorno dalla Cina.
In poco tempo divenne molto di moda tra i regnanti europei, specialmente dopo il matrimonio di Guglielmo II d´Orange e di Enrichetta Maria Stuarda, figlia primogenita di Carlo I, avvenuto a metà del XVII secolo. Il carlino è infatti quel simpatico cane da grembo che si trova in molte le rappresentazioni pittoriche fra le braccia di principesse e regine (ancora oggi è possibile vedere a Hampton-Court il ritratto di re Giorgio III di fianco a un Carlino). Nel 1883 nasce in Inghilterra il primo club del Carlino e nel 1887 viene redatto il primo standard ufficiale della razza.