La Ville Caro a été une seigneurie appartenant à la famille des Mancel. Cette famille possède dans l’église paroissiale une chapelle qui porte aujourd’hui le nom de « la chapelle du Pont d’Oust » où l’on peut observer les armoiries des Mancel : « trois molettes surmontées de deux têtes de loup ». Cette famille s’éteint en 1642 avec la mort de la dernière descendante directe des Mancel mais la seigneurie de la Ville Caro passe aux mains d’autres familles moins « honorables », Burban et Guillart « (…) qui se disaient seigneurs du Pont d’Oust.