La nécessité d’un contrôle général unique et indépendant s’est affirmée avec la création d’un ministère de la défense unifié. L’histoire du contrôle général des armées témoigne de cette autonomie progressive.
Avec la naissance des armées permanentes, au milieu du XVe siècle, apparaissent les commissaires du Roi pour les guerres et les commissaires de la marine. Chargés de vérifier le bon emploi des deniers publics par le commandement, ils sont également responsables de l’intendance ; ce sont les ancêtres des contrôleurs et des corps administratifs.
Colbert, en 1689, crée un poste de contrôleur dans chaque port de guerre placé sous l’autorité de l’intendant. En 1776, un pas important est franchi quand une ordonnance donne aux contrôleurs une indépendance absolue et tout pouvoir d’inspection. Napoléon confirme ces réformes et crée, pour l’armée, les inspecteurs aux revues, corps de contrôle distinct et indépendant de l’administration, qui conservent toutefois un rôle administratif (recrutement, solde).
Après la défaite de 1870, la reconstruction du système de défense fondée sur la responsabilité du ministre et sur une large déconcentration, s’accompagne de l’affirmation de la nécessité d’un contrôle indépendant, uniquement subordonné au ministre, en 1882 pour l’armée de terre, en 1902 pour la marine et en 1933 pour l’aéronautique.
La réunion des ministères « militaires » en un ministère des armées unifié en 1961 conduit naturellement, en 1964, à la création d’un contrôle des armées unique et qualifié de général pour marquer que sa compétence ne se limite pas aux seuls domaines administratif et financier.
Les trois corps de contrôle de l’administration sont réunis en 1966 en un corps militaire du contrôle général des armées à vocation ministérielle.