Cette expression du milieu du XIXe siècle fait référence à la garde impériale de Napoléon qui "meurt, mais ne se rend pas". Il s’agit en fait "des vieux soldats de la garde impériale". En effet, il était toujours considéré comme un honneur pour les vieux soldats d’avoir fait partie de cette armée. L’expression apparaît pour la première fois en 1847 dans le roman de Balzac "Le cousin Pons". Depuis, on qualifie une personne de "vieux de la vieille" lorsqu’elle a beaucoup d’expérience et que cela lui confère un honneur particulier.