Finalement, après d'autres essais, ni ma méthode peu académique, ni le changement de programme via les programmes par défaut ne permettent de retrouver totalement l'état initial des fichiers .ico.
En effet, ce qui importe, ce n'est pas quel programme va ouvrir ou pas les fichiers .ico mais bien la manière dont ils s'affichent, quelque soit la taille d'affichage, et notamment la plus petite (c'est en tout cas le problème de ce sujet).
Si on associe les fichiers.ico à la visionneuse, par exemple, on verra l'icône par défaut de la visionneuse à la place de l'image de l'icône (ce que l'on veut obtenir) :
Si on n'associe aucun programme, avec ma méthode (qui n'en est pas une, lol), on aura l'icône de fichier par défaut (un rectangle blanc) mais toujours pas l'image des icones.
En revanche, en modifiant la base de registre avec le fichier .reg indiqué précédemment, on retrouve bien cette image des icônes :
A+