Aubervilliers avec le Président V. Auriol

1950 : Membre fondateur, avec Pierre Villon, de l'Association nationale des anciens combattants de la Résistance (ANACR) qu'il préside, Charles Tillon reçoit aussi la mission de mettre sur pied le mouvement des « Combattants de la paix », fondé en juin, tour à tour rebaptisé « Mouvement des partisans de la paix », puis « Mouvement de la paix » où il côtoie Yves Farges, l'abbé Boulier, Jean Cassou, Joliot-Curie, Jean Lafitte, etc.

Congrès du PC
De gauche à droite,  Duclos, Thorez, Tillon (en veston), Cachin et Marty

1950-1951 : Une altercation avec l'épouse du secrétaire général du PCF achève de le rendre suspect aux yeux du haut appareil qui se méfie des anciens cadres FTP. Les volte-face communistes le mettent, par ailleurs, en difficulté au Mouvement de la paix. Le Parti le décharge des responsabilités qu'il y détenait. Réélu député, il siège encore au bureau politique, mais une enquête interne menée par Léon Mauvais sur ordre de Jacques Duclos, est d'ores et déjà instruite à son encontre.
En 1951, il épouse Raymonde Nédélec dont il aura deux filles Itéa et Nadia.

1952 : Mis en accusation devant le bureau politique, le 1er septembre, pour « travail fractionnel » avec André Marty, il doit s'expliquer sur une série de propos et de comportements depuis 1944. Écarté de la direction du PCF et bientôt renvoyé « à la base » avant la fin de l'année, il démissionne de son poste de maire d'Aubervilliers et perd la plupart des responsabilités qu'il occupait dans différentes organisations (sauf provisoirement son mandat de député et de Président de l'Association des Anciens Combattants de la Résistance - ANACR) .