Après l'échec du putsch, il passe en clandestinité, prend le maquis et devient un des chefs de l'OAS, membre du Conseil Supérieur. Dans l'organigramme de l'OAS, Godard place Jouhaud à Oran. De fait, il "règne" sur toute l'Oranie, dans laquelle il est à la tête d'un état-major touffu, sous le haut commandement de Salan et Gardy.
Sa région, également appelée Région III, est subdivisée en différentes zones et secteurs qui servent l'organisation paramilitaire. Pourtant, subissant de nombreux revers, il mène une lutte désespérée .
Il est arrêté le 25 mars 1962, condamné à mort par le Haut Tribunal militaire le 13 avril, après sept mois passés dans une cellule de condamné à mort, il échappe de très peu à l’exécution, le général de Gaulle acceptant de le gracier le 28 novembre, probablement parce que Salan, le chef de l'insurrection n'avait pas été lui-même condamné à mort ; sa peine est commuée en détention à perpétuité ; 1967 : il quitte la prison de Tulle en décembre.
Il bénéficiera de l'amnistie en juillet 1968 ; 1969 : élu président du Front National des Rapatriés. 1982 : réintégration dans les cadres de l'armée.
Nul mieux qu'Edmond Jouhaud n'aura su incarner avec fougue et sincérité la cause de l'« Algérie française ». Par ses origines, sa bravoure, son tempérament bouillant, son sens de la solidarité, son physique robuste et bien méditerranéen, il est en quelque sorte le « pied-noir » type, dont la carrière, la révolte et les malheurs ne cesseront de nourrir la légende de la communauté des Rapatriés d'Algérie.