Il avait la particularité physique d'être bossu. Ce qui lui causa cet évènement que raconte Tallemant des Réaux dans Historiette:
Un jour où Richelieu allait à la rencontre d'un ambassadeur, le cardinal vit le bossu dans son antichambre celui-ci s'exclama :
Rangez-vous Monsieur de Fontrailles, ne vous montrez point, cet ambasssadeur n'aime pas les monstres!
Et Fontrailles grinça des dents et dit en lui même:
- Ah! schelme, tu viens de me mettre le poignard dans le sein, mais je te l'y mettrai à mon tour je ne pourrai !
Après le cardinal le fit entrer et goguenarda avec lui pour raccomoder ce qu'il avait dit. Mais l'autre ne lui a jamais pardonné.
Depuis, Louis d'Astarac chercha à renverser Richelieu par tout les moyens. Il eut connaissance du complot de "Montrésor", ce complot avait pour but d'assassiner le cardinal par deux de ses amis : Saint Ibal et Montrésor. Mais le duc d'Orléans qui y participait ne fit pas le signe convenu pour tuer le ministre du roi et le complot échoua. (journée des Dupes)

En août 1 641, alors qu'il se trouvait chez le duc de Chaulnes, à Amiens, Gaston d'Orléans - le frère de Louis XIII - dit :
" Ah si le cardinal pouvait mourir, nous serions très heureux."
Fontrailles répondit : " Votre Altesse n'a qu'à me donner son consentement et il se trouvera des gens qui vous en déferont en votre présence!"
Suite à cette entrevue, en novembre de la même année, Fontrailles remit en contact Gaston et Cinq Mars, favori de Louis XIII. Le complot de Cinq Mars était né. Il semble que c'est lui qui en fut l'instigateur. Peu avant la découverte du complot, il quitta Narbonne en bateau et se réfugia en Angleterre.

Il ne revint qu'après la mort de Louis XIII. Il participa à la cabale des importants, parti dirigé par le duc de Beaufort. Ce parti était composé de Saint Ibal, du comte de Montrésor (Claude de Bourdeille), des marquis de la Châtre, de Chateauneuf, des comtes de Fiesque, d'Aubijoux, de Béthune, de Fontrailles, de Beaupuy, des ducs de Vendome (père de Beaufort), de Mercoeur (frère de Beaufort), de Guise, d'Elbeuf, d'Epernon, des maréchaux de Vitri et de Bassompierre. Les dames de la cour soutenaient leur action telles la marquise de Senecey, madame de Hautefort, les duchesses de Chevreuse et de Montbazon. Toutes ces personnes avaient pour points communs de détester Mazarin et d'être les ennemis de la maison Condé. Mais le duc de Beaufort fut arrêté le 2 septembre 1 643 au Louvre et conduit à Vincennes et la plupart des membres de la caballe furent éxilés par l'autorité royale. Ces évènements marquèrent la fin de ce parti.

En 1 647, Fontrailles correspondit avec Chavigny[1]. Victor Cousin dit à ce propos qu' "il s'exprimait en termes assez équivoques sur le compte de Mazarin, dans l'assurance que par là il ne se brouillait point avec Chavigny"(Victor Cousin T.II). Mais Gui Patin signale dans une de ses lettres qu'il fut embastillé la même année (lettre du 22 août 1647).

Un an plus tard, lors de la journée des Barricades (26 août 1 648), on le retrouve au côté du cardinal de Retz. Ce dernier rapporte dans ses mémoires que des chevau-légers[2] lui cassèrent le bras d'un coup de pistolet (Mémoires du Cardinal de Retz, II, 27). Le duc de Beaufort réussit à s'évader de Vincennes grâce à plusieurs de ses amis. Il fut l'un des chefs de la Fronde
Lorsque le dauphin Louis retourna à Paris, il pardonna à son peuple sauf à Beaufort, Fontrailles,...

Après la Fronde, il se retira probablement dans son fief et écrivit ses Mémoires, plus particulièrement sur son rôle dans le complot de Cinq Mars. Elles parurent en 1663 sous le nom de La Relation de Fontrailles. Il mourut le 15 juillet 1677.