Au XII^ème siècle, le comte d'Astarac, Bernard 1^er et Guillaume Arnaud Desbarats, coseigneurs des lieux, décidèrent de construire un château. Pour attirer la population, les comtes promirent de protéger la ville des invasions ce qui incita de nombreuses familles à venir s'installer autour du château. Une charte de coutûmes fut accordée aux habitants en 1140.
Malheureusement, par manque d'entretien, le château s'écroula quelques siècles plus tard. L'église actuelle est construite à l'emplacement même du château dont la dernière tour restante fait office de clocher.