A quelques kilomètres de Figeac, aux portes du ségala, Cardaillac porte le nom d'une des plus puissantes familles du Quercy. De l'époque médiévale subsiste ce qui fait la particularité du village : le fort avec ses deux tours carrées et sa tour ronde qui offre une vue panoramique du village.
