El castell de Quermançó està situat a uns 2 km al nord de Vilajuïga, dalt d'un puig encinglerat, inaccessible per ponent i migdia. Els altres vessants tenen pendents accentuats.
El castell fou possessió dels comtes d'Empúries. Ponç I, que havia instal·lat l'arxiu diplomàtic del comtat en aquell castell, pel seu testament de 1078 deixà el castell de Quermançó als seus fills Hug i Berenguer. De Dalmau Berenguer de Quermançó, documentat des del 1099, que possiblement era nét de de Ponç I d'Empúries, arrenca el llinatge dels vescomtes anomenats, després, de Rocabertí.
El 1288 fou fugaçment ocupat per un exèrcit francès al servei de Jaume II de Mallorca que envaí l'Empordà.
