Cet hôtel s'élève sur un édifice antérieur qui pourrait être l'ancien château seigneurial. Il en reste des vestiges datant de la fin du Moyen-Age jusque dans les combles (partie de charpente à poutre maîtresse portant écus et corbeaux médiévaux de bois sculpté en forme de tête humaine, supportée par un pilier montant de fonds).

La demeure actuelle résulte d'un profond remaniement et reconstruction partielle dus au comte Bérard de Montalet à partir de 1771.