Le château a été construit de 1620 à 1633, probablement par Simon II de Pouilly, gouverneur de Stenay. Ce dernier avait vu sa seigneurie de Louppy érigée en comté en 1633 par le duc de Lorraine Charles IV. L'édification du château fut donc pour Simon l'occasion d'affirmer sa récente puissance, sur un site où il existait déjà deux châteaux depuis le XIIe siècle. La nouvelle demeure fut bâtie sur l'un d'eux et on peut encore apercevoir les imposantes ruines du second, à quelques dizaines de mètres de l'entrée de l'actuel château.

Lors des guerres qui embrasent la Lorraine au XVIIe siècle, les parties communes et agricoles du château servent de caserne aux troupes du duc de Lorraine. L'année 1657 marque une date importante dans son histoire : Louis XIV et le maréchal de La Ferté-Senneterre y installent leur quartier général, pendant que leurs troupes assiègent la place de Montmédy, située à quelques kilomètres au nord.

Au XVIIIe siècle, le château est l'objet d'importantes transformations : agrandissement de nombreuses fenêtres, suppression des croisées de pierre, interruption des panneaux moulurés, cour intérieure enduite… Les propriétaires veulent apporter au château davantage de confort et des aménagements plus conformes à l'esprit de leur époque.

Au XIXe siècle, d'autres modifications sont effectuées, comme le remaniement du bâtiment central. Les arcades du rez-de-chaussée sont murées, des fenêtres mansardées supplémentaires apparaissent dans les toitures. On sculpte également de nouvelles armoiries.

Le château ne sera pas épargné par le XXe siècle. Occupé durant la Première guerre mondiale par l'armée allemande, il servira de camp de prisonniers pendant la Seconde guerre mondiale. Une grande partie des décors intérieurs sont alors pillés…

Le château appartient aujourd'hui à la famille Vassinhac d'Imécourt.