Le plus ancien seigneur connu de Flers est Hengelbertus de Flers qui vivait en 1136. Par la suite on trouve la famille de Croix, avec Wautier en 1136, puis Gaultier en 1150. Par le mariage de Mathilde de Croix avec Guillaume du Mez, la seigneurie passa à leur fils Jean V du Mez (+ 1410).     Le fils de Jean V du Mez, Jean VI du Mez de Croix et Flers fut bailli de Lille en 1421. En 1430 il reprit les noms et armes de la famille de Croix.

Ladislas, Comte de DIESBACH BELLEROCHE, de Fribourg (1769), vicomte d'Ervillers, sgr d'Achiet, Wanquetin, La Cour de Cugy, etc.., colonel du Rgt de Diesbach au service de France,  (1747-1822)

Marie-Claire de BAUDEQUIN SAINGHIN, dame de Sainghin, Westoutre, Flers Les Lille et Bruyelle. (1745-1791)

La Révolution
    En février 1792, le comte de Diesbach Belleroche quitta la France pour rentrer en Suisse. Il se réfugia tout d'abord à Bruxelles d'où il réussit à faire sortir de France un partie des ses valeurs, des archives, de l'argenterie et des portraits de famille  se trouvant dans ses châteaux d'Achiet et de Flers. C'est ainsi que certains objets et archives de Flers furent sauvés et se trouvent aujourd'hui en Belgique et en Suisse chez les descendants des seigneurs de Flers.
     A la veille de la Révolution, deux tantes de la  comtesse de Diesbach Belleroche habitaient parfois le château. Il s'agissait des demoiselles Dorothée Dumont de Westoutre 1724-1800 et Philippine Dumont de Beaulieu 1728-1790. Philippine décéda à Lille en 1790 et Dorothée émigra à Fribourg après avoir confié le château à la garde du jardinier, Ridez. Celui-ci put sauver les bâtiments mais ne réussit pas à éviter le pillage. Toute la vaiselle fut jetée dans les douves et les meubles que Ladislas n'avait pu sauver disparurent

La période post-révolutionnaire
    Après la Révolution les Diesbach Belleroche, en reconnaissance des service rendus par leur jardinier qui avait sauvé le château, lui louèrent le domaine et le laissèrent habiter avec sa famille dans le château. Ses descendants continuèrent  donc à être à la fois fermiers et châtelains. Le château appartint successivement à Philippe, 3ème comte de Diesbach Belleroche (1775-1851), vicomte de Beaulieu et vicomte d'Ervillers, puis à Amédée, 4ème comte de Diesbach Belleroche, vicomte d'Ervillers et vicomte de Beuaulieu (1811-1899), lesquels vécurent à Fribourg.
    A la mort d'Amédée, en 1899, le château et les terres demeurèrent indivis entre ses enfants. En 1927, l'hoirie Diesbach Belleroche vendit l'ensemble de ses propriétés de Flers à un homme d'affaires parisien, M. Barnheim, qui revendit le château et les terres de Flers à Paul Delsalle-Dewas qui était un descendant du jardinier.

 Une architecture authentique

Avec sa construction alliant la brique, les chaînages de pierre, et ses pavillons présentant en façade des pignons traités en pas-de-moineaux, ce château est caractéristique de l'architecture flamande du XVIIème siècle, bien que demeurant dans une certaine tradition gothique. Le Terrier du Prieuré de Fives nous  montre le château vers 1730 : un corps de bâtiment long, étroit, pourvu de deux ailes faisant retour. Le corps de logis ne comprend qu'un simple rez-de-chaussée recoupé par trois pavillons dotés d'un étage : deux aux extrémités et un au centre. A la base de celui-ci s'ouvre une large arcade : jadis, un pont-levis permettait de franchir les douves qui entourent l'ensemble des bâtiments.

     Vers 1787, des transformations furent entreprises, les meneaux des fenêtres furent enlevés, les plafonds à la française remplacés par des plafonds à caissons, de nouvelles cheminées construites; le pont-levis disparut pour faire place au pont que nous connaissons aujourd'hui.
    C'est sans doute de cette époque que date la galerie à arcades dans la partie inférieure de la façade, côté cour.

La destinée du château au XXème siècle