Az edelényi birtokon Jean-François L’Huillier 1716-ban kezdte el a kastély építését,  az építtető gróf halála után felesége, Marie-Madeleine de Saint-Croix 1730-ban fejezte be a kastélyt. Azt, hogy ki tervezte ezt a stílusában is egyedi épületegyüttest, a kutatóknak a mai napig nem sikerült kideríteniük.

A kastély fénykora (1730–1820)

Az építtető Jean-François L’Huillier unokája, Ludmilla és az ő második férje, Esterházy István gróf idején végezték a legjelentősebb, máig fennmaradt átalakításokat a kastélyon és környezetében.

A házaspár a Felső-Magyarországon foglalkoztatott vándorfestőt, az iglói Lieb Ferencet bízta meg hat szoba kifestésével. A legnagyobb összefüggő magyarországi rokokó falképek 1770-ben készültek el.

Ludmilla halála után fiára, Dessewffy Ferencre szállt a birtok, akinek a nevéhez már nem fűződött egyetlen jelentősebb átalakítás sem a kastélyegyüttesen. Miután 1820. február 14-én örökösök nélkül hunyt el, bekövetkezett mindaz, amit az ősei a 18. században mindvégig megpróbáltak megelőzni: a birtok és a kastély visszaszármazott a királyi kamarára, tehát az államra.

A Coburg-korszak (1831–1928)

A német Szász–Coburg–Gotha hercegi családból származó Ferdinánd herceg, császári királyi altábornagy 1831-ben megvásárolta és hitbizománnyá alakította az edelényi uradalmat. A Coburgok Magyarországon a Felvidéken, hontszentantali kastélyukban éltek, az edelényi birtokot pedig inkább csak gazdasági megfontolásból szerezték meg. E tekintetben fellendülést hoztak a település életében, mivel 1845 előtt itt alapították meg az ország első cukorgyárát, birtokaikon pedig magas színvonalú mezőgazdasági tevékenységet folytattak. A kastély földszintjének egy részét már 1861-ben bérbe adták a járásbíróság céljaira. Az épület időközben lassú pusztulásnak indult, mivel lényegében már 1820-tól nem használták főúri rezidenciának. A fölöslegessé vált barokk kori gazdasági épületeket bontani kezdték, a 18. századi franciakertet pedig a 19. század első felében angolkertté alakították át, és sajnos nem gondozták megfelelően.

1909-re az épület már olyan állapotba került, hogy elodázhatatlanná vált egy felújítás, amit Ray Rezső Vilmos tervei alapján 1910 és 1913 között végeztek el. A kastélyra a kornak megfelelő, a barokkot utánzó, úgynevezett neobarokk kiegészítések kerültek, a középrész fölé pedig egy magas manzárdtetőt emeltek. Ekkor építették a lebontott, barokk kori gazdasági épületek alapjaira a ma is látható, íves patkószárnyakat a két, emeletes pavilonnal. A kastély főlépcsőházát is ekkor alakították át a mai formájára. A Coburgok 1912-ben a Bódvavölgyi Bányatársaságnak bérbe adták a kastély egyes részeit, köztük a kápolnát is. A bányatársaság ez utóbbit 1921-ben önhatalmúlag megszüntette: födémmel kettéosztotta és a helyén lakásokat alakított ki.

Közel százévnyi Coburg-birtoklás után, 1928-ban a kastély végleg a magyar állam tulajdonába került!