V 16. a 17. storočí bola vlastníkmi statku, ktorého súčasťou bolo aj územie dnešného kaštieľa s priľahlými pozemkami rodina Ebeczkých. Štefan Ebeczký bol posledným menovaným generálom kuruckej armády, kapitánom levického hradu. Podľa väčšiny historických prameňov zomrel na svojom statku v Nýrovciach v roku 1719.
Statok rodu Ebeczkých prešiel pravdepodobne sobášom Anny Marie Ebeczkej s Ladislavom Šipekym v roku 1720 na rod Šipeky de Paks, v ktorého vlastníctve bol ďalších vyše 100 rokov, až do roku 1845. Za vlastníctva rodu Šipeky de Paks zažil statok v Nýrovciach svoj najväčší rozmach a slávu. Ešte v 18. storočí tu Šipekyovci postavili kaštieľ s rozsiahlym pôdorysom (asi 7-krát väčším ako sa zachoval dodnes). Taktiež si tu zhruba v polovici 18. storočia postavili rodinnú hrobku - kryptu, v ktorej bolo neskôr pochovaných viacero príslušníkov rodu. V roku 1766 bola kaplnka prestavaná na kostol, ktorý svojmu účelu slúži dodnes. Kaštieľ bol v priebehu 18. a začiatkom 19. storočia viackrát prestavaný, a to viacerými členmi rodu Šipeky de Paks. V okolí kaštieľa sa našli rôzne signované tehly z viacerých období, ktoré poukazujú na prestavby kaštieľa a priľahlých budov napr. v rokoch 1816, 1825 a 1829 Alexandrom Šipekym II., či ešte koncom 18. storočia jeho otcom Alexandrom Šipekym. V prvej polovici 19. storočia tu Šipekyovci vybudovali slávny chov koní, dokonca so statusom hlavného župného žrebčína. Do roku 1811, na sklonku svojho života prebýval v Nýrovskom kaštieli u Márii Šipekyovej - vdove po Alexandrovi Šipekym známy slovenský filozof, skladateľ a teológ Norbert Schreier, ktorý bol v tom čase rektorom na vysokej škole v Banskej Štiavnici a patril k hudobne najvzdelanejším členom skupiny národných buditeľov - Bernolákovcov na Slovensku. Zomrel v Nýrovciach dňa 26.10.1811. Alexander Šipeky II., syn Márie sa neskôr presťahoval aj so svojou rodinou do Zavaru pri Trnave, kde vlastnil rozsiahle majetky. Posledným vlastníkom Nýrovského kaštieľa z rodu Šipekyovcov bol Alexandrov strýko Ladislav Šipeky. Podľa svedectiev vtedajších obyvateľov bol dobrým človekom , ktorý sa rád prechádzal v čiernom fraku, v ktorom je aj pochovaný.
V roku 1845 prešlo vlastníctvo kaštieľa so statkom na rod Esterházy a stal sa tak súčasťou želiezovského panstva. Od týchto čias bol statok využívaný ako jeden z majerov panstva a kaštieľ bol postupne stále zmenšovaný a prispôsobovaný na potreby bývania správcov majera. Postupnými úpravami započatými v polovici 19. storočia Esterházyovcami a neskôr aj úpravami vykonanými za vlastníctva grófa Augustína Breunnera - dediča želiezovského panstva reflektujúcimi nevyužívanie kaštieľa pre potreby bývania vlastníkov sa jeho pôdorys postupne zmenšoval a jeho niekdajší význam a sláva, ktoré požíval za čias župného žrebčína postupne upadli. V priebehu druhej polovice 19. storočia bolo na majeri postavených viacero hospodárskych budov, no najvýznamnejším projektom tejto doby bola stavba úzkorozchodnej železnice grófom Breunnerom, ktorý ňou pospájal všetky majere želiezovského panstva za účelom zvážania cukrovej repy z okolitých polí do cukrovaru v Pohronskom Ruskove.
Cukrovar v Pohronskom Ruskove si túto železničnú sieť spolu s majerom a kaštieľom v Nýrovciach v roku 1912 prenajal pre svoje potreby. Kaštieľ bol opäť využívaný pre potreby bývania správcu, na ktorého podnet bol v roku 1923 upravený a nadstavený do dnešnej podoby. V priebehu 2. svetovej vojny poslúžili pivničné priestory kaštieľa ako úkryt skupiny židovských obyvateľov pred nacistami, vďaka čomu sa im vojnu podarilo prežiť. Po nej bol kaštieľ zrejme poškodený a následne neudržiavaný, nakoľko po jeho prevzatí štátnymi majetkami v päťdesiatych rokoch 20. storočia nebol v dobrom stave.
Štátne majetky kaštieľ opravili a "zmodernizovali", čo v tej dobe znamenalo výmenu pôvodných okien na prízemí kaštieľa za nové - trojdielne, široké okná a prispôsobenie dispozície budovy na nový účel využitia - kancelárie, čím prakticky dokonali devastáciu pôvodného kaštieľa Šipekyovcov započatú Esterházyovcami už v polovici 19. storočia. No nie všetky úpravy, ktoré štátne majetky na kaštieli vykonali boli na škodu. Horné podlažie zostalo v pôvodnom stave, v akom bolo v roku 1923 postavené za účelom jeho využitia ako bytu pre vedúceho oddelenia štátnych majetkov v Nýrovciach. V roku 1973 zriadili riaditeľ Československých štátnych majetkov Ing. Gregor a vedúci oddelenia Ján Staho v Nýrovciach poľnohospodársko-technické múzeum. Snažili sa tým zachrániť množstvo historických predmetov a listín, ktoré sa na majetku nachádzali ešte z čias grófa Esterházyho a grófa Breunnera vrátane historických máp oblasti, závetu grófa Esterházyho, či obrovských parných strojov využívaných koncom 19. a začiatkom 20. storočia. Ich niekoľko 10- ročná snaha však vyšla navnivoč po revolúcii a zrušení štátnych majetkov v Nýrovciach, kedy múzeum zaniklo a takmer všetky historické exponáty boli rozkradnuté či rozpredané. V tomto smutnom období zostala taktiež budova kaštieľa bez údržby a nutných opráv a takmer 20 rokov chátrala a pustla.