A barokk kastély, amely a mai épület magvát képezi, az egykori várhoz képest csekély alapterületű, igénytelen építmény volt. Földszinti dongaboltozatos helyiségeiben uradalmi hivatalok, emeletén pedig főtisztviselői lakások kaptak helyet. A Fő tér felé nyíló kapu fölött - mint minden Eszterházy-váron és kastélyon - Szűz Mária szobra állt. Előtte a tiszttartó szolgája minden szombat este két lámpást gyújtott.
Ennek a kastélynak volt rövid ideig lakója a legendás víziember, Hany Istók. Az erdőben talált és 1749. március 17-én a kapuvári templomban megkeresztelt 8 év körüli fiú történetét a szájhagyomány kiszínezte:
"Valamikor réges-régen - így mesélik az öregek - kapuvári halászok fönt a Hanyban egy gyereket fogtak ki a Király tóból, aki ugyan teljesen meztelen volt, de mégsem fázott, mert testét halpikkelyek fedték. Félig ember volt, félig hal: ujjai között úszóhártya feszült. Főtt ételt nem evett meg, kígyókkal, békákkal táplálkozott. Behozták a kapuvári várba, s mivel nem tudták, hogy meg van-e keresztelve, hát megkeresztelték. A keresztapaságot maga a tiszttartó vállalta. A keresztségben az István nevet kapta, s mert a Hanyban találták, hát elvezeték Hany Istóknak. Hany Istók félt az emberektől. Rúgott-harapott, ha a közelébe mentek. Legszívesebben a vár sötét folyosójának zugaiban bújt meg, vagy a várat körülvevő vizesárokban úszkált. Később, mikor már hozzászokott az emberi társasághoz, eltűrte, hogy ruhát adjanak rá, hogy felöltöztessék. Akkor volt a legboldogabb, amikor piros nadrágot adtak rá. Befogták a konyha körüli kisebb munkákra is, fát aprított, vizet hordott, sepregetett. Rákapott lassan a főtt ételre is, de azért, ha szerét ejthette, szívesebben evett békát. Beíratták iskolába is, ahol a mester sokszor megfenyítette, mert kötekedő, verekedős volt. Telt-múlt az idő, Istókból legény lett. Volt a tiszttartónak ugyanakkor egy lánya, Piroska volt a neve, aki körül szívesen legyeskedett, végül szerelmes lett bele. Nem csoda hát, ha igen bánkódott, amikor Piroska a kezét nem neki, hanem másnak nyújtotta, s ezzel a bizonyossal meg is esküdött.
Javában állt a lakodalom, a vigasság, amikor Hany Istók is beállított a lakodalmasokhoz és egy kendővel letakart tálat helyezett az asztalra. Amikor a vendégek kíváncsiskodva felemelték a kendőt, a násznép nagy riadalmára a tálból békák ugrottak ki, kígyók másztak elő. Ekkor a hajdúk megfogták Hany Istókot, jól elverték, s aki aztán bánatában, hogy kedveskedni akarásait félreértették, beleugrott a Rábába és örökre eltűnt".