In de 13^e eeuw moet Nederhorst een eenvoudige omgrachte toren (donjon) op een bult zand (een horst) in een moerassige omgeving zijn geweest. Vlak bij dit verdedigingswerk, op dezelfde horst, was al veel eerder, rond het jaar 800, een houten kapel gebouwd.

De donjon lag centraal in een wijde meander van de rivier de Vecht en had een min of meer strategische positie aan de rand van het sticht Utrecht, grenzend aan het graafschap Holland. Zulke bouwwerken waren destijds meestal niet bedoeld voor permanente bewoning, maar waren puur verdedigingswerken; soms werden ze daarnaast gebruikt voor het bewaren van de oogst. Zoals ook bij talrijke andere donjons werd er later een woonvleugel aangebouwd waarna het complex kon uitgroeien tot een kasteel.

Nederhorst staat sinds 1536 op de lijst van erkende ridderhofsteden van de heerlijkheid Utrecht. Voor die classificatie ridderhofstede moest het gebouw omgeven zijn door een slotgracht, beschikken over een ophaalbrug en bijgebouwen. De kasteelheer diende tevens een  zekere welstand ten toon te spreiden.

De eigenaar had diverse privileges, zoals een zetel in de Ridderschap en daarmee in de Staten van Utrecht en enkele belastingvrijstellingen. Door de zetel in de Staten van Utrecht had betrokkene toegang tot ambtelijke functies in de regio en in Den Haag. Daar stond tegenover dat een ridder niet gerechtigd was handel te drijven of een ambacht uit te oefenen. Hoe dan ook, het eigendom van een ridderhofstad gaf de eigenaar macht en aanzien.

Godard van Tuyll van Serooskerken heeft het huis rond 1700 ingrijpend gemoderniseerd. Het huis kreeg het karakter van een buitenplaats. In de winter woonde de elite in de stad, maar ’s zomers verhuisde men met al zijn hebben en houden naar hun buitenplaatsen. Weg van de stinkende grachten, weg uit de ongezonde stad naar de per schip goed bereikbare lusthoven buiten.  Daar ontving men gasten, verpoosde zich in de secuur aangelegde tuinen, converseerde, musiceerde, verbaasde zich in de Wunderkammer of ging uit jagen. Het was zaak om de gasten te imponeren door een imposant huis te midden van fraaie tuinen.

Wat Nederhorst betreft, de voorgevel werd verrijkt met een monumentale ingang met daarboven een balkon. De ingang gaf toegang tot de gang op de hoofdverdieping, de bel-etage. Deze 20 m lange gang die van de voor- tot achtergevel doorloopt, vormt de as van de geometrische tuin die in deze periode wordt aangelegd. De bel-etage heeft een vloeroppervlak van meer dan 400 m2 verdeeld over 6 zalen en vier torenkamers. De meeste grote zalen hebben een schouw. Op de eerste verdieping bevonden zich de slaapkamers voor de kasteelheer, zijn gezin en gasten. Op zolder en in het souterrain waren de slaapvertrekken voor het huispersoneel. Het souterrain bevatte de dienstvertrekken, inclusief de keuken met voorraadkamers. 

Nederhorst blijft tot aan de Napoleontische tijd een buitenplaats met enige grandeur. Daarna komt het in bezit van de freule de Warin  die gedurende het grootste gedeelte van de 19de eeuw ’s zomers op Nederhorst woont.

In de tekening van Lutgers is te zien hoe het kasteel er toen uitzag. De trap naar de bel-etage is nu in het midden gelegen en het souterrain is bereikbaar aan weerzijde van de trap.

Eerder was het net andersom en lag de toegang tot het souterrain centraal; mogelijk nog een relict uit de ridderhofstede periode.  Het is onbekend wanneer deze aanpassing heeft plaats gevonden.

Begin 20ste eeuw komt Nederhorst in bezit van de familie van Lynden. Na een verbouwing “is het kasteel geheel aangepast bij de moderne eischen van luxueuse bewoning” en geschikt voor permanente bewoning. Het koetshuis uit 1730 wordt aan weerszijde van dwarsbeuken voorzien. In een daarvan werd een door een dieselmotor van 20 pk aangedreven generator geplaatst die het kasteel en een deel van het dorp van elektriciteit voorzag. Verwarming is blijkens de vele schoorstenen die op foto’s te onderscheiden zijn nog lokaal. In de 30-er jaren zal  van Bylant centrale verwarming in het kasteel aanleggen.

Gedurende de tweede wereldoorlog werd het kasteel bewoond door derden die hun woning als gevolg van oorlogsschade waren kwijtgeraakt. Na de oorlog werd het huis verwaarloosd, raakte steeds verder in verval, was tenslotte onbewoonbaar en in feite rijp voor de sloop. Op vele plaatsen kon men door de vloeren en het dak heen kijken en overal groeiden zwammen in het hout- en metselwerk.

In 1959 werd het gebouw in deze vervallen staat gekocht door de heer Jan Lourens Jonker. Hij heeft het kasteel op energieke wijze en met visie gerestaureerd en in oude luister hersteld. Daarbij werden vele oude bouwmaterialen gebruikt.

Ook de bijgebouwen werden gerestaureerd en vervolgens uitgebreid.

Op 10 januari 1971, toen de restauratie van het kasteel praktisch was voltooid, brak een grote brand uit. Het complete dak inclusief de torenspitsen en een groot deel van de vloeren, kozijnen en luiken werden verwoest.

Vanaf de eerste verdieping was er behalve het metselwerk praktisch niets van Nederhorst over. Velen dachten dat dit het einde van het kasteel zou zijn.

De eigenaar gaf zich echter niet gewonnen en gebruikmakend van de tekeningen en plannen van de eerste restauratie was anderhalf jaar later de schade hersteld. Na die tijd zijn er vrijwel geen restauraties meer nodig geweest. Begin 90-er jaren  is de brug met bordes vernieuwd en is de verzakkende NO toren van een nieuwe fundering voorzien.

Op dit moment verkeert Kasteel Nederhorst in alle opzichten in een uitstekende staat van onderhoud, vermoedelijk beter dan ooit tevoren.