Dissimulé au creux d’un vallon boisé parcouru par un petit affluent de la Loire, le château fût à son origine, à la fin du XIIIe siècle, une maison forte cernée de douves, qui assurait la protection de l’abbaye de Bellary. Témoignent de ce lointain passé médiéval, la trace des anciennes douves, les arbres pluricentenaires de son parc et la force de son image qui paraît figée hors du temps. La guerre de Cent ans contribua à ruiner en grande partie la maison forte, qui fut reconstruite à l’époque de la Renaissance par Guillaume de Marafin, issu d’une famille tourangelle, proche du pouvoir royal. Vieux Moulin ne resta pas longtemps à l’écart des querelles religieuses qui ensanglantèrent à l'époque toute la région des bords de Loire.

Un des descendants de Guillaume de Marafin, François de Marafin, chef huguenot, facilita la prise de la Charité sur Loire par les troupes calvinistes de Sancerre en leur révélant l’existence d’un gué, qui leur permit de prendre à revers les défenses de la ville. Au cours de la nuit de la Saint Barthélémy en 1572, il connut le même sort que l’Amiral de Coligny. Durant cette période, au milieu du XVIème siècle, Théodore de Bèze, héritier spirituel de Calvin et ami de François de Marafin, séjourna à plusieurs reprises à Vieux Moulin, où il prêcha la religion réformée. Le retour de la paix religieuse marqua la fin de la dynastie des Marafin, à laquelle succédèrent des générations de magistrats et d’hommes de loi. De l’ancienne maison forte médiévale, il reste encore aujourd’hui la tour massive Nord Est, la base de la tour Sud Est, ainsi qu'une partie de la Tour carrée d’entrée et des douves. La tour Nord Est, massive, est couronnée de mâchicoulis et d’un chemin de ronde, ses murs sont percés de deux canonnières d’origine où des archères ont été créées plus tard. La cour intérieure permet d’accéder à un grand corps de logis, à un étage, construit sur les caves voûtées d’origine et entre les deux tours rondes par Guillaume de Marafin en 1480. La façade possède des baies moulurées, elle est flanquée en son milieu d’une tour hexagonale, coiffée d’un toiture polygonale et abritant un escalier à vis. Au XVIIème siècle, de larges fenêtres ont été ouvertes dans les deux façades et deux pavillons rectangulaires ont été bâtis de part et d’autre du porche ainsi que sur les bases des premières constructions de l’enceinte du XIIIe siècle.