En 1172, Jean de la Mare donne au prieuré du Mont-aux-Malades la seigneurie de la Houssaye comprenant 800 acres de terres avec des viviers et des moulins, le droit de haute justice, et le patronage de la cure. Le fief, terre et haute justice de la Houssaye relevant du fief de Soreng appartient toujours au prieuré du Mont-aux-Malades de Rouen en 1503.Sur le plan terrier de la fin du 18e siècle du fief de La Houssaye figure un manoir avec colombier, verger, dépendances et une pépinière. Un plan géométrique de la ferme appartenant à Monsieur Delamotte de Rouen, ayant appartenu au prieuré du Mont-aux-Malades est établi en 1791.La pépinière est alors une terre en labour, Sur le cadastre de 1822 figure le manoir avec colombier, mares, grange et charretterie. L'ensemble a été détruit. Le château actuel a été construit dans la deuxième moitié du 19e siècle, ainsi que la ferme du château, le propriétaire en 1895 étant Mr Le Caron, encore propriétaire en 1910. Le château a été occupé pendant la première guerre mondiale par l'orphelinat sinistré de Graville, le Hérégat dirigé par le Père Arson. Il est surnommé alors le Castel Montjoie. l'orphelinat est remplacé en 1970 par un institut médico-social, dépendant de l'hôpital Fauquet de Bolbec. De nombreux bâtiments utilitaires ont été construit à cet effet.