Le fief de la Touche, s'étendant des remparts de la ville de Nantes jusqu'à la Chézine, appartenait, depuis l'époque médiévale à l'évêché de Nantes et c'est tout naturellement qu'il devient lieu de séjour d'un évêque, Jean de Malestroit qui y fait construire un manoir entre 1420 et 1441. L'emplacement exceptionnel de cette résidence sur une terre fortement boisée et proche de la Loire incite son ami le duc de Bretagne Jean V à y séjourner plusieurs fois. C'est d'ailleurs dans ce manoir qu'il décède le 29 août 1442.

Situé au centre de sa propriété, dominant la Loire et orienté au Sud, le manoir est construit à l'emplacement d'une contruction dont certaines pierres auraient été réemployées dans la cathédrale de Nantes. Le domaine seigneurial de la Touche possède une garenne, il devient le centre d'une exploitation rurale avec bois, prairies, vignes et pressoir, ânerie héronnière et rucher ; d'ailleurs, la toponymie a longtemps évoqué l'aspect agricole de ce quartier (le pré-l'Évêque, l'Asnerie, la Héronnière, etc.)

En 1442, pour le procès de Gilles de Rais, le manoir de la Touche est le siège du tribunal suprême de l'Évêque.

Recherchée pour sa salubrité, cette propriété de la Touche a été réduite, au cours des années, par des acquisitions de particuliers, principalement le long des voies. Pendant les guerres de religion, le manoir est transformé en hôpital pour les protestants blessés. Au début du XVIIesiècle, alors que la ville est de nouveau ravagée par la peste, le manoir devient la maison de convalescence de l'hôpital du Sanitat. A la fin du XVIIesiècle, des religieuses de Sainte Catherine de Rennes détiennent l'autorisation de s'y établir, espérant recevoir du roi les lettres patentes nécessaires à leur établissement. Ne les obtenant pas, elles quittent les lieux en 1688. Le manoir de la Touche prend le nom de " domaine des Irlandais " car, de 1695 à 1793, il devient une résidence des prêtres irlandais, expulsés de leur pays pour leur foi. Réfugiés à Nantes, ils y installent un centre de résistance contre l'anglicanisme, établissent un séminaire, exécutent depuis Nantes des missions contre l'hérésie. Ils desservent aussi plusieurs paroisses, sont aumôniers des hôpitaux, des bateaux, etc. Appréciés et intégrés à la population nantaise, ils sont pourtant expulsés en avril 1793 ; le manoir sert alors d'hôpital militaire.

Une partie de la propriété revient aux Irlandais jusqu'en 1857 pour être finalement vendue à Thomas Dobrée en 1862. Il y entreprend aussitôt des restaurations se voulant plus conformes au style de l'édifice. C'est ainsi que les lucarnes XVIIe siècle sont reconstruits sur un modèle inspiré du XVe et qu'un escalier extérieur est malheureusement ajouté au pignon est pour desservir une pièce. Peut-être plus fonctionnelle, cette disposition est une rupture avec l'esprit qui a présidé à la construction des manoirs où un seul escalier situé dans l'angle, hors-œuvre et en colimaçon desservait l'étage, plus facile à surveiller.

Invraisemblable destinée pour ce rescapé des siècles et des révolutions, le manoir est transformé en écurie et effacé au bénéfice d'un nouveau palais neuf, bien solide et fonctionnel. Il joue surtout un rôle de caution artistique pour l'architecte du palais Dobrée.