La construction du Palazzo Grassi remonte à la période entre 1748 et 1772, lorsque la famille noble Grassi commande à Giorgio Massari, un architecte capable de fusionner les influences palladienne et sansovinienne, ce qui deviendra la dernière résidence noble construite sur le Grand Canal avant la chute de la République de Venise. 
Giorgio Massari avait déjà participé à des chantiers monumentaux comme Ca' Rezzonico et la façade de l'actuelle Académie des Beaux-Arts de Venise, mais il a également conçu certaines résidences aristocratiques raffinées comme la Villa Giovanelli Colonna à Noventa Padovana ou la Villa Cordellina Lombardi à Montecchio Majeur.

Au fil des siècles, différents propriétaires se sont succédé au Palazzo Grassi - des marchands, des familles nobles ou des industriels. Parmi les plus influents figurent : le baron Simeone de Sina, à qui l'on doit les transformations du bâtiment au XIXe siècle, la famille Marinotti, qui y établit le siège du Centre international des arts et du costume en apportant d'importantes modifications architecturales et décoratives, puis la direction de Fiat, qui conduit à un nouveau changement de structure à travers un projet de reconversion des intérieurs signé par Gae Aulenti, particulièrement experte dans les chantiers de construction d'espaces à usage muséal, assistée de l'architecte vénitien Antonio Foscari.
En 2005, le Palazzo Grassi est l'objet d'une nouvelle campagne de réorganisation et de modification des espaces : l'intervention de Tadao Ando pour ouvrir le premier siège de la Collection Pinault respecte les limites imposées par l'architecture préexistante tout en permettant à l'espace de s'adapter et de se transformer en permanence, en établissant un dialogue avec la nouvelle programmation d'exposition de la collection.

Depuis le Grand Canal, la façade du Palazzo apparaît en ligne avec la tradition architecturale vénitienne grâce à son apparence sobre et régulière, tandis qu'elle se poursuit avec des variations stylistiques et chromatiques du côté du Campo San Samuele, où se situe l'accès au musée. Ce qui était autrefois une cour est aujourd'hui l'imposant hall d'entrée, un espace rythmé par une colonnade rigoureuse qui repose sur le sol en marqueterie de marbre posé dans les années 1950, lors de la création du Centre international des arts et du costume. La couverture de la cour intérieure au moyen d'un puits de lumière et la mise en place du voile de verre de Murano réalisé par Venini pour filtrer la lumière venant d'en haut datent également de cette période.

Ce lieu, dans lequel se trouvent les deux fresques du XVIIIe siècle de Carlo Innocenzo Carloni récemment restaurées, présente un escalier spectaculaire, qui mène à l'exposition, dont les murs sont décorés de fresques de Michelangelo Morlaiter et Francesco Zanchi représentant d'élégantes dames et chevaliers masqués. Au centre du plafond domine une composition allégorique, qui décorait à l'origine ce qui était autrefois la salle de bal du palais, qui représente les allégories de la Justice couronnée par la Gloire, une œuvre de 1780 de Giambattista Canal. Les salles d'exposition au premier étage permettent d'admirer les somptueux plafonds du XIXe siècle, commandés par le baron De Sina, dont une fresque de Neptune et Amphitrite réalisée par l'Autrichien Christian Griepenkerl. Tadao Ando a su allier l'héritage historique du bâtiment à sa nouvelle âme contemporaine, inaugurant la première exposition de la Collection Pinault, "Where Are We Going?", en avril 2006, quatre mois seulement après le début des travaux de restauration.