El palacio de Fernán Núñez tiene su origen en una vivienda de mediados del siglo XVIII en los antiguos huertos del Convento de Santa Isabel. Posteriormente la adquirió el XIII Duque de Alburquerque, quien encargó al arquitecto Antonio López Aguado su reforma (1790-1799). En 1815 fue heredado por el VII Conde de Cervellón.

Martín López Aguado, hijo del anterior arquitecto, fue el encargado de darle su forma actual con una ampliación entre 1847 y 1849. El edificio se organizó alrededor de varios patios disponiendo la zona noble en torno a la calle Santa Isabel, dotándolo de una nueva fachada, mientras que la parte destinada al servicio, cuadras y cocheras daba a San Cosme y San Damián.

En 1941 RENFE adquirió el Palacio para la sede de su Consejo de Administración, que hoy aloja la sede de la Fundación de los Ferrocarriles Españoles.

«Un paraguas hexagonal prefabricado y ligero para formar la cubierta y que extendido a la totalidad del recinto formara el pabellón» es como Corrales define el proyecto.
Precisamente esta forma es lo que da nombre al Pabellón; una cubierta formada por hexágonos de tres metros de lado sustentados por columnas de hierro galvanizado que funcionan también como desagüe de la cubierta.

El año siguiente la Exposición, el pabellón fue trasladado y reconstruido en la Casa de Campo adaptándose a la nueva topografía. En 1967 sufrió importantes transformaciones y actualmente se ha recuperado el estado original de un tercio de la superficie total, casi 1.000 m2. Alojará la futura sede de la sección de arquitectura del Museo de Arte Contemporánea municipal.