El palacio de Fernán Núñez tiene su origen en una vivienda de mediados del siglo XVIII en los antiguos huertos del Convento de Santa Isabel. Posteriormente la adquirió el XIII Duque de Alburquerque, quien encargó al arquitecto Antonio López Aguado su reforma (1790-1799). En 1815 fue heredado por el VII Conde de Cervellón.

Martín López Aguado, hijo del anterior arquitecto, fue el encargado de darle su forma actual con una ampliación entre 1847 y 1849. El edificio se organizó alrededor de varios patios disponiendo la zona noble en torno a la calle Santa Isabel, dotándolo de una nueva fachada, mientras que la parte destinada al servicio, cuadras y cocheras daba a San Cosme y San Damián.

En 1941 RENFE adquirió el Palacio para la sede de su Consejo de Administración, que hoy aloja la sede de la Fundación de los Ferrocarriles Españoles.