La Casa de Cultura se sitúa en la Primera Casa de Oficios, edificio proyectado en 1587 por Juan de Herrera. Junto con la Segunda Casa de Oficios son las dos primeras edificaciones ajenas al Monasterio pero íntimamente ligadas al mismo tanto por su arquitectura como por su uso: acoger todas las dependencias palaciegas. 

El conjunto tiene planta rectangular, constituida por un gran cuerpo situado en dirección Este-Oeste, al que se adosan perpendicularmente cuatro menores separados por patios hacia la calle de Floridablanca. Herrera establece dos escalas diferentes, una hacia la Lonja con tres pisos y subordinación referencial al Monasterio, y otra, correspondiente a los patios traseros, que apunta hacia el posible desarrollo de un esquema urbano.