Con la construcción del Palacio y presencia más o menos asidua de los sucesivos Duques-Marqueses, comenzaron a agruparse en su alrededor, no sólo las dependencias del Palacio, como las caballerizas, sino también algunas viviendas de vecinos significados, formándose el contorno de la plaza.
En su origen fue un amplio espacio rectangular, casi cuadrado, en el cual quedaba como fondo la bella perspectiva del noble edificio, destacado y visible desde todos sus ángulos.
El abandono del Palacio por sus dueños, dio lugar a que comenzasen a edificar "comiendose" trozos de la plaza, quedando por ello desfigurada en su estrucrura y simetría. Hoy mismo puede apreciarse que la torre del ala derecha queda totalmente tapada por esas construcciones. Es fácil trazar una línea imaginaria que, siguiendo la trayectoria presumible, dejaría patentes los límites de dicha plaza.