El Palacio de Villafranca, construido en ladrillo, ordena el conjunto urbanístico debido al carácter abierto de su planta que va a configurar el espacio exterior; de este modo, el palacio se articula en dos volúmenes que, dispuestos en ángulo, generan la Plaza de España en la que distinguimos la fachada principal del edificio noble propiamente dicho y la de la capilla palatina, que se encuentra adosada lateralmente a la primera, y el ala lateral izquierda que cierra la Plaza en su lado oriental que es concebida como una construcción aneja añadida destinadas a graneros y caballerizas. El volumen principal por su parte posterior se dispone en planta de U, enmarca el jardín y huerto privados.

La fachada principal del palacio propiamente dicho se articula en tres plantas, de las que en la inferior se distinguen ventanas adinteladas, la noble abre al exterior mediante balcones adintelados y volados, y en la superior se dispone una galería de arquillos de medio punto doblados separados por pilastras que junto al listel que recorre toda la fachada enmarcan cada uno de los arquillos. La fachada se corona con un sencillo alero de ladrillo aplantillado, sobre el que se dispone la cubierta de teja árabe.

En un extremo de esta fachada se sitúa la portada, articulada en dos cuerpos con una composición similar a la portada de la iglesia aunque esta última se articula en tres cuerpos. En el piso bajo abre en arco de medio punto enmarcado por pilastras, sobre las que se dispone una compleja moldura corrida, de separación de este piso del intermedio, en el que presenta un vano adintelado y abalconado entre pilastras fajadas flanqueadas a su vez por la continuación de las pilastras del piso inferior que aquí remata con motivos piramidales. Presenta remate de frontón curvo.

La fachada posterior, abierta al jardín, íntimo y privado, en forma de U, presenta una composición similar a la ya comentada para la principal, distinguiéndose en esta unas torrecillas en las esquinas, inspiradas en el edificio de la Lonja de Zaragoza.

El interior del palacio, al carecer de patio interior abierto, presenta un gran zaguán que precede a la escalera monumental de tipo imperial, que arranca en cuatro arcos rebajados apeados en columnas sobre podios cuadrados; los dos ramales de las escaleras se unen en uno sólo en el segundo tramo, justo en el acceso a la planta noble del palacio, ordenada alrededor de una galería de arcos sobre columnas, idéntica a la del patio bajo. La caja de escaleras se cubre con una gran bóveda decorada con yeserías barrocas de tradición mudéjar, cubrimiento y decoración que se repiten en el Salón principal del palacio.

El cuerpo lateral, concebido como una serie de construcciones palaciales añadidas destinadas a caballerizas, graneros y viviendas del servicio (caseros y guardas), se edificó en ladrillo, igual que el resto del conjunto palacial, pero con menor altura y una composición más simple de su fachada, en la que el alero, similar al de la fachada principal, es el único elemento decorativo.