La zona residencial del palacio configura una planta en L, determinando dos cuerpos. En el cuerpo de mayor longitud se sitúa la zona más antigua de la construcción con el torreón gótico. A ambos lados del torreón se desarrollan dos alas de menos altura, organizadas en tres plantas; en el extremo izquierdo destaca la portada de medio punto cuyas dovelas conforman un trasdós de perfil mixto; el arco apea en pilastras rehundidas con impostas molduradas; una fina guirnalda parte de una máscara situada en la clave, decorando el arco y continuando en las pilastras. En el ala derecha destacan una serie de vanos adintelados de mayor tamaño respecto a otros de la misma fachada. La fachada está orientada al noroeste y destaca por estar cubierta de vegetación y por disponer de un jardín ante ella de formas geométricas y de inspiración francesa.
En la fachada suroeste se destaca un cuerpo avanzado que en la planta baja abre tres portones y en la superior muestra una amplia galería corrida, con antepecho en el que apean cuatro robustas columnas sosteniendo la cornisa, todo ello de piedra.
En la fachada sureste, de mucho menor tamaño que las anteriores, se construyó una galería a la altura de la planta noble, sustentada por cuatro potentes columnas jónicas de fuste acanalado sobre las que se desarrolla un antepecho pétreo en el que apea la arquería de medio punto, por medio de columnillas; la galería remata con un alero de ménsulas escalonadas de ladrillo, de tradición mudéjar.
La fachada noreste fue realizada a comienzos del siglo XIX, por los nuevos propietarios del palacio, Agustín de Quinto y su esposa Manuela Cortés, figurando las armas de ambos en el escudo situado sobre el balcón central. La fachada, de estilo neoclásico, se organiza en tres plantas; en la planta baja, centrada, se abre una sencilla puerta, flanqueada por ventanas con buena rejería; una imposta moldurada da paso a la planta noble, donde se abren balcones volados con barandilla de rejería, embocadura moldurada y coronados con relieves; los balcones están flanqueados por pilastras acanaladas de capitel corintio que sustentan un entablamento con friso decorado a base de rosetas la planta superior, de poca altura, se abre con pequeñas ventanas rectangulares dispuestas en horizontal. Una cornisa moldurada de escaso vuelo remata la fachada.