El conjunto ajardinado está dispuesto en terrazas, a las que se accede a través de escalinatas. La zona ajardinada se prolonga con una huerta y un parque agreste. Los jardines responden a un diseño de clara influencia italiana. Se extienden al pie de la fachada meridional del palacio y se distribuyen en dos áreas, el jardín alto y el jardín bajo, separados por dos galerías. Ambos contaban con numerosos elementos ornamentales, entre los que destacan tres grutas, un estanque, un puente de piedra y una casa noria, que aún se conservan, además de la Fuente de las Conchas, proyectada por Ventura Rodríguez y finalizada en 1776.​ La fuente fue trasladada al Campo del Moro, junto al Palacio Real de Madrid, en 1845.

El edificio responde a una iniciativa del infante Luis Antonio de Borbón y Farnesio, el menor de los hijos varones del rey Felipe V y hermano de Carlos III, que se hizo con el señorío de Boadilla en 1761. El infante residió en el palacio entre 1765, cuando el edificio fue concluido, y 1776. El actual palacio se alza sobre el antiguo palacio de las Dos Torres, residencia del marquesado de Mirabal. Es un diseño de Ventura Rodríguez realizado en 1763. Entre sus moradores figuró el músico Luigi Boccherini. El edificio sufrió daños considerables durante la Guerra Civil y fue declarado Monumento Nacional en 1974. Tiene planta rectangular alargada (17 x 80 m aproximadamente). El interior destacaba por su suntuosidad, especialmente visible en la capilla, donde se encuentra el panteón de María Teresa de Borbón y Vallabriga, XV condesa de Chinchón y esposa de Manuel Godoy. El palacio albergaba una importante colección de obras de arte, entre las que figuraban cuadros de Goya y otros atribuidos a Rembrandt, Murillo, Velázquez y Durero, entre otros artistas.

Se trata de un monumento neoclásico, construido en 1765, como el elemento más destacados frente a la fachada principal. Presidía un recinto ajardinado que desapareció con la expansión urbana de Boadilla. La fuente fue concebida como un depósito de agua, cuya misión era regular el suministro a las dependencias del palacio, a los jardines y a las restantes fuentes, con los que tenía comunicación subterránea.