A la suite de la prise de la ville par les protestants en 1573, le palais épiscopal est détruit. A partir de 1667, un nouveau palais est construit à proximité de l'ancienne demeure des évêques. En 1779, une nouvelle aile est bâtie, ce qui donne à l'édifice son plan actuel en «L».
Après 1791, plus aucun évêque ne réside à Lodève. Le palais épiscopal est alors converti en bâtiment administratif, vendu par l'Etat à la municipalité en 1809.
La composition de l'enclos épiscopal présente davantage les caractéristiques d'un château que celles d'un hôtel urbain : élévation à travées, pavillons latéraux, disposition entre cour et jardin. L'ensemble extérieur du bâtiment constitue alors un manifeste de la puissance épiscopale. Des traces de maçonnerie, au dessus des fenêtres et de la porte centrale, indiquent qu'il existait une décoration et un balcon d'apparat disparus à la Révolution.
Le corps principal, haut de un étage, est encadré par deux pavillons de trois niveaux. Les fenêtres de l'étage s'ouvrent sur des balcons aux superbes ferronneries. La rigueur et l'élégante symétrie de l'ensemble sont égaillées par la fantaisie des gargouilles « à la gothique » et la remarquable toiture mansardée couverte de tuiles vernissées de Saint-Jean-de-Fos.
Le portail monumental, situé dans l'axe du bâtiment principal, date probablement du XVIIIe siècle. Il s'ouvre d'une part sur la place de l'hôtel de ville et d'autre part sur la cour qui constitue l'un des seuls espaces extérieurs de représentation de la ville. De l'autre côté du bâtiment, le parc municipal conserve, de l'époque où il était jardin des évêques, le bassin circulaire situé dans la grande perspective.
La distribution des pièces, inchangée depuis 1779, est complètement
revue à deux reprises durant la deuxième moitié du XXe siècle afin
d'adapter l’édifice à de nouveaux besoins fonctionnels. Aujourd'hui, le
bâtiment accueille toujours les services municipaux, ainsi que d'autres
services publics.
