Cette porte, jadis encadrée par deux tours carrés du XIIe siècle, est le seul vestige important qui subsiste du système défensif de la ville. Les deux tours semi-circulaires actuelles datent de vers l'an 1500.

Elles abritent des salles voûtées et sont reliées au dessus de la voûte ogivale par une courtine à mâchicoulis. Les écuries du château jouxtaient la tour ouest.

Le pont fortifié médiéval, démoli en 1855, prenant appui sur la base des tours et les points d'ancrage de la première arche sont encore visibles.

La porte Saint-Jacques, devenue prison fin XVIIIe, fut aussi occupée par un corps de garde, un bureau d'octroi et la fourrière municipale.