Synagoga je součástí historického centra města, stojí přibližně 150 metrů jihozápadně od náměstí. Patrová stavba obdélného půdorysu se zkosenými nárožími, sedlovou střechou a dvojicí štítů na západním a východním průčelí je vystavěna ve střídmém novorománském stylu. Byla postavena ve druhé polovině 19. století na starších základech klasicistní synagogy z počátku 19. století, těžce poškozené požárem. Za autora projektu starší klasicistní stavby je udáván pacovský stavitel a tesařský mistr Tomáš Polívka, autor novorománské přestavby je neznámý.

Synagoga byla užívána k bohoslužebným účelům do podzimu 1941, kdy byly uzavřeny všechny synagogy v Protektorátu Čechy a Morava. Následně docházelo ke střídání majitelů a až do počátku 90. let 20. století byla využívána jako sklad, dílna či balírna. V roce 2017 vznikl spolek Tikkun Pacov, který ji hodlá zrenovovat a navrátit do veřejného prostoru jako dějiště kulturně-vzdělávacích akcí.

„Synagoga v Pacově tvoří spolu s židovským hřbitovem jediný hmatatelný doklad existence již zaniklé místní židovské komunity. Je také hodnotným příkladem novorománské maloměstské synagogy", konstatuje ředitel územního odborného pracoviště Národního památkového ústavu v Telči Pavel Macků.