S výjimkou někdějšího hřbitova na Jánském kopci byly první jihlavské hřbitovy umístěny uvnitř hradebního opevnění. Ten nejstarší byl při východní straně minoritského kostela Nanebevzetí Panny Marie v prostoru dnešního parčíku na Minoritském náměstí, druhý pak kolem kostela svatého Jakuba na místě dnešního vydlážděného Jakubského náměstí.
Přešlo několik století a bylo třeba dál ukládat mrtvé na místa věčného odpočinku. Stávající jihlavské hřbitovy však byly plné a tak bylo rozhodnuto využít prostoru kousek za hradbami na Špitálském předměstí. K pohřbívání byl určen prostor mezi dodnes stojící bránou Matky Boží a Špitálskou bránou.
Nejprve byla vybudována roku 1559 ohradní zeď kolem celého nového hřbitova a pak v roce 1572 byl postaven uprostřed kostelík sv. Ducha. Renesanční stavba byla rozbořena Švédy při jejich okupaci města v letech 1645 - 1647. Když po třicetileté válce došlo postupně k obnově města, byl v dnešních Smetanových sadech v roce 1661 vybudován nový kostel.
Na tomto hřbitově ve Smetanových sadech byla farářem Artnerem zavedena zajímavá dušičková slavnost. Všechny hroby a kříže byly ozdobeny květinami a při dominikánském kříži, vévodícímu kdysi hřbitovu, byl zřízen polní oltář. Zde se konalo slavné kázání a mše s hudbou a zpěvem a pak následoval průvod ke třem zastavením mezi hroby. Lidé zpívali píseň o vzkříšení mrtvých a pak vše zakončilo slavné požehnání.
Podle pověsti na tomto bývalém hřbitově ve Smetanových sadech do dnešních dnů občas o půlnoci prochází černě oděná postava muže s vysokou čepicí. Jednou si prý kterási vyzývavá služebná dodala odvahu, počíhala si o půlnoci na hřbitově na neznámé zjevení a čepici mu z hlavy vzala. I když pak všichni obdivovali její statečnost, dívce nebylo dopřáno se z popularity dlouho těšit. Hřbitovní duch se začal půlnoc co půlnoc dívce zjevovat a naléhal, aby mu jeho čepici navrátila přesně na tom místě, kde mu byla odcizena.
Dívka se nakonec po poradě s knězem vydala o půlnoci na hřbitov, svěcenou křídou udělala kruh a počkala na zjevení, aby mu čepici vrátila. Když se duch dostavil a natáhl ruku po čepici, dívka v neopatrnosti vykročila z posvěceného kruhu a to se jí stalo osudným. Ráno ji Jihlavané našli polomrtvou ležet u zdi kostela svatého Ducha a i když ji vzkřísili, odvážná dívka ještě o půlnoci téhož dne zemřela.
Zda je tato pověst pravdivá nevíme. Je však jisté, že na tomto dnes již neexistujícím jihlavském hřbitově Svatého Ducha ve Smetanových sadech bylo během tříset let jeho provozu pohřbeno neuvěřitelných 200 tisíc mrtvých. Jen v době likvidace tohoto hřbitova po roce 1887 bylo v dnešních Smetanových sadech napočítáno 2.993 hrobů.
Protože nové předpisy nedovolovaly umístění hřbitovů v městské zástavbě, byl v roce 1869 zřízen nový hřbitov na Panenském předměstí při silnici k Pelhřimovu. Dnešní Ústřední hřbitov byl založen na pozemku zakoupeném 26. února 1869 a k jeho vysvěcení došlo 26. září téhož roku.
Jedním ze zakladatelů Ústředního hřbitova byl jihlavský lékař Leopold Fritz, v té době člen městské rady a člen lékařské hygienické komise, která rozhodla o umístění nového hřbitova právě sem, mimo městskou zástavbu. Hrob tototo osvíceného jihlavského radního, po němž je dodnes ve městě pojmenována i ulice, nalezneme na levé straně před hřbitovní kaplí Nanebevstoupení Páně.
Když se v tomto dušičkovém čase vydáme na jihlavský ústřední hřbitov, můžeme zde dodnes číst důležitý vzkaz doktora Leopolda Fritze určený nám i těm, kteří přijdou po nás. Fritzův latinský nápis nad vchodem na hřbitov na průčelí vstupní budovy v překladu zní: V Kristu zemřeli, skrze Krista radostně vstanou...