प्रभू श्रीरामांनी पंचवटीत शूर्पनखाचे नाक, कान कापल्यानंतर 14 हजार राक्षस या ठिकाणी श्रीरामांवर हल्ला करण्यासाठी आले असता त्यावेळी प्रभू श्रीरामांनी छातीवर हात ठेवून प्रतिज्ञा केली आणि सर्व 14 हजार राक्षसांचा वध केल्याची आख्यायिका सांगितली जाते.

त्या प्रसंगी अत्यंत विराट आणि भव्य कालस्वरूप रुप प्रभू श्रीरामांनी धारण केलं होतं.

कालस्वरुप म्हणून श्री काळाराम नाव प्रसिद्ध झाले. त्यामुळे पुढे जाऊन श्री काळाराम मंदिर स्थापन झाले.

नाशिक जवळच्या टाकळी येथे समर्थ रामदास स्वामींचे वास्तव्य होते.ते गोदावरीत स्नान करत आणि काळारामाच्या दर्शनाला येत.

त्याकाळी हे मंदिर लाकडी स्वरुपाचे होते. मात्र, मूर्ती आज आहेत तशाच होत्या. अनेक श्लोक ,करूणाष्टके,आरत्या यांच्या रचना समर्थांनी याच काळारामाच्या मंदिरात केल्या आहेत.

काळाराम मंदिर सरदार रंगराव ओढेकर यांनी सन 1782 मध्ये जुन्या लाकडी मंदिराच्या जागेवर बांधले.

सदर मंदिराच्या बांधकामासाठी 2000 कारागीर 12 वर्ष राबत होते.

मंदिराचे बांधकाम 1772 ते 1792 या कालखंडात 24 लाख रुपये खर्चून झाल्याची नोंद पेशवे दप्तरी आहे.

पश्चिम भारतातील प्रभू रामचंद्रांच्या सुंदर मंदिरांपैकी हे मंदिर आहे.

मंदिर परिसराला 245 फूट लांब आणि 145 फूट रुंद 17 फूट उंच दगडाची भिंत आहे.