धार्मिक व ऐतिहासिक वारसा असलेला मंगळवेढा हा तालुका सोलापूर जिल्ह्यातील संतांची भूमी मानला जातो. दुष्काळात सरकारी धान्यकोठार गोरगरिबांसाठी खुले करणारे संत दामाजीपंत हे मंगळवेढ्याचेच. त्यांच्याप्रमाणेच संत चोखामेळा व संत कान्होपात्रा यांच्या वास्तव्याने पुनित झालेल्या या शहराचे आणखी एक वैशिष्ट्य म्हणजे येथील काशीविश्वनाथाचे पुरातन मंदिर. हे मंदिर चालुक्यांच्या (काहींच्या मते यादवांच्या वा कलचुरींच्या) काळात उभारण्यात आल्याचे सांगण्यात येते. सुमारे ४५० वर्षांपूर्वी या मंदिराचा पहिला जीर्णोद्धार झाला होता. यावरून त्याचे प्राचीनत्व लक्षात येते.
प्राचीन काळी मंगळवेढा हे महामंडलेश्वर, तसेच मंगलवेष्टक या नावांनी ओळखले जात असे. अकराव्या शतकात येथे कल्याणच्या चालुक्यांची सत्ता होती. या काळात मंगळवेढे ही चालुक्यांचा मांडलिक असलेला सरदार 
कलचुरी बिज्जल याची राजधानी होती. चालुक्य सम्राट तैलप तिसरा याच्याविरोधात बंड करून बिज्जल याने चालुक्यांची सत्ता हस्तगत केली. इसवी सनाच्या बाराव्या शतकाच्या आरंभी जन्मलेले थोर बंडखोर संत व लिंगायत धर्मसंस्थापक बसवेश्वर हे या बिज्जलाच्या मंत्रिमंडळात मुख्य प्रधान होते. विठ्ठलाचे परमभक्त दामाजीपंत यांचा जन्म मंगळवेढ्याचाच. ते बहामनी सुलतानांच्या नोकरीत, मंगळवेढ्याचे कमाविसदार म्हणून काम करीत होते. सुलतान अल्लाउद्दिन शाह बहामनी याच्या काळात, इ.स. १४६० मध्ये पडलेल्या दुष्काळात त्यांनी आपल्या अधिकारात असलेला धान्यसंग्रह जनतेसाठी खुला केला, अशी कथा प्रचलित आहे.
छत्रपती शिवाजी महाराजांनी १८ नोव्हेंबर १६६५ रोजी जेथे मुक्काम केला होता, तो मंगळवेढ्याचा भुईकोट किल्ला, महादेवाची विहिर, जोतिबा माळावरील मंदिरे, गैबीसाहेब दर्गा अशा इतिहासाच्या खुणा सांगणाऱ्या अनेक वास्तू येथे आहेत. काशीविश्वनाथ मंदिर हे त्यांपैकीच एक. हे मंदिर नेमके कधी उभारण्यात आले याविषयी वाद असला, तरी विजापूरचा अली आदिलशहा पहिला याच्या काळात हिप्परगी येथील बाहयानी धनाजी 
कुलकर्णी यांनी इ.स. १५७२ मध्ये या मंदिराचा जीर्णोद्धार केला. मंदिराच्या रंगशिळेच्या डावीकडील खांबावरील ६० ओळींच्या शिलालेखात त्याबाबतचा उल्लेख आहे. अलीकडील काळात करण्यात आलेल्या नूतनीकरणानंतर मंदिरास सध्याचे स्वरूप प्राप्त झाले आहे.
मंगळवेढा येथील दामाजीपंत मंदिरापासून कोन्हापात्रा मंदिराकडे जाणाऱ्या मार्गावर काशीविश्वनाथ महादेवाचे प्राचीन व प्रसिद्ध मंदिर आहे. मुखमंडप, सभामंडप, अंतराळ व गर्भगृह अशी या मंदिराची संरचना आहे. हेमाडपंती स्थापत्य रचना असलेल्या या मंदिराच्या मुखमंडपातून बंदिस्त सभामंडपात प्रवेश होतो. या सभामंडपाच्या मध्यभागी रंगशिळा (गोलाकार उंचवटा) आहे. पूर्वीच्या काळी या रंगशिळेवर परमेश्वरासाठी नृत्य, गायन, वादन आदी कला सादर केल्या जात असत. या रंगशिळेशेजारी डावीकडील खांबावर ६० ओळींचा प्राचीन शिलालेख आहे. याशिवाय सभामंडपात गणेशाची प्राचीन मूर्ती व शिवपिंडी आहे. असे सांगितले जाते की येथील शिवपिंडी ही या मंदिरातील मूळ पिंडी होती. परंतु तिचा काही भाग खंडीत झाल्यामुळे 
गर्भगृहात दुसरी पिंडी ठेवण्यात आलेली आहे. अंतराळात एका चौथऱ्यावर नंदी व गर्भगृहाच्या प्रवेशद्वाराजवळ प्राचीन गणेशमूर्ती आहे. गर्भगृहाच्या प्रवेशद्वारावर नक्षीकाम व ललाटबिंबावर गणेशमूर्ती आहे. गर्भगृहात मध्यभागी अखंड पाषाणात घडविलेली भली मोठी शिवपिंडी आहे.
मंदिराच्या बाहेरील भिंती व त्यातील स्तंभांवर कलाकुसर केलेली आहे. सर्व भिंतींच्या वरील बाजूस बाशिंगी कठडा आहे. गर्भगृहावर मंदिराचे मुख्य शिखर आहे. या शिखरावरील प्रत्येक थरांवर असलेल्या देवकोष्टकांत विविध देवतांच्या मूर्ती आहेत. शिखराच्या अग्रभागी आमलक व कळस आहेत. येथील आमलकाच्या भोवतीने लहान लहान आमलक व शिखरे आहेत. दर सोमवारी होणाऱ्या आरतीसाठी मंगळवेढा व परिसरातील अनेक भाविक येथे उपस्थित असतात. श्रावण महिन्यात; तसेच प्रत्येक शिवरात्र व महाशिवरात्रीला या मंदिरात दर्शनासाठी भाविकांची गर्दी होते.
मंदिराच्या परिसरात एक बांधीव विहीर आहे. या विहिरीत काही पायऱ्या उतरून खाली गेल्यावर एक ब्रह्मदेवाची मूर्ती दिसते. असे सांगितले जाते की मंगळवेढा ही पूर्वी कलचुरींची राजधानी होती. कलचुरी स्वतःला ब्रह्माचे पूजक मानत असत. त्यांनी या ठिकाणी ब्रह्मदेवाचे मंदिर बांधले असावे. आज या परिसरात ब्रह्मदेवाचे मंदिर अस्तित्वात नसले, तरी ही वैशिष्ट्यपूर्ण मूर्ती मात्र पाहावयास मिळते. या मूर्तीशेजारी विहिरीतून एक भुयारी मार्ग आहे. हा मार्ग मंगळवेढ्यातील कृष्ण तलावाच्या मध्यभागी असलेल्या गोपाळकृष्ण मंदिरापर्यंत असल्याचे सांगितले जाते. या विहिरीत आणखी खाली उतरल्यावर प्राचीन मंदिराचे काही अवशेष दिसतात. भग्न अवस्थेतील महिषासूरमर्दिनीची मूर्तीही येथे आहे.
