सोलापूरच्या ग्रामदैवताचा मान असलेल्या शिवयोगी सिद्धरामेश्वर ज्या दैवताची आराधना व उपासना करीत ते दैवत म्हणजे कपिलसिद्ध मल्लिकार्जुन होय. श्री शैल मल्लिकार्जुनाचे एक रूप असलेल्या मल्लिकार्जुनाचे प्रसिद्ध मंदिर सोलापूरच्या बाळी वेस परिसरात स्थित आहे. कलाकुसर, नक्षीकाम, स्थापत्य कौशल्य या सर्वांचा सुंदर नमुना असलेले मल्लिकार्जुनाचे मूळ मंदिर पूर्वी येथील भुईकोट किल्ल्यात होते. मूळ मंदिरातील शिवलिंगासह ते येथे स्थलांतरित करण्यात आले. या शिवलिंगात शिव आणि शक्ती एकात्म स्वरूपात वास करीत असतात.
‘शिवपुराणा’तील श्रीकोटीरुद्र संहितेच्या १५व्या अध्यायात मल्लिकार्जुनाची आख्यायिका सांगितलेली आहे. ती अशी की एकदा शिव–पार्वतीने आपल्या गणेश व कार्तिकेय या दोन्ही मुलांना पृथ्वी परिक्रमा करण्यास सांगितले. कार्तिकेय परिक्रमेवरून परतत असताना त्यांना वाटेत नारद भेटले. नारदाने कार्तिकेयाला सांगितले की माता–पित्याने तुला परिक्रमेस पाठवून पाठीमागे तुझ्या छोट्या भावाचा विवाह लावून दिला आहे. ते ऐकून कार्तिकेय संतापले. कैलास पर्वतावर येऊन त्यांनी आई–वडिलांशी वाद करून ते क्रौंच पर्वतावर निघून गेले. त्यांची समजूत काढण्यासाठी शिव–पार्वती तेथे गेले असता कार्तिकेय तेथूनही अन्यत्र गेले. तेव्हा शिव–पार्वतीला दुःख झाले व ते तेथेच ज्योतिर्मय रूप धारण करून राहू लागले. त्या पवित्र लिंगास मल्लिका (पार्वती) व अर्जुन (शिव) यांच्या एकत्र नावाने ओळखले जाऊ लागले.
देशात अनेक ठिकाणी मल्लिकार्जुनाची मंदिरे आहेत. त्यातीलच एक म्हणजे सोलापूरमधील हे सुप्रसिद्ध देवालय होय. ‘गॅझेटियर ऑफ बॉम्बे प्रेसिडेन्सी, खंड २०, सोलापूर’मधील नोंदीनुसार, बहामनी सल्तनतीच्या काळामध्ये, चौदाव्या शतकात येथील भुईकोट किल्ला बांधण्यात आला. केंद्र सरकारने या किल्ल्यास महाराष्ट्रातील राष्ट्रीय संरक्षित स्मारक म्हणून घोषित केले आहे. 
गॅझेटियरनुसार, या किल्ल्यात सापडलेले हेमाडपंती मंदिराचे अवशेष हे त्याहून जुने म्हणजे बाराव्या वा तेराव्या शतकातील आहेत. हेच मल्लिकार्जुनाचे जुने मंदिर. तेराव्या शतकात होऊन गेलेले प्रसिद्ध वीरशैव कन्नड कवी राघवांक यांनी लिहिलेल्या ‘सिद्धराम पुराण’ या महाकाव्यात सिद्धरामांचे जीवनचरित्र वर्णिले आहे. त्यात हे मंदिर सिद्धराम यांनी बांधल्याचा उल्लेख आहे.
या मंदिराची आख्यायिका अशी की बाराव्या शतकात येथे कलचुरी घराण्याचे राज्य असले, तरी सोन्नलगी (सोलापूर)चे अधिपत्य राजा नन्नप्पा आणि राणी चामलादेवी यांच्याकडे होते. श्रीशैल मल्लिकार्जुन येथून परतलेल्या बालयोगी सिद्धराम यांच्या मनात सोन्नलगी येथे मल्लिकार्जुनाचे देवालय बांधण्याचा विचार होता. त्यांनी तो बोलून दाखवला त्याच्या दुसऱ्या दिवशी राणी चामलादेवी त्यांच्या आश्रमात आली. तिने सांगितले की गुरू रेवणसिद्ध यांनी दर्शन देऊन तुम्हाला लागेल तेवढी जमीन द्यावी अशी आज्ञा केली आहे. अशा 
प्रकारे जमीन मिळाल्यानंतर तेथे भव्य मंदिर बांधण्याचा निर्धार सिद्धराम यांनी केला. ही बातमी सोन्नलगी व परिसरात पसरल्यानंतर अनेक लोकांनी धन व श्रमदान केले व त्यातून हे मंदिर उभे राहिले. या मंदिरातील शिवलिंग एका ठिकाणी गाडलेले होते. ते कपिला गायीमुळे सापडल्यामुळे त्यास कपिलसिद्ध मल्लिकार्जुन असे नाव देण्यात आले.
सोलापूर शहर व भुईकोट किल्ला इ.स. १७५८ मध्ये पेशव्यांच्या ताब्यात आले. श्रीमंत नानासाहेब पेशवे यांनी सोलापूरचा किल्लेदार खलिलुद्दीन याच्याशी संधान साधून त्याला २५ हजार रुपयांचा इलाखा दिला व हा किल्ला मिळवला. अर्धे शतक हा किल्ला व शहर मराठ्यांकडे होते. पुढे शेवटच्या मराठा युद्धात ब्रिटिश जनरल मन्रो याने या किल्ल्यास चार दिवस वेढा घातला व १४ मे १८१८मध्ये तो जिंकला. यानंतर किल्ल्यातील मंदिरात जाण्यास सर्वसामान्य भाविकांना बंदी घालण्यात आली. पुढे या ठिकाणी केलेल्या उत्खननामध्ये मंदिराचे काही खांब आढळले. तेव्हा तत्कालिन संत व समाजधुरिणांनी हे खांब व अन्य सामग्री वापरून बाळीवेस येथे 
मल्लिकार्जुनाचे भव्य मंदिर बांधले.
कपिलसिद्ध मल्लिकार्जून मंदिर हे शहराच्या मध्यवर्ती ठिकाणी आहे. मंदिराभोवती सुमारे २० फूट उंचीची दगडी तटबंदी आहे. या तटबंदीतील दुमजली प्रवेशद्वारातून मंदिराच्या प्रांगणात प्रवेश होतो. प्रवेशद्वाराच्या वरील मजल्यावर नगारखाना आहे. तीन दर्शनमंडप, सभामंडप, अंतराळ व गर्भगृह अशी या मंदिराची संरचना आहे. मुख्य दर्शन मंडपासमोर अखंड पाषाणातून घडविलेला नंदी आहे. या भल्या मोठ्या नंदीच्या शिंगांवर पितळी आवरण आहेत. या नंदीच्या पुढील पायांमध्ये शिवपिंडी आहे. जमिनीपासून उंच जगतीवर असलेल्या मंदिराच्या मुखमंडपात जाण्यासाठी तीन पायऱ्या आहेत. मुखमंडप व सभामंडप हे अर्धखुल्या स्वरुपाचे आहेत आणि त्यात भाविकांना बसण्यासाठी दगडी कक्षासने आहेत. या सभामंडपात तिनही बाजूने प्रवेश करता येतो. सभामंडपात एकूण २२ कलाकुसर केलेले दगडी स्तंभ आहेत. सभामंडपाच्या छताकडील बाजूला पाषाणातून कोरलेली कमळफुले आहेत. गर्भगृहाच्या द्वारशाखा पितळी पत्र्याने मढविलेल्या आहेत. येथील ललाटबिंबावर गणेश मूर्ती व मंडोरकावर किर्तीमुख आहे. असे सांगितले जाते की सिद्धरामेश्वरांनी स्थापन केलेल्या ६८ लिंगांपैकी ६५ वे लिंग हे मल्लिकार्जुनाचे आहे. ही शिवपिंडी आकाराने मोठी आहे व उत्सवाच्यावेळी त्यावर धातुचा मुखवटा लावला जातो.
सभामंडपाच्या शिखराकडील भागावर वानर, द्वारपाल, भृगऋषी, नंदी व सूरसुंदरींची शिल्पे आहेत. त्यापैकी नंदींची शिल्पे वैशिष्ट्यपूर्ण अशी आहेत. दोन धड व एक मुख असलेले नंदींचे शिल्प छताच्या प्रत्येक कोपऱ्यावर लावलेले आहे. मंदिराच्या गर्भगृहावर मुख्य शिखर आहे. त्यावरील देवकोष्टकांत विविध देवतांच्या मूर्ती आहेत. शिखराच्या अग्रभागी मोठा आमलक व त्यावर कळस आहे. मंदिराच्या मागच्या बाजूला भ्रमरांबिका देवीचे मंदिर आहे. त्यात देवीची सुंदर पाषाणमूर्ती आहे. यासोबतच आवारात नागदेवता व नऊ ग्रहांची मंदिरे आहेत. मंदिराभोवती असलेल्या तटबंदीत अनेक ओवऱ्यांची रचना आहे.
