दत्तात्रेयांचे पहिले अवतार श्रीपादवल्लभ, दुसरे श्रीनृसिंह सरस्वती व तिसरे अवतार अक्कलकोट येथील स्वामी समर्थ मानले जातात. ते १८५६ साली अक्कलकोट येथे कर्दळीवनातून प्रकट झाले. आपल्या गूढ लीला, मंत्र आणि मार्गदर्शनाने भक्तांच्या भौतिक, आध्यात्मिक व मानसिक समस्या ते दूर करीत. त्यांच्या पश्चात त्यांनी हाताळलेल्या वस्तू व स्फटिकपादुकांच्या दर्शनाने आजही भाविकांच्या सर्व समस्यांचे निवारण होते, अशी भाविकांची श्रद्धा आहे. यामुळेच त्यांच्या पादुका व वस्तू असलेले मठ महाराष्ट्रात मोठ्या प्रमाणात आहेत. स्वामींच्या हयातीत उभारल्या गेलेल्या काही मोजक्या मठांपैकी एक मठ केज येथे विराजमान आहे आणि येथे दर्शन घेतल्याने अक्कलकोट वारीचे पुण्य मिळते, अशी भक्तांची धारणा आहे.
सन १८७५ मध्ये या मठाची स्थापना झाली. स्वामी समर्थांनी स्वहस्ते दिलेल्या पादुका व वस्तू या मठात सुरक्षित आहेत. स्वामींच्या हयातीत स्थापन झालेला मठ म्हणून यास विशेष महत्त्व प्राप्त झाले आहे. या मठाबाबत अनेक कथा प्रचलित आहेत, तसेच ‘स्वामी समर्थ चरित्र’ ग्रंथातही या मठाचा उल्लेख आढळतो. केजचे जहागीरदार धुरंधर देशपांडे यांना निजामाने दिलेली जहागीर जप्त केली होती. अनेक प्रयत्न करूनही त्यांना जहागीर पुन्हा प्राप्त झाली नाही, तेव्हा ते अक्कलकोटच्या स्वामींना शरण गेले.
स्वामींनी त्यांना हैदराबादला निजामाच्या दरबारात जाण्याचा सल्ला दिला. स्वामींची आज्ञा शिरसावंद्य मानून देशपांडे निजामाच्या दरबारात पोहोचले आणि त्यांना जहागीर परत मिळाली. हा स्वामींचाच चमत्कार असल्याचे समजून त्यांनी 
अक्कलकोटहून स्वामींच्या स्फटिकपादुका, स्वामींनी दिलेला गोटा व इतर वस्तू केज येथे आणल्या. येथे मठाची स्थापना करून स्वामींच्या पादुका व इतर वस्तू पूजेसाठी ठेवल्या.
गावात मध्यवर्ती ठिकाणी असलेल्या या मठापर्यंत पक्की सडक आहे आणि मठासमोर प्रशस्त वाहनतळ उपलब्ध आहे. मठास असलेल्या भक्कम तटबंदीमध्ये दोन प्रवेशद्वारे आहेत. मुख्य दुमजली प्रवेशद्वार सुमारे तीस फूट उंच आहे. हे प्रवेशद्वार रस्त्यापेक्षा उंचावर असल्यामुळे समोर तीन पायऱ्या आहेत. प्रवेशद्वारात दोन्ही बाजूंना द्वारपालांची चित्रे रेखाटली आहेत. प्रवेशद्वारावर महिरपी तोरण व त्याच्या दोन्ही बाजूंना पद्मनक्षी आहे. प्रवेशद्वाराच्या आत डाव्या व उजव्या बाजूस द्वारपालकक्ष आहेत. प्रवेशद्वाराच्या वरील मजल्यावर नगारखाना आहे.
मठाच्या फरसबंदी प्रांगणात तटबंदीला लागून मठाचे संस्थापक धुरंधर देशपांडे यांच्या वंशजांची निवासस्थाने आहेत. प्रांगणात पार बांधलेले काही वृक्ष आहेत. सभामंडप, अंतराळ व गर्भगृह अशी कोरीव पाषाणात बांधलेली मठाची रचना आहे. सुमारे तीन फूट उंच चौथऱ्यावर बाह्य बाजूने लोखंडी स्तंभ व त्यावर पत्र्याचे छत असा अर्धखुला सभामंडप आहे. सभामंडपात जाण्यासाठी अंतराळाच्या बाह्य भिंतीलगत डाव्या व उजव्या बाजूने प्रत्येकी तीन पायऱ्या आहेत. सभामंडपापेक्षा अंतराळ सुमारे चार फूट उंच आहे, तर अंतराळाच्या प्रवेशद्वारास चार पायऱ्या आहेत. 
पायऱ्यांच्या दोन्ही बाजूंना व अंतराळात समोरील बाजूला स्टेनलेस स्टीलचा कठडा आहे. अंतराळात समोरील बाजूला चार नक्षीदार स्तंभ एकमेकांना महिरपी तोरणाने जोडलेले आहेत. पद्माकार स्तंभपादावर उभ्या असलेल्या स्तंभांमध्ये शीर्षकमळे आहेत. अंतराळात भिंतीवर स्वामी समर्थांच्या अनेक लहान-मोठ्या प्रतिमा आहेत.
पुढे गर्भगृहाचे प्रवेशद्वार आहे. प्रवेशद्वारात दोन्ही बाजूंना दोन नक्षीदार स्तंभ आहेत. द्वारशाखांवर उभ्या धारेची नक्षी व ललाटबिंबावर गणपतीशिल्प आहे. प्रवेशद्वारावर तोरण व मंडारकावर कीर्तिमुख कोरलेले आहे. प्रवेशद्वारास नक्षीदार लाकडी झडपा आहेत. गर्भगृहात वज्रपीठावरील नक्षीदार लाकडी मखरात स्वामी समर्थांच्या स्फटिकपादुका व चांदीची मूर्ती आहे. मखरात स्वामींनी आपले भक्त देशपांडे यांना दिलेल्या इतर वस्तू ठेवण्यात आल्या आहेत.
मठात गुढीपाडव्याच्या दुसऱ्या दिवशी श्री स्वामी समर्थ प्रकट दिन साजरा केला जातो. या निमित्ताने सलग चार दिवस भजन, कीर्तन, संगीत, ग्रंथवाचन, महाप्रसाद आदी विविध धार्मिक कार्यक्रमांचे आयोजन केले जाते. चैत्र वद्य त्रयोदशी हा स्वामींचा पुण्यतिथी सोहळा, दत्त जयंती व आश्विन वद्य द्वादशी हा दिवस गुरुद्वादशी उत्सव येथे साजरे केले जातात. याशिवाय महाशिवरात्री, रामनवमी, दसरा, दिवाळी इत्यादी सण व उत्सव मठात साजरे केले जातात. सर्व उत्सवांच्या वेळी परिसरातील अनेक स्वामीभक्त मठात दर्शनाला येतात. या प्रसंगी विविध धार्मिक कार्यक्रमांचे आयोजन केले जाते. गुरुवार, एकादशी, पौर्णिमा, अमावस्या आदी दिवशी मठात स्वामीभक्तांची मोठी वर्दळ असते. बाहेरगावाहून येणाऱ्या स्वामीभक्तांसाठी येथे माफक शुल्कात भक्तनिवासाची सुविधा आहे.
