पुराणांनुसार श्रीपाद श्रीवल्लभ हे दत्तात्रेयाचे पहिले अवतार मानले जातात. नृसिंह सरस्वती हे दुसरे अवतार होत. त्यांच्या नंतर जनार्दन स्वामी, एकनाथ, दासोपंत, मुक्तेश्वर, निरंजन रघुनाथ, माणिक प्रभू, अक्कलकोटचे स्वामी समर्थ या महान विभूतींनी दत्त संप्रदायाची परंपरा सुरू ठेवली. याच मालिकेतील एक नाव वासुदेवानंद सरस्वती टेंब्ये स्वामी यांचे घेतले जाते. या टेंब्ये स्वामींच्या वास्तव्याने पावन झालेल्या सावंतवाडी शहरातील सबनिसवाडा परिसरात असलेले एकमुखी दत्त मंदिर व टेंब्ये स्वामी पादुका मंदिर ही अनेक भाविकांची श्रद्धास्थाने आहेत.
या मंदिराची आख्यायिका अशी की येथे पूर्वी येथे नारोपंत उकिडवे हे सत्पुरुष राहत होते. त्यांना एकदा स्वप्नदृष्टांत झाला तो असा की दोन ब्राह्मण मंदिरात बसून चर्चा करीत आहेत व नारोपंत हे मंदिराबाहेर उभे आहेत. आत बसलेल्या ब्राह्मणांपैकी एकाने एक कागद नारोपंतांना दाखवत सांगितले की ‘या ठिकाणी असे घडणार असून त्याला हा आधार.’ त्याचवेळी नारोपंत स्वप्नातून जागे झाले; परंतु त्यांना या स्वप्नाचा अर्थ मात्र उमगला नाही. धार्मिक वृत्तीचे असलेल्या नारोपंतांना या काळात प्रापंचिक स्थितीचा कंटाळा येऊ लागला. ध्यानधारणा करण्यासाठी घराजवळ एक लहानशी खोली बांधावी, असे त्यांनी ठरविले. यासाठीचे खोदकाम सुरू असताना त्यांना दोन पादुका कोरलेला एक चौकोनी दगड सापडला. बांधकाम पूर्ण झाल्यानंतर नारोपंतांनी त्या खोलीत मातीची पेढी उभारली व त्यावर जमिनीत सापडलेल्या पादुका, मागे श्रीदत्तांची प्रतिमा व पुढे गुरुचरित्राची पोथी ठेवली. ते दृश्य पाहून त्यांना आपल्या स्वप्नदृष्टांताची आठवण झाली. स्वप्नात त्यांनी हेच दृश्य पाहिले होते.
इ.स. १८८३च्या वैशाख शुद्ध पंचमीस कुडाळ तालुक्यातील माणगाव येथे टेंब्ये स्वामींनी दत्त मंदिराची स्थापना केली. त्या आधीपासून टेंब्ये स्वामींचे शिष्य असलेल्या नारोपंतांचे तेथे जाणे येणे होते. एके दिवशी नारोपंतांच्या मंदिराचे दार उघडण्यासाठी त्यांच्या घरातील माणूस गेला असता, 
त्याला मंदिराच्या उंबरठ्यावर संगमरवरी दगडावर कोरलेल्या पादुका दिसल्या. नारोपंतांना हाक मारून तो त्या पादुका दाखवणार इतक्यात त्यांच्या घरात झोपलेला एक पाहुणा जागा झाला व मंदिराकडे येऊन म्हणाला की आताच मी एक स्वप्न पाहिले. त्यात माणगावचे बुवा (टेंब्ये स्वामी) येथे आले होते. ‘नानांनी देऊळ बांधले आहे, त्यात पादुका ठेवून जातो.’ असे ते बोलून निघून गेले. हे सर्व गूढ न समजल्याने नारोपंत पादुका घेऊन माणगावात टेंब्ये स्वामींकडे गेले व घडलेला प्रकार व पाहुण्याच्या स्वप्नाबद्दल सांगितले. त्यावर स्वामी म्हणाले, ‘देवाच्या लीला अगाध आहेत, त्या मनुष्यास कशा समजणार? भक्तिपूर्वक पूजा व्हावी हीच अर्चा.’
यानंतर या मंदिरात दत्तमूर्ती असावी असे नारोपंतांना वाटले. त्यांनी दत्तांची पंचधातूची मूर्ती बनवून घेतली. ती दाखविण्यासाठी ते पुन्हा माणगावला स्वामींकडे गेले; परंतु एवढ्यात ही मूर्ती पूजण्याचा अधिकार नाही, आज्ञा होईल तेव्हा सांगण्यात येईल, एवढेच ते बोलले. त्यामुळे ती मूर्ती टेंब्ये स्वामींकडे देऊन नारोपंत सावंतवाडीला परत आले. सहा महिने ती मूर्ती टेंब्ये स्वामींकडे होती. त्यानंतर आज्ञा झाल्यावर इ.स. १८८४ मध्ये येथे एकमुखी दत्तमूर्तीची विधिपूर्वक प्राणप्रतिष्ठा करण्यात आली. 
असे सांगितले जाते की या मंदिरासमोर एक औदुंबर वृक्ष आपसूक रुजला होता. त्याला पार बांधून तेथे खोदकामात मिळालेल्या काळ्या दगडाच्या पादुका ठेवण्यात आल्या आहेत.
दत्त संप्रदायामध्ये औदुंबर वृक्षास महत्त्वाचे स्थान आहे. औदुंबर म्हणजे उंबराचे झाड. ते जेथे असते तेथे श्रीदत्तांचा वास असतो, अशी श्रद्धा आहे. या वृक्षाबाबतची पौराणिक आख्यायिका अशी की नरसिंहावतारात विष्णूने हिरण्यकश्यपू राजाचे पोट फाडून त्याचा वध केला. त्यानंतर हिरण्यकश्यपूच्या पोटातील विषाने नरसिंहांच्या नखांचा दाह होऊ लागला. त्यावेळी लक्ष्मी मातेने ती नखे उंबराच्या फळांमध्ये खोचून ठेवण्यास सांगितली. त्या उपायाने दाह थांबला. तेव्हा विष्णूने औदुंबराला आशीर्वाद दिला आणि तुला सदैव फळे येतील व तुझे नाव कल्पवृक्ष असे प्रसिद्ध होईल, असा वर दिला. दुसऱ्या आख्यायिकेनुसार, हिरण्यकश्यपूच्या वधासाठी नरसिंह ज्या लाकडी खांबातून प्रकटला त्या खांबाला कालांतराने पालवी फुटली व त्याचेच औदुंबर वृक्षात रूपांतर झाले. दत्तावतार नृसिंह सरस्वती हे औदुंबराखाली बसून नरसिंह मंत्राची उपासना करीत असत. माणगावच्या दत्त मंदिरानजीकही औदुंबराची अशी दोन झाडे आहेत.
इ.स. १९१४ मध्ये टेंब्ये स्वामींचे महानिर्वाण झाल्याने नारोपंतांना त्यांचा विरह सहन होईना. त्यावेळी त्यांना पादुकांचा दृष्टांत झाला व त्यात टेंब्ये स्वामी आहेत, याचा आभास झाला. दृष्टांताप्रमाणे त्यांनी मुंबई येथून पादुका तयार करून आणल्या व वैशाख शुद्ध द्वादशी, शके १८३८ म्हणजे इ.स. १९१६ रोजी येथे टेंब्ये स्वामी पादुका मंदिराची स्थापना करण्यात आली. सावंतवाडी येथील वास्तव्यात टेंब्ये स्वामी या मंदिराच्या मागे असलेल्या खोलीत मुक्काम करत, ही खोली आजही तशीच असून ती दररोज शेणाने सारवली जाते.
शहराच्या दाटीवाटीच्या भागात दोन्ही बाजूला असलेल्या इमारतींमधून या मंदिराकडे जाण्यासाठी मार्ग आहे. मुखमंडप, सभामंडप व गर्भगृह अशी या मंदिराची रचना आहे. येथील मुखमंडप व गर्भगृहावर शिखरे आहेत. मुखमंडप हा खुल्या प्रकाराचा तर सभामंडप हा अर्धखुल्या प्रकाराचा आहे. सभामंडपाच्या बाजूने भाविकांना बसण्यासाठी कक्षासने आहेत.
हा सभामंडप व मुखमंडप नंतरच्या काळात बांधलेला आहे. त्यामुळे मूळ मंदिरासमोर असलेला औदुंबर वृक्ष आता सभामंडपात आहे. सभामंडपाच्या पुढील भागात प्रदक्षिणामार्ग सोडून गर्भगृह आहे. या गर्भगृहाचे प्रवेशद्वार लाकडी असून द्वारपट्टीवर कलाकुसर केलेली आहे. गर्भगृहात एका वज्रपीठावर श्रीदत्तांची एकमुखी मूर्ती व त्याच्या मागे नारोपंतांची प्रतिमा आहे. येथे एकमुखी दत्तमूर्ती असण्याचे कारण म्हणजे पुराणे आणि महाभारतासारख्या इतिहासग्रंथामध्ये दत्तात्रेय त्रिमुखी नव्हे, तर एकमुखी आहे. नरसोबाच्या दत्तवाडीतून दत्तभक्तीची प्रेरणा ज्यांनी ज्यांनी घेतली ते सर्व सत्पुरुषही एकमुखी दत्ताचेच पूजन करत होते. वासुदेवानंद सरस्वती टेंब्ये महाराज यांनीही एकमुखी द्विभूज दत्तमूर्तीचाच पुरस्कार केला होता. असे सांगतात की पंधराव्या शतकानंतर एकमुखी दत्तात्रेयाबरोबरच त्रिमुखी दत्तात्रेयाची पूजा सुरू झाली.
या मंदिरात दत्त जयंतीचा उत्सव मोठ्या उत्साहात साजरा केला जातो. वैशाख शुद्ध द्वादशीला टेंब्ये स्वामी पादुका मंदिरांचा स्थापना दिवस असतो. यावेळी सकाळी ६ ते दुसऱ्या दिवशी सकाळी ८ वाजेपर्यंत विविध धार्मिक कार्यक्रमांचे आयोजन केले जाते. दररोज सायंकाळी ७ वाजता या मंदिरात आरती होते.
