सुमारे एक हजार वर्षांपूर्वी मच्छिंद्रनाथांनी पूर्वाश्रमीचे संकेत झुगारून जातपातविरहित नाथ संप्रदायाची स्थापना केली. मच्छिंद्रनाथांचे शिष्य गोरक्षनाथ यांनी या संप्रदायाला उत्कर्षाच्या उच्च पातळीवर नेले. त्यामुळेच देशात विविध ठिकाणी गोरक्षनाथांची अनेक प्राचीन व प्रसिद्ध मंदिरे पाहावयास मिळतात. यातील अनेक मंदिरे गुफा व गड स्वरूपातील आहेत, तर काही मंदिरे गावगाड्याचा भाग आहेत. यापैकीच एक मंदिर वसमत तालुक्यातील वाई गावात वसलेले आहे. येथे भरणारी बैलपोळ्याची जत्रा अतिशय प्रसिद्ध आहे.
सुमारे दोनशे ते तीनशे वर्षांपूर्वी या मंदिराची स्थापना झाली असावी, असा कयास इतिहास अभ्यासकांनी वर्तवला आहे. गावकऱ्यांच्या म्हणण्यानुसार, येथील बैलपोळ्याच्या यात्रेला प्राचीन परंपरा आहे. या मंदिराबाबतची आख्यायिका अशी की अकोला जिल्ह्यातील पीरमंगळूर येथील देशमुख घराण्यात जन्मलेल्या पनसाहेब या अवलियाने नाथसंप्रदायाची दीक्षा स्वीकारली होती. भुकेपुरते अन्न, झोपेपुरते आडवे पडणे आणि काहीही संचय न करणे असे त्यांचे फिरस्ती जीवन सुरू असतानाच ते या गावी येऊन राहिले. त्यांनी सर्वप्रथम एक लहानसे मंदिर बांधून येथे गोरक्षनाथांची बेलाच्या झाडाच्या लाकडाची मूर्ती स्थापन केली. त्यानंतर सन १९५१ साली गाडगेबाबांचे शिष्य यवतमाळ जिल्ह्यातील झाडगाव येथील रामभाऊ महाराज शिंदे यांनी कुरुंदवाड गावात मारुतीचे देऊळ बांधले व ते १९५७ सालापर्यंत तेथेच राहिले. 
त्यांच्या साधुत्वाची वाईच्या ग्रामस्थ्यांना भुरळ पडली व वाईकरांनी शिंदे महाराजांना वाईला येण्याची विनंती केली. त्यामुळे शिंदे महाराजांचा पुढील मुक्काम येथेच झाला. सन १९६४ साली शिंदे महाराजांनी येथील मंदिरात विश्वशांती यज्ञाचे आयोजन केले. त्यानिमित्ताने त्यांनी सुमारे चार फूट उंचीची गोरक्षनाथांची दगडी मूर्ती मंदिरात स्थापन केली. त्यांनीच या गोरक्षनाथ मंदिराचा खऱ्या अर्थाने उत्कर्ष केला, असे सांगितले जाते.
गावाजवळ असलेल्या या मंदिरास भक्कम तटबंदी आहे. या तटबंदीतील प्रवेशद्वारात डाव्या व उजव्या बाजूला दोन चौथरे आहेत. या दोन्ही चौथऱ्यांवर प्रत्येकी चार नक्षीदार स्तंभ आहेत. हे दोन्ही बाजूचे स्तंभ महिरप कमानीने जोडलेले आहेत आणि त्या स्तंभांवर सज्जे आहेत. या सज्जावर डाव्या व उजव्या बाजूला दोन आमलक आहेत. या दोन्ही आमलकांच्या मधे सलग तीन मेघडंबरी आहेत, ज्यात ब्रह्मा, विष्णू व महादेव यांच्या मूर्ती आहेत. मंदिराच्या प्रशस्त प्रांगणात विविध प्रकारचे वृक्ष आहेत. तसेच मागील बाजूला कोरीव पाषाणात बांधलेली प्राचीन विहीर आहे. येथेच शुचिर्भूत होऊन दर्शनाला जाण्याची जुनी प्रथा आहे.
सभामंडप व गर्भगृह अशी मंदिराची रचना आहे. मंदिरासमोर प्रांगणात वज्रपीठावर नंदीची मूर्ती आहे. या नंदीमूर्तीपुढे जमिनीवर कासव शिल्प आहे. सभामंडप प्रांगणापेक्षा काहीसा उंच आहे. त्याच्या समोरील बाजूस तीन प्रवेशद्वारे आहेत. तिन्ही प्रवेशद्वारास पाच सामायिक पायऱ्या आहेत. सभामंडपाच्या दर्शनी भिंतीवर मधील प्रवेशद्वाराच्या दोन्ही बाजूला चतुर्भुज प्रतिहारी द्वारपाल आहेत. तसेच डाव्या व उजव्या बाजूच्या प्रवेशद्वारांच्या बाजूला स्वागतसुंदरी शिल्पे रंगवली आहेत. तिन्ही प्रवेशद्वारांच्या द्वारशाखांवर व ललाटपट्टीवर पानाफुलांची नक्षी आहे, तर ललाटबिंबावर गणेश शिल्पे आहेत. प्रवेशद्वारांवर महिरपी तोरणे आहेत. सभामंडपास डाव्या व उजव्या भिंतीत आणखी दोन प्रवेशद्वारे आहेत.
बंदिस्त स्वरूपाच्या या सभामंडपात उजेड व हवा येण्यासाठी वातायने आहेत. सभामंडपात मध्यभागी दोन षटकोनी स्तंभ, तर गर्भगृहाच्या दोन्ही बाजूला दोन चौकोनी स्तंभ आहेत. हे चारही स्तंभ स्तंभपादावर उभे आहेत. या स्तंभांवर उठावशैलीतील पानाफुलांची नक्षी व मयूर शिल्पे आहेत. चारही स्तंभांवर खाली व शीर्षभागी पद्मदलमंडल आहेत.
वितानावर चक्रनक्षी आहे. गर्भगृहाच्या द्वारशाखांवर
उभ्या धारेची नक्षी आहे. तेथील महिरपी तोरणात गणेश शिल्प आहे. गर्भगृहात वज्रपीठावर एकमेकांना महिरपी कमानीने जोडलेले आठ स्तंभ असलेले तीन मखर आहेत. उजव्या मखरात दोन शिवपिंडी व इतर दोन मखरात गोरक्षनाथाच्या दोन मूर्ती आहेत. यातील एक मूर्ती प्राचीन लाकडी, तर दुसरी मूर्ती पाषाणाची आहे. गर्भगृहाच्या बाह्यबाजूने प्रदक्षिणा मार्ग आहे.
सभामंडपाच्या छतावर चोहोबाजूने सुरक्षा कठडा आहे. त्यात समोरील बाजूला तीन मेघडंबरी व बाशिंगे आहेत. मेघडंबरीत व बाशिंगावर देवमूर्ती व शिल्पे आहेत. गर्भगृहाच्या छतावर चार थरांचे चौकोनी शिखर आहे. शिखराच्या प्रत्येक थरात चारही बाजूंना प्रत्येकी पाच देवकोष्ठके आहेत. त्यात विविध देवीदेवतांच्या मूर्ती आहेत. शिखराच्या शीर्षभागी आमलक व कळस आहे.
प्रांगणात मंदिरासमोर दिवंगत महंतांचे समाधी मंदिर आहे. या पंचकोनी मंदिरात महंतांची ध्यानस्थ मुद्रेतील मूर्ती आहे. मंदिराच्या छतावर चार थरांचे पंचकोनी शिखर आहे. शिखराच्या खालील चार थरात प्रत्येकी पाच देवकोष्ठके आहेत. शीर्षभागी आमलक व कळस आहे. 
मंदिराच्या बाजूला सांस्कृतिक कार्यक्रमांसाठी प्रशस्त सभागृह व मंगल कार्यालय, सेवेकरी व पुजाऱ्यांची निवासस्थाने, पाकशाळा, रथशाळा इत्यादी वास्तू आहेत.
‘बैलांची जत्रा’ हा येथील मुख्य वार्षिक उत्सव होय. बैलपोळ्याच्या दुसऱ्या दिवशी म्हणजेच करी दिनास ही यात्रा भरते. यावेळी लातूर, हिंगोली, परभणी, नांदेड आदी जिल्ह्यांतील शेतकरी आपली गुरे घेऊन गोरक्षनाथाच्या दर्शनाला येतात. मंदिराभोवती प्रदक्षिणा मारल्याने बैल वर्षभर निरोगी व स्वस्थ राहतात, अशी भाविकांची श्रद्धा आहे. दरवर्षी सुमारे पन्नास हजारांहून अधिक बैल गोरक्षनाथाच्या दर्शनाला आणले जातात. या निमित्ताने शंकरपट, कुस्ती आदी खेळांचे आयोजन केले जाते. याशिवाय येथे पौष पौर्णिमा ते वद्य पंचमी अशी सात दिवसांची यात्रा भरते. दोन्ही उत्सवांच्या वेळी परिसरात विविध वस्तूंची दुकाने सजून तात्पुरती बाजारपेठ उभी राहते. यात्रेत विविध मनोरंजनाचे खेळ, गृहोपयोगी वस्तू, कृषी अवजारे व उत्पादने, कपडे, इलेक्ट्रॉनिक वस्तू इत्यादी वस्तूंची खरेदी-विक्री केली जाते. यातून लाखो रुपयांची उलाढाल होते.
याशिवाय मंदिरात हरीनाम सप्ताह व वर्षभरातील इतर सण-उत्सवांचे आयोजन केले जाते. सर्व उत्सवांच्या वेळी मंदिरात भजन, कीर्तन, प्रवचन, महाप्रसाद, रथोत्सव व पालखी सोहळा आयोजित केला जातो. या उत्सवांच्या निमित्ताने राज्यभरातील अनेक भाविक देवाच्या दर्शनाला व नवस फेडण्यासाठी येतात.
