बाळगंगा नदीच्या काठावर, डोंगरदऱ्यांच्या कुशीत वसलेले खरोशी येथील केळंबादेवीचे स्वयंभू स्थान हे लाखो भाविकांचे श्रद्धास्थान आहे. केळीच्या झाडातून प्रकट झाली म्हणून या देवीला केळंबादेवी हे नाव पडले. ही जागृत देवी नवसाला पावणारी व हाकेला धावून जाणारी आहे, अशी भाविकांची श्रद्धा आहे. नवरात्रीचे नऊ दिवस येथे मोठी यात्रा असते. पेण तालुक्यातील सर्वात मोठी यात्रा म्हणून ती प्रसिद्ध आहे. या यात्रा कालावधीत सुमारे पाच लाख भाविक देवीच्या दर्शनासाठी येतात, असे सांगितले जाते.
देवीच्या स्थानाची आख्यायिका अशी की फार पूर्वी खरोशी गावाच्या सीमेवरील जंगलात केळीचे एक बन होते. येथील एक ग्रामस्थ घरातील शुभकार्यासाठी केळीची पाने आणण्यासाठी सध्या मंदिर असलेल्या ठिकाणी केळीच्या बनात आला होता. केळीची पाने तोडत असताना त्याच्या हातातील कोयत्याचा घाव चुकून खोडाला लागला व अचानक त्यातून रक्त येऊ लागले. ते पाहून तो ग्रामस्थ भयभीत झाला व तेथून गावात येऊन त्याने ग्रामस्थांना हा 
प्रकार सांगितला. खात्री करण्यासाठी म्हणून काही ग्रामस्थ तेथे गेले असता त्या झाडातून भळाभळा रक्त वाहत होते व झाडाच्या बुंध्याशी असलेला पाषाण हळूहळू वर येत होता. हा सर्व प्रकार ग्रामस्थांनी त्यावेळी एका साधूला सांगितला. त्या साधूने या पवित्र ठिकाणी आदिशक्तीचे स्थान असल्याचे सांगितले. केळीच्या झाडातून प्रकट झाली म्हणून ही देवी केळंबादेवी या नावाने ओळखली जाऊ लागली. त्यानंतर ग्रामस्थांनी याच जागेभोवती मंदिर बांधून देवीची पूजा–अर्चा करण्यास सुरूवात केली.
मुंबई–गोवा महामार्गावर पेणजवळील जिते गावापासून जवळ असलेल्या खरोशी येथील डोंगरावर केळंबादेवीचे मंदिर आहे. असे सांगितले जाते की इ.स. १६०७ मध्ये येथे प्रथम मंदिर बांधण्यात आले होते. त्यानंतर काही 
वर्षापूर्वी या जीर्ण झालेल्या मंदिराचे नूतनीकरण व जीर्णोद्धार झाल्यानंतर मंदिराला सध्याचे स्वरूप प्राप्त झाले आहे. पायथ्यापासून मंदिरापर्यंत येण्यासाठी सुमारे १५० पायऱ्या आहेत. या मंदिराची रचना वैशिष्ट्यपूर्ण आहे. बहुमजली असलेल्या या मंदिराचा भार केवळ चार खांबांवर आहे. येथील सभामंडप हा खुल्या स्वरूपाचा आहे. या सभामंडपाच्या मध्यभागी देवीचा लांब व रुंद असा स्वयंभू पाषाण आहे. येथे वेगळा गाभारा नाही. पाषाणावर देवीचे नाक, डोळे उमटलेले दिसतात. या पाषाणाची दरवर्षी उंची वाढते, अशी भाविकांची श्रद्धा आहे. उत्सवकाळात या पाषाणावर प्रेमळ भाव असलेला देवीचा चांदीचा मुखवटा ठेवला जातो. येथे जवळच आणखी एक पाषाण दिसतो. त्याला गणपतीच्या चेहऱ्याचा आकार आहे. येथील वैशिष्ट्य असे की या बहुमजली मंदिराच्या भोवताली केळीची आणि दुर्मिळ असलेल्या बेलाची भरपूर झाडे आहेत. उंचावर असल्यामुळे या मंदिराच्या सभामंडपातून बाळगंगा नदीचे पात्र व त्याच्या आजूबाजूच्या परिसराचे विहंगम दृश्य दिसते.
केळंबादेवीचा नवरात्रोत्सव दरवर्षी मोठ्या उत्साहात साजरा केला जातो. या नऊ दिवसांत येथे मोठी यात्रा असते. स्वयंभू व जागृत देवस्थान असल्यामुळे लाखो भाविक या कालावधीत नवस फेडण्यासाठी व देवीच्या दर्शनाला येतात. यामध्ये पेणसह पनवेल, उरण, अलिबाग, ठाणे आणि मुंबईतील असंख्य भाविकांचा समावेश असतो. या यात्रा कालावधीत मंदिरापासून सुमारे दोन किलोमीटरपर्यंत वाहनांच्या रांगा लागलेल्या असतात. याशिवाय विविध वस्तूंच्या विक्रीची शेकडो दुकाने लागलेली असतात. घटस्थापनेच्या दिवशी देवीची पालखी वाजत–गाजत देवीच्या मंदिरात आणली जाते. या नऊ दिवसांत पालखी मंदिरात असते. नवव्या दिवशी पालखी मंदिरातून निघून टाळ–मृदुंगाच्या तालात, गुलाल–बुक्का उधळत, मिरवणुकीने गावात आणली जाते. अनेक भाविक नवसपूर्तीसाठी नवरात्रीचे नऊ दिवस या मंदिरात वास्तव्य करून असतात. नवरात्र उत्सवाव्यतिरिक्त दर मंगळवारी देवीच्या दर्शनासाठी हजारो भाविक येतात.
