शिवशंकराचे उग्र व भीषण रूप म्हणजे भैरव. पंचमुखी शिवाच्या दक्षिणेकडील मुखालाही भैरव म्हणतात. तसेच तो शिवाचा एक प्रमुख गणही मानला जातो. शैव आगमांनुसार एकूण ६४ भैरवांचे आठ वर्ग असतात. त्या वर्गांच्या आठ प्रमुखांना अष्टभैरव म्हणतात. कालभैरव हा अष्टभैरवांपैकी एक आहे. काशीचा कोतवाल असे त्यास म्हटले जाते. श्रीवर्धनमधील कालभैरवनाथ मंदिर हे याच काशीच्या कोतवालाचे एक स्थान असल्याची भाविकांची श्रद्धा आहे. त्यामुळे काशीला केलेले नवस येथे फेडले तरी चालतात, असा भाविकांचा विश्वास आहे.
कालभैरवाच्या उत्पत्तीची पौराणिक कथा अशी की एकदा ब्रह्मा आणि विष्णू यांच्यात सर्वांत श्रेष्ठ कोण यावरून मोठा संघर्ष झाला. त्यावेळी भगवान शंकर शिवलिंगातून प्रकट झाले आणि त्यांनी त्या वादात मध्यस्थी केली. त्यावेळी ब्रह्मदेवाने शंकराचा अपमान केला. तेव्हा शंकराच्या क्रोधाग्नीतून कृष्णवर्णीय भैरव जन्मला. 
त्याने ब्रह्माचे शिवनिंदा करणारे पाचवे मस्तक तोडले. मात्र त्यामुळे त्यास ब्रह्महत्येचे पाप लागले. सर्व तीर्थांना जाऊनही ते नष्ट होईना, पण अखेर त्यास काशीत पापमुक्ती मिळाली. तेव्हापासून कालभैरव हा काशीत वास्तव्य करून आहे. ‘भारतीय संस्कृती कोशा’मध्ये कालभैरवाचा प्रार्थनामंत्र असा दिला आहे, ‘कपालमालिकाकान्तं ज्वालापावकलोचनम्। कपालधरमत्युग्रं कलये कालभैरवम्।।’ याचा अर्थ असा की रुंडमाळांनी शोभित, ज्याच्या डोळ्यांतून अग्निज्वाला निघत आहेत, ज्याच्या हाती कपाल आहे व जो अत्युग्र आहे, अशा कालभैरवाला मी वंदन करतो. यातून कालभैरवाच्या स्वरूपाची कल्पना येते.
श्रीवर्धन येथील कालभैरवासंदर्भात अशी आख्यायिका सांगण्यात येते की हरिहरेश्वर येथे कालभैरवाचे एक मंदिर आहे. येथील कालभैरवाची ख्याती सर्वदूर पसरली होती. ती कालभैरवाचा प्रमुख व काशीचा कोतवाल असलेल्या कालभैरवाच्या कानावर गेली. हरिहरेश्वर कालभैरवाचे कार्य समक्ष पाहावे या उद्देशाने काशीचा कालभैरव हरिहरेश्वरला भेटून काशीला परतायचे, असे ठरवून निघाला. 
हरिहरेश्वरच्या कालभैरवाला हे वृत्त कळताच काशीच्या कालभैरवाचे स्वागत करण्यासाठी तो उत्तरेकडे तोंड करून उभा राहिला; परंतु काशीचा कालभैरव श्रीवर्धनपर्यंत आला आणि पहाटेचा कोंबडा आरवला. त्यामुळे काशीचा कालभैरव श्रीवर्धन येथेच स्थिर झाला आणि त्याच्या स्वागतास उत्तराभिमुख झालेला हरिहरेश्वर कालभैरव उत्तरेकडे तोंड करून उभा आहे. त्यामुळे येथील कालभैरव काशीचाच आहे, अशी भाविकांची श्रद्धा आहे.
कालभैरवाचे श्रीवर्धनमधील या दक्षिणमुखी मंदिराच्या चारही बाजूने प्रशस्त आवार आहे. हे मंदिर प्राचीन आहे; परंतु त्याचा नेमका इतिहास अज्ञात असल्याने ते पांडवकालीन असल्याचे म्हटले जाते. मंदिर कोकणी स्थापत्यशैलीतील, दगडी बांधणीचे व कौलारू उतरत्या छपराचे आहे. चारही बाजूने भव्य जोते व मधोमध हे मंदिर आहे. जोत्यावरील वारली चित्रांमुळे मंदिराच्या सौंदर्यात भर पडते.
दर्शनी सभामंडप, मुख्य सभामंडप आणि गर्भगृह अशी मंदिराची संरचना आहे. दर्शनी सभामंडप अर्धखुल्या पद्धतीचा आहे. तेथे भाविकांना बसण्यासाठी कक्षासने आहेत. दीपस्तंभ हा दर्शनी सभामंडपाच्या मधोमध आहे. त्यास त्रिपुर स्तंभ असे म्हटले जाते. त्रिपुरारी पौर्णिमेला होणाऱ्या उत्सवात येथे शेकडो दिवे लावले जातात. त्या प्रकाशात मंदिर न्हाऊन निघते. याच दिवशी येथे होणाऱ्या तुळशी विवाहाला श्रीवर्धनमधील हजारो भाविक उपस्थित असतात. मुख्य सभामंडप बंदिस्त स्वरूपाचा आहे व त्यात भरपूर व मोठ्या खिडक्या असल्याने मंदिरात पुरेसा प्रकाश व हवा खेळती असते. आत लाकडी सजावट केलेली आहे. तेथे अनेक मोठमोठ्या घंटा आहेत. गर्भगृहाच्या दरवाजावर वरच्या बाजूला कीर्तिमुख आहे. गाभाऱ्यात कालभैरवनाथ व जोगेश्वरी माता यांच्या मूर्ती आहेत. या मूर्तींच्या एका बाजूला वीरभद्र, तर दुसऱ्या बाजूला क्षेत्रपालाची मूर्ती आहे. गर्भगृहाला प्रदक्षिणा घालण्यासाठी पुरेशी जागा आहे. प्रदक्षिणा मार्गावर कालभैरवाच्या रक्षकांची स्थाने आहेत.
आदिशक्ती जगदंबेचे सौम्य रूप असलेल्या शाकंभरी मातेच्या पौर्णिमेला म्हणजेच पौष पौर्णिमेला कालभैरवाची पालखी काढली जाते. यास देव पारधीला निघाले असे म्हटले जाते. हा कालभैरव मंदिरातील एक महत्त्वाचा उत्सव असतो. या दिवशी परंपरेने ठरलेल्या विशिष्ट भागात मिरवणुकीने पालखी नेली जाते. त्या जागेवर एक खूण ठेवली जाते आणि नंतर पालखी परतते. त्यानंतर माघ पौर्णिमेला तेथे देव आणावयास म्हणजे ती खूण आणावयास जातात. त्यावेळी तेथे मांसाहाराचा तसेच मद्याचा नैवेद्य दाखवला जातो आणि मग आल्या मार्गाने, लोकांकडील तसेच मानकऱ्यांकडील आरत्या घेत ही पालखी पुन्हा मंदिरात येते. कालभैरव या देवतेस मांसाहारी आणि मद्याचा नैवेद्य अर्पण करण्याची प्रथा आहे. त्याच्या उत्सव दिनी गावातून नोकरी–व्यवसायानिमित्ताने बाहेर गेलेले ग्रामस्थ आवर्जून येतात.
