బైజనాథ్ శివాలయం, ఈ ప్రాంతానికి చెందిన ఇద్దరు వర్తకులు 1204 ఏ.డి. లో గుర్తించారు. ఇది పాలంపూర్ పట్టణానికి 16 కి. మీ. దూరంలో ఉండి ఒక ముఖ్య ఆకర్షణగా పేరు గాంచింది. దీనిని గుర్తించిన నాటి నుండి ఇది ఎప్పుడు కట్టేదశలోనే ఉన్నది. ఈ ఆలయం హిందూ దేవుడు, శివుడికి అంకితం చేయబడింది.
ఈ ఆలయ మొగసాల పై ఉన్న శిలాశాసనాలు హిందూ దేవుడయిన,శివుని కోసం కట్టిన ఆలయమని తెలియచేస్తున్నాయి. ఈ ఆలయం యొక్క ప్రస్తుత నిర్మాణం మధ్యయుగ ఉత్తర భారత దేవాలయ నిర్మాణానికి ఉదాహరణగా చెప్పవొచ్చు.
ఈ ఆలయ గర్భగుడిలో స్వయంభూ శివ లింగం ఉండి, దీని పైన పొడవైన ఆలయ శిఖరం ఉన్నది. ఒక ప్రవేశద్వార మందిరం, భారీ పరిమాణంలో రెండు బాల్కనీలు కలిగి ఉన్న ఒక చదరపు మండపానికి దారితీస్తుంది. బయటి గోడలు మరియు గుడియొక్క బయటి తలుపుల మీద శాసనాలతొ కూడిన అనేక దేవతల చిత్రాలు ఉన్నాయి.
ఆలయంలో నాలుగు స్తంభాలతో ఉన్న ఒక చిన్న మొగసాలను, నందీశ్వరుని విగ్రహంతో మండపానికి ఎదురుగా చూడవొచ్చు.