కైవార పట్టణాన్ని మొదటిలో ఏకచక్రపురంగా పిలిచేవారు. దీనిని గురించి మహా భారతంలో కూడా చెప్పబడింది. పాండవులు తాము అజ్ఞాతవాసం చేసే సమయంలో ఈ ప్రాంతంలో తలదాచుకొన్నారు. ఇతిహాసాలమేరకు ఈ ప్రదేశంలోనే పాండవులలో ఒకడైన భీముడు ప్రజలను హింసిస్తున్న బకాసురుడనే రాక్షసుడిని చంపి ప్రజలకు ఎంతో మేలు చేశాడు. ఈ ప్రాంత సమీపంలో కల ఒక గుహలో ఇప్పటికి ఆ రాక్షసుడి అవశేషాలు కప్పబడి ఉన్నట్లు చెపుతారు. శివరాత్రి సమయంలో బకాసురుడి రక్తం ఇంకా చిందుతూనే ఉంటుందని స్ధానికులు చెపుతారు. సంగీత వాయిద్యాలతో కూడిన ఒక చక్కటి తోట, చిన్న జంతు ప్రదర్శానాలయం, పంచ పాండవుల పేర్లతో అయిదు కాటేజీలు ఈ ప్రాంతంలో కలవు. ఈ ప్రదేశంలో అమరనారాయణ దేవాలయం, భీమేశ్వర దేవాలయం, యోగి నారాయణ ఆశ్రయం ప్రధానంగా చెప్పవలసిన పర్యాటక ప్రదేశాలు. పర్యాటాకులు వీటిని అధిక సంఖ్యలో సందర్శిస్తారు.