లోహాని గుహలు మండు లోని ఇతర శిల్ప శైలికి భిన్నంగా వుంటాయి. ఇవి కొండలలో తొలచిన చిన్న గుహలు. ఈ గుహలను శైవ యోగులు తమ నివాసాలుగా వాడుకునేవారు. ఒక రాతి లో నీటి ట్యాంక్ ను ఏర్పరచారు. అది ఈ గుహలకు ప్రవేశ ద్వారం గా కూడా వుంటుంది.
ఈ గుహలపై భిన్న అభిప్రాయాలు కలవు. కొందరు ఇవి యోగుల నివాసాలు అంటే మరి కొందరు ఇవి గుడులు అని వీటి లోని విగ్రహాలను తొలగించారని చెపుతారు. ఈ విగ్రహాలు ప్రస్తుతం హూశాంగ్ షా టూంబ్ లోని ధర్మశాల మ్యూజియం లో కలవు. ఈ గుహలలోని టెంపుల్స్ ను పడగొట్టి ఆ వస్తువులతో నగరం లోని ముస్లిం నిర్మాణాలు చేశారని చెపుతారు.