भुवनेश्वर से लगभग तीन किलोमीटर दूर बलुआ पत्थर की दो पहाड़ियाँ — उदयगिरि और खंडगिरि — तैंतीस शैलकृत गुफाएँ धारण करती हैं; अठारह उदयगिरि पर और पंद्रह खंडगिरि पर, जो दूसरी और पहली शताब्दी ईसा पूर्व में काटी गईं। ये मंदिर नहीं, लेण थीं — जैन मुनियों के लिए सादी शयन-कोठरियाँ, नीचे द्वार और एक ओर तकिये के लिए उठा हुआ ढालू फर्श। कुछ बड़ी हुईं: सर्वश्रेष्ठ रानी गुंफा दो मंज़िला आँगन है, जिसमें शोभायात्राएँ, नर्तक, हाथी और तपस्वी जीवन के दृश्य उत्कीर्ण हैं।
उदयगिरि की चौदहवीं गुफा हाथीगुंफा पर प्राकृत में, ब्राह्मी लिपि में सत्रह पंक्तियों का अभिलेख है, जो महामेघवाहन वंश के खारवेल का वर्ष-दर-वर्ष शासन-वृत्त देता है। यह अरिहंतों और सिद्धों को नमस्कार से आरंभ होता है — णमोकार मंत्र का एक रूप, और पत्थर पर उत्कीर्ण ऐसे आरंभिक मंगलाचरणों में से एक। इसमें उनके लोकोपयोगी कार्य, अभियान, और कलिंग से नंद राजा द्वारा ले जाई गई जिन-प्रतिमा की वापसी अंकित है।
भगवान लाल इंद्रजी ने 1884 में राजा को खारवेल के रूप में पहचाना; जायसवाल और बनर्जी का संस्करण, जो 1920 में एपिग्राफिया इंडिका में छपा, आज भी मानक पाठ है। विद्वान अभिलेख को दूसरी शताब्दी ईसा पूर्व से पहली शताब्दी ईस्वी के बीच रखते हैं। ग्यारहवीं शताब्दी में सोमवंशी शासन में खंडगिरि की सातवीं और आठवीं गुफाओं में तीर्थंकर और यक्षी प्रतिमाएँ जोड़ी गईं, और उन्नीसवीं शताब्दी के आरंभ में शिखर पर बना दिगंबर मंदिर पहाड़ी को आज भी पूजा में रखता है।

