開封大相國寺素有五百羅漢之說，《東京夢華錄》載：“寺三門閣上并資圣門，各有金銅鑄羅漢五百尊、佛牙等……”孟元老在東京生活幾十年，對大相國寺是非常熟悉的，靖康之難后“避地江左”，“暗想當年”、“仆今追念”，所載按理不會有假。如此推論，當時大相國寺絕非五百羅漢，應有千尊。近讀宋人筆記，心中疑團才得以消除。
據《石林詩話》載，元豐年間，久旱無雨，宋神宗在宮中祈禱多次。夢有一僧騎馬飛馳空中，口吐云霧，化為傾盆大雨。第二天，宋神宗命人尋夢中之人，在大相國寺三門五百羅漢中第十三尊找到那僧。《苕溪漁隱叢話》載：“相國寺羅漢，本江南李氏財物，在廬山東林寺。曹翰下江南，盡取其城中金帛寶貨，連舟百余，私盜以歸，無以為名，乃取羅漢每舟載十許尊獻之，詔因賜相國寺，當時謂之押綱羅漢。”
以上可以看出，大相國寺在宋神宗時從廬山東林寺運來了五百羅漢，安放在三門。這是一次。
另一次往大相國寺運送羅漢是在宋真宗年間。明李濂《汴京遺跡志》載：“宋真宗咸平四年１００１年，增建翼廊、三門、前樓，迎取穎川郡銅羅漢五百尊置于閣注：資圣閣上。”《大相國寺碑銘》中也言：“前樓眾圣，即穎川所迎五百羅漢也。”
可見，北宋時期，大相國寺共安置了兩批五百羅漢，共計千尊。
金開興元年１２３２年臘月，蒙古遣使商議夾攻金人，于次年抵汴京。鄒伸之《使北日錄》記載：“次日往相國寺，寺門成劫灰……后一閣參云，凡三級，榜曰資圣之閣，上有銅羅漢五百尊。”可以看出金末汴京被蒙古攻陷后大相國寺遭劫，而五百羅漢猶在。另五百羅漢可能在兵火中被毀。
《汴京遺跡志·藝文志》卷二十三中載元人陳孚《登相國寺資圣閣》詩云：“大相國寺天下雄，天梯縹緲凌虛空。三千歌吹燈火上，五百纓縵煙火中……”從此詩可看出，元初時，大相國寺，尤其是資圣閣，還相當雄偉，并且宋代安置在資圣閣上的五百銅羅漢還依然完整。
到了清代，重修大相國寺，寺內新建了八角羅漢殿，常茂徠在《相國寺紀略》中記載：“……迂回周折，左右五百羅漢尊，形態如生。”清人筆記中也有“相國寺有羅漢亭，內外周圍五百尊，塑像各別，一無重復”的記載。１９２８年，相國寺八角殿改為河南美術館，殿中羅漢像，絕大部分被毀壞，僅有少數銅像移至博物館。
開封博物館現存有大相國寺羅漢像１２尊，但絕非宋代五百羅漢中的１２尊，何以為證﹖因館藏羅漢像底座皆有“明崇禎年間總兵陳永福及夫人鑄造”字樣。由此可以推斷，清人常茂徠當時看到的五百羅漢已非宋代之物了。北宋五百羅漢的消失年代從以上史料中可以推測：從元朝中后期至明朝前中期。是毀于兵火，還是人為破壞，或者散落民間，長埋地下﹖已無從考證，不得而知，宋代五百羅漢下落成了汴京之謎。