相傳為呂洞賓修仙得道的洞天福地。原名“佛手巖”“佛手庵”。因洞口外形酷似一巨大的手掌，使人產(chǎn)生佛法無(wú)邊的聯(lián)想。一些史志上又稱其為“巖憩庵”，“僧緣崖”。是古時(shí)候僧侶犯了戒律后，面壁思過(guò)的地方。如酒戒、色戒、殺戒等等。

傳辯唐代呂洞賓兩科舉不第，內(nèi)心十分郁悶，前來(lái)廬山游覽散心，走到廬山南麓，歸宗寺時(shí)題詩(shī)曰：“一日清閑自在仙，六神和合報(bào)平安，丹田有寶休尋道，對(duì)鏡無(wú)心莫問(wèn)禪”，表示一心向往功名，雖士途屢遭挫折，也決不會(huì)皈依佛道之門(mén)，不管旁人說(shuō)他是怎樣的奇材，要如何替度他成仙，呂洞賓一概沒(méi)興趣，唯一向往功名。

隨后，呂洞賓登上廬山來(lái)到黃龍寺，見(jiàn)很多善男信女對(duì)佛事虔誠(chéng)得了不得，又傳聞黃龍禪師茂林法力如何了得。呂洞賓根本不信，認(rèn)為是妖言惑眾。當(dāng)日天色已晚，呂洞賓請(qǐng)求在寺內(nèi)借宿一夜，夜里呂洞賓睡不著翻來(lái)覆去地想“什么法力無(wú)邊？”全是些騙財(cái)騙物，害人之舉罷了，我倒想看看你到底是真法力無(wú)邊，還是假法力無(wú)邊？于是乘夜色用劍擊刺盤(pán)坐練功的茂林禪師，結(jié)果劍不刃血。大師安然無(wú)恙皮毛未損，呂洞賓大驚，棄劍便拜連連請(qǐng)罪，懇求禪師指點(diǎn)出路，當(dāng)即寫(xiě)了一首悔過(guò)詩(shī)：“棄卻瓢囊槭碎琴，如今不煉永中生。自從一見(jiàn)黃龍后，始覺(jué)從前錯(cuò)用心。”還說(shuō)“我一生鄙視佛法，屢遭失敗。看來(lái)是不對(duì)的”。

于是品洞賓有意真心悔過(guò)，一改以前不信任佛道之行為，就來(lái)到這個(gè)人跡罕至的巖洞中，潛心思過(guò)，最后得漢鐘離的“長(zhǎng)生決”，“延命術(shù)”。練成“金液大丹之功”得道成仙。呂洞賓在歷史上實(shí)有其人。姓呂巖山西永濟(jì)人，生活在唐末，五代時(shí)期《全唐詩(shī)》中擁有其詩(shī)詞249首。是當(dāng)時(shí)著名的道士，自稱回道人。年幼熟讀經(jīng)史，十歲能文，但仕途坎坷一濟(jì)，屢考不北，遂浪跡江湖，創(chuàng)立“全真教”成為全真派北五祖之一。（北五祖：王玄埔，鐘離權(quán)，呂巖，劉操，王重陽(yáng)），時(shí)逢李唐王朝崇尚道學(xué)，唯道獨(dú)尊，呂祖軼事傳聞雀起，民間傳說(shuō)他集“劍仙、酒仙、詩(shī)仙、色仙”于一身，放浪不羈，棄儒學(xué)道，仗劍云游，扶弱濟(jì)貧，鋤暴安良。演義出“江難斬蛟”，“岳陽(yáng)弄鶴”，“三醉岳陽(yáng)樓”，“三戲白牡丹”（名妓）等風(fēng)流韻事，遍游名山大川，來(lái)往于仙凡二界。

廬山仙人洞是全國(guó)眾多呂祖巖中最出名的一個(gè)。毛主席多次來(lái)過(guò)這里。1959年夏，江青在仙人洞“仙路”旁，拍了一幅以錦繡峰御碑亭為背景的照片，右上角攝取有蒼勁的松枝，映襯在夕陽(yáng)夕下的暮色之中，顯得十分蒼涼悲壯。1961年9月9日主席在“蘆林一號(hào)”居在時(shí)再次見(jiàn)到此照片，毛主席根據(jù)當(dāng)時(shí)國(guó)際國(guó)內(nèi)形勢(shì)（國(guó)際上共產(chǎn)陣營(yíng)的排擠，蘇聯(lián)撤回專家，國(guó)內(nèi)三年自然災(zāi)害。政治上與劉少奇的斗爭(zhēng)即將突起，借《為李進(jìn)同志所攝廬山仙人洞照抒發(fā)了自己的胸臆，在照片背面題了一首七絕“暮色蒼茫看勁松。亂云飛渡仍從容，天生一個(gè)仙人洞。無(wú)限風(fēng)光在險(xiǎn)峰”，顯示出偉人豪邁灑脫的精神風(fēng)貌，從此廬山仙人洞聲名遠(yuǎn)播。

據(jù)說(shuō)江青還為之和了一首詩(shī)，“江上有奇峰，鎖在云霧中。尋常駐機(jī)構(gòu)看不見(jiàn)，偶爾露真容。”其實(shí)這是一首寫(xiě)景詩(shī)，沒(méi)有多少政治意義，但“四人幫”被打倒后，卻被后業(yè)很多文人強(qiáng)拉硬塊，說(shuō)成是寫(xiě)意詩(shī)。詩(shī)中隱含著很大的政治野心。“江上有奇峰”是指江青本人；“鎖在云霧中”指延安時(shí)規(guī)定不讓她從政，所以只能搞搞攝影。“尋常看不見(jiàn)”指她一直隱藏在暗中，幕后指使篡權(quán)，等“文革”中老師們都整得差不多了，她才顯露出政治上的野心。“偶爾露出真容”。人們才看清她的“廬山真面目”露出好粗的狐貍尾巴。 故事傳說(shuō)得沸沸揚(yáng)揚(yáng)，使仙人洞名氣很大。