有關謝姓寶樹堂號的來歷，傳聞頗多。
據《世說新語》記載：
謝太傅問諸子侄，子弟亦何預人事，而正欲使其佳？諸人莫有言者。
車騎答曰：譬如芝蘭玉樹，欲使其生於階庭耳。
這段文字的意思是：東晉太傅謝安問他的諸子侄們：
子弟們怎麼這麼早就介入社會生活？而今我正想讓大家成長得更成熟更美好！
一時大家都答不上來。只有東晉名將車騎將軍謝玄作了回答：
這正是要他們像美麗的芝蘭玉樹一樣，生長在我們庭院台階前啊。
謝安的問話，體現老太爺鍾愛少幼晚輩之情。
而謝玄的答話則顯然含有殷切盼望子弟後生們早早建功立業，
表現了儒家積極入世治國平天下之胸襟。
前面曾說玉樹亦即寶樹。
原多用以比喻姿貌秀美、才氣優異之人。
經謝玄此次使用之後，這詞被賦予專指優秀貴族子弟之涵義，甚至于多指謝氏優秀子弟。
到了唐朝文學四傑之一的王勃，在『滕王閣序』中寫有 非謝家之寶樹，接孟氏之芳齡這一名句，
經過廣泛傳誦與認同，寶樹一詞便逐漸成為謝氏的特有標，
謝氏后裔以寶樹作為堂號，也變成是順理成章之事。
它既有激勵子孫奮發進取的精神力量，又有卓越建樹者自豪的象徵。
寶樹堂來歷，還有幾種記錄于譜牒或流傳于民間的傳說：
據『百姓考』：
東晉時，謝安一門稱貴，顯赫當朝，極盛一時，五更早朝，朝房前一大樹掛滿謝氏之燈籠，燦爛奪止。
一日，帝見而稱之曰：真寶樹也。其後謝族遂以寶樹堂為堂名。
一說謝安家鄉宗祠后面，栽有二株瓊花，枝葉繁茂，蓋滿宗祠，正當花盛時節，
孝武帝路過見狀，讚曰此寶樹也。后起堂名為寶樹堂。
晉太元三年(378年)，謝安年老辭朝，孝武帝駕臨其寓、謝安焚香恭迎。
孝武帝觀堂前生枝瑞柏，茂盛極彩。說：真謝家寶樹也。
嗣后，謝氏以寶樹堂為堂名，在建立的宗祠內，橫匾書寫寶樹傳芳，大
廳中供奉始祖祭祀龕上則橫寫寶樹堂。
廣州市中山文獻館的『謝氏宗譜』記載：
晉穆帝升平五年，一日，穆帝召見謝安時，命桓伊奏樂唱歌。
恒伊撫箏唱怨詩曰：為君既不易，為臣亦獨难，忠信事不顯，乃有見穎患，周公佐文武，
金滕功不刊，推心輔王政，二叔反流言。
謝安聽罷，泣下沾襟，穆帝也有愧色。謝安返家後，穆帝親臨其寓。
帝見堂前瑞柏，茂盛極彩，讚曰：寶樹也。並御書寶樹堂三字賜給謝安。
該宗譜中還附有穆帝御賜的寶樹堂三字，
說是仿自謝氏家乘古刻本。
