賴氏家族為嘉義地區諸羅名門，係至第一代賴斌來來台開墾三界埔（今嘉義縣水上鄉三界村）等處墾殖，
後移至崙仔頂庄（今嘉義縣中埔鄉和睦村）以農為業，在嘉義八掌溪畔發展起來，其後二、三代定居於此持續農耕，
奠定日後發展豐厚的基礎。
根據嘉義縣志記載，賴家至第四世代，已開闢田地千餘甲，引八掌溪之溪水灌溉，耕作人數已達數千人之多。
第四世後裔賴時輝移居至嘉義市布街（今光明路），經營賴集義大租館，廣達六庄，續墾百餘甲，
賴時輝以傳分長房賴世英(仁)、二房賴世良(義)、三房賴世陳(禮)、四房賴世觀(智)、五房賴世貞(信)分五房記號，
為輩份順序，開展家族支派。
光緒二十年(1984) 賴家因家族成員相繼過世，族產房派糾紛，導致賴智英搬離古厝於嘉義大街東邊(今吳鳳北路、
公民路與中正路之間)，另建「崇祀堂」大厝，建立「仁記」新房派。
按 : 賴時輝（1819-1884）小時候家境清苦，15歲開始做跟人學習生意，往來於福建、浙江兩地、
從事藥材的買賣。因為道光年間地方擾亂，貨物漲價，而他配運藥材得利，而漸漸致富。
致富後德賴時輝，特別能體會貧窮人家的心情，他出錢設置義倉、育嬰堂從事地方慈善救助；修建堤防、修建義墳興辦公共事業。
在嘉義城民的眼中，他是一位急公好義，樂善好施的大好人，甚至，有窮人家無力埋葬，賴時輝也都慷慨解囊，捨棺修墳。
同治元年（1862）四張犁人（今台中縣四張犁）戴潮春起兵造反，亂事擴及到嘉義城，戴軍三度圍攻嘉義城，
當時賴時輝主保安局，他便號召鄉勇，加以軍事訓練，又義不容辭的提供藥品及補給品。
戴潮春亂事平定之後，知縣上奏請議表揚有功人士，
賴時輝被封為藍翎誥授奉政大夫（五品官）……..
賴時輝（1819-1884），字夢修，號省齋。嘉義縣公館莊（今中埔鄉和睦村）人，後遷居嘉義市布街，懸壺濟世。
在同治元年（1862）的戴萬生事件中，嘉義縣城被圍攻三年，援絕糧斷。賴時輝主持保安局，協助捐資募勇，辦理團練。
事件過後，以領導民眾守城有功賞戴藍翎，並以即用分府之職，委辦嘉安總局。
賴時輝生平重視慈善事業，經常造橋鋪路、救助貧民。
國華街靠近中山街的部份在清朝時期發展逐漸發展起來，人稱新店街，乾隆29年(1764)的《續修臺灣府志》記載
新店街：西門外街尾橋頭，算是諸羅縣城西門外的一處熱鬧聚落，這個地位居南方的街尾，所以又稱新店街尾。
府路巷據說是由嘉義仕紳賴時輝與陳熙年出資所建，從新店尾出發，可通往台南府城的道路，
上鋪石板，大大提升嘉邑與府城間的交通便利性，
賴時輝共生有五子，皆登科甲。
賴家雖分五房，因二房、三房、五房都英年早逝，賴時輝五子中僅有賴世英與賴世觀跨至日治時期，
故僅大房賴世英的賴仁記與四房賴世觀的賴智記，能維持家族的勢力。
賴世觀（1857－1918），字士仰，號東萊，又號玄遊。
生於清咸豐七年（1857），幼時不喜與群童嬉戲，於七歲時入學，十五歲時便善於賦詩。
光緒三年（1877）時以批首取進為臺灣府學生員，二十三歲時補廩生。
中法戰爭期間曾協助處理團練總局事宜，後來在他三十歲時因獻計捕賊有功而受賞五品職銜，
之後在三十二歲時經臺灣巡撫劉銘傳奏准擔任訓導一職。
而在光緒十八年時他又以首名的成績考取臺南府學歲貢生，赴國子監肄習部銓後分發儒學教職。
臺灣割日後，日方曾欲任命為廳參事，賴世觀堅持不就，僅擔任西區民選保正，
後來日方又授予紳章（1897年），之後又因其討伐土匪有功而獎賞之。
晚年隱居研習釋道之學，並有造橋修廟、印刷善書等善行。
曾著有《賴士仰廣文筆記》、《諸羅漫談》、《東萊詩文集》、《乙未嘉城淪陷記》等書，
但多已不傳，僅有數篇詩文流傳至今。
在文壇上有諸多古詩創作的賴惠川（1887- 1962） 本名尚益，以字行，號頤園，別署「悶紅老人」 。
賴惠川為賴氏開基祖的第十七代子孫，渡臺祖賴恂行的第六代子孫，父親賴世英為清代歲貢生，
賴惠川排行第四，是賴世英第二任太太鍾惜娘的獨生子。得年 76 歲。
賴惠川的祖父賴時輝、父親賴世英，以至賴惠川，三代俱有文名，是嘉義地方有名的書香世家，
賴惠川家學淵源，工詩詞，自稱為「悶紅老人」 ，取「綠悶紅愁」之意，文館因名「悶紅館」 ，
為與詩友唱和吟詠並講課授徒之所。
賴惠川的文集《悶紅館全集》共收有八部作品。
賴子清，父親賴世觀、祖父賴時輝，
與兄長賴雨若在文壇上均有傑出之表現。
