據史料記載，樂(lè )安建縣于南宋紹興十九年（公元1149年），由崇仁、永豐兩縣柝地而置，以樂(lè )安鄉名縣，駐地鰲溪鎮。相傳早在北宋乾道三年（公元997年），有詹姓人氏遷居于鰲溪鎮，此地原僅有數戶(hù)鐘姓人氏居住。詹姓人氏在四面環(huán)繞的群山中發(fā)現一塊長(cháng)滿(mǎn)蘆葦、較為平坦的盆地，視為風(fēng)水寶地，遂大舉遷徙于此繁衍生息，逐漸取代了鐘氏。稱(chēng)此地為詹墟，因河中有一塊巨石，酷似鰲魚(yú)，故稱(chēng)鰲溪。

據《樂(lè )安民國風(fēng)云》一書(shū)介紹：到民國，縣城鰲溪鎮形成了游、何、元、詹為主四大姓氏，輔之樂(lè )、陳、胡、李、鄒、黃六姓氏的格局，這10姓人口占縣城總人數的90%以上。

這些姓氏以宗祠為中心，形成固定的居住區域，如詹氏在蕪塘巷四周；游氏環(huán)繞寶塔巷，居于小南門(mén)和南門(mén)巷；元氏大都居住在北門(mén)和東門(mén)巷；何氏居民主要居住在西門(mén)巷。

民國時(shí)期，縣城主要街道為東門(mén)口至衙前巷，全長(cháng)約3華里，街道中心鋪長(cháng)條砂崗巖石，沿街有店鋪一百來(lái)戶(hù)，多數為“前店后房”結構。衙前巷是該縣唯一保存比較完整的砂崗巖條石路的街巷，蕪塘巷的司馬第由三座門(mén)門(mén)坊穿插，顯示了詹氏家族不凡的氣度和人文底蘊。清末民初，樂(lè )安游氏富甲一方，經(jīng)營(yíng)傳承數代人的“游泰順”商號是縣城最大的商號，其在省城南昌有三家分號，樂(lè )安周邊鄉鎮還設立了分店和毛邊紙作坊17處，穿過(guò)游氏總門(mén)，可看見(jiàn)這兩處宗祠建筑。

“游氏大祠”始建于明代，清代維修過(guò)，周恩來(lái)同志曾在此居住。1932年8月17日，紅一方面軍攻克樂(lè )安城，當天晚上，蘇區中央局在周恩來(lái)住地“游氏大祠”召開(kāi)縣城商人會(huì )議，宣傳黨的工商業(yè)政策，為中央蘇區做出了樣板。次日，紅一軍團指戰員開(kāi)赴宜黃，乘勝攻克了宜黃城。

樂(lè )安縣城還有大元巷的“毛澤東同志舊居”，在撫州，只有樂(lè )安縣城有保存完整的兩位領(lǐng)袖人物舊居。1932年8月，毛澤東在樂(lè )安縣城最后一次指揮了中央蘇區第四次反“圍剿”前期的一次戰役——“樂(lè )宜戰役”。