阅江楼临西江而立，楼高二层，分东西南北四座，组成四合院式的整体建筑。中间是典型的岭南庭院。设有水池、假山以点缀，种有米兰、葵树。 阅江楼建于明代，原为石头庵，明崇祯十四年（1641年）改为阅江楼。
第一次国共合作期间，国民革命军第四军独立团团部曾设在此。叶挺为团长。在北伐战争中，独立团被誉为"铁军"。1959年，阅江楼辟为叶挺独立团团部旧址纪念馆。馆内除叶挺独立团团史陈列外，每年还展出各种类型的展览。
阅江楼西侧的"古崧台"现建有端砚陈列馆。
