关于宝月台的来历，肇庆民间流传着一个有趣的传说。据传，宝月台原称补月台，由人力运土夯筑而成。宋皇佑中期（1058年左右），古端州开始筑土城墙时，原计划城墙取东向西，城廓要建成月字形，日从东升，月字城垣，取“日月穿城”之意。本来，城墙的设计图纸将城东的石头岗（今阅江楼处）、城西的龙顶岗两个制高点也划入城内。不料指挥筑城的官员没有按图纸施工，竟然将石头岗和龙顶岗置于城外，将设计为月字形的城廓建成了日字形。

    端州的城墙竣工后，新城图样呈送到北宋皇帝那里。那些懂得军事的军机大臣看后不禁大惊，他们认为这座新城垣已经失去军事上防御的价值。因为新城在石头岗和龙顶岗之间，一旦遇上战事，敌方只要占领这两座山岗，就可以俯视城内动静，在这两个制高点用强弩炮石攻击，府城很快就被攻破。

    一些懂得“天命”的钦差大臣到过肇庆府后，也连称端州这座方城要不得。理由是方城为日字形，有日但无月，城的北面有七星（岩），有星无月，言下之意是方城像日，日出，七星（岩）就没有光彩，没有光彩的地方就不能地杰人灵。端州的筑城官员听罢惟恐皇帝治罪，只好在北门的池塘中筑起一个“50余丈宽广的土台”，形如圆月，这样便是“日月合璧，七星耀彩”。这座“补月”台后就改称宝月台了