梧州市是一座有着2100多年悠久历史的古城。汉高后五年(公元前183年)南越王朝设苍梧王城。元鼎六年(公元前111年)，设置苍梧郡（因梧州多刺桐树，又称苍梧花，故以花名定郡名）。唐武德四年(公元621年)，始名梧州。明成化六年(1470年)，明宪宗在梧州创设中国历史上第一个总督府，辖广西、广东，梧州成为两广政治、军事中心。民国10年（1921年）始称梧州市。1927年梧州市政府成立，梧州为广西最早的省辖市。汉武帝初年，曾于梧州及今广东封开县一带设广信县（属交州苍梧郡）。后来，广信以西称广西，广信以东称广东，两广因此而得名。
梧州是岭南古都。虞舜时代（前2255～前2207年），全国划为12州，梧州属“荆州南境”之地。夏商周时代（前2000～前256年），梧州属百越（粤）地。周安王十五年（楚悼王十五年，前387年），梧州属楚。秦统一六国后，兵临五岭，挥师南下，开凿灵渠，进军岭南。秦始皇三十三年（前214年），始皇统一岭南后，置桂林、象、南海3郡，梧州属桂林郡（一说南海郡）。汉高后五年（前183年），赵佗称南越武帝，封赵光为苍梧王。同年，建苍梧王城，这是梧州建城之始，其时南越国占地“东西万余里”。元鼎六年（前111年），汉武帝灭南越国后，在其原属地上分置7郡：南海、苍梧、郁林、合浦、交趾、九真、日南，包括今广东广西大部分地区，北至湖南江永县，南至越南顺化市的广大地区。苍梧郡设置9个县：广信、谢沐、高要、封阳、临贺、端溪、冯乘、富川、荔浦。元封五年（前106年）增置辖猛陵县。郡治广信县苍梧王城。汉代苍梧郡所辖范围，在今广西东部、广东西部及湖南南部的连接地带，北到湖南江永县西南，西到广西荔浦县西荔水北，西南到广西苍梧县西孟陵，东南到广东肇庆市。汉武帝元封元年至元帝建昭四年（前110～前35年），曾把海南岛收归版图，设儋耳、珠崖两郡，所辖扩至海南岛。元封五年（前106年），武帝将交趾刺史部移治苍梧郡广信县，统辖岭南的苍梧等9郡，梧州成“岭南要地”，为岭南首府。
梧州市自建制以来，历汉、三国、魏晋南北朝，达700多年，一直为郡、县治所。至隋开皇三年（583年），改广信县为苍梧县。唐武德四年（621年），始称梧州。元至元十六年（1279年），梧州安抚司改为梧州路，设总管府，治梧州，辖苍梧县。明成化六年（1470年），明宪宗在梧州创建两广总督府，这是中国历史上最早的总督府，梧州成为两广政治、军事中心。清朝初年，梧州属广西承宣布政使司桂平梧郁道梧州府、广西省梧州府，为府、县治。梧州辖苍梧、藤县、岑溪、容县、怀集、北流、博白、兴业、陆川9县，郁林1州。清雍正三年（1725年），梧州改辖苍梧、藤县、岑溪、容县、怀集5县。民国元年（1912年），梧州隶属梧州军政分府，为府治。民国2年，广西废府为县，复置苍梧县，隶郁江道，为道治。民国3年6月，郁江道更名苍梧道，辖苍梧、桂平、郁林、信都、藤县、容县、岑溪、平南、贵县、武宣、博白、北流、陆川、兴业、怀集15县。民国16年6月，梧州设市政委员会。同年12月1日，梧州市政府正式成立，为省辖市。民国19年属苍梧民团区。民国21年7月，撤市复归苍梧县，治梧州。民国23年3月，属梧州行政监督区。民国29年后属第三区行政督察专员兼保安司令公署。
1949年11月25日，梧州解放。同年12月1日，中国人民解放军梧州军事管制委员会成立。1950年1月1日，梧州市人民政府成立。1955年7月24日，梧州市人民政府改称梧州市人民委员会。1958年7月，梧州市划归梧州专员公署领导，但梧州市人民委员会的政权机构不变，仍为省辖市、专区级机构。1960年10月，梧州地区专员公署与梧州市人民委员会合署办公。1961年5月，恢复地、市建制，梧州市仍为自治区辖市。1968年8月26日，梧州市革命委员会成立。1980年9月29日，恢复梧州市人民政府。1979年2月，梧州市设立万秀区、白云区、鸳江区、蝶山区。1984年9月，撤销鸳江区。1990年8月，撤销白云区。1984年2月，苍梧县由梧州地区划拨梧州市管辖。1984年6月23日，郊区重设。至此，梧州市辖苍梧县、万秀区、蝶山区和郊区。1997年4月，梧州市增辖藤县、蒙山县，代管岑溪市，辖区扩大为3县1市3区。2003年2月，梧州市辖区调整，撤销市郊区，设长洲区。
