清咸丰七年（1857年）二月，英国一队炮舰溯西江侵入梧州，勘测沿途航道情况，绘制海图。咸丰九年（1859年）正月，英法联合派出5艘轮船，载兵3千多，从广州侵入梧州，勘探梧州到内地航道情况。同治元年（1862年）十月，英国“黄浦”号炮舰沿西江经梧州入侵至藤县，再一次勘探西江航道情况，为进一步侵略梧州作准备。

    中日甲午战争后，清政府派李鸿章到日本议和。日方在和约底稿提出增开“广西梧州府”等7处地方为通商口岸，李鸿章以“湘潭、梧州土民，向来最恨外人，万一开口，易兹事端，地方官实难保护。”为由没有开放梧州。

    中法战争后，清政府急于求和，同法国签订和约，确认了法国在广西的特殊权益。英国即以此为借口，说清政府违背了中英《续议滇缅界、商务专款》（1894年），从而提出新的勒索，其中包括西江对外通商。清政府在所谓“两害相形，则取其轻，且恐迁延不决，又将别起波澜，更难收拾”的考虑下，决定同意开放西江通商。清政府派驻英公使龚照瑗同英国交涉。光绪二十三年（1897年）二月四日，清政府代表李鸿章同英使窦纳乐在北京签订《中英续议缅甸条约附款》，附有西江通商的专条：“今彼此言明，将广西梧州府、广东三水县城江根墟开为通商口岸，作为领事官的驻扎处所，轮船由香港至三水、梧州，由广州至三水、梧州往来，由海关各酌定一路，先期示知······”。六月五日，李鸿章和窦纳乐在北京互换条约文本，条约正式生效，并通知两广总督、广东和广西抚臣、粤海关督。梧州成立海关，英国人担任海关税务司。

    英国以保护侨民在梧贸易利益为名，随之在白鹤山购地建领事署，以购筑侵略中国的又一个桥头堡。据有关资料显示，英国人购买白鹤山及附近两个山头所需付出的地价，仅"二十四千铜钱"而已。按清末银元1元兑换制钱1000文的规定，"二十四千铜钱"即银元24元。当时，在正常年景下，1元钱只能买中等米25斤左右。换言之，白鹤山及附近两个山头的地价，仅等于600斤米的价值而已！清朝地方官吏的媚外与愚昧，委实令人扼腕。

    白鹤山位于浔、桂二江交汇处，昔称"鹤奔岗"或"飞鹤岗"。该山自古以来就是梧州的名胜古迹，"鹤岗返照"即位列苍梧八景之一。

    白鹤山上的英领事署占地面积1500平方米，建筑面积约1000平方米，砖木结构，四边有走廊相通，前门有7条砖柱，从大门进去有厢房、办公室、住所等，屋面为琉璃瓦，建筑形式兼有中西方风格。

    从光绪二十一年（1895年）至宣统三年（1911年），英国分别派博诺德（E. P. Bennett）、谢立山（Alexander Hosie）、赫思义（P. F. Hausser）、金德瑞（H. F. King）、奥泰蔚（H. A. Ottewill）为驻梧领事，打理署务。法国、意大利、比利时、奥匈也在梧州派驻领事。光绪二十五年（1899年），意大利派福罗秘车利(Z. Volpicelli)为驻梧领事。光绪三十三年（1907年），法国派伯乐福(F. Pelofi)为梧州领事。光绪二十八年（1902年）八月至宣统元年（1909年），比利时派韩蔓(Th. Hamman)、李百协(J. Bribosia)、简森斯(Francis Janssens)为驻梧州领事，均由驻港领事兼。奥匈驻梧州领事均由英国驻梧领事兼。

    领事署山下竖立“游人不准登山”的牌子，禁止中国人上山游览。民国8年（1919年）十二月十六日，广西军马均部下秦得标排长及28名士兵运解各种枪弹军服到梧州。他们到三角咀一带游玩，不知白鹤山“游人不准登山”，仍上山游览。英国领事哨兵喝令这些中国兵离开，秦得标与英国人争吵起来。英国巡捕格罗夫斯出来干涉，放出狼狗咬人，秦得标被迫开枪打死狼狗，还打伤巡捕头部，英国领事史密斯闻声出来干涉，秦得标命令士兵把英捕和领事押解回营。梧州镇守使黄培桂一听消息着了慌，赶忙将英捕格罗夫斯送去思达医院治疗，并拘捕秦得标等人。英国领事要黄培桂答应条件后才回领事馆，英领事回署后马上去电给英国驻广州总领事。英总领事即发电报给广西、梧州当局进行威胁，又由香港开来“摩轩”、“摩扶”两艘军舰示威，非要谭督及马均统领亲自来向英领事、英捕道歉不可。后经陆荣廷同英方协商，决定由马均统领具书向英领事道歉，并代表士兵亲自向领署受伤巡捕道歉；聚集梧州兵士到江滨向英旗行礼，将行礼仪式拍照制图订成小册子交给英国政府；梧州炮台鸣礼炮21响，处死秦得标，12名士兵被永远监禁；赔款万元。三月二日，梧州士兵列队站在江滨，向英国国旗行军礼，梧州炮台也鸣礼炮21响。这件辱国事件发生后，梧州群情哗然，纷纷起来示威抗议，充满了对侵略者的刻骨仇恨。

    白鹤山的收回缘起于1925年震惊中外的"五卅惨案"及其后发生的省港大罢工。民国11年（1922年）一月，香港海员大罢工，梧州海员积极响应，成立“省港轮船工会梧州分会”，进行一个多月的罢工，梧港交通为之中断，沉重打击了英国势力。“五卅”、“沙基”惨案、香港大罢工相继爆发后，梧州人民积极投入反帝爱国运动，组织梧州各界对外协会，到梧州善后处及广西交涉署请愿，实行对日经济绝交，检查没收英日货物，各校学生举行大规模示威游行，坚决要求取消外国在梧州的特权。1925年，“五卅”一周年纪念日，梧州各界声援上海“五卅”运动和广州沙基惨案，举行示威游行，游行群众包围英国驻梧州领事署，抗议英方暴行。“所有在英领署工作的华人，一律都辞退出来，弄得英国领事很惊慌的逃下兵舰，退回香港，以后一直不敢回来。——-因为没有中国人的帮助，尤其是住在那相当高的山头上，食饭挑水，都成问题。”（黄绍竑：《五十回忆》）

    英国领事撤走后，领事署房屋园林内无人管理，一天天地荒芜。英国政府为此事多次同广西省当局交涉。到了1928年，英国政府和广西省当局对于梧州白鹤山英国领事署这一"悬案"，双方都觉得有尽快解决的必要。是年5月，新桂系集团前期的第二号人物，时任广西省政府主席的黄绍弘视察县政到梧州，巧遇英国驻广州总领事毕约翰，即与其磋商收回白鹤山事宜。11月，黄绍弘赴粤再度与毕约翰谈判并最终达成协议：英国方面交回白鹤山及附近两个山头；广西省政府予以补偿建筑费港币25000元。

    “广州的英国总领事，到我广州葵园公馆，同我交涉，愿意将梧州领事馆交还中国，但是要广西省政府补偿建筑费港币25000元。并说，这都是二三十年前的价值，有当时单据为凭，没有一点浮报。我随即命随从人员当面点交港币25000元，中间有500元的、100元的、10元的、5元的包了一大包。英领事退回英文正本一份、契约二份。十二月十一日，朱兆莘交涉员复函给壁约翰《关于让回梧州英领署产业》一案，附契据二件，均经阅悉，本交涉员当即将此案换文，连同契据等件，就近送交广西省府黄主席绍竑接收。收复梧州英领署，英国的政治势力退出了广西。”（黄绍竑：《五十回忆》）

    1929年夏，粤桂构兵，英领事旧址常为军队驻扎。1930年7月，市政府呈准辟为公园。1931年3月，举行开幕典礼，名曰“河滨公园”。1932年，领事署旁竖有“还我河山”石碑，叙述梧州人民反帝斗争驱逐英领事人员和购回领事署建筑、建立河滨公园的经过。