Les premières traces dans l'Histoire remontent à l'âge du bronze. À l'époque du royaume de Văn Lang, la province de Cao Bằng fait partie de la région de Vũ Định (avec la province de Thái Nguyên). La ville de Cao Bằng devient la capitale du royaume Âu Việt(en) des Tày au IIIe siècle av. J.-C.Thục Phán, le roi d'Âu Việt, soumet le Văn Lang et forme le royaume d'Âu Lạc (dont la capitale est Cổ Loa).
Vers le Xe siècle, la région est fortifiée en raison de la proximité de la Chine. Durant les dynasties Lý et Trần (1009-1400), les provinces de Cao Bằng et de Lạng Sơn formaient le châu (district) Quảng Nguyên. Le district de Quảng Nguyên est annexé au Đại Việt en 1039 lorsque l'empereur Lý Thái Tông chasse Nùng Trí Cao, le chef des Nùng et des Zhuang.
Sous la dynastie Lê, la province connaît des révoltes dans les années 1430. En 1527, Mạc Đăng Dung, un capitaine de la garde impériale, fait un coup d'État et tue l'empereur Lê Cung Hoàng qui était déjà son fantoche pour prendre sa place. Mạc Đăng Dung est chassé du pouvoir en 1533 et fait place à l'empereur Lê Trang Tông mais il s'enfuit de la capitale Đông Đô (maintenant Hanoi) et se réfugie dans la province de Cao Bằng où il fonde la dynastie Mạc qui règne sur la région avec le soutien de la dynastie Ming. La capitale de ce royaume se situe à Cao Bình, à 12 km au nord de la ville de Cao Bằng. En 1644, lorsque les Mandchous font tomber la dynastie Ming pour instaurer la dynastie Qing, les relations de la dynastie Mạc avec son voisin du nord changent. Au début des années 1660, royaume se compromet avec un gouverneur de province déloyal et en rétorsion, l'empereur Kangxi retire sa protection. Apprenant ceci, le régent Trịnh Tạc — l'empereur Lê Huyên Tông n'ayant alors pas de réel pouvoir — envahit la province de Cao Bằng et chasse les Mạc qui se réfugient en Chine. Les Mạc tentent de réinstaurer leur royaume en 1677 mais sont défaits.
La province a été utilisée comme bastion par le Vietminh durant la Guerre d'Indochine. À l'automne 1950, devant la poussée des armées du général Giáp, le Général Carpentier, commandant en chef des troupes françaises en Indochine, décide de faire évacuer les troupes et les ressortissants européens de la ville de Cao Bằng et de les ramener sur Lạng Sơn, plus au sud, en les faisant transiter le long de la Route Coloniale no 4. L'opération tourne au désastre pour les Français dont les troupes sont anéanties dans une série d'embuscades dans la région de Đông Khê(en). Le Việt Minh remporte à cette occasion sa première grande victoire sur le Corps Expéditionnaire français (CEFEO).
Viêt Nam
