在当地的土尔扈特蒙古族中，至今流传着有关这座古城的这样一个故事。

相传，在很久以前，有位名叫哈日巴特尔（蒙古语，译为黑英雄）的蒙古族将军，在此筑城镇守。久而久之，人们便称哈日巴特尔为黑将军，此城便称为黑城。

由于哈日巴特尔骁勇善战，不但晋升为将军，并深得皇帝欢心，将自己的小女儿许配给黑将军做哈敦（译意夫人）。

后来，黑将军羽翼渐丰，权势强盛，竟然凯觎皇权，企图一统天下。这一阴谋被公主得知。她便将黑将军阴谋篡权的消息报告了父皇。皇帝在盛怒之下派数万大军进攻黑城，悬赏捉拿哈日巴特尔。但是大军对黑城久攻不下，为不使黑将军逃脱，只好把黑城围困起来。

皇帝请来巫师卜卦，卦象说："黑城地高河低，官军在城外打井无水，而城内军民却不见饥渴之象，必有暗道通水，如将水道堵截，则必胜无疑。"

于是，皇帝又增派一万大军赴鄂木讷河上游的咽喉部位，随着巫师们高声诵讼着《护律・夏日毕其格》（意即"法律黄书"），军士们用头盔盛着沙土，很快地截断了河水，并筑起一道巨大的土坝。

不几日，只见黑城内人畜饥渴，近城的禾苗枯萎。黑将军命令士兵在城内掘井，直挖到八十丈深还是不出水。在这饥渴难忍、万般无奈的情形之下，黑将军只得下令准备突围。临行前，他把全城的金银财宝投入枯井中，又对自己的两个孩子说："你们去做财宝的主人吧！"，并祝愿说："愿来日有个骑秃头青虻牛的人来将我们财宝取走"。随后，便将一男一女两个孩子也活活埋入深井。又令士兵连夜凿通北部城墙，杀出了一条血路突围北上了。

现今在黑城遗址西北角城墙上可以看到一个可容骑驼者进出的洞口，相传就是当年黑将军突围的洞口；在黑城内偏西北的那个大坑，相传就是当年不曾出水却用来埋藏了全城财宝的那口深井；而被当地人称为"宝格德波日格"的那座高大沙岭，相传就是当年大军截水所筑的大坝。　

1929年，苏联地理学家科兹洛夫来到黑城，寻找黑将军埋藏在城内的珍宝。他雇用当地牧民挖掘了两个月，挖到一定深度，便解雇了牧民，由他的队员挖掘。两名队员跳入坑里后，鼻子流血，昏迷不醒，其中一名死亡，挖掘被迫停止，洞穴被重新填埋，掘宝遗址至今仍清晰可辨。

黑城闻名于世就是因为探宝而发现意外的文物引起的。近代，外国人来黑城探宝的，除科兹洛夫外，还有英国的斯但因率领的"探险队"。他们为寻黑将军的宝藏，到处乱挖，始终没有找到那口枯井，却挖出了大量的西夏和元代文书以及其它文物。科兹洛夫在一座藏式佛塔里发现了刻本、抄本书籍2000种以上，并发现300张佛画和大量木制的、青铜镀金的小佛像。另外，他还在一座公主墓中发现了画在丝绸、麻布和纸上的佛教绘画25幅，至今保存在列宁格勒博物馆。　

有关黑城的考古资料和研究报告发表后，黑城便引起世界有关考古和旅游者的关注，成为人们向往的神秘地方。