黑水国北城是本区域内建造时间最早的城址，东临黑水沟，南距312国道1公里，与南城相距3公里，在地图上，南北二城联线与地图经线相交成30度夹角。
北城平面呈正方形，南墙正中辟门，方向为180度，东西长245米，南北宽220米，墙基厚3米～3.3米，残高2米～6.3米。门宽4米，门外无护门墩台及瓮城门，城门两侧作向内曲壁，南墙无修复加筑痕迹。夯土层厚度有以下规律：20、15、14，20、15、19，20、11、13厘米，3层出现一个变化周期。夯土层中有索草缩绳，缩绳不与墙体另一面连接，而是用大木钉钉在墙体之内，筑完一层之后砍断缩绳，从墙体部分断裂处可见木钉。东城墙南段为后来补修，夯土层中曾见有汉砖块和白釉瓷片，夯土层较厚，未见有缩绳痕迹。东墙北段无加固补修痕迹，夯土层厚度11厘米～16厘米，缩绳孔距52、55、69、73、89厘米不等，东北角通高6.3米，外侧角下夯土层中夹有汉代绳纹陶片。北墙东段近东北角处为后来补修，夯土层厚度18厘米～21厘米，补修墙体长度为6米，夯土层中无缩绳孔。北墙中段无修复痕迹，夯土层厚度15厘米～17厘米，有缩绳孔，西南角自外侧观察，夯土层厚度13厘米～14厘米，缩绳孔如东北角。
北城四角无外伸之敌角墩台，西南内侧筑有敌角，边宽8米，高6米，台顶边宽7米，墩台夯土层厚度为20厘米～27厘米，无缩绳孔，夯土层中发现宋元白釉、黑釉瓷片各一块。敌角顶四边有围墙，围墙分内外两层合成，外层为版筑墙，厚度为48厘米，内贴土坯层，厚度为22厘米，有土坯标本，规格为34×17×9厘米（按比例应为36×18×9厘米，仅得一块，估计测量有误）。敌角未发现有木任木，东南角有自内向外引出的小槽痕迹。敌角东12米处有一道南北向的隔墙，南与南墙接触，北伸入沙丘，大概敌角之北沙丘内也有同样的隔墙，隔墙夯土层厚度为20厘米，无缩绳孔。
城门内有东西向的高台，可能为护门设施，东南角有较大的建筑遗址，北墙内侧直对城门有一个14米见方的台地，这是古代庙宇建筑。北城内沙土淤积较厚，原有建筑物遗址不清，采集到的遗物主要是元明时期的青花瓷片、黑釉瓷片和粗缸瓷片，也有少量的汉晋陶片。西南角及西墙被沙丘掩埋，东南角也有巨大的沙丘。南墙及东墙处有沟壕痕迹，出城门有一条向南伸去的沟壕，大概为引水渠。北城西南侧有密集的居住遗址，遗物均为宋、元、明时期的瓷片。
北城之筑应早在东汉，理由有以下几点：从夯土层厚度来看，应为汉代特点，但缩绳以木钉固定的方法在西汉其他城障的筑造中尚未遇到，是一种创新的做法。北城内未见有汉代早期的绳纹瓦片，而绳纹瓦片在黑水国汉代建筑遗址却极多，夯土层中见有汉代绳纹陶片。从北城方向来看，这种门朝南开的城在汉晋一般作为郡县城的特征，如居延城、高台建康郡故城（今骆驼城）等，而南城城门朝东开，直对张掖城，显然是驿站的特征。北城筑于东汉，当时可能预做郡县城或驻军之城，但从城内遗址情况来看，使用的时间不会太长，废弃也应该在魏晋，魏晋之际的城一般比较大。北城的恢复使用最早在宋元之际，加筑、修补是在明代做的，从遗址及遗物分析，明代北城曾作为民堡来使用。总之，北城内地面遗物较单纯，主要为汉代和元明陶片、瓷片，未见有隋唐遗物。20世纪40年代阎文儒先生曾于此拣到一枚开元通宝，可能在唐代已开始利用。至于详细情况，还有待考古发掘来证实。北城的利用时间短，维修次数少，筑成之后直到明代才做了加筑城墙和添筑敌角，不同于南城的是它保留了多次加筑和补修的痕迹。唐代史家、诗人笔下的张掖故城所指有可能是黑水国北城。北城东临黑水沟，俗称月牙湖，再东为沼泽草地，北城居高临下，风光异常秀美。
