581年，隋朝的建立，结束了汉末以来数百年间的军阀混战和南北分立的局面，使中国再度统一。然而，当时仍存在着游牧于西北方的突厥与契丹贵族部落的威胁。
突厥是游牧于金山（今阿尔泰山）一代的古代部族，6世纪中期，突厥在今鄂尔浑流域建立了政权，与中原北朝统治者保持通婚，人民之间相互往来，促进了双方的经济文化交流与社会发展。隋朝代替了北朝政权后，突厥就借口南下，扰掠隋境，今宁夏地区直接处于突厥攻掠的要冲，其中南部原州、北部灵州为其扰掠的主要目标。隋文帝新立，面对强悍的突厥十分忧虑，采取的首要措施就是在开国当年修筑长城，屯兵北境。自隋文帝开皇元年（581年）到隋炀帝大业四年（608年），在全国范围内共筑过4次长城，先后延续27年，其中有3次动用了民丁计一百四五十万。据史料记载，在宁夏境内，隋朝曾经修筑过一道新长城。《隋书·崔仲方传》记载，隋文帝开皇五年（585年），“使司农少卿崔仲方，发丁三万于朔方、灵武筑长城，东距河，西至绥州，绵延七百里，以遏胡寇”。多少年来，不断有人考证，认为这段长城西起今灵武附近的黄河东岸，东经宁夏盐池、陕西横山至绥德。但是，这道长城具体走向缺载，宁夏境内遗迹不明。留下这样的历史迷雾，就引发了纷纭众说，有关人士认为史料记载中的“东”“西”两字一定是对调错了，应该就是所谓的“西距河，东至绥州”。还有人认为后来的明长城是构筑在隋长城之上的。也有人认为隋长城已被浩瀚的沙海吞噬。
隋朝是否在宁夏境内修筑过长城军事工程，有待专家学者进一步考证，得出科学的结论。然而，隋朝在北方大地修筑的长城确实对突厥贵族的扰掠起到了关键作用。因隋军的严密防范和军事抗击，突厥部落东西分离，东突厥逐渐走上了内附隋朝之路。当然，隋朝修筑长城也给劳动人民带来了灾难。仅隋炀帝大业三年（607年）七月，就一次性发丁男百万人修筑长城，仅一旬而就。这次修筑长城，死者过半，道殣相望，反映了隋朝劳役的沉重负担。苦不堪言的劳役和杨广的暴政统治，使隋朝与秦朝同样早早地结束了短命的历史，完全解决突厥的历史性任务自然落在了取而代之的唐朝身上。
