军队是政权的柱石，但在农业社会如何维持一支庞大的常备军，是一个令人头痛的问题。明代虽然已经进入了冷、热兵器并用的时代，但热兵器在战斗中还不能完全战胜冷兵器，特别是不能发挥冲锋陷阵的作用。16世纪，明朝的火器制造技术因为佛郎机铳的传入有所改善，但戚继光用以克敌制胜的利器并不是火铳，而是十分原始的武器“狼筅”。所谓狼筅，实际上就是末梢留有一些削尖的竹枝的毛竹。冷兵器时代，骑兵是机动性最强的兵种，而明朝的养马业并不发达，马的品种也并非优良，要对付的敌人却又恰恰长于骑射，防御线又过长。所以，在军事力量的构成上就只能以量取胜。维持一支数量庞大的常备军在财政上就意味着沉重负担，意味着加紧对人民的搜刮，然而，农业社会中农民的生产力是有限的，衣食之外，节余很少，而且军队给养的运输在当时的运输技术条件下是一件更为劳民的事情。
朱元璋考虑了现实的各方面条件，又借鉴了历代的兵制，和他的谋臣刘基也做了仔细的商量，最后向元朝看齐，选择了卫所军制。
卫所是这样组成的：卫的长官为指挥使，1卫统5个千户所，共5 600人。千户所的长官为千户，统10个百户所，共1 120人。百户所的长官为百户，统2个总旗，共112人。每个总旗下设5小旗，每小旗统率10位军士。卫所的分布根据军事需要和地理形势确定。1393年（洪武二十六年），明朝全国有17个都司和行都司，下辖329卫，还有65守御千户所，军队总数约在120万左右。
卫所制下，军官和军士的身分都是世袭不变的。军士的来源有5个：一是从征，即早先跟随朱元璋起事的部队和招收来的地主武装。二是归附，即元朝和群雄的投降部队。三是谪发，即因犯罪而被罚充军的。充军是仅次死罪一等的刑罚，往往由缓期执行的死刑犯（杂犯死罪）减刑而来，所以又称为“恩军”。四是抽集，即按丁口比例从百姓家中或原来元朝军户中征调的。五是垛集，即按丁口比例抽集不够数，由数户共同承担一个军役。正在承担军役的户称为正军户，其他户就称为贴军户，定期更换。
明朝政府编有两本军籍分别对各府县的军户和各卫所的军士进行登记管理。府县军户是军士的最初来源。而大多数军士在卫所也都成了家，所以卫所军籍中的军士很多是以户为单位的。
军士除了承担军事任务外，按照明朝政府的规定，还必须屯田自给。一般来说，内地卫所，以80％的军士屯田，20％的军士守城；边地卫所，以70％的军士屯田，30％的军士守城。有些军士还要承担武器制造、炼铁等劳役。所以，军士是很劳苦的，社会地位也很低。他们和世袭的军官之间实际上形成农奴式的隶属关系。就像朱元璋所说的，军官把军士看成他们家的庄稼地，但是只望收获，不管耕种、施肥。地方的老百姓都不敢把姑娘嫁给军士，害怕给子孙后代带来无穷的祸害，致使有些地方的军士年龄到了40多岁还没有婚配。
军士反抗剥削与压迫的主要手段就是逃亡。逃亡从明初就开始了。1371年（洪武四年），大都督府报告说，从1367到1370年，逃亡的军士达47 900人。到1436年前后，全国在籍的军士逃亡已经过半。明朝政府虽然设立专门的清军御史负责逃军的清理勾补，但除了给民众带来一些骚扰外，并没有什么好处。所以，从土木之役（1449年）以后开始，明朝政府就开始用召募的办法补充兵源。后来像戚继光用以平定倭寇的“戚家军”，就是由从浙江义乌召募而来的兵士组成的。募兵在16世纪20年代以后，就成了明朝军队的主要来源。
在兵役制度发生变化的时候，明朝军队的统率体制已事先发生了改革。这一改革就是战时组织的长期化，在地方出现了军镇，在中央则出现了京营。
永乐帝以藩王篡位，当然就不允许藩王学他的样，便将洪武时期藩王守边和军不属将、将不专军的体制打破，派遣勋臣充当总兵官长期镇守一地。为了防止他们与中央离心离德，同时派一位太监前往随同镇守。到宣德、正统年间（1426—1449年）随着巡抚制度的逐渐成熟，巡抚就取得了一镇的军事指挥、后勤统筹等权力，总兵官逐渐成了隶属于巡抚麾下专管带兵冲锋陷阵的将领。到1532年（嘉靖十一年）前后，镇守太监也撤销，在地方形成了以总督、巡抚等文官主持一地军务的体制。他们下边辖有总兵、副总兵、游击、参将、把总、守备等武职官员。这一体制连同募兵制都为清朝的绿营所继承。
明初，在京师设卫48个，军士总数在207 800人左右。但是，并没有常设的野战组织，所以当成祖进攻南京时，建文帝就不能组织有效的军事力量。成祖即位后，吸取了这一教训，将京卫增加到72个，又成立常设的野战组织：京军三大营。京军三大营分别是五军营、三千营和神机营。五军营是步兵，隶属它的军士除了从京卫抽调的外，还有来自中都、山东、河南、大宁的班军。三千营是骑兵，由蒙族骑士组成。神机营是专门的火器部队。每营都设有提督太监和武臣。
京军三大营在永乐时期是明军的精锐，是成祖建立赫赫武功的武装基础。景泰以后，营制几经变迁，到16世纪，随着政治的腐败，京营也失去了战斗力，反而要依靠边军来镇压京畿地区的农民起义。到明末，更是衰朽，以致亡国。
