南北朝后期，北朝出现了“府兵制”。西魏的字文泰在大统九年（公元５４３年），广泛招募各地汉族豪强地主从军，通过他们的从属关系，带来了大量家兵、部曲等私人武装。西魏政权根据他们所带军队的众寡，授予各种不同爵位。这种使地方割据的私人武装中央化的办法，不但增强了朝廷军力，同时使鲜卑部落兵与汉族封建兵制逐渐结合，创置了“府兵制”。

    西魏末年，府兵由六个柱国大将军率领，每柱国下设两个大将军，一个大将军下又有两个开府将军，共有二十四军。当时府兵与民籍分开，不属郡县管辖，他们只管打仗，不负担其它赋税。

    府兵制到了隋朝起了很大变化。军府名称为骠骑府，以骠骑将军为长官。军士开始编入户籍，从事生产。隋炀帝时，府兵直接从民间征调，男子年满二十一岁即可参加府兵。全国府兵由十二卫分领。大业三年（公元６０７年）改骠骑将军府为鹰扬府。长官为鹰扬郎将。军人称“卫士”。卫府制度趋于完善，中央集权在军制上得到加强。

    唐初全国共有六百三十四个府，均由十二卫和东宫六率分领。一改隋朝鹰扬府为折冲府，每府府兵归折冲都尉管辖。并规定在设府的地方，人民有充府兵的义务。服役年龄是二十至六十岁．应征充当府兵的人，平日务农，农闲教练，征发时自备兵器、资粮。这实际上是一种兵农合一的兵役制度。证调服役的人，定期宿卫京师或戍边；战时出征，战事完毕，即“兵散于府，将归于朝”。