中国古代军队的基本编制单位就是“什伍”之制。先秦时期，步兵、骑兵尚未成为独立的兵种，战斗的主力是战车兵。春秋时期步兵逐渐成为独立的兵种，与车兵并列。三国两晋南北朝时期军队的总趋势是部、曲的地位日益下降，成为将领的随从亲兵。
隋唐继承了府兵制度，各地遍设折冲府，为组织、训练的编制单位。设折冲都尉，府下辖4-6个团，团下辖2旅。战国以来传统的“伍”被取消。
1139年南宋朝廷与北方金朝和议成功后，裁撤“大军”的编制，由朝廷直接控制各军。军以下仍保留将、营、队、火的基本编制。
明清时期，朱元璋整编军队，设立指挥、千户、百户、总旗、小旗等。