众所周知，1941年至1942年，华北敌后抗日战场迎来了最艰苦的岁月。在日军重兵反复拉网式的“围剿”“扫荡”下，不少敌后抗日根据地变成了游击区，甚至沦陷区。根据地人口降至百团大战前的一半左右，八路军数量由40万降到了30万。面对困难，敌后抗日根据地因地制宜地采取了很多应对措施，顽强地挺过了黎明前的黑暗。在诸多措施中，将主力作战团队缩编成小团就是其中之一。
很多人误以为，缩编是件很简单的事，其实并非如此，其中颇有讲究。
早年创建红军时，编制并无一定之规，处于幼年时期的红军，出于迷惑敌人和鼓舞军民士气考虑，往往是编制大、人员少，显得有些“名不副实”。但到了土地革命中后期，1930年和1933年颁布了两次红军编制表，部队正规化建设取得了一定进展。其中，按“1933版红军编制”，1个下辖3个步兵团的红军师在齐装满员时的总人数达6044人。对于当时的各地红军来说，这个标准仍然过高。历史上只有红一方面军在长征出发前，经过突击补充兵员的红1军团才真正达到了满编状态，整个军团也因此拥有了19880人这样一个前所未有的人员数量。而同时期的红3军团有17805人，平均下来，每个师离满编状态还差了一点。至于同期的红5、红8、红9军团的其他师，经过补充后也只有5000人左右。
三大红军主力改编为八路军时，蒋氏当局给的是“每师2旅4团”的丙种师编制。八路军誓师出征时，115师共1.55万人，120师共1.4万人，129师共1.3万人，加上八路军总部直属队3000余人，全军共4.6万人。
在这个编制框架内，八路军各团均达到了2500人至2800人的规模，应该说是比较充实的。需要指出的是，誓师出征时，各营均是4连制，每连人数达150至180人。但是，八路军营属、团属支援火器的数量却严重不足，这直接影响到了战场上的指挥、调度和战术安排。
八路军深入敌后，发展壮大很快。最初编成的15个主力团都抽调出大量战斗骨干去组建新的团队，因此，等八路军3个师都完成了战略展开时，出征时的“四四制”编制已全部改成“三三制”。各连的人数也有明显减少。这个减少，一方面是因为战斗骨干大批调出，另一方面也是部队宿营条件的客观限制：八路军多以连为基本战术单位分散活动，编制180人的连队在一个村庄内宿营时，各方面颇感局促。而分驻两个村庄的话，又对部队联络、调度及应付意外情况造成了额外困难。
1940年下半年，华北八路军对主力团队进行了一次整编。整编后的团大都由3个营9个连组成。少数主力团每营编4个连，即3个步兵连、1个机枪连。团直属队一般编有机炮连、特务连（警卫连）、通信侦察连。每团兵力2000至2500人不等，也就是说，团辖12至15个连。
进入1941年至1942年后，上述规模的团，在日军反复拉网“围剿”的情况下显得目标过大。为谋生存、求发展，缩小部队规模已势在必行。这个时候，“小团”这种编制便应运而生了。
华北八路军的“小团”，由团部直辖5个大连，取消营级建制。每个大连编3个大排。每排除了编制3个步枪班，还有一个机炮班。这个机炮班拥有1挺轻机枪和1具掷弹筒。一般而言，这样的大连编制人数在130人左右。5个大连加上团属侦察通信排及团指挥机关，1个“小团”人数编制在700人左右。别看人数只是此前主力团的三分之一弱，但排级部队同时拥有直射和曲射支援火力，这不仅是我军历史上头一遭，而且还是这种“小团大连制”克敌制胜的法宝之一。
在华北敌后，日军一般在县城里驻扎1至2个步兵中队。重要据点一般驻扎1个日军小队，辅以数量不等的伪军。日军对八路军实施大规模“拉网围剿”时，一股以大队规模行动。而更频繁的日常“讨伐”，多以1个中队为规模。
当时的华北敌后战场，早年的日军野战中队已越来越多地被治安中队所取代。这些日军治安中队，总人数约在180人左右。由1个19人的中队部（中队长，执行官，3个军士，4个卫生员，军官的勤务兵，司号员，8个通讯兵）和3个小队组成。每个小队有3个步枪分队和一个装备3具掷弹筒的掷弹筒分队组成，合计52人。每个步枪分队13人，包括班长、4名机枪射手和8名步枪兵。这样算下来，日军一个标准治安中队拥有9个掷弹筒，9挺轻机枪，以及70到80支步枪，另有近20支手枪。
两相对比，1个八路军大连拥有的轻机枪和掷弹筒数量，与1个日军小队相当，而人数和步枪数量却是后者的2.5倍左右。在预有准备的情况下，1个八路军大连能和1个日军小队抗衡。哪怕是打遭遇战，或是遭到日军小队突袭，八路军的大连都有能力全身而退。当然，具体的还得看我方指挥员的临场发挥。而八路军“小团”若聚集起麾下的5个大连，兵力是1个日军中队的4倍，火力是其1.7倍左右，是有能力在野战情况下全歼1个日军中队的。
以上并不仅仅是纸上谈兵。事实上，在编成“小团”时，八路军各部都是挑战斗素养最高、战斗经验最丰富、战斗意志最强烈的老兵留下，武器装备也是尽量挑好的。其他的人员和武器基本都加强给地方游击队了。也就是说，实施“小团大连”制后，八路军在一定程度上缓解、甚至解决了由于扩军过快，导致部队军事素质下降及装备水平下降较快的问题。等于是在缩小目标、减轻群众负担、增强自身机动灵活性的同时，极大增强了主力部队的战斗力。
不少根据地的小团，编成后还以大连为单位调配武器，很大程度上解决了因武器来源不一，口径各异而带来的弹药补给、调配困难，也在很大程度上提高了部队战斗力。
这样的小团，很适宜在极端困难条件下的敌后游击战。这种敌变我变的灵活思维方式，以及实事求是的务实做法，帮助八路军最终撑过了那段艰难岁月。