如果我们从事镇压太平军叛乱，我们很快就要陷入一场广泛的战争中去，而清政府将作壁上观，把一切负担和消耗转嫁到我们身上。我们执行的合理方针是：保卫我们自己的商务利益，保护条约规定开放的港口，以及鼓励清政府建立一支有效率的炮兵、步兵和骑兵部队，以镇压太平军，使之就范。
但外国侵略者和清政府很快就找到了双方最为合适的结合点，这就是华尔的常胜军。1862年3月26日，普鲁斯在致罗塞尔的信中，充分肯定了常胜军的作用：
从华尔所组织和领导的中国军队，我看到一种军事组织的雏形。这种军事组织对于处在混乱状态中的中国，可以证明是很有用的。如果清政府采取这种改革，它将得救；如果它不采取这种改革，我们在主要港口组织这种武装，将保持这些港口在任何情况下，不致遭到破坏。
外国侵略者给华尔的常胜军以尽可能的物质支持。在1862年早期，英国驻上海的军队即以成本价向其提供武器装备。1862年11月，英军陆军司令士迪佛立报告：最近常胜军得到了1万套武装，发射12磅重炮弹的炮12尊，100万发子弹。他还打算将撤离上海去印度的两个团的枪炮与装备按价出售给清朝上海地方当局。清朝方面，清廷对已申请加入中国籍的华尔奖掖有加，不仅先后赏其四品、三品顶戴，更赏其副将衔，还由苏松太道吴煦任常胜军督带，候补道杨坊会同华尔任管带，并竭力扩充其兵员实力。1862年8月，上海外围的战斗结束之后，英法侵略军退回上海，以后即由常胜军和清军联合向内地太平军进攻。9月，华尔在浙江慈溪被太平军击伤毙命。华尔死后，李鸿章即与英国侵华陆军司令士迪佛立就整顿常胜军问题进行谈判，对常胜军的进一步发展达成协议。这支军队由清朝政府出士兵、出官兵军饷，武器装备亦由清政府出钱购买，并对其有一定的控制权；外国侵略者则出军官予以指挥，替清王朝镇压太平军。常胜军的人数则被限定为3000人。