曾国藩还同时发出另外几封邀请信，但应者寥寥，甚至连过去的好友冯卓怀、郭嵩焘都不肯随行，刘蓉虽被他强拉硬扯出来，但不久即坚持而归，留下来的只有李元度、陈士杰数人。陈士杰字俊臣，湖南桂阳州人，以拔贡考取小京官，分发户部，遭父忧回籍。因在家办团练镇压当地会党为曾国藩所赏识，在衡州招聘入幕。李元度字次青，湖南平江人，以举人授官黔阳教谕。李元度曾上书曾国藩言兵事，为其所赏识，约于1854年2月前后入幕。曾国藩深感孤立无援之苦。他在给弟弟们的信中很有感慨地说：“险凶战危之地，无人不趋而避之，平日至交如冯树堂、郭嵩焘者尚不肯来，则其他更何论焉！”又说：“甄甫先生去岁在湖北时，身旁仅一旧仆，官亲、幕友、家丁、戈什哈一概走尽。此无足怪之事。兄现在局势犹是有为之秋，不致如甄甫处萧条已甚。然以为此为乐地，而谓人人肯欣然相从，则大不然也。”曾国藩当时惨淡经营的情形，由此可见一斑。
曾国藩认识到自己局面尚未打开，台面小，又不轻易向朝廷推荐人，当时环境又恶劣，随时都有送命的危险，人们当然不愿死心塌地跟从了。因此，曾国藩再次出山时，向清政府要求授予他一两省的实权，对稍有才能者，保奏、荐举不断，加之打了几次胜仗，所以才有“群雄蔚起，云合影从，如龙得雨，如鱼得水”的局面。