4月7日，安徽督军倪嗣冲抵达北京，他主张以临时参议院代行国会选举权尽快进行总统选举，倪嗣冲的意思是尽快驱逐冯国璋，让皖系真正控制北京政府。但徐树铮却不着急，他坚持认为还是由新国会选举总统比较妥当，而且提早选取总统也是不合法的，这时徐树铮便开始着手策划新的国会，而这个新国会正是建立在安福俱乐部基础上的，后来被人称为“安福国会”。
徐树铮要以安福俱乐部的基础来策划国会选举，从而在国会中取得绝对优势的席位数量，进而真正意义上把持国会。第一步，就必须取得安福俱乐部的控制权。对靳云鹏而言，他自然不想放掉手中的权力，可徐树铮是段祺瑞的心腹，靳云鹏纵然再不愿意，也奈何不得徐树铮，只好拱手将安福俱乐部的指挥权交给了徐树铮。
徐树铮掌握了安福俱乐部，但是却与靳云鹏之间有了隔阂，彼此见面也不再像之前那么融洽。靳云鹏毕竟不是惯于甘居人下的曾毓隽，而徐树铮对靳云鹏的态度自然也不像对待曾毓隽，所以取得了靳云鹏在安福俱乐部的地位之后，徐树铮又开始对参陆办公处的事务指手画脚，甚至越俎代庖地替靳云鹏发号施令。按照曾毓隽后来的回忆，靳云鹏虽然没有什么表示，但总是不太舒服的，他不甘心就此放弃参陆办公处主任的职务，但是也奈何不得徐树铮，只好请了病假回家养着，肩上扛着参陆办公处主任的职务，却把实际工作和权力转交给了徐树铮，由着他去兴风作浪。