不过好日子没过多久，贾后垮台了。作为与贾后有密不可分联系的“二十四友”集团也在被打压行列，无奈之下刘琨只得远调外地任职，在那儿他便遇到了自己一生的挚友祖逖。祖逖这人虽然比不得刘琨这样的“官二代”牛气，但也算是一方豪强，阔达豪爽，而且练得一身好武艺。很快刘琨便与这位祖逖成了好哥儿们，刘琨教祖逖文艺，祖逖则教刘琨武功，而他们之间那段“闻鸡起舞”的故事还流传至今，作为劝导小朋友积极向上的教材。
后来朝政又再次转变，刘琨不得不与祖逖分离，离别之时，祖逖向他慷慨激昂地说道：“如果哪天天下大乱，各路豪杰并起，咱哥儿俩一定要在中原开辟一片天地（若四海鼎沸、英雄并起，吾当与足下相避于中原）。”
辞别了祖逖之后，刘琨就接受了之前提到的留守晋阳的任务。虽然在此前刘琨曾经多次击败了刘渊的进攻，但他心里清楚，全山西都是汉国的，就晋阳是自己的，这么下去早晚得出事。如今朝廷是指望不上了，自己只能另寻外援，突然他受了王浚与鲜卑乌桓联合的启发，便想到如果自己也能拉来外族助阵，那么即使像王浚那般与晋朝隔绝开来依旧可以坐断一方。而刘琨自己也在之前向王浚借过鲜卑兵，有过和鲜卑人的交往经验，与他们合作应该不难。经过一番寻觅，刘琨决定找拓跋鲜卑的首领拓跋猗卢合作。拓跋鲜卑有史可查的历史大概可以追溯到拓跋力微时代，当时正值中国的三国初期。