当时与李林甫同任宰相的张九龄，才能卓著，为官清正。李林甫嫉妒张九龄的才德，总想设计铲除他。玄宗的武惠妃爱倾后宫，所生寿王、盛王特别受宠爱，而太子瑛被疏远了。李林甫遂在玄宗面前诬告太子等有怨言，并结党营私，图谋不轨。玄宗大怒，欲废掉太子，与张九龄商量。张九龄认为，太子为国本，生长在宫中，受陛下的亲教，并没有过失，皇上不能因自己的喜怒而废掉他。玄宗听后，大为不悦。李林甫当时在场一言未发，后来却在玄宗宠爱的宦官面前说：“皇家之事，何须与别人商量。”言外之意，指张九龄太专断，李林甫又趁机在玄宗面前说了一大堆张九龄的坏话。
公元７３６年，玄宗欲晋升朔方节度使牛仙客。张九龄上奏说：“边将训练兵马，储蓄军实，这是分内的工作，陛下奖赏他是应该的，而欲赐以食邑，那就不合适了。”玄宗听罢无言，李林甫当时也未发言，回来却把此话告诉了牛仙客。第二天，牛仙客见玄宗，流泪放弃官爵。玄宗仍想加封牛仙客，张九龄据理力争。玄宗非常生气地说：“任何事情总是由你决定吗？”张九龄讲，这是自己的分内事，而且牛仙客本是小吏出身，目不识丁而提擢为宰相，是不合适的，李林甫后来暗中向玄宗进言说：“天子用人，有何不可？张九龄不过是一个文官，拘泥古义，不识大体，成不了大器。”玄宗因此更加不高兴。