卫灵公的身体与精神每况愈下，他知道自己将不久于人世了。他对自己的一生是满意的，对自己的卫国是满意的，他无争雄称霸的野心，能忍辱，能屈从，善周旋，一生都在从事平衡的工作，因而他这小小的卫国方得以长治久安。他觉得即使现在归天，也上对得起列祖列宗，下对得起子孙后代，没有什么遗憾与不足。唯一使他忧虑的便是逃到晋国的逆子蒯瞆，这终将成为后患，因此他想抓紧这弥留之际对晋用兵，铲除隐患。他曾征求过几位心腹大臣的意见，但众说纷纭，使他莫衷一是。一天，他召孔子进宫，询问是否可对晋用兵，讨伐蒯瞆以及具体该怎样作战。孔子不禁感到好笑，卫灵公实在是老糊涂了，对晋用兵，无异于以卵击石，自取灭亡。况且这是他们父子之间的争执，外人不好插嘴，于是回答说：“祭祀之事，丘尝学过；军旅之事，丘未学也。”卫灵公听了孔子的回答，满心的不自在，恨不能立即将他逐出卫国。 
　　从此以后，卫灵公更加冷淡了孔子，召孔子进宫的次数日见稀少，偶然想见，也是似睡非睡，心不在焉。一次，孔子在与灵公谈话，灵公竟仰头望着空中的大雁出神，睬也不睬。孔子觉察到，现在必须离开这个地方了。后来孔子曾不无感叹地说：“灵公苟用我者，一年奏效，三年成绩卓然。” 
　　这时晋国正在进行战争。赵简子和晋国的另外两个贵族范氏，中行氏互相攻打。赵简子的家臣佛肸便占据中牟（在今河北省邢台和邯郸之间）独立起来了，他企图打击赵简子的威信，趁机捞一把。这情形很像鲁国的公山不狃占据费城反对季氏。佛肸见孔子在卫国一直未被重用，正在彷徨无路，便派人来请孔子，希望孔子来壮一壮他的声威，为他出谋划策，取赵简子而代之。孔子果然也想去，但子路又出来反对了，他说：“由尝听夫子说过，做恶者，君子不与之合作。佛肸以中牟叛，夫子欲往，岂能说得过去？” 
　　孔子叹息着说：“是呀，丘确有此言。然丘亦尝言：坚硬者磨而不薄，洁白者染而不黑。丘非匏瓜，焉能系而不食？” 
　　孔子的话虽这样说，但终因子路等人的反对和晋国情况的混乱而没有到中牟去。 
　　公元前493年，孔子五十九岁。 
　　这年夏天，卫灵公病逝，结束了他在卫国四十二年的统治。南子依照卫灵公的遗命，立小儿子郢为君，但郢却不肯接受，他说：“太子蒯瞆虽逃亡在外，然其子辄尚在，应立辄为君。”于是卫灵公的孙子辄被立为卫君，这就是卫出公。从此，卫灵公的父子之争演变成为第二代的父子之争。 
　　六月的一天黄昏，卫晋交界卫国的戚邑城处来了十多个人，他们全都穿着丧服，披麻戴孝。守城军卒喝问“来者何人”，为首的一个回答说：“灵公新亡，新君派臣等迎世子回朝赴丧。”