周灵王十七年，晋国率领诸侯的军队攻打齐国。齐灵公率兵在平阴抵抗，结果兵败逃亡，第二年便去世了。齐灵公死后，由齐庄公继位。庄公崇尚勇力，不顾道义，齐国风气日下，朝野上下怨声载道。
晏子臣事于庄公，心急如焚，多次劝说庄公，庄公却不听，也不喜欢晏子。有一次，庄公饮酒之时，下令召见晏子。等晏子进来入座了以后，庄公命令乐工奏歌，歌词中唱到：“算了!算了!寡人不高兴，你来干什么?”乐工连续唱奏了三遍，晏子才明白，原来说的是自己。于是晏子离坐而起，向北面坐在地上。
庄公见了，问道：“先生就席，为何要坐在地上呢?”晏子回答说：“晏婴听说，妻子要和丈夫争辩时，要坐于地面上。如今，晏婴将与国君争辩，怎敢不坐在地上?
“晏婴听说，势众而不主张正义，力强而不讲究礼节，好勇而厌恶贤能，是自取灭亡之道，灾祸必然降临到己身，像国君而今的情形。如果晏婴之言不被采纳，那么请准辞去现职。”说完，晏子马上起身，很快离开了。庄公见了，也不挽留。
晏子回到家后，凡家中贵重物品，缴还公库;财货之可卖者，送到市场。晏子说：“君子有能力为民服务时，就享有爵禄，禄位再丰亦有所不辞;无力为民服务时，纵然是寄食他乡，生活再贫贱也不该厌恶。”于是步行东去，到东海之滨的一个小村里过普通百姓的生活。过了几年后，便发生了崔杼弑庄公的乱子。
