有一次，宋仁宗赵祯宠爱的尚美人，和骄横善妒的郭皇后吵起来。郭皇后怒不可遏，上前就要抽尚美人耳光，赵祯跑过来劝架，偏巧一巴掌落在赵祯的脖颈上。赵祯大怒，令宦官阎文应传来宰相吕夷简，让他“验视”伤痕，为其废后寻求支持。其实，赵祯早就对郭皇后不满。当初赵祯没亲政时，刘太后刘娥掌政，在赵祯选后、选妃上，刘娥屡屡阻挠。最初，赵祯看上了王蒙正的女儿，但刘太后以此女子“妖艳太甚，恐不利少主”为由，将这个“姿色冠世”的少女许配给刘美的长子刘从德。刘美正是刘娥的前夫——银匠龚美。目睹自己心爱的美人被他所夺，赵祯心生怨愤。不久后，刘太后又为赵祯物色了郭崇的孙女郭氏，和上将军张美的曾孙女张氏。赵祯一眼就相中了张氏，打算娶张氏为后。
但刘太后偏偏和赵祯反着来，硬把张氏封为才人，册立郭氏为皇后。刘太后屡屡夺其所爱，使得赵祯和刘太后之间的矛盾越来越深。而郭皇后又仗着有刘太后作靠山，不仅骄横跋扈，恣意妄为，还严格监视赵祯的行动。赵祯因刘太后的缘故，本就对郭皇后有成见，而郭皇后的善妒和骄横，更激化了赵祯对她的冷漠，只是迫于刘太后的权势，不好有所表现。1033年三月，刘娥崩逝，赵祯亲政。刘太后死后，郭皇后依然旧习不改，不仅监视赵祯和妃嫔的举动，还监视朝政。当时，赵祯亲政后与宰相吕夷简商议，准备把曾经依附太后的夏竦等人全部罢官。退朝后，仁宗随口向郭皇后说起这件事，郭皇后说：“难道吕夷简就不依附太后吗？只不过他比别人狡猾，善于应变罢了。”在郭皇后的怂恿下，宋仁宗第二天一上朝，就把吕夷简一同贬官外放。吕夷简毫无心理准备，闻听大惊，但也无可奈何。事后，吕夷简向相结甚厚的内侍阎文应打听，才知是郭皇后从中煽动，心生怀恨。但吕夷简是个成熟的政治家，官场老油条，不久后又回到相位。
自刘太后去世后，赵祯就摆脱了约束，公开宠爱尚氏和杨氏两个美人，引来了郭皇后的嫉恨。有一天，赵祯留在尚氏寝宫，第二天一早，郭皇后醋意大发，愤怒地冲进尚氏的寝宫，大骂尚氏。尚氏仗着得宠，也不示弱，在赵祯面前讥讽郭后。郭后怒不可遏，上前就要抽尚氏耳光，接下来就发生了开头的一幕。吕夷简见机会来了，说了三条废后的理由：婚后九年无子、嫉妒、打皇上。赵祯是个软心肠，想着这三条罪会要了郭皇后的命，便下诏称皇后无子，自愿当道姑让贤为由，废了郭皇后的皇后之位。此诏一出，朝廷大哗，以范仲淹为首的官员集体抗议，并和吕夷简当庭辩论，阻止废后。而赵祯废后并不完全是个人喜好，更多的是政治斗争、党派斗争，赵祯亲政后力图摆脱刘太后的影响，就把范仲淹一派的官，全部或贬或罚，无一幸免。不巧的是，范仲淹等人被贬后，赵祯突然得了一场大病，大有要“龙驭宾天”的架势。这时，流言四起，从朝廷到民间，纷纷说赵祯是因贪图美色，纵欲过度而导致大病不起，言官们就借此纷纷劝谏赵祯节欲，驱逐尚氏、杨氏等妃嫔，复立郭皇后。过了很长一段时间，赵祯又好了。这天，大病刚愈的仁宗，心情很好，想着好久不上朝了，就急召中书省和枢密院的大臣进宫。大臣们接到诏令，急匆匆地往皇宫赶，但宰相吕夷简却故意过了一段时间才动身，在路上也是一副安步当车，不急不缓的模样。
结果，大臣和宋仁宗等了很久，才见吕夷简慢悠悠地走来。仁宗等有些耐烦，生气地说：“朕久病刚愈，迫切希望和你们见面，为何姗姗来迟呀？”
吕夷简不慌不忙地奏道：“陛下大病已久，天下人都很忧虑，突然召见左右亲近的臣子，臣等如果急速前来晋见，恐怕会惊动很多人，引来大家的恐慌和猜测。”智囊：既见，上曰：“久病方平，喜与公等相见，何迟迟其来？”公从容奏曰：“陛下不豫，中外颇忧。一旦急召近臣，臣等若奔驰以进，恐人惊动。”宋仁宗恍然大悟，满意地点点头，直夸吕夷简老成持重，认为他是合格的辅政大臣。由此可见，吕夷简两度拜相，身居多朝不倒，直到66岁善终去世，受封国公，配享皇家宗庙，是因为他不仅是一位成熟的政治家，还深谙为官、处事的大智慧。
