正德皇帝朱厚照管理更久的事务。正德皇帝朱厚照是说笑话，可是刘瑾却当真了，他对外宣布正德皇帝朱厚照赐他“九千岁”的封号，也就是说除了正德皇帝朱厚照外，他的地位和权势最高。看出了刘瑾巨大野心的吕调阳终于后悔了，后悔不该纵容刘瑾的强大。可是刘瑾已经无法控制，不是一个吕调阳可以对付的。出于愧疚和无奈，吕调阳找了一个机会自己把自己赶下了台。吕调阳走后，刘瑾利用他的党羽控制了内阁，成为了刘瑾一个人说了算的局面。渐渐地刘瑾不甘心再满足鱼这个“九千岁”，甚至于相当一个真正的“万岁爷”。这才有了后来的事件，刘瑾失败之后，不但他自己被正德皇帝朱厚照千刀万剐，而且也给后面的太监一个很大的教训。为此吕芳比较内敛，并不是一个嚣张跋扈的司礼监掌印太监。
其实吕芳之所以对嘉靖皇帝朱厚很忠心，还有其他因素存在。吕芳小时候也是一个苦孩子，不然不会进宫了。吕芳和其他的小孩子又有点不一样，因为他的出身有点怪异。他父亲本来是一个读书人，而且有过功名，属于知识分子。当吕芳出生不久的时候，他的生母就离开了人世。当时吕芳的父亲正准备下一年的大考，只要中的话他就可以当官了。所以吕芳的生母的后事可以说办得十分的简单和潦草。就在这个时候吕?〉哪歉鱿乩戳艘桓鲂伟似废刎u飧鱿刎┦枪鄙錾恚幸桓雒挥谐龈蟮呐谏肀摺u飧鱿刎┫鲆桓鐾蹲剩炎约旱呐薷桓鲇星巴镜亩潦槿耍凑飧雠龅绷斯俚幕白詈茫退愕辈怀晒僖部梢越妹虐锼鍪隆p以艘膊恍业匮≈辛寺婪嫉母盖祝笔甭婪嫉母盖撞坏械阊识椅说偷鳎丫辛撕19佑炙懒似拮拥氖虑椋馊酥赖牟2欢唷一刎┱伊艘桓隼碛砂崖婪嫉母盖捉腥ノ驶埃婪嫉母盖撞恢朗峭怂祷故怯幸庖鳎19挥兴党鏊丫峄樯拥氖率怠一刎┒杂谡飧鋈撕苈猓嗽绲阃瓿尚脑福碧炀妥鲋靼雅砀寺婪嫉母盖住b婪嫉母盖孜瞬坏米镎飧隼险扇耍餍岳匆桓隹斓墩堵衣椋碧烨肴怂得剑诙煜缕福谌炀桶研履镒尤13嗣拧n瞬灰鸫蠹业淖14猓幸鞘蕉际窃谙刎┘依锇斓模婪技蚁绲娜瞬2恢馈5鹊铰婪嫉母盖状爬掀呕丶业氖焙颍蠹叶忌盗搜邸u飧雎朗樯补豢梢缘模サ氖焙蚴且桓鋈耍柑旌蠡乩床坏亓艘桓隼掀牛一故且桓鲇猩矸莸匚坏?。知道这个时候，新娘子才知道自己的丈夫不但已经有过妻子，她自己不过算是填房，而且她还要做一个孩子的后妈。从此这个脾气本来就不是很好的大和吕芳父子对上了，白天骂老公，晚上拿孩子出气。刚好这时候县丞收到一份文件，说皇宫需要年纪不大的孩子当太监。县丞出于为了女儿将来好，所以找来吕芳的父亲商量这件事情。吕芳的父亲本来是坚决不同意的，但是架不住老丈人的劝说和现实情况，只好答应考虑一下。吕芳的父亲很清楚，家里的老婆之所以反应这么大，主要就是为了这个孩子。只要孩子不在了，他们的生活就会过得比较安稳。再说了县丞也明确表了态，只要他女儿不高兴，他就不会安排女婿进衙门。至于吕芳的父亲的仕途几乎断了，因为他企图在考前买试题，已经被取消了考生资格，并罚七年内不准再进考场。要是老丈人再不帮忙的话，吕芳的父亲一生也就毁了。为了他的将来，为了他的家庭，本来对孩子就没有什么感情的吕书生决定放弃这个孩子。就这样吕芳在他并不是太懂事的时候，就被无情地家人抛弃，受到了非人的折磨。
因为吕芳年纪是当时那一批中最小的，而且吕芳长期被后妈虐待，发育不好，所以吕芳成为了大家谁也不想要的小家伙。最后被分到了兴王府，当一个兴王世子的贴身小太监。这一年还是兴王世子的嘉靖皇帝朱厚四岁，吕芳比嘉靖皇帝朱厚大八个月零三天，也就是五岁而已。当时吕芳并不知道自己已经不再是正常人，永