王振是河北蔚州人，入宫之前读过几年书并且当了几年的教书先生。他几次参加科举考试都名落孙山，他索性自行阉割，入宫当了太监，盼着某一天能够一步登天。由于识字的太监没有几个，他还粗通文墨，就被派到东宫，陪太子朱祁镇读书。王振知道自己陪伴的是将来的大明皇帝，就非常地尽心，竭尽全力讨好太子，变着法地逗太子开心，时间一长，两个人的关系渐渐亲密，太子对王振也非常尊敬，从来不直呼其名，总是尊敬地叫“先生”。
太子登基以后，任用王振为司礼太监。司礼监是明代宫廷里二十四个宦官机构中最重要的一个，他总管宫中宦官事务，还管着东厂等特务机构，替皇帝掌管章奏和文件，代替皇帝传旨。王振掌握了这些大权以后，欺上瞒下，假传圣旨，滥施淫威，于是，朝中有不少人依附他。于是，他的野心越来越大，顺我者昌，逆我者亡。他的朋党大部分都得到了提升。他对于违逆自己的人，予以坚决的打击。工部尚书王卺不趋附王振，被勒令提前退休。侍讲刘球上疏反对王振，被他罗织罪名，然后处死。英宗当然知道这些事，不过，他早就对王振言听宣宗采纳了杨荣的意见，决定亲征汉王高煦计从，默认王振干这些他认为合理而实际上坑国害民的事情。
这些事情引起了杨荣的担心，他怕长此下去，王振会独揽朝廷大权。宦官专权，自古误国。于是他和太皇太后张氏商议这些事情，他说：“我朝从建国以来，不准宦官参与政事，可是现在，王振欺上瞒下，培植自己的力量，臣恐怕长此下去会出现宦官之祸。皇上特别宠信他，臣也不敢造次。”太后一听，生气地说道：“这还了得，一个小小的太监想乱我大明江山吗？”太皇太后打定主意，准备严惩王振，给他一个警告。一天，她让宫中女官穿上戎装，佩戴好刀剑，守卫在便殿旁边，太皇太后嘱咐她们听号令进屋抓人。然后，太皇太后把英宗和大学士杨士奇、杨荣、杨溥等人召到便殿。她首先指着五大臣对英宗说：“这五位大臣是前朝元老，受先皇的遗命辅佐你治理国家，你有什么事情，必须与他们商量，万万不可重用宦官，葬送了我大明江山。”接着太皇太后传旨召王振进殿，喝令他跪在地上，大声申斥：“太祖以来就定下了规矩，宦官不得干政，违犯的人定斩不饶。现在，你不是一心侍奉皇帝，还通过皇帝提拔你的同党，诬陷违背你的意思的人，真是好大的胆子，今天我要为国除害，一定把你杀掉。”太皇太后的话刚一说完，事先安排好的几个女官闯进来，抓住王振就要推出去斩首。王振吓得面如土色，浑身颤抖。英宗急忙跪下替王振求情，王振也声泪俱下，保证以后再也不敢了，太皇太后心一软，就命人把他放了。最后，太皇太后警告说：“今后不许你干预国政，下次再让我听说，我一定会杀了你。”王振连连点头称“是”，不断地磕头谢恩。王振受到这一次教训，还真的老实了一段时间。
杨荣等大臣回去以后，聚在一起，连连叹息。杨荣对杨士奇和杨溥说：“哎！这次没有斩杀王振，实在是可惜。王振狼子野心，他是不会改的，他可能会老实一阵子，等太皇太后去世，我等退隐以后，谁还能管得住他呀。后果不堪设想啊。”杨士奇说：“他有皇上庇护，我等有什么办法？”杨溥也跟着说：“当今圣上年幼无知，受奸人诱骗，真是国家的不幸啊！”杨荣沉思了许久，才慢慢说道：“我们都老了，要抓紧培养出我们的力量，才能和王振抗衡啊。”对这个问题，杨士奇不无忧虑地说：“那样不是又开始搞党争了吗？”杨荣手捻须髯，叹了口气说：“现在也只有这样了，不然就眼睁睁地看着大明朝混乱、衰亡。”
自从上次太皇太后教训了王振，他还真就老实了，怕做得过于出格，惹来杀身之祸。于是，他就改变策略，在太皇太后和“三杨”面前，装作毕恭毕敬、忠于职守、丝毫不敢有非分之想的样子，他还真的没有在表面上干预朝政，而是进一步讨好英宗，在暗地里结党营私，大量培植党羽，为以后专权擅政打下基础。
后来，太皇太后去世了，王振除去了他最大的障碍，再也没有人能对他构成威胁了，下一步的任务就是把杨荣等人排挤出去。这一天，王振来到内阁，想刺探“三杨”的打算，于是就阴阳怪气地说：“大明朝廷的政事多亏你们三位杨先生尽心尽力，才有今天的太平盛世呀。但是，你们三位眼看着年纪也大了，我也担心三位的身体吃不消啊，请问你们日后有什么打算呢？”杨士奇性情耿直，不加思考的说：“老臣自当尽忠报国，年龄大了又有何妨呢？我们为国效力，就算死了，也心甘情愿。”杨荣一想，知道王振来者不善。太皇太后去世以后，他又骄横起来了，把我们看作眼中钉，今天听王振这么说话，不由得怒火上撞，也冷笑着不温不火的说：“公公不要这样说话，虽然我们已经衰老了，没有办法再为朝廷效力，可是我们会选择一些可担当国家大事的后起之秀，推荐到朝中，来报答当今圣上的恩德。”王振一听，很不高兴，就强装出笑脸说：“三位还是多多保重身体，不知道你们举荐的人才，皇上是不是欣赏啊？”言外之意就是说你们举荐的人，皇上不一定用，皇上还是听我的。双方话不投机，王振起身告辞。
王振走了以后，杨荣和杨溥、杨士奇说：“我们应该尽早举荐接班人，假如动手晚了，我们的人即使进入内阁，也会因为资历浅没法跟王振抗衡。假如王振先动手的话，在皇上面前极力推荐某个人，那时候就真是王振的天下了，我们几位就束手无策了。事不宜迟，我们要马上行动。”第二天早朝，杨荣推荐曹鼐、苗衷、陈循、高谷进入内阁。杨荣毕竟德高望重，又是皇帝的老师，所以当场准奏。王振听说以后，连连跺脚，后悔莫及。就这样，杨荣挫败了王振插手内阁的图谋。
正统三年(1438年)，杨荣已经是六十八岁的老人了，身体渐渐的不行了，几次请求退休回家，都没有被批准。英宗说：“北方还有边患，国家大事还有赖于杨爱卿，你就先勉为其难、为朕分忧吧。”于是，他和杨士奇一起被加封为少师。
杨荣年老的时候，国家暂时无事。处理日常事务的闲暇之余，他经常与杨溥、杨士奇等人往来酬唱，逐渐形成了一个诗歌流派，称为“台阁体”。他把平生所写的诗文收集成集，后被称为《文敏集》，把跟随成祖北征的文稿整理成《后北征记》。杨荣在朝四十年，把大半生的精力都投入到平叛辅政等国家大事上，现在年老了，翻看自己的诗作，禁不住回忆起往事，想到家乡的山山水水，想到家乡的父老乡亲。有两首题画诗，触动了他的情思，这背后还隐藏着一段鲜为人知的故事。
据说杨荣福建老家有一位穷书生，有一年进京赶考，等到皇榜张贴出来，才知道自己没有考取。这时，他身上盘缠已经花光了，在京城举目无亲、求告无门。好在此人有一种手艺，画画不错，于是他就画家乡的山水，然后上街叫卖，希望这样能够挣些钱过日子并攒下回家的路费。但是，因为他没有名气，在街上喊破了嗓子，也没有人买他的画。
这一天，正在他守着画好的画发愁的时候，来了一位官员模样的人，站在画旁不断地称赞。他说：“我看你的画还是有些功夫，你如果能找到名家题词，这画的价格就会增长几十倍，或者更多，哪里还用上愁吃穿呢。”这个人听了恍然大悟，他想起了官居宰辅的老乡杨荣。但是，这位书生与杨荣向来不认识，更别说交往了，只是在家的时候，听人说杨荣平易近人，不知这次肯不肯帮我。于是，第二天他怀着忐忑不安的心情来到杨府，求见杨荣。这天杨荣正好在府中，听说是老乡来访，赶忙把他让进府中。见面以后，穷书生把自己的来意说明。说自己实在是迫不得已，才来麻烦老人家。杨荣见来人说得诚恳，欣然答应。他命人打开画轴，一看，果然妙笔丹青，画技不错。面对着家乡的山水，他作了两首诗，分别题写在画上。
第一首是：
谁家老屋枕溪濆
十里青山半是云。
此处更无尘迹到，
只应啼乌隔花闻。
第二首是：
小桥流水漾晴沙，
策仗归来日未斜。
昨夜东风花落尽，
一林高树锁烟霞。
题写完之后，杨荣把他的“白鹤山房杨氏”的印章印在年月的下面。穷书生千恩万谢，带上书画，高兴地走了。
第二天，穷书生把这两幅画挂在人来人往的大街上，高声喊出是当朝内阁大学士杨荣的题词。一时间，围观的人很多，富家子弟或者有收藏雅兴的人争相购买，穷书生因此发了一笔小财，就平安的回乡了。
正统五年(1440年)，杨荣七十岁，已经老得耳聋眼花，牙齿也掉光了，实在不能处理朝政了，上疏请求回家养老。英宗见此情景，只好批准了杨荣的请求，命人带领护卫护送杨荣回家。哪知道，他们刚走到武林驿，杨荣就死了。
消息传到京城，“几家欢乐几家愁”。王振暗自高兴，朝中又少了一个绊脚石。英宗特别悲伤，下旨举行国丧，为杨荣举哀，追封为光禄大夫左柱国太师，赠谥号“文敏”。杨荣的死，对大明王朝是一个重大损失。从此，王振开始无所顾忌。在北方的也先率兵攻打北京的时候，无才无德的王振怂恿英宗御驾亲征，结果兵败遭杀，英宗也被俘获。
起初，杨荣和方孝孺同时为建文朝大臣，一个为气节而死，一个却拜迎新皇帝入朝，其中的是是非非，让我们如何评价。我们只能说，造成方孝孺悲剧的，是他不切实际的改造社会的理念和他执着的愚忠。杨荣历仕四朝，每朝都深受信任，始终立于不败之地。他机智而不奸诈，功高而不谋反；与人交往和蔼可亲，处理国事体恤民情；他首倡的“台阁体”一时蔚为风气。他不愧为一代政治家、军事家、文学家，他在中国历史上永远闪烁着璀璨的光辉。