杨震从小接受父亲教诲，少年时便聪明好学，后拜名儒桓郁为师，学习儒家经典。几年之后，杨震通晓经传，博览群书，成为一个大学问家。
弱冠之后，杨震拒绝了许多大官的推荐，一心秉承父亲遗愿，设馆授徒。杨震坚持有教无类，且学问博大精深，因此远近钦慕，四方求学之士络绎不绝，学生有三千余人，被人尊称为“关西夫子”。
大将军邓骘对杨震的品行和学识敬佩有加，亲自征召杨震担任幕僚。有感于邓骘的诚意，已经年逾五旬的杨震决定去邓府任职。不久之后，杨震又被推举为茂才（即秀才）出任地方官，担任襄城（今河北襄城县）令，之后又相继担任荆州刺史、东莱太守、涿郡太守等职。元初四年（公元117年），杨震被征入朝廷任职，担任太仆（九卿之一），负责舆马及牧畜之事。同年十二月调为太常（九卿之一），掌管朝廷礼、乐、郊庙之事。汉安帝永宁元年（公元120年），升为司徒，位列三公，主管教化。汉安帝延光二年（公元123年），升为太尉，掌管朝廷军事大权。
在开办教育的三十多年间，杨震一直以正直清白教诲学生。在为官的二十余年间，杨震同样以正直清白自守。他始终以“清白吏”为座右铭，严格要求自己恪尽职守，不私受贿赂，一切事情都秉公办理。
在一次赴任途中，杨震经过昌邑时得知昌邑县令是王密。当初在荆州时，王密因为杨震的举荐而得到重用。如今经过故人管辖之地，杨震便决定前往拜访。两人见面，自然是一番寒暄叙旧。等到了晚上，王密怀揣十斤黄金来到杨震住所，想要杨震给他打通关系。杨震遗憾地说：“我了解你，你却不了解我，这是为什么呢？”王密说：“您不必担心，送金这件事在夜间是没有人知道的。”杨震回答说：“这件事情，天知，地知，我知，你知，怎么说没有人知道呢？”王密听后非常惭愧，便带着黄金回去了。
杨震为官，从不牟取私利。他的子孙们也与平民百姓一样，蔬食步行，生活十分简朴。曾有亲友劝杨震为子孙后代置办些产业，杨震坚决不肯，他说：“让后世人都称他们为‘清白吏’子孙，这样的遗产，难道不丰厚吗？”
杨震为官清廉自守，而且疾恶如仇，敢于直谏。邓太后去世后，汉安帝身边的内宠得势，乳母王圣深得恩宠。王圣恃宠而骄，在禁宫内为所欲为，与女儿伯荣经常出入禁宫，从事串通奸恶和传送贿赂的勾当。杨震上书皇帝，以前代女子乱政为例，说明奸诈的妇女不能干预朝政，请求汉安帝将王圣移出宫外居住，并断绝伯荣与宫廷的联系。汉安帝不但没有采纳杨震的规谏，反而把杨震的奏章拿给王圣看，杨震因此被王圣怨恨。
受到汉安帝如此庇护，王圣愈加肆无忌惮，勾结中常侍樊丰及侍中周广、谢挥等人。汉安帝下诏为王圣修建府第，樊丰、周广、谢挥等人趁机祸乱朝廷。这些人倚仗得宠的奸佞，作威作福，大肆倾轧异己。他们招揽天下贪婪之人帮助自己收受贿赂，甚至有些因贪赃枉法被罢免的人都重新担任要职。朝廷被这些奸佞之人弄得黑白颠倒，是非混淆。杨震深感忧虑，上书规谏汉安帝，但是并没有得到重视。
樊丰、谢挥等人知道汉安帝不听规谏，更加肆无忌惮，甚至伪造诏书，征调国库里的钱粮以及现有的役夫和木材，为自己修建巨宅、园池，花费的人力和财力不计其数。杨震再次上书劝谏，言辞也由温和转为激烈，引起了汉安帝的不满，而樊丰等人对杨震更是怨恨非常，但碍于杨震的声望而不敢加害于他。
汉安帝外出巡视，樊丰等人因为皇帝外出，加紧修建私人宅第。经过多方询问核查，杨震得到樊丰等人伪造的诏书。杨震将他们所有的罪行写成奏章，准备等安帝回京后呈上。樊丰等人大为惶恐，便一同诋毁杨震，说杨震是邓骘的旧属，对汉安帝迫害邓氏兄弟的做法不满，因此对朝廷十分怨恨。汉安帝轻信谗言，将杨震的太尉印绶收回，随后又将杨震遣回原籍。
杨震临行前，对前来送行的儿子和门徒们说：“死亡，对正直之士来说是很平常的事情。我蒙恩身居高位，既不能诛杀佞臣贼子，又不能禁止奸妇作乱，还有何面目苟活人世。我死后，杂木做棺，破布裹尸即可，不要归葬祖坟，也不要祭祀。”说完服毒自尽。樊丰派人截住杨震的丧车，让棺材暴露在大道旁，并责罚杨震的儿子们为驿站传递文书，路人为之落泪。
一年后，汉顺帝即位，樊丰等人被处以极刑。杨震的门生上书汉顺帝，请求重新调查杨震冤案。很快事情水落石出，汉顺帝下诏为杨震平反，将杨震的两个儿子封为郎官，增钱百万，并按照三公礼仪改葬杨震。改葬当天，前来参加葬礼的百姓络绎不绝，向这位刚正清廉的太尉表达崇敬之意。