张释之年轻的时候和哥哥张仲一起生活。张仲家境较为富裕，于是资助弟弟做了一个小官。张释之侍奉汉文帝十年都籍籍无名，没有得到升迁。他担心继续浪费哥哥的钱财最终让哥哥破产，就想辞官回家，做点小买卖。不过袁盎知道张释之确实是个有才之人，不想让他这样离去，就去请求汉文帝让张释之做个谒者。
一次，汉文帝出行，张释之随行。来到虎圈后，汉文帝询问书册上记录的禽兽的情况，一连十几个问题，上林尉都回答不出来。而上林尉手下一个小官却对答如流，汉文帝非常欣赏：“做官吏不是应该这样吗？”于是想任命那个小官做上林尉。
张释之上前劝谏：“陛下认为绛侯周勃是怎样的人呢？”“是令人尊敬的长者啊！”“东阳侯张相如是怎样的人呢？”“也是个让人尊敬的长者。”“您把这两个人都称为令人尊敬的长者，可是这两个人议事的时候都不善言谈，做官难道就是凭一张嘴吗？人们争相夸夸其谈，没有一点用处。陛下还记得秦末时候官吏们争着做表面文章的后果吗？”汉文帝听了这些话，惭愧地说：“你说得对！”
有一次，太子和梁王一起乘车进宫拜见皇上，到了宫门外的司马门却没有下车。张释之马上追上去拦住太子和梁王，不让他们进入大殿，还对他们说：“在司马门不下车是对皇上的大不敬。”汉文帝很快知道了这件事，有些懊恼地说：“怪我没有教导好自己的儿子们。”然后派使臣带着赦免太子和梁王的诏书前去交给张释之，两位皇子这才得以进入宫中。
公元前177年，张释之升任廷尉，成为协助皇帝处理司法事务的最高审判官。张释之认为廷尉应当公正执法，否则天下都会有法不依而轻重失当，手无寸铁的百姓便会失去倚仗。他执法严明，即使在与皇帝发生分歧时，也力求维护法律的公正。
一次，汉文帝的车辇行至中渭桥时，突然从桥下窜出一个人，御马受惊。文帝大怒，将这个冒犯圣驾的人交给张释之治罪。经审讯得知，此人躲在桥下，原本就是为了躲避皇上的车驾，因为急于回家，误以为车马已经过去，所以才冲出来，不想却惊吓了御马。张释之判定，这个人只不过是一时失误，违反了“清道令”，判以罚金后便释放了。
这件事情发生不久后，又有一件事情使得汉文帝大为恼怒。有一个窃贼将汉高祖庙中的玉环盗走，汉文帝怒不可遏，下令全国通缉这个胆大包天的窃贼，很快窃贼就被抓获了，汉文帝谕令张释之严加惩治。依据当时法律，盗窃宗庙的珍宝、服饰、器物等当判以“斩首弃市”，张释之便依此律判决。
汉文帝知道这个判决之后，大为震怒，责问张释之：“这个盗贼如此无法无天，竟然偷到皇家祖庙，将祭献高祖的玉环盗走。判以‘斩首弃市’，无法消弭他的滔天大罪，应当灭其全族。盗高祖圣物，情节何其恶劣，可你却像对待平常案子一样，只是按照法律上的规定判决。这样处置怎么能够维护先帝高祖的尊严呢？而且也违背了我尊奉祖先的心意。”
张释之见汉文帝大发雷霆，脱下官帽叩头谢罪，口里却依然据理力争地辩驳说：“根据法律规定，将窃贼判处‘斩首弃市’就是最重的惩罚。到底是判斩首弃市罪还是判灭族罪，应该按照罪行的轻重来定。如果现在对盗窃宗庙中圣物的人判以灭族，那么以后如果有个大胆狂徒去宗庙皇陵，那陛下又将怎么判决呢？”
汉文帝听完张释之的话，思之再三，并与太后仔细斟酌，最终认为张释之据情据理，于是接受了他的意见。
由于张释之执法公正严明，一切判决都依照法律并严格执行，既不以个人的好恶来论罪，也不受环境的左右，所以在其担任廷尉期间，许多冤假错案得以避免，甚至有“张释之为廷尉，天下无冤民”的说法，张释之也因此得到了百姓的称颂。
张释之为人正直，执法严明，而且恭谨谦虚，为世人敬重。一次，一个姓王的老者擅长老庄学术，是一个有德有才但隐居不愿做官的人。这位老者被召入朝廷，三公九卿全部站在朝堂中，老者突然发话：“我的袜子松开了。”然后对着张释之说：“帮我穿好袜子！”张释之闻言，没有恼怒，而是跪下给老者穿好袜子。这件事情过后，有的人就对这位姓王的老者说：“你不知道张廷尉掌管着刑法吗？为什么偏偏要侮辱他，让他帮你穿袜子呢？”姓王的老者回答：“我年纪大，而且身份卑微，我忖度自己没能力帮助张廷尉。张廷尉是当今天下名臣，我之所以故意侮辱张廷尉，让他跪着给我穿袜子，是想体现他的品德，让天下人对他更加敬重。”别人听完老者的解释，都认为老者是个贤士，而对张释之则更加敬重。