张玉是明初朱棣麾下的一位骁勇悍将，出生在祥符，也就是现在的河南开封。早些年的他曾经在元朝时期当过枢密知院。后来元朝灭亡后，又跟着皇室一路逃到了漠北去，直到洪武十八年才跑回来归降明王朝。
在洪武二十一年的时候 张玉跟着大将蓝玉一起北征大漠，成功在捕鱼儿海一带立下战功，被晋封为济南卫副千户，不久后又迁任为安庆卫指挥佥事。
之后，又继续跟着蓝玉将军一起征讨远顺、散毛诸洞，多次击败前来骚扰边境的残元军队。过后，张玉被调任为燕山左护卫，跟着燕王朱棣出塞，其间所展现出来的骁果善谋划，使得其获得了朱棣深深的信任和器重。在当时燕王府的诸多将领中，张玉善谋，朱能善战，他们一起被朱棣视为左右手。
在建文元年七月份的时候，燕王朱棣正式起兵发动靖难之役，张玉奉命带领兵马迅速占领了北平九门，之后又在三天之内成功控制北平全城。
朝廷驻守在蓟州一带的都指挥使马宣闻讯后，立马带领一支人马前来进攻北平，但成功被击退。此时朱棣刚刚打败另一支朝廷军宋忠，成功控制了居庸关和怀来等战略要地。
朱棣见此情景，准备急匆匆地南征，此时张玉站了出来，果断地表示不可，因为蓟州外接大宁，这里很多擅长骑马的士兵，如果不把这个地方给攻取，将来会成为祸患的。
对此，朱棣赶紧派遣善战的朱能过去袭击蓟州，经过几番交战，成功将马宣击杀，控制了蓟州成，解决了北平城的后顾之忧。而张玉也在这个时候，带领一支人马，拿下了永平、密云等地，成功升任为都指挥佥事。
到了八月份的时候，朝廷便以老将耿炳文为主将，让其带着数十万大军北上，同燕军作战。同时让都督徐凯驻扎在河间；潘忠、杨松驻扎在鄚州；耿炳文则带着主力部队驻扎在真定。
张玉见此情况，当即向朱棣表示，潘忠和杨松这两人都是有勇而无谋的庸才，我们可以尝试着去袭击一番，必定能够将其成功擒获。
于是乎，朱棣便以张玉为前锋，趁着中秋佳节，朝廷正在尽力举办宴会都大好时机，直接径直过去偷袭，成功将其攻破。同时又带着一队轻骑兵去观察一下，耿炳文军的军纪情况。
回来后，张玉对朱棣表示，耿炳文的军队纪律涣散，可以考虑急击之。由此，朱棣方才带领大军西向，直趋真定，并在这个地方，成功击败了耿炳文军，一共斩首三万。不久后，又再度大败安陆侯吴杰军，全军将士的士气都来到了顶点。
到了九月份时，朝廷将李景隆提拔为南军主帅，又带着数十万部队气势汹汹而来，目标直指北平。此时江阴侯吴高也带着一支军队围攻了永平，让朱棣颇感腹背受敌。
朱棣和张玉一通商量，决定集中兵力援救永平，解决后顾之忧后，再回师救援北平。当时的吴高一听说朱棣亲自率军过来救援永平，当即二话不说，立马开溜。张玉带领一支轻骑兵紧追过来，成功杀伤了众多敌军。
过后，又在张玉的建议下，朱棣率军北上袭取大宁，也就是今天内蒙古的宁城，成功在短短两个时辰之内就拿下了这座城池。都指挥朱鉴被斩，都指挥房宽被擒杀。还意外地收编了宁王朱权所部兵马，实力大为增加。
在朱棣完全这一系列惊人操作之后，李景隆军还围困北平，便立马回军救援，双方在郑村坝和白沟河一带两度展开决战，李景隆军都被击溃，一路逃到了济南，在将济南城围了三个月之后，发现没能将其拿下，便干脆撤围而走。
不久后又卷土重来，不过这一次的目标不是济南城，而袭击了沧州，成功擒拿其守将徐凯。紧接着便与南军新主将盛庸军在东昌一带相遇，朱棣不幸被中计，被敌军给团团包围起来。幸得张玉、朱能此时分兵两路，前来救援，成功让朱棣脱围而出，而张玉则身在战阵之中，直接殒命疆场，享年五十八岁。
