玉山铁二出生于日本京都府城阳市，他自童年时期起便对各类体育运动展现出浓厚的兴趣与天赋。在中学阶段，他长期作为学校田径队的核心成员活跃于赛场，在短跑与跳远项目中均有不俗表现。然而，在至关重要的中考临近之年，玉山铁二偶然观看了TBS电视台播出的电视剧《未成年》，这部剧集深深吸引了他，导致其一度沉迷其中而分散了学习精力，最终遗憾地与心仪的高中失之交臂。此后，他进入京都府立西城阳高中继续学业。高中期间，一次偶然的机会促使他尝试参与了平面模特的选拔活动，凭借出色的外形条件与独特气质，他顺利脱颖而出，并相继成为了《CHECKMATE》等多家知名时尚杂志的专属签约模特，由此逐步开启了他在演艺与时尚领域的职业生涯。
一九九九年，玉山铁二凭借出演个人首部电视剧作品《麻辣女教师》正式开启了其演艺生涯，由此步入演艺圈。二零零一年，他在特摄剧集《百兽战队牙吠连者》中成功塑造了银狼战士大神月磨这一角色，开始受到关注。次年十月十日，一部由他参演的伦理题材电视剧《麻辣女教师》迎来首播，进一步积累了表演经验。到了二零零四年六月五日，玉山铁二参演的爱情电影《天堂书屋：恋火》于影院上映；同年，他迎来了职业生涯的一个重要突破，首次在运动题材电影《功夫棒球》（亦被称作《逆境NINE》）中担任主演，饰演一位面对逆境却始终不屈不挠、奋力拼搏的主人公，该片最终于二零零五年七月二日在日本公映；此外，他还在职业剧《离婚女律师》中生动演绎了初出茅庐的菜鸟大学生本多大介。二零零五年九月三日，一部改编自同名漫画的剧情电影《NANA》上映，玉山铁二在片中饰演TRAPNEST乐队的队长兼贝斯手一之濑巧，其表现令人印象深刻；同年，他在家庭剧《比特兄弟》中出演了樱井家长子樱井达也一角。二零零六年十一月三日，由山田孝之领衔主演的剧情电影《信》（又名《书信》）上映，玉山铁二在片中饰演男主角武岛直贵的哥哥武岛刚志，展现了深厚的兄弟情谊；十二月九日，其参演的另一部爱情电影《情人钥匙》上映，他在片中化身为摄影师森本博明；此外，他还参与了爱情电影《NANA2》的演出。二零零七年七月三日，玉山铁二主演的青春励志剧《向牛牛许愿》首播，他在剧中担纲男主角，饰演背负着父亲乃至整个村落殷切期望的青年高清水高志；同年，他还主演了特别剧《午夜进行曲》，在剧中饰演经营活动策划公司的横山健司。二零零八年一月十二日，由瑛太主演的剧情电影《银色季节》首映，玉山铁二在片中饰演一位退役的职业滑雪选手、在镇上滑雪场打零工的小鸠祐治；一月十四日，由香取慎吾主演的现代剧《没有玫瑰的花店》播出，他在剧中挑战了冷酷无情的外科医生神山舜一角，这也是他首次在影视作品中尝试诠释反派角色，展现了其戏路的拓宽。 二零零九年一月四日，其参演的大河剧《天地人》播出，玉山铁二在剧中饰演上杉谦信的养子上杉景虎，与阿部宽饰演一对父子，对手戏颇具看点；二月二十八日，其主演的爱情电影《等待幸福》上映，他在片中饰演淳朴善良的男主角友寄明青；四月十六日，由天海佑希主演的刑侦剧《BOSS》首播，玉山铁二在剧中饰演警视厅搜查一课特别犯罪对策室的刑警片桐琢磨；六月六日，其参演的剧情电影[###《蔷薇的十字架》0###]上映，他在片中挑战饰演中国籍收购经理人刘一华，这不仅是他首次在影视作品中尝试中国人的角色，更凭借在此片中的精湛演出荣获了第三十三届日本电影学院赏最佳男配角奖，标志着其演技获得了业界的高度认可。二零一零年六月五日，其参演的喜剧电影[###《蔷薇的十字架》1###]上映；十月九日，其出演的犯罪悬疑电影[###《蔷薇的十字架》2###]上映，在片中饰演松本美加代的男朋友赤城邦卫；十二月十一日，一部改编自村上春树同名小说的剧情电影[###《蔷薇的十字架》3###]首映，玉山铁二在片中饰演了性格复杂的花花公子永泽。二零一一年六月十日，由西田敏行主演的剧情电影[###《蔷薇的十字架》4###]（又名[###《蔷薇的十字架》5###]）上映，玉山铁二在片中饰演不善与人交往、喜欢沉浸在书本世界中的奥津京介；十一月二十七日，其参演的悬疑剧集[###《蔷薇的十字架》6###]首播。二零一二年四月十二日，其出演的励志剧[###《蔷薇的十字架》7###]播出，在剧中饰演兴和制作所的工人乾一希；十一月二十三日，其参演的喜剧电影[###《蔷薇的十字架》8###]上映，在片中饰演年轻帅气但却与周围环境格格不入的农家子弟熊田公雄。 二零一三年一月六日，其参演的大河剧[###《蔷薇的十字架》9###]首播；十月十二日，其参演的爱情电影《向阳处的她》首映，在片中饰演倾慕女主角渡来真绪的会社前辈新藤春树。二零一四年八月三十日，由小栗旬主演的犯罪动作电影《鲁邦三世：埃及艳后的项链》上映，玉山铁二在片中饰演枪法精准的职业枪手次元大介，其冷峻造型与角色契合度颇高；九月二十九日，他与夏绿蒂·凯特·福克斯搭档主演的励志剧《阿政》播出，在剧中饰演身为酿酒世家传人的男主角龟山政春，为了更贴近角色形象，他特意减重十二公斤，该剧最终以平均收视率百分之二十一点一的佳绩，成为二零一五年日本收视率最高且唯一一部平均收视率突破二十点的剧集，取得了巨大的成功。二零一五年十月二日，其参演的特别剧《以我为名的变奏曲》播出；十一月二十二日，改编自堂场瞬一同名小说的社会剧《误断》首播，玉山铁二在剧中担纲男主角，饰演制药公司宣传部员槙田高弘。二零一六年，玉山铁二荣获第四十届黄金飞翔奖新人奖，肯定了其多年来的努力与成绩；七月十七日，由藤原龙也主演的悬疑剧《遗失身份》首播，他在剧中饰演藤堂新一大学时代同一研究会的伙伴小山内保。二零一七年三月十七日，改编自久住昌之同名漫画的美食剧《野武士的美食》播出，玉山铁二在剧中饰演胆小鬼香住武想象出来的人物野武士，展现了其表演的趣味性；九月十六日，与佐佐木希搭档主演的都市爱情网络剧《下雨时你的温柔》首播，他在剧中担纲男主角，饰演工作忙碌的杂志副主编立木信夫；九月三十日，改编自樱井画门同名漫画的奇幻动作电影《亚人》上映，他在片中饰演厚生劳动省亚人管理委员会的重要干部户崎优。二零一八年六月三十日，他出演了《傻爸爸比笨爸爸》，饰演赤冢不二夫。此外，在谐星明石家秋刀鱼担任编剧及制作人的Netflix原创日剧《Jimmy~二货般的真实故事~》中，他饰演了明石家秋刀鱼本人。 二零二一年，他参演了电视剧《全裸导演第二季》。二零二二年二月二十五日，其参演的电视剧《与你在世界终结之日 第三季》播出。同年，他还参演了电视剧《星新一的不可思议短剧》。四月八日，由他主演的电影《只是现在有点不走运》上映。此外，他也参演了电视剧《夏洛克的孩子们》。二零二三年七月二日，其参演的电视剧《CODE-愿望的代价-》开播；十月十三日，参演的电影《次元大介》上映。二零二四年一月十四日，出演的一月期TBS电视台周日九点档剧集《再见了指挥大师~父亲与我的热情~》播出。六月二十八日，参演的电视剧《微笑的套娃》播出；十一月一日，参演的另一部电视剧《极道青年》播出。展望未来，二零二五年三月八日，将有他参演的电视剧《花暖帘》播出。同年七月二十二日，参演的电视剧《Stingers 警视厅诱饵搜查验证室》播出；八月一日，参演的电影《TOKYO MER～移动紧急救命室～》也将上映。而在二零二五年二月十五日，其参演的电视剧《北方谦三 水浒传》则会率先上线播出。
二零零九年，日本演员玉山铁二在参与电影《秃鹫》的拍摄工作期间，与共同出演该片的女演员栗山千明相识并逐渐发展为恋人关系；同年十一月，这段恋情经媒体报道而正式公开。然而，这段感情并未持续太久，到了二零一零年，玉山铁二与栗山千明因故选择分手，结束了短暂的交往。两年后，即二零一二年二月十四日，玉山铁二通过个人官方网站对外公布了结婚的喜讯，透露其妻子并非演艺圈内人士，且当时已经怀有身孕；随后在同年的八月八日，玉山铁二的第一个孩子顺利出生，家中迎来了长子的诞生。
玉山铁二的外表常常给人一种冷峻而难以接近的印象，然而其内心深处却蕴藏着质朴与真诚，这种反差在他精湛的演技中得到了充分的体现。作为一名拥有精悍容貌的正统派帅哥演员，玉山铁二的表演往往蕴含着令人意想不到的层次与转折，这与他看似冷硬的外形形成了微妙的对比。在《秃鹫》、《死刑台的电梯》等一系列影视作品中，他不断突破自我，向观众展现出多样而丰富的角色面貌。他身上有一种独特的魅力，让人不由自主地产生“想要更深入了解他”的愿望；在其冷静而客观的演技深处，始终涌动着一股无法被掩盖的、属于表演者的真挚热情。即便在电影《NANA》中他的出场时间有限，但其细腻而精准的演绎依然给众多观众留下了深刻印象，令人赞叹不已。无论是作为日常生活中的普通人，还是作为活跃于荧幕之上的演员，玉山铁二总能以其沉稳的举止和扎实的专业能力，带给周围人一种可靠的信赖感与从容的安定感。