自一九八二年九月至一九八五年八月，该同志在黑龙江省建筑工程学校工业与民用建筑专业进行系统学习。毕业后，于一九八五年八月进入黑龙江省鸡西市第三建筑公司技术科，担任技术员职务。一九八七年四月，其工作调整至该公司第一工区，继续从事技术员工作。至一九八八年十二月，因工作表现突出，被任命为鸡西市三建公司第一工区副主任。一九九一年三月，进一步晋升为该工区主任。在此期间，他于一九九零年十月至一九九一年七月，通过函授方式在黑龙江矿业学院工民建专业完成了在职大专学业。 一九九二年四月，其职务再次获得提升，担任黑龙江省鸡西市第三建筑公司副经理，并明确为副处级。一九九四年十二月，其工作领域发生转变，开始担任共青团鸡西市委书记一职。一九九七年三月，调任黑龙江省鸡西市麻山区，先后担任区委副书记、区政府区长。在麻山区工作期间，他积极进行在职深造，于一九九五年七月至一九九七年七月参加了黑龙江大学经济管理专业研究生进修班的学习，并同期于一九九五年八月至一九九七年十二月在中央党校经济管理专业本科班完成了学业。 一九九九年八月，其职务调整为黑龙江省鸡西市麻山区委书记。二零零二年十月，进入鸡西市市级领导岗位，担任鸡西市委常委、政法委书记。在任期内，他于二零零三年三月至二零零六年一月，在黑龙江省委党校经济管理专业研究生班进行了系统学习。二零零六年五月，其职责进一步扩展，担任鸡西市委常委，同时出任市政府副市长、党组副书记。在此期间，他于二零零七年十月至二零零九年六月在东北财经大学高级管理人员工商管理专业学习，并成功获得高级管理人员工商管理硕士学位。 二零一一年九月，其工作地点发生变动，调任黑龙江省牡丹江市，担任牡丹江市委常委，市政府副市长、党组副书记。二零一四年三月，其职务再次调整，被任命为黑龙江省双鸭山市委副书记，并被提名为市政府市长候选人。同年四月，开始担任双鸭山市委副书记，市政府代市长、党组书记，并于二零一四年五月正式当选为双鸭山市委副书记，市政府市长、党组书记。 二零一六年二月，其工作地点转移至黑龙江省齐齐哈尔市，担任齐齐哈尔市委副书记，市政府市长候选人、党组书记。自二零一六年三月起，正式担任齐齐哈尔市委副书记，市政府市长、党组书记。二零二一年三月，其职务变更为齐齐哈尔市委书记。同年十月，被任命为黑龙江省人民政府副省长、党组成员，同时继续兼任齐齐哈尔市委书记职务。至二零二一年十二月，不再兼任齐齐哈尔市委书记，专任黑龙江省人民政府副省长、党组成员。 二零二二年五月，进入黑龙江省委领导班子，担任黑龙江省委常委、省委政法委书记。同年九月，其工作跨省调动，担任内蒙古自治区党委常委、组织部部长，并兼任内蒙古党校（行政学院）校长（院长）。二零二六年一月至二月间，担任内蒙古自治区领导职务。自二零二六年二月起，担任内蒙古自治区人大常委会副主任、党组成员。
作为中华人民共和国第十三届全国人民代表大会的代表，他积极履行了人民赋予的职责。同时，他还曾连续担任中国共产党黑龙江省第十二届及第十三届委员会的委员，在地方党组织的领导与建设中发挥了重要作用。此外，他也当选为内蒙古自治区第十四届人民代表大会的代表，持续参与并推动该地区的民主法治进程与社会经济发展。
二零二六年一月十二日，内蒙古自治区党委组织部于当日组织召开了机关领导干部会议，会议正式宣布了自治区党委的一项重要人事决定，根据工作需要，李玉刚同志将不再继续兼任自治区党委组织部部长的职务。随后，在同年二月七日，内蒙古自治区第十四届人民代表大会第五次会议如期举行了第三次全体会议，与会代表经过严格的法定程序，在会上进行了选举，最终选举李玉刚同志担任内蒙古自治区第十四届人民代表大会常务委员会副主任一职。这一系列人事安排体现了自治区党委和人大工作的正常推进与有序衔接。