自二零一五年五月起至二零一九年二月，该同志担任衡阳市安全生产监督管理局党委书记、局长，在此期间全面负责全市安全生产的监督与管理工作。随后，从二零一九年二月至二零二二年一月，其职务调整为衡阳市工业和信息化局局长、党组书记，主要承担推动全市工业经济与信息化发展的职责。自二零二二年一月至二零二三年十二月，该同志转任衡阳高新技术产业开发区党工委副书记、管委会主任，重点负责该开发区的日常运营与规划发展工作。此后，于二零二三年十二月至二零二五年十月期间，其被任命为邵阳市人民政府党组成员、副市长，参与市政府领导工作并分管相关领域事务。自二零二五年九月起，该同志进一步担任湖南省邵阳市委常委，进入市委领导班子，参与全市重大决策。
中国共产党衡阳市第十二届委员会委员
2025年9月，经中共湖南省委常委会会议研究审议，正式作出人事安排决定，任命胡小刚同志担任中共邵阳市委委员、常委职务。随后，在2025年10月27日召开的邵阳市第十七届人民代表大会常务委员会第三十一次会议上，依照法定程序审议并通过了相关人事任免议案，会议决定免去胡小刚同志所担任的邵阳市人民政府副市长职务。此次人事调整是湖南省及邵阳市根据工作需要，经过组织程序慎重研究后作出的正常人事安排。