自一九六二年至一九六九年期间，他于中国人民解放军六〇三四部队服役，先后担任战士、班长及保密员等职务。随后，从一九六九年到一九七五年，他在山东省烟台地区小钢联钢厂工作，历任普通工人、车间党支部书记、厂团委书记等职，并曾担任祥山铁矿党总支书记。一九七五年至一九七六年，他出任山东省烟台地区小钢联钢厂党委副书记。 一九七六年至一九七八年，他调任山东省烟台地区革命委员会工交办公室副主任，同时兼任地区交通局党委书记。一九七八年至一九八三年，担任山东省烟台地区经济委员会副主任，并兼任地区冶金工业局局长。一九八三年至一九八四年，他进入山东省烟台市委常委班子，同时担任芝罘区委书记。 一九八四年至一九八七年，他继续担任烟台市委常委，并任副市长，同时兼任市经济委员会主任及党组书记。一九八七年至一九八九年，调任山东省威海市委副书记。一九八九年到一九九二年，担任山东省烟台市委书记。一九九二年内，他进一步晋升为山东省委常委，并继续兼任烟台市委书记。 一九九二年至一九九三年，他担任山东省委常委、政法委书记。一九九三年至一九九四年，任山东省委常委、副省长。一九九四年至一九九五年，担任山东省委副书记、副省长。一九九五年至二零零二年，专任山东省委副书记。 二零零二年至二零零三年，他调至宁夏回族自治区，担任自治区党委书记。二零零三年至二零一零年，继续担任宁夏回族自治区党委书记，并同时兼任自治区人大常委会主任、党组书记以及宁夏军区党委第一书记。二零一零年至二零一三年，他担任第十一届全国人民代表大会内务司法委员会副主任委员。二零一三年至二零一八年，出任第十二届全国人民代表大会农业与农村委员会主任委员。
该同志光荣当选为中国共产党第十七次全国代表大会的代表，并曾担任中国共产党第十五届中央委员会候补委员。此后，在第十六届和第十七届中央委员会的选举中，该同志进一步当选为正式的中央委员，这充分体现了党组织和广大党员对其工作的信任与肯定。
二零一零年七月二十四日，根据中共中央的相关决定，由于任职年龄的相关规定，陈建国同志不再继续担任宁夏回族自治区党委书记、常务委员会委员及党委委员等各项职务。时隔近三年，在二零一三年三月十六日举行的中华人民共和国第十二届全国人民代表大会第一次会议上，经过会议审议并通过了相应的人事任命，决定由陈建国同志担任第十二届全国人民代表大会农业与农村委员会的主任委员职务，负责该专门委员会的相关领导工作。