一九二五年十月二十三日，关海山出生于广东广州。他自幼便跟随父亲关耀辉在梨园粤剧团中学习戏曲技艺，打下了坚实的艺术基础。一九三六年，他正式踏入戏剧行业，成为一名文武兼备的粤剧小生，长期活跃于当时街头巷尾的粤剧舞台之上。他尤其擅长塑造风度翩翩的英俊小生和气质雍容的达官贵人等角色，其表演深受观众喜爱。在此期间，他曾有幸加入由粤剧界著名表演艺术家任剑辉与白雪仙领衔主演的新声剧团，与前辈同台演出，进一步磨练了自身的舞台功力。一九三七年抗日战争全面爆发后，关海山辗转来到香港，继续寻求艺术发展的机会。一九五零年起，他开始涉足电影领域，参与多部影片的演出；至一九六零年代，凭借其精湛的演技与独特的个人魅力，关海山已然跃升为粤语影坛中备受瞩目的“首席小生”，其艺术成就获得了广泛的认可。
一九六二年，这位演员的演艺事业迎来了一个颇为活跃的阶段。他首先在电影《红孩儿》中担纲出演了唐僧一角，以其表演初步展现了塑造古典人物的潜力；紧接着在同一年，他又于另一部影片《仗义还妻》里诠释了名为林思勉的角色，进一步拓宽了戏路；此后不久，他再次投入拍摄，在电影《火龙怒吞双虎将》中成功塑造了王成这一人物形象。时间来到一九六三年，他继续保持着高产的工作节奏，先后参与了电影《不斩楼兰誓不还》与电影《烽火恩仇十六年》的演出，通过这两部作品积累了更多宝贵的拍摄经验。进入一九六四年，他的身影继续出现在大银幕上，不仅参演了电影《阵阵美人威》，还在同年于电影《孙悟空七打九尾狐》中客串了一个角色，虽然戏份不多，但亦为影片增添了色彩。 一九六五年是其演艺生涯中又一个重要的年份。这一年，他受导演黄鹤声之邀，在其执导的电影《大红袍》中饰演了颇具分量的嘉靖皇帝一角，这是一个考验演技的历史人物；同样是在黄鹤声导演的麾下，他于同年又出演了另一部电影《孙悟空三戏百花仙》，延续了良好的合作；此后，他还在电影《血染蝴蝶山》中挑战了陈胜这一角色，展现了其驾驭不同时代背景人物的能力。一九六六年，他转而与导演罗炽合作，在电影《女黑侠血战黑龙党》中扮演了关警官；颇具意味的是，在同一年，他再次回归到“唐僧”这一经典形象，在黄鹤声导演执导的电影《孙悟空大战群妖》中饰演了主角唐僧，这可以看作是对其四年前同类角色的一次深化演绎。 一九六七年，他的工作重心依然集中在香港影坛。他在关志坚执导的香港电影《月向那方圆》中饰演了林国昌；同年，又在另一部电影《甜蜜蜜的姑娘》中出演了名为施天成的角色。经过数年的沉淀与发展，至一九七一年，他出演了由吴丹执导的香港电影《日月神童》，在片中饰演了日父一角；随后在同一年，他再次投入创作，于电影《薛丁山三弃樊梨花》中饰演了薛子龙，为其在这一时期的演艺活动画上了句点。
一九七六年，关海山正式加盟香港无线电视（即TVB），开启其在该电视台的演艺生涯。他首度参演的电视剧是《书剑恩仇录》，在其中生动塑造了“绵里针”陆菲青这一角色；同年，他也涉足电影领域，出演了作品《亲情》；此后不久，他又在另一部电影《誓不低头》中扮演了重要角色。一九七九年，他加入了由郑裕玲领衔主演的香港电视剧《天虹》的演出阵容。进入一九八零年，关海山参演了香港电影《A计划》，出色地诠释了陆警主管戚帮办一角；同年，他还出演了电影《辣手神探》；随后又在香港电影《家有喜事》中贡献了精彩的表演。一九八一年，他出演了香港TVB制作的电视剧《过客》。次年，即一九八二年，他继续活跃于TVB荧屏，出演了电视剧《天龙八部》。一九八三年，他的作品包括电视剧《播音人》；同年，他也在香港电影《男与女》中扮演了角色；此外，他还参演了由黄日华、翁美玲主演的经典电视剧《射雕英雄传》。一九八四年，他出演了台湾中视制作、周绍栋主演的电视剧《鹿鼎记》。一九八六年，在香港TVB版、由梁朝伟主演的电视剧《倚天屠龙记》中，他成功塑造了胡青牛这一形象。一九八九年，他出演了电视剧《盖世豪侠》；在电视剧《他来自江湖》中饰演文立贤；同年还在电视剧《义不容情》中饰演了倪坤一角。在《鹿鼎记》中，他饰演陈文亮；而在《射雕英雄传》中，则饰演了陆乘风。一九九零年，他在张艾嘉主演的电影《庙街皇后》中扮演了角色。一九九一年是其演艺事业的重要年份，他参演了电影《五亿探长雷洛传》，并凭借在此片中的精湛演技，一举荣获第十一届香港电影金像奖最佳男配角以及第二十八届台湾电影金马奖最佳男配角两项殊荣；同年，他还出演了香港TVB电视剧《大家族》。一九九二年，他参演了贺岁电影《家有囍事》，在片中他以诙谐幽默的表演方式，塑造了一位患有老人痴呆症的父亲形象，令人印象深刻；同年，他还出演了电影《天若有情Ⅱ之天长地久》；之后又在香港TVB电视剧《巨人》中饰演了麦约翰。一九九三年，他在香港TVB电视剧《原振侠》中饰演了名为荣耀的角色。一九九四年，他在电视剧《情浓大地》中饰演关学儒；同年在电视剧《第三类法庭》中饰演了湛大侠这一角色。在《家有喜事》中，他再次饰演了痴呆父亲。一九九五年，他出演了由梁家辉主演的电影《狂野生死恋》；同年又参与了电视剧《娱乐插班生》的拍摄，在剧中出演何汝大。一九九六年，他在香港TVB电视剧《天地男儿》中饰演叶胜；同年在电视剧《壹号皇庭V》中饰演了棠叔。二零零零年，他出演了由吴镇宇执导的电影《自从他来了》；同年又在电视剧《京城教一》中饰演了谭宗政。二零零一年，关海山获得了无线电视颁发的“万千光辉演艺大奖”，以表彰其卓越的演艺贡献；同年，他参演了电视剧《公私恋事多》，在剧中饰演唐学濂。此外，在众多电影剧照中，例如他身着绿衣的剧照以及其他多幅剧照（包括其位于画面右侧的剧照）中，都能见到他的身影。在《楚留香》中，他饰演了高冠英。因其在《刀神》等作品中的演出，关海山也被观众亲切地称为“刀神”，这成为其演艺生涯中一个广为人知的别号。
关海山的个人婚姻生活较为丰富，共经历过四段婚姻关系，其中前三段并未进行正式的婚姻注册。他一生中共育有四名女儿和三名儿子，这些子女分别来自不同的婚姻。其中，第一任妻子是他在广州相识的，两人共同抚养了一位养女；第二任妻子黄丽是他在越南结识的，两人育有三个孩子，包括长子关楚雄、次子关聪（曾为无线电视知名小生）以及女儿关婉清等；第三任妻子叶娥瑞是他在马来西亚认识的，两人育有一女关至莹；最后一任妻子曾娣蓉是他在新加坡邂逅的，两人共同生育了幼子关可维。时至2025年8月，有公众注意到关海山的儿子关聪在街头从事干贝酱的销售活动，这一情况引起了部分媒体与公众的关注。关海山的家庭结构与子女情况，尤其是关聪的近况，成为外界偶尔讨论的话题之一。
二零零一年因中风影响健康，关海山先生逐渐减少了演艺工作，自此淡出了纷繁的娱乐圈。时隔五年，至二零零六年九月十一日凌晨时分，其妻子于住所内发现他已全身僵硬，失去意识，随即被紧急送往医院进行抢救。然而经医护人员全力救治，最终仍未能挽回生命，延至当日上午七时左右，关海山先生不幸离世，享年八十二岁。他一生曾参与《###BOOKTITLE_1###》《###BOOKTITLE_2###》等多部经典作品的演出，其精湛演技与敬业精神至今仍为观众与同行所怀念。
关海山从粤剧舞台上的文武生转型进入电影与电视行业，其艺术形象极为丰富多元。在荧幕之中，他既能展现出富商巨贾般的雍容贵气，又能将市井草根人物刻画得深入人心，此外他所塑造的那些慈爱宽厚的父亲形象也令人难忘，数十年来的精彩演绎深深打动了无数观众。关海山投身影视事业长达数十年，所扮演的角色类型繁多难以尽数，从高高在上的帝王将相、富甲一方的豪门首富，到平凡朴实的木匠工人与普通劳工，无论是善良热心、乐于助人的老警察，还是虚伪狠毒、人面兽心的反派淫贼，每一个角色都被他演绎得血肉丰满、真实可信。甚至在不少影视作品里，观众或许已渐渐淡忘了故事的主角，却依然清晰记得那个仅短暂出场、寥寥数语便光彩夺目的配角关海山。