김씨는 한국영화계의 스타였지만 출생이나 성장 등 사생활이 명확하게 알려지지 않았다. 다만 강원도 철원에서 태어나 초등학교 시절 서울 청진동 부근에서 성장한 것으로 전해진다.
보성고보 1년을 중퇴한 그는 김두한이 동양극장의 극단에 소개함으로써 배우의 길에 들어섰다. 무명배우 시절을 거쳐 1945년 자유극장의 창립단원으로 참여했으며, 1957년 제4회 아시아영화제 특별상 수상작 〈시집가는 날〉에 출연하면서 인기스타로 떠올랐다.
이후 〈로맨스 빠빠〉(신상옥 감독)로 제7회 아시아영화제 남우주연상, 〈마부〉(강대진 감독)로 제11회 베를린영화제 은곰상을 수상하는 등 한국영화계를 대표하는 배우로 자리잡았다.
말년에는 대양영화사를 차려 영화제작자로도 활동했으며 영화인협회 이사장 등을 역임했다. 1968년 12월 1일 고혈압으로 세상을 떠났다. <사진 있음>