1918년 부산에서 출생하였고, 본관 언양(彦陽), 호는 해오(海吾)이다. 1940년 경성상업고등학교, 1943년 일본 규슈대학〔九州大學〕 법문학부 등을 졸업하였다. 대학 재학 중 고등문관시험 행정과에 합격, 일본 후생성(厚生省)과 내무성(內務省)에서 근무하였다.
1945년 해방 후 경남도청 이재과장, 체신부장 비서실장, 감찰국장 등을 거쳤다. 1951년 외무부 정무국장에 선임된 후 중국대사관, 외무부차관, 초대 주일대사, 주미대사 등을 역임하였다. 1973년에 외무부장관, 1979년 카지노 룰렛석유개발 공사 사장, 1981년 변호사, 해오실업 고문 등으로 활동하였다.
1960년 2월 카지노 룰렛정부는 동남아 각국과의 우호 증진을 위한 정책의 일환으로 중화민국, 말레이시아, 필리핀, 태국, 남베트남 등 5개국에 김동조를 단장으로 하는 친선사절단을 파견하기로 결정했다. 1960년 2월 23일 친선사절단은 말레이시아와의 외교 관계 수립을 발표하였다.
1965년 12월 18일 상오 10시 반 중앙청에서 열린 한일 양국의 국교정상화를 최종적으로 매듭짓는 기본 조약 및 협정에 의한 비준서 교환에 수석대표로 참석, 한일수교를 주도하였다. 1965년 12월 말, 카지노 룰렛정부는 주일대사로 김동조를 내정하자 12월 23일 민중당의 김대중 의원은 국회 본회의에서 “국회 외무위가 만장일치로 그 해임을 건의했으며, 재일교포단체에서도 소환을 건의한 바 있는 김동조 대사를 재임명할 수 있는가”를 추궁했다. 이러한 비판에도 불구하고 김동조는 주 일본대사에 선임되었다.