166년(신대왕 2) 좌우보제(左右輔制)를 개편하면서 설치되었다.좌보(左輔)와 우보(右輔)를 합하여 국상(國相)이라 하였는데, 고구려 건국 초기를 지나면서 전쟁 · 외교 등의 국가 중대사 및 일상 실무가 증대함에 따라 국가 전체의 실무를 총괄하는 관직의 필요성이 대두되었다.
최초로 국상에 임명된명림답부는 차대왕을 시해한연나부출신 인물이다.신대왕이 즉위한 뒤 기존 나부에서 집행하던 행정 실무를 계루부 왕권 중심으로 조정하던 과정에서 국정 총괄의 임무를 부여받았다.
한편, 179년(신대왕 15) 명림답부가 사망한 뒤 191년(고국천왕 12)에을파소(乙巴素)가 국상으로 임명되기까지 10년 이상 공석이었다는 점에서고국천왕대가 되어서야 국상이 제도적으로 정착한 것으로 보인다. 203년(산상왕 7)에 을파소가 죽자 그의 뒤를 이어 국상에 임명된고우루(高優婁)는 죽을 때까지 27년 동안 국상의 자리에 있었다.