본래 백제의 추산(抽山) 혹은 원산(猿山)이라 불리던 곳인데, 당나라가 백제를 멸망시킨 뒤 도산(徒山)으로 고쳐 대방주(帶方州)의 영현(領縣)으로 삼았다. 757년(경덕왕 16)뇌산군(牢山郡)으로 하여 무주(武州)의 영현으로 하였다가 940년(태조 23)가흥으로 고쳤으며, 1118년(현종 9)진도에 귀속시킴으로써 폐현이 되었다.
지금의 위치는 『호남읍지』에 가흥산이 금골산(金骨山)으로부터 남으로 5리를 내려와 이루어졌다는 기록으로 미루어, 진도군 군내면 둔전리와 월가리 일대였을 것으로 추정된다. 금골사(金骨寺)가 있다.