선생의 호는 오천(梧泉)이며, 병자호란 당시 끝까지 주전론을 주장한 김상헌의 11세 손으로 경기도 광주에서 생부 낙균과 남원윤씨 사이에서 태어났다. 1860년 정시문과에 급제하여 승정원, 홍문관, 사간원, 호조, 사헌부, 성균관, 규장각 등의 청요직(淸要職)을 두루 거치면서 호조판서에까지 이르렀다.

그러나 1894년 이후 일제의 침탈과 1895년 명성황후 시해사건을 격고 “을미년의 변고에 하찮은 목숨을 버리지 못하였을 망정 어찌 차마 벼슬 길을 찾겠습니까?”라고 하면서 경기도 양평군 강상면 연양리 사안당(思安堂)에 은거하면서 매일 의기를 참지 못하고 격앙되어 잠을 이루지 못하고 밤새 눈물을 흘렸다고 한다.

1905년 일제가 무력으로 고종과 대신들을 위협하여 소위 ‘을사조약’을 강제 체결하고 국권을 침탈하자 즉각 이에 대한 반대투쟁을 전개하였다. 선생은 서울로 올라와 ‘을사토역소(乙巳討逆疏)’를 내어 조약에 찬성한 박제순, 이완용, 이근택, 이지용, 권중현 5적을 처단할 것과 각 공관에 성명을 내어 을사조약의 무효를 선언할 것을 주창한 것이다.

한편, 이 시기 을사늑약에 통분을 참지 못한 재야의 인사들이 자결·순국하였다. 이때 을사늑약 파기와 을사5적 처단을 강경하게 요구하던 조병세가 상소운동마저 여의치 않게 되자 고종황제와 국민, 각국 공사관에 보내는 유서 3통을 남기고 음독자결하여 국민의 국권회복운동 촉발에 큰 자극과 격려를 주었는데 선생은 조병세를 문상하고 돌아오던 길에 자결을 결심하였다.

1910년 8월 일제가 한국을 강제 병탄하고 선생을 회유하기 위해 작위를 수여하였으나 거절하였을 뿐만 아니라, 이에 항거하여 1910년 9월 8일 서울 오현(현, 서울특별시 강북구 번동 북서울 꿈의 숲 공원 내) 자택에서 음독 자결, 순국하였다.

정부는 선생의 공훈을 기려 1962년 건국훈장 독립장을 추서하였다.