1944년 1월 16일 경상남도 사천군(현 사천시) 정동면 장산리 노천마을의 가난한 유학자 집안에서 태어났다. 중학교를 간신히 졸업한 후 친구들이 학교를 다닐 때 삼천포의 한 한약방에서 점원으로 일하면서 낮에는 약을 썰고 밤에는 공부를 했다. 만 18세 전국 최연소 나이로 한약업사 시험에 합격하였다.[4] 1963년 사천군 용현면 석거리에 한약방을 개업했고, 9년 뒤인 1972년 진주시 동성동으로 이전했다. 저렴한 가격에 품질 좋은 약재를 쓰고, 약의 효험도 좋다는 입소문이 나서, 연일 전국에서 몰려드는 손님들에게 새벽부터 대기 번호표를 뽑아서 나눠 줘야 할 만큼 문전성시를 이루었다고 한다.[5] 이 덕에 전국 한약방 가운데 세금을 가장 많이 내기도 했는데, 이는 그만큼 성실하게 납세를 했던 탓이기도 하다. 약 50년 간 운영한 남성당한약방은 2022년 5월 말, 그가 은퇴하면서 문을 닫았다.

김장하 선생은 한약방을 운영하여 벌어 들인 큰 돈을 개인을 위해 쓰지 않고, 지역사회를 위한 지원으로 돌렸다. 일평생 동안 수많은 사회운동과 자선사업을 하며 나눔을 실천해온 독지가로서 실천한 대표적인 사례로는 1983년 학교법인 남성학숙을 설립하여, 이듬해 100억 원이 넘는 사재를 들여 명신고등학교를 만든 일이다. 약 10년간 학교의 이사장으로 재임하면서, 학생 복지와 교직원 처우 측면에서 지역 최고 수준으로 지원하였다고 한다. 이후 체육관과 도서관 등 모든 학교 시설 건립을 완비한 뒤, 1991년 국가에 기부채납을 하여 공립학교로 전환시켰다. 이 뿐만 아니라 그는 20대 젊은 시절부터 가정 형편이 어려운 학생들을 위해 남몰래 장학금을 주었고, 지금까지 김장하의 장학금을 받은 사람이 1000명을 웃도는 것으로 알려지고 있다.

그의 지원은 교육뿐만 아니라 사회, 문화, 예술, 역사, 여성, 인권 등 지역사회 모든 영역에 걸쳐 있는데, 진주 지역의 각종 문화예술단체나 언론·역사·환경운동 등 시민사회 전 영역에 걸쳐 조건없이 지원했다. 1990년대 시민주로 창간했던 옛 <진주신문>의 주주·이사로 참여했고, 1995년부터 27년간 '진주가을문예'를 지원했다.[6] 국립 경상대학교 최초의 기부 건축물인 남명학관을 건립하는데 앞장섰으며, '진주문화를 찾아서'라는 문고 발간사업도 계속하였다. 형평운동기념사업회[7]와 진주문화연구소는 직접 설립에 앞장섰고, 남성문화재단을 통해 장학사업도 꾸준히 진행하는 등[8] 건강한 지역공동체를 만들기 위해 동분서주했다.

이외에도 지금은 진주를 대표하는 지역서점이 된 진주문고가 어려웠던 시기 지역서점을 살리기 위해 두 차례나 큰 도움을 주었고, 민족문제연구소를 후원하며 친일인명사전 제작과 진주 지역의 친일반민족행위자 관련 연구도 지원했다. 여성평등기금 조성을 통해 가정폭력 피해 여성 지원에도 힘썼으며, 호주제 폐지 운동에도 참여하는 등 여성 인권 운동에도 관심을 기울였다. 극단 현장이 현재의 위치에 자리 잡을 때도, 진주여성민우회가 창립될 때도 김장하의 도움이 있었다. 남명학, 진주오광대, 진주솟대놀이가 재조명되는 데도 그의 손길이 닿았다.

2000년에 설립한 남성문화재단을 통해 다양한 후원을 이어왔던 김장하는 2021년 재단이 해산되자 당시 남은 기금 34억 원[9]을 경상국립대학교 발전기금재단에 기탁하며 사회에 환원하였다