KNH jest ogólnopolską reprezentacją historyków, wybraną w głosowaniu przez wszystkich pracowników naukowych posiadających wyższy stopień naukowy. Ma on z tego tytułu legitymację do wypowiadania się we wszystkich sprawach związanych z badaniami naukowymi nad przeszłością oraz z nauczaniem historii na wszystkich poziomach. Komitet istnieje od kilkudziesięciu lat i skupia najbardziej czynnych i znanych w środowisku ogólnopolskim badaczy i profesorów dyscyplin historycznych na wyższych uczelniach. Na jego czele stali w przeszłości tacy uczeni jak Stefan Kieniewicz i Marian Biskup.
Komitet działa przede wszystkim na trzech płaszczyznach: po pierwsze, wypowiada się w kwestiach ogólnych dotyczących badań historycznych, popularyzacji historii oraz statusu społecznego i zawodowego historyków pracujących na wszystkich szczeblach badań i nauczania.
Po drugie, w łonie i pod egidą Komitetu działają komisje naukowe, reprezentujące szerokie spektrum specjalności historycznych i epok dziejowych. Istnieje kilkanaście komisji (liczba ich nieznacznie się zmienia), na ogół wykazują one znaczną aktywność, niektóre zaś stanowią prawdziwe ośrodki naukowe. Wszystkie komisje spełniają rolę integrującą środowiska historyczne ponad podziałami regionalnymi i lokalnymi, wokół interesujących i aktualnych zagadnień naukowych.
Po trzecie, Komitet z upoważnienia PAN reprezentuje Polskę w międzynarodowych organizacjach historyków, przede wszystkim w Międzynarodowym Komitecie Nauk Historycznych (CISH). W związku z tym pozostaje rola Komitetu jako organizatora polskiego udziału w Międzynarodowych Kongresach Nauk Historycznych, które odbywają się co 5 lat (najbliższy w Poznaniu w 2020 r.).