Od počátku vzniku muzeí se součástí sbírek stávala umělecká díla. Záhy si muzejní pracovníci začali uvědomovat, že právě umělecké sbírky vyžadují odlišný způsob péče i prezentace a snažili se o vznik specializovaného uměleckohistorického muzejního odvětví.

Jejich úsilí o vytvoření jednotné organizace, vymezení kompetence a vytvoření jednotné sítě, včetně vydání příslušného zákona si vytýčilo za jeden z hlavních úkolů i Ministerstvo školství a národní osvěty po vzniku samostatného státu v roce 1918. K realizaci tohoto cíle ale došlo až v druhé polovině 40. let 20.století, kdy byl z rozhodnutí tehdejších vládních orgánů odstartován vznik galerií v jejich dnešní podobě a započalo se vyčleňování a systematizace těchto děl v rámci muzejních sbírek. 

Také havlíčkobrodská galerie podobně jako řada dalších českých galerií – muzeí umění vznikla na základě tohoto složitého procesu vydělování. Jejím základem se stala sbírka umění z tzv. městské galerie, vyčleněné z muzea v roce 1946. Sbírka zahrnovala obrazy a sochy regionálních autorů nebo děl vážících se k regionu. Jednáním oddělení regionálních galerií Národní galerie s odborem kultury ONV Havlíčkův Brod bylo rozhodnuto, že havlíčkobrodská galerie bude v nově budované celostátní síti zaujímat specifické místo svou specializací na moderní českou knižní ilustraci, kresbu a grafiku.

Specializace byla vybrána s ohledem na tradici výstavní činnosti při Východočeském nakladatelství a navazovala i na výtvarné soutěže pořádané každoročně u příležitosti Celostátních festivalů humoru a satiry Haškova Lipnice. Krátké období galerie spravovala i regionální uměleckou sbírku, ale po vybudování základu nových sbírkových fondů byla původní sbírka převedena zpět do oddělení muzea a galerie se zaměřila pouze na díla odpovídající určené specializaci.