Hvornår dukker Hjermitslevgård op? Det er et godt spørgsmål. Navnet Hjermitslev - som Brønderslev - har endelsen '-lev' og så er vi tilbage i folkevandringstiden, altså mellem 200 og 500 efter Kristus. Så langt er vi på sikker grund. Der skal arkæologiske udgravninger til for at se længere tilbage med sikkerhed, men der har i hvert tilfælde boet mennesker på stedet de sidste 1500 år. Hvad betyder Hjermitslev så? 'Lev' betyder 'overladt gods' dvs. gård, altså Hjarmers gård.
Efter folkevandringstiden kom vikingetiden. Allerede i Folkevandringstiden har der ligget en høvdingegård i Østre Hjermitslev, og vikingerne lagde normalt høvdingegården på samme sted som deres forfædre, og der lagde middelalderens herremænd også deres gård. Det er derfor sandsynligt, at hvis man graver det rigtige sted på Hjermitslevgaard, vil man finde resterne af en gård fra jernalderen og en fra vikingetiden.

Det ældste vi kender til Hjermitslevgård et fundament fra det 11. eller 12. århundrede, altså den tidlige middelalder.

På papir, eller rettere pergament, kender vi til Hjermetslevgård fra det 13. årh., hvor adelslægten Vognsen sad på gården. Det var en rig slægt, der havde mange hovedgårde i Vendsyssel blandt andre Fuglsig ved Hjørring.

Men selvom Vognsen-slægten havde flere hovedgårde, var Hjermitslevgård deres sædegård dvs. en adelig hovedgård, hvor familien havde sit sæde - altså boede før 1660.

Vognsen-slægten blev på Hjermitslevgård frem til omk. 1540 (hvor gården solgtes til rentemester dvs. finansminister Enevold Kruse, der senere blev statholder dvs. vicekonge i Norge). Den sidste Vogsnen på gården var Morten Johansen Vogsnsen, der druknede i 1498 sammen med sin svigerfar. Han var gift med Dorte Lunov fra Ålegård og havde tre døtre - lidt af en katastrofe i de dage. Den ene af pigerne, Kirsten, forelskede sig i Claus Ditmarsk, der var borger i Aalborg og uadelig, så hun mistede sin arveret til Hjermitslev, der var adeligt gods. Anne Vogsnen blev gift med Svend Orning. Sidste datter, Mette Vognsen, giftede sig med Bagge Pallesen Griis.

Bagge Griis er en af de mere illustre skikkelser i gårdens historie. Han var biskop Stygge Krumpens lensmand på Klarupgaard og gennem giftemål herre til Hjermitslevgaard. Hans skudsmål er elendigt. Han var lidt af en bondeplager, hvis vi skal tro legenden, og han havde stærke ejerfølelser. Hvis man besøger vores gård, ser man en række smukt udhuggede og slebne kvadersten i borggården. Ifølge historien kommer de fra Tolstrup Kirke, der som nævnt hørte under godset. Bagge Griis mente, at når kirken var hans, kunne han også skalte og valte med den efter forgodtbefindende. Han ville genopføre det gamle tårn - større og flottere end før - og han begyndte at nedbryde Tolstrup kirke. Biskop Stygge Krumpen på Børglum blev ikke glad, da han hørte om det, så han befalede nedbrydningen afsluttet, hvad Bagge Griis nødtvungen accepterede. Men han leverede ikke stenene tilbage, de ligge stadig på borggården.

Men der hvor Bagge Griis var tæt på at gribe ind i Danmarkshistorien, var da Skipper Clement først nedbrændte hans gård, Klarupgaard, og derefter Hjermitslevgaard i 1534. Griis blev sur - og det kan man vel ikke fortænke ham i - og han besluttede sig for at slå Skipper Clement ihjel. Han fik aftalt et møde i Aalborg med det formål at slå Skipper Clement ihjel. Skipperen anede dog uråd og bar et panser under sin vams, så da Bagge Griis ville støde en dolk i hans bryst, mislykkedes det. I forvirringen flygtede Griis på en hest, men skomager Peder Beske ramte ham med en tagsten i baghovedet, og Bagge Griis døde i Hasseris Kjær nogle timer senere.

Mette Vognsen giftede sig senere med Jens Thomesen Dan, og de boede på Hjermitslevgaard. I følge legenden var Jens Dan en dag ude i Vildmosen og blev der opsporet af ulve. Han nåede at komme til Østre Hjermitslev, før ulvene indhentede ham. Da det så værst ud, blev han hjulpet af Gud og en bonde fra byen. Som tak for sin frelse gav han og Mette et par alterstager til Tolstrup Kirke. Hvis man besøger Toldstrup Kirke, står der to alterstager med Vognsens og Dans våbenskjolde på altret, så i vært fald sidste del af historien er sand.

Selvom Mette Vogsnen havde børn med både Bagge Griis og Jens Dan, døde hun barnløs, men nåede som ældgammel kone (over 80 år) at sælge Hjermitslevgaard til rigsråd Enevold Kruse. Det er usikkert, om det var Enevold Kruse, der byggede stenhuset, eller om det var Mette Vognsen. Men byggeåret er et sted imellem 1540 og 1580 og dermed er huset det ældste beboelseshus, der er bevaret i sin oprindelige skikkelse nordenfjords. Der er andre huse, der er ældre, men de var klostre eller kirker, så der er tale om ombyggede sakralbygninger, og det er netop dét, der gør stenhuset så unikt; der er færre end 10 tilbage i Danmark af slagsen.

Var Bagge Griis illuster, var Enevold Kruse magtfuld. Kruse var medlem af Rigsrådet. Rigsrådet, der kun bestod af adelige, valgte kongen og foreskrev ham indholdet af hans håndfæstning. Der var omkring 30 medlemmer af dette råd, der var landets regering og adelens boldværk imod kongemagten. Kongen kunne f.eks. ikke udskrive skatter uden Rigsrådets samtykke. Enevold Kruse var altså rigsråd og en af de vigtigste, da han var dét, der i dag svarer til finansminister. Senere blev han endnu mægtigere, nummer et efter kongen, da han blev statholder i Norge.

Enevold kruse var gift med Else Marsvin, Ellen Marsvin til Tjeles søster. De to skulle have opført mindst to huse i borggården i to etager med tårne og spir, men i bindingsværk - noget i retning af Holmegård gods på Sydsjælland.

En af Enevold Kruses 10 børn, sønnen Jørgen, arvede Hjermitslevgård, og det var i hans tid at Svenskerne 3 gange erobrede Jylland, og det var det, der ødelagde hans økonomi. Dengang levede besættelsestropper af landet dvs. af plyndringer.

Under krigen 1627-29 var Hjermitslevgård og Tolstrup sogn udlagt til underhold for den svenske stab i Vendsyssel. Oberstløjtnant von Hatzfeldt havde hovedkvarter på Hjermitslevgaard. Jørgen Kruse stak til søs med sine skibe og gav Vendelboerne besked på ikke at rejse sig, før de fik besked; det skete så i foråret 1628. Obersten havde i øvrigt to jagtleoparder med, og dem efterlod han, da de forlod landet. De to leoparder vagte naturligvis angst i Vendsyssel. Én blev fundet frosset ihjel i Hammelmose i 1630, og Jørgen Kruse skød den anden i Dronninglund Skov året efter. 

Krigen ødelagde det økonomiske grundlag for gården, og da den var kommet nogenlunde til kræfter i 1650erne, kom Svenskerne igen i 1657-60. Nok til at ødelægge enhver bedrift og Jørgen Kruse måtte sælge Hjermitslevgård i 1662, da kreditorene kastede sig over ham bl.a. præsten ved Tolstrup og forskellige købmænd i Aalborg.

Kruse solgte til Otto Pogwisch og Niels Juul, som Pogwisch købte ud. Men Pogwisch blev ikke længe på Hjermitslevgård. I 1666 mageskiftede han med kongen. Pogwisch tog sig ikke videre af gården, og den forfaldt i en sådan grad, at man ikke kunne ride over vindebroen uden fare for livet. Spirene på husene var forfaldne, vinduerne ødelagt og lofterne mangler. Det er som at læse om gårde i dag, når man ser på de gamle brandtaxationer.

Gården havde dengang stadig sit oprindelige grundrids; fire fløje omkring borggården og fire fløje omkring avlsgården. Dertil kom teglværket fra 1650 som bestod frem til 1880'erne.

Kongen beholdte ikke gården længe; Christian V. solgte gården til Nokolaj Bennich fra Kolding, der var gift med Else Magrethe Moth - og her ringer der måske en klokke... Moth... var der ikke noget med en kongelig elskerinde?? Jo, Else var søster til Sophie Amalie Moth, kongens elskerinde. For sine tjenester under kronen.. blev hun gjort til grevinde af Samsø, og hendes efterkommere er greverne af Danneskjold-Samsø. 

Nikolaj Bennich havde lidt svært ved at vende sig til sin status som kongens "svoger", og det endte med, at han blev sendt til Hjermitslev for, under livsstraf, at blive der resten af sit liv. Han kunne ikke leve der i længden, og flygtede til Hamburg og blev i 1674 dømt fra liv og ære. Han døde i Tyskland 1677, og hans kone solgte Hjermitslevgård, der ad omveje kom i hænderne på heksejægeren Jørgen Arenfeldt til Rougaard. En ubehagelig sadist. Heldigvis er han hurtigt ude af Hjermitslevgårds saga. 1681 blev Hjermitslevgaard købt af Otto Skel til Birkelse, der samlede gods for at kunne oprette et stamhus. Dermed blev Hjermitslevgård under stamhuset Birkelse frem til 1918. I år 1800 var der 1215 tønder land, ager og eng ved gården samt 257 tønder land overdrev - altså en pæn størrelse.

Herregården blev , som følge af lensafløsningen, i 1918 solgt til J. P. Petersen, og gården havde da 590 tønder land tilbage, der succesivt blev udstykket. J. P. Petersen overdrog gården til sin datter og svigersøn, Edith og Jens Konnerup, i 1935. Hjermitslevgårde blev i 1959 solgt til Valdemar og Olga Petersen og var da kun på 93 ha. Købssummen var 265.000.- kr. Fra 1988 til 2000 blev gården ejet af Carl Szabad, der frasolgte det meste af den resterende jord, således at der ved salget i 2000 kun var 15 tønder land tilbage. Siden 2000 er Jean Monnet Professor, dr. phil. Søren Dosenrode ejer af Hjermitslevgård Hovedgård.