Pierneef is in [[Pretoria]] as een van ses kinders gebore aan die NederlandseGerrit Pierneef en Neeske Christiane Buser. Gerrit Pierneef was 'n bouer van Nederlandse afkoms terwyl sy vrou en Neeske, van Voortrekkersafkoms was. Tydens [[Tweede Vryheidsoorlog]] het Gerrit 'n hulppolisiemag in Pretoria opgestel. Met Lord Roberts se besetting van die stad konmoes Gerrit Pierneef kies tussen gevangenskap of deportasie. Die gesin het in April 1901 na [[Nederland]] verhuis, maar J.H. Pierneef sou in 1902 weer na Suid-Afrika terugkeer. In Nederland het sy ouers behandeling kon soek vir Pierneef se regterbeen; hy het aan rumatiekkoors gely en dit het veroorsaak dat sy regterbeen korter as sy linkerbeen is.
Hy het in 1910 teen sy ouers se wense met Agatha Delen getrou, 'n vrou wat 12 jaar ouer as hy is. Agatha het aan 'n geestesversteuring gely wat in die volgende tien jaar sou vererger en sy het later begin om haar sig te verloor. Haar toenemende afhanklikheid van Pierneef het hom harder laat werk, hy het die land deurgetoer om lesings te gee en uitstallings te hou.
