John Paul Jones nasceu em Sidcup, Kent, Inglaterra. Seu pai era pianista, arranjador e líder de uma banda. A mãe era bailarina e cantora. John Paul Jones logo se interessou pela música. Começou no piano, e depois passou para o órgão. Aos 14 anos já tocava na igreja. Nessa época começou a se interessar pelo baixo e comprou um Dallas Tuxedo e um amplificador de 10 watts de potência.

Pouco depois se juntou a bandas locais, como Tin Pan Alley e The Shadows. Tocou com vários artistas nos anos 60: Lulu, Kathy Kirby e Dusty Springfield. Produziu ainda a música de um filme do Herman's Hermits. Foi convidado por Andrew Loog Oldham para tocar na sua Rolling Stones Orchestral Hits e participou do disco Maggie May, de Lionel Barts, junto com Mick Jagger e a orquestra de Loog. Tocou também em trechos das músicas "Ha Ha Said The Clown" e "Ten Little Indians" dos Yardbirds. Tocou um hammond com Jeff Beck na música "Love Is Blue" e no álbum Truth em "Old Man River". Participou de dois álbuns dos Rolling Stones, Their Satanic Majesties Request e She's A Rainbow. Jones já havia tocado com Jimmy Page quando esse o convidou para formar uma nova banda.


John Paul Jones at Led Zeppelin's first concert
on 7 September 1968 in Gladsaxe Teen Club.
Photo: Karsten Schmidt