Nascido em 1929 no Oklahoma, Chet Baker muda-se com a família para a Calfórnia em 1940.

Criado em Los Angeles, Chet Baker sempre foi influenciado por seu pai, guitarrista, de quem herdou a paixão pela música. No entanto não era muito dado a estudar música. Costumava dizer que sempre se safou por ter excelente ouvido.

Aos dezessete anos sai da escola e, acrescentando um ano em seus documentos, entra para o exército, onde em pouco tempo é transferido para Berlim tocando na banda. É nesse período de pouco mais de um ano na Europa que ouve jazz pela primeira vez, através de discos de Stan Kenton e Dizzy Gillespie transmitidos pela rádio do exército. Ao sair do exército ameaça voltar aos estudos, mas logo abandona seus estudos de teoria musical no El Camino College e vaga por Los Angeles ouvindo Miles Davis, Fats Navarro e participando de jam sessions tarde da noite.