Baker seguiu para a Europa, encontrando terreno fértil para sua música; a turnê ia bem até a morte do pianista de 24 anos, Dick Twardzik, por overdose. Sozinho, permaneceu na Europa tocando com músicos de todos os níveis.

De volta aos EUA, consumia heroína e era preso; sem uma autorização para tocar em lugares que servissem bebidas, resolveu voltar para a Europa. Vive e toca na Europa pelos próximos quatro anos, sediado na Itália, onde também é preso por drogas. Casa-se e tem um filho.

Em 1964 volta novamente aos EUA, agora dominados pelo rock dos Beatles, restando pouco espaço para os músicos de jazz. Isso o leva a gravar discos comerciais de baixo valor artístico.