Em 1971 formou seu próprio grupo. O nome Mahavishnu Orchestra denuncia o interesse de John pela filosofia oriental, do mesmo modo que os títulos dos discos lançados pelo grupo.

Inicialmente o grupo contava com a presença de McLaughlin à guitarra, Billy Cobham na bateria, Jerry Goodman ao violino, Jan Hammer nos teclados e Rick Laird ao contrabaixo. Essa formação gravou três intensos álbuns para a Columbia ( "The Inner Mounting Flame", "Birds of Fire" e "Between Nothingness and Eternity" ) e fez furor junto a um público mais amplo do que o do jazz, graças ao estilo próximo do rock progressivo, ao virtuosismo de seus integrantes e ao alto grau de sofisticação do material sonoro apresentado.