Elvin Jones прославился, благодаря работе в знаменитом квартете John Coltrane (1960-1965), именно за эти пять лет Jones завоевал репутацию одного из самых выдающихся барабанщиков в истории джаза. Однако не менее значимыми были шаги Jones в создании собственных проектов и групп. Jones продолжает оставаться одной из самых значимых фигур в мире джаза на протяжении последних 30 лет.

Elvin родился в музыкальной семье, его старшие братья тоже были известными музыкантами (Hank и Thad Jones). После службы в армии (1946-49), Jones стал одной из самых ярких фигур кипящей джазовой сцены Детройта начала 50-х... В 1955 Jones переезжает в Нью-Йорк и тут же начинает работать с Teddy Charles и The Bud Powell Trio, записывается с легендарными Miles Davis и Sonny Rollins. После работы с J.J.Johnson (1956-57), Donald Byrd (1958), Tyree Glenn и Harry Sweets Edison, Elvin Jones становится ведущим музыкантом в составе квартета John Coltrane, провоцируя саксофониста-новатора на покорение новых вершин и участвуя с ним в лучших записях.

После того, как в 1965 году Coltrane пригласил в свой состав Rashied Ali в качестве второго барабанщика, Jones ушел из состава. Он отправился в европейское турне с Duke Ellington Orchestra, выступал с разными составами на джазовых площадках и фестивалях по всему миру. Jones основал свою собственную группу, которая в 1990 стала известна под названием Elvin Jones Jazz Machine. В составе этой группы играли саксофонисты Frank Foster, Joe Farrell, George Coleman, Pepper, Adams Dave Liebman, Pat LaBarbera, Steve Grossman, Andrew White, Ravi Coltrane и Sonny Fortune, трубач Nicholas Payton, пианисты Dollar Brand и Willie Pickens, клавишник Jan Hammer и басисты Richard Davis, Jimmy Garrison, Wilbur Little и Gene Perla. Альбомы Elvin Jones были выпущены такими известными лэйблами, как Atlantic, Riverside, Impulse, Blue Note, Enja, PM, Vanguard, Honey Dew, Denon, Storyville, Evidence и Landmark.

Благодаря своему потрясающему мастерству и превосходной технике Elvin Jones внес огромный вклад в восприятие роли барабанщика в пост-боп джазе барабанщик больше не воспринимается в качестве аккомпаниатора, или человека, просто обеспечивающего ритм для солистов он сам становится равнозначным и полноценным солистом.