Joe Zawinul родился в Венне, Австралия. Изучал классическое фортепиано в «Vienna Conservatory», но его кумиром всегда был Дюк Эллингтон.

В 1958 году он отправляется в Соединенные Штаты и обосновывается в Бостоне, где поступает в музыкальную школу «Berklee School of Music».

Joe Zawinul начинает свою карьеру с конца шестидесятых играя с Maynard Ferguson, Slide Hampton, Dinah Washington.

Затем последовало девятилетнее сотрудничество с Cannonball Adderley, в течении которого он записал одно из многих своих классических произведений «Mercy, Mercy, Mercy». В то время он также сотрудничал с Miles Davis.

После своего дебютного альбома вышедшего на лэйбле «Atlantic» в 1970 году, Joe Zawinul и Wayne Shorter собираются вместе и организовывают группу «Weather Report», которая становится самой влиятельной джаз группой.

В 1985 году Joe Zawinul начинает играть со своей новой группой «Zawinul Syndicate», альбомы которой не раз выдвигались на премию «Grammy».

В 1986 году Joe Zawinul выпускает сольный альбом «Dialects», а в 1991 году работает над альбомом Salif Keita под названием «Amen», как продюссер и аранжировщик.

В 1993 году Joe Zawinul записывает классическую композицию «Stories of the Danube» и работает с известным классическим пианистом Фриедричом Гулдой.

В 2000 году Joe Zawinul выпускает сольный проект «Mauthausen», который был посвящен памяти жертв Холокоста.

Joe Zawinul был более двадцати раз был признан «best keyboardist», по мнению «Down Beat».

В январе 2002 года Joe Zawinul был удостоен награды «International Jazz Award».