После распада команды «At The Drive-In», в марте 2001 года, двое ее участников Cedric Bixler и Omar Rodriguez сформировали проект «The Mars Volta», а остальные, в лице: Jim Ward (вокал, гитара), Paul Hinojos (гитара) и Tony Hajjar (барабаны), приступили к работе под вывеской «Sparta». Спустя несколько месяцев, в состав группы влился басист Matt Miller.

В течении года, строящая свои произведения на элементах emo и punk rock музыки, команда «Sparta» заимела контракт с лэйблом «Dreamworks». В марте 2002 года, музыканты выпустили первый ЕР «Austere» и спустя пять месяцев, представили, продюсированный и сведенный Jerry Finn, дебютный альбом «Wiretap Scars». Запись материала для дебютного лонгплэя проходила в период с января по март 2002 года, на студии «Armoury Studios», в Ванкувере.

Очередной альбом «Porcelain», был выпущен в 2005 году через лэйбл «Geffen Records». Продюсированием альбома занимался Mike Major, а его сведением не без известный Andy Wallace, известный по работе с «Limp Bizkit», «System Of A Down», «Linkin Park» и прочими знаменитостями современной метал сцены.

В начале марта 2006 года группа «Sparta», посредством своего веб-сайта, анонсировала выпуск нового альбома. Пластинка «Threes» была издана 24 октября, в поддержку которой музыканты совершили тур в компании с «Sound Team», «Lola Ray» и «As Tall As Lions».