Американские эмо рокеры «Bayside» собрались зимой 2000 года в Бэйсайде, Нью Йорк. Вскоре после своего формирования, группа уже делила сцену с именитыми коллегами «Alkaline Trio», «Taking Back Sunday» и «The Used», чем собственно и обратила на себя внимание бруклинского лэйбла «Dying Wish Records» выпустившего в последствии первый ЕР «Long Stories Short».

В период с 2001 по 2002 группа «Bayside» продолжила свою концертную деятельность, в рамках которой отметилась на «Asbury Park Skate», «Surf Fest 2002», «Fumace Fest 2002» и «Vans Warped Tour». Весной 2003 года музыканты записали очередной релиз для «Dying Wish Records» - сплит с калифорнийцами «Name Taken». Для песни «Loreless Wrists» был снят первый видеоклип группы, который так же был включен в мультимедийную часть переизданного диска.

В том же году группа «Bayside» перебралась на более влиятельный лэйбл «Victory Records», посредством которого и выпустили свой дебютный лонгплэй «Sirens And Condolences», в конце января 2004 года. Для трека «Masterpiece» был отснят очередной видеоклип. Ближе концу года музыканты приступили к работе над новым одноименным альбомом, который увидел свет в 2005 году. Пластинка дебютировала в чарте «Billboard Top 200» под номером 153.

31 октября 2005 года, возвращаясь с одного из своих концертов в окрестностях Колорадо, музыканты «Bayside» стали жертвами автомобильной аварии. Их фургон врезался в ледяную глыбу, в результате чего барабанщик John «Beatz» Holohan погиб на месте, а Nick Ghanbarian серьезно пострадал. Остальные участники отделались незначительными травмами. В середине ноября группа продолжила свое участие в туре «Never Sleep Again Tour» наряду с «Aiden», «Hawthorne Heights» и «Silverstein», как дуэт Anthony и Jack отыграли акустические сеты. В 2006 году был выпущен акустический CD/DVD, который включал в себя трек «Winter» посвященный памяти о трагически погибщем John «Beatz» Holohan.

В феврале 2007 года музыканты «Bayside» выпустили очередной альбом «The Walking Waunded», в поддержку которого совершили ряд туров. Пластинка дебютировала чарте «Billboard Top 200» под номером 75. Тур группы стартовал 5 февраля «Anberlin», «Meg & Dia» и «Jonezetta». В Великобритании музыканты отметились в середине апреля, в компании с «Moneen», а в мае отыграли на фестивале «Bamboozle Festival», в «Meadoww Lands Sports Complex», в Нью Джерси.