Первые сведения о группировке появились в Афганистане в 1999 году, она была создана сирийцами и палестинцами, связанными с Абу Мусабом Заркауи. Это суннитская исламисткая группировка, с заявленной целью создать исламский регион на территории великой Сирии.

После вторжения американцев в Афганистан, многие бойцы группировки вернулись на родину, где несколько групп уже действовали под тем же названием в 2004 и 2005 гг.

До конца неясно, то ли это независимая группировка, то ли она отколовшийся кусок от палестинской организации Асбат аль-Ансар (Asbat al-Ansar). Базируясь в лагере беженцев «Айн эль-Хильве» (Ayn al-Hilwah) под Сайдой в южном Ливане, Асбат аль-Ансар пережила несколько трансформаций из-за смены лидеров, в результате став к 2004 году группировкой Джунд аль-Шам.

Периодически группировка вступала в бои с бойцами ФАТХ и ливанской армией.

В 2005 году группировка подтвердила, что она исповедует салафитскую доктрину.

В то время как во времена Заркауи в Афганистане в группу входили около 150 человек, на родине их число уменьшилось до 20-ти. Первой их акцией стало убийство члена Хезболлах в Бейруте летом 2004 года (подрыв автомобиля).

В 2005 году еще одно крыло под тем же названием Джунд аль-Шам появилось в Дамаске, и попало под жесткий прессинг сирийских спецслужб, были произведены аресты. При этом постоянные сюжеты на государственном ТВ Сирии были восприняты со скепсисом – складывалось впечатление, что угроза, исходящая от группировки, сильно преувеличена, чтобы показать, как спецслужбы активно борятся с терроризмом. При этом нет никаких сведений о связях между группой в Дамаске и той, что базируется в лагере близ Бейрута.

Группировка взяла на себя ответственность за несколько акций, прежде всего за подрыв театра в Дохе (Катар) около британской школы в марте 2005 года. Кроме того, группировка взяла а себя ответственность за несколько взрывов в Ливане, и взрыв в Техасе (который на самом деле оказался несчастным случаем). Другие заявления касались взрыва около британского консульства в Нью-Йорке и попытке убить журналиста в Ливане в сентябре 2005-го за сотрудничество с «подозрительными режимами» в Марокко и Саудовской Аравии.

В 2006 году «Джунд аль-Шум» объявила о том, что вступает в «Аль-Каиду». В мае 2006 года группировка вступила в бой с ФАТХом в лагере «Айн эль-Хильве», 12 сентября того же года ее бойцы пытались взять штурмом американское посольство в Дамаске. Четыре человека, вооруженные автоматическим оружием и гранатами, пошли на штурм, трое были убиты. Погиб также офицер сирийских спецслужб.

3 июня 2007 года бойцы «Джунд аль-Шум» выпустили ракету по блок-посту ливанской армии у Сайды, спровоцировав ливанскую армию на обстрелы по лагерю «Айн эль-Хильве».