Организация "Палестинский исламский джихад" была основана в секторе Газа в конце 70-х палестинцами из суннитского движения «Братья-мусульмане». Группировку возглавили Фатхи Шакаки и Шейх Абд аль-Азиз Ауда. Шакаки под влиянием исламской революции в Иране написал книгу "Хомейни - Исламская Альтернатива и Решение", ставшую практическим руководством для исламской молодежи. Группировка верит, что будущее Палестины – это исламское государство.

На начальном этапе группировка действовала с территории Египта, но после убийства египетского президента Анвара Садата в 1981 году руководство Исламского Джихада переехало в Газу. Во время первой Интифады, которая началась в 1987 году, лидеры группировки вынуждены бли перебраться в Ливан. Это позволило им наладить прямые контакты с иранцами через посольства Ирана в Бейруте и Дамаске. По некоторым сведениям, боевики организации проходили обучения в лагерях Хезболлах под надзором КСИР.

В 1989 году Шакаки организовал штаб-квартиру Исламского Джихада в Дамаске, где она и находится до сих пор. Сирийцы утверждают, что этот офис выполняет только информационные функции. Исламский Джихад был против договоренностей Осло 1993 года.

В октябре 1995 года Шакаки был убит на Мальте израильтянами. На его похороны в Дамаске собрались 40 тыс. человек. После начала второй Интифады Исламский Джихад снова возродился. По данным западных исследователей, Исламский Джихад остается небольшой организацией, а сменивший Шакаки Рамадан Шаллах не обладает харизмой отца-основателя группировки.

Руководит группировкой "Совет Шуры", координирующий действия военных структур Исламского Джихада. Базой для вербовки новых членов считаются лагеря беженцев Хан Юсиф, Шейх Радван, и Джелазун.

Боевым крылом группировки являются Бригады Аль-Кудс - Saraya al-Quds (Al-Quds Brigades), ранее известные как Бригады Сайяф аль-Ислам, а позднее аль-Кассам. Согласно данным командира бригад, они имеют региональную структуру со штабом в каждой из областей.