A Pesterzsébet Szabótelepi Református Gyülekezet ifjúsága 2003 őszén alakította meg zenekarát. A magot Börzsönyi János lelkész gyermekei adták, Zsuzsi, Orsi és Dodi, akik a zenekar énekesei voltak. További tagok Kiss Domokos és Rácz Kristóf gitáron, Kiss Gergely dobon, Rácz Kinga csellón, magam pedig basszusgitáron és Stick-en nyomtam.

Dodi volt a zenekar igazi megálmodója és motorja, ezért mikor őt 2004 őszén felvették Debrecenbe, a Józsué sem tudott már tovább aktívan működni, így ez egy szép reményű, de viszonylag rövidebb életű zenekar volt. Repertoárján az ifjúsági énekek feldolgozásai voltak, koncertek pedig a helyi gyülekezet mellett vidéki ifjúsági találkozókon is voltak.