Hapoel Jeruzalem werd opgericht in 1943 en speelde in een kleine hal in Histadrut Street, voordat ze verhuisde naar de YMCA Arena. Later verhuisde ze naar de "The Strauss Arena". In 1980 verhuisde het team naar de Malha Arena, die plaats biedt aan 3.000 toeschouwers. In 2014 verhuisde het team naar de huidige locatie. Dat is de Pais Arena Jeruzalem, die plaats biedt aan 11.600 toeschouwers. Hapoel betekent de arbeider in het Hebreeuws. De Hapoelclubs zijn traditioneel verbonden aan de algemene vakbond (Histadroet). Alle teams gebruiken rood (eventueel met combinaties) als huiskleur. In 1996 en 1997 won Hapoel de State Cup. Ze wonnen van Maccabi Elite Tel Aviv in de finale in de Yad Eliyahu Arena (nu bekend als Nokia Arena). In 2004 won Hapoel Jeruzalem hun eerste Europese titel. In de finale van de ULEB Cup wonnen ze van Real Madrid uit Spanje met 83-72. In 2005 kocht Arcadi Gaydamak een deel van de aandelen van de club. Het team werd sterker en hij kocht vier Amerikanen die ook in de NBA hadden gespeeld. De spelers waren: Tamar Slay, Horace Jenkins, Roger Mason en Mario Austin. Ook kochten ze Meir Tapiro een ster in Israël. In 2007 won Hapoel zijn derde State Cup door in de finale Bnei HaSharon met 103-85 te verslaan in de Nokia Arena. In 2008 maakte Hapoel een 22 punten achterstand goed en won in de finale om de State Cup van Maccabi Tel Aviv met 93-89. Later won Hapoel zijn eerste Winner Cup door in de finale Ironi Nahariya met 84-69 te verslaan. In september 2009 werd Guma Aguiar de nieuwe sponsor van Hapoel Jeruzalem. Op 8 Oktober2009 won Hapoel van Maccabi Tel Aviv om de League Cup. Ze wonnen met 86-80. Het was de tweede beker oprij. In 2015 werd Hapoel Jeruzalem voor het eerst landskampioen van Israël. In 2017 herhaalde ze deze prestaties. In 2023 speelde Hapoel in de finale om de Basketball Champions League. Ze verloren van Telekom Baskets Bonn uit Duitsland met 70-77.