L'ancien premier ministre, David Ben Gourion, a démissionné en 1963 alors qu'il est âgé de 76 ans. Deux ans plus tard, il quitte son parti, le Mapaï pour en fonder un nouveau, le RAFI.
Le nom du parti est l'acronyme de Reshimat Poalei Israël,ce qui signifie Liste des Ouvriers d'Israël. Moshé Dayan, Shimon Peres, Haïm Herzog et Teddy Kollek le suivent.
C'est de la fusion du RAFI et de l'Akdut HaAvoda en 1968 que sera créée le parti travailliste israélien.