Não pude encontrar uma explicação histórica para a expressão, mas parece-me plausível que ela se tenha formado do seguinte modo:

a) o Algarve é uma região portuguesa conhecida pela qualidade dos seus frutos secos, pelo que passa por excelência é a do Algarve;

b) uma passa de uva foi exposta ao calor e à intempérie, pelo que se adequa a ser usada metaforicamente em lugar das palavras sofrimento ou vicissitude;

c) há, aparentemente, uma repetição sonora e até certa redundância em «passar as passas», o que se traduz no reforço ou na enfatização do verbo passar, como sinónimo de sofrer, aguentar, «atravessar com dificuldade» (daí passamento, no sentido de «morte»).

Deste modo, a expressão* sugere a ideia de uma enorme provação, da passagem de um mau momento, que é comparado ao próprio processo de produção de uma uva passa.

* Usada, mais habitualmente, sem o diminutivo::«Passar as passas do Algarrve»