O mais que podemos fazer é abordar os aspectos linguísticos da sua questão, pelo que não responderemos ao problema de distinguir infidelidade de adultério nos textos bíblicos. Interessa, pois, é descrever o uso do substantivo infidelidade.
Assim, diremos simplesmente que a proposição de indica, normalmente, o ponto de partida, a origem ou a posse; a preposição a indica, normalmente, proximidade, destino ou movimento para. Além disso, a expressão ser fiel é seguida pela preposição a, como, por exemplo: «ele foi infiel à palavra dada» e «ele foi infiel à namorada».
Em relação ao texto apresentado, a preposição de induz-nos a subentendermos que a infidelidade provém do voto conjugal, que, realmente, não possui vontade própria; mas, se usarmos a preposição a, subentendemos que alguém foi infiel ao voto, ou seja, infiel àquilo que prometeu.