A diferença é mínima. A palavra factibilidade não consta dos dicionários consultados, no entanto, pode-se assegurar a sua existência na MorDebe (Base de Dados Morfológica do Português): factibilidade (substantivo de factível)

Também na MorDebe se encontra viabilidade como substantivo deadjectival (de viável).

No Dicionário da Língua Portuguesa Contemporânea da Academia das Ciências de Lisboa, do qual a palavra factibilidade não consta, podemos ver que factível é «o que se pode fazer, o que é susceptível de poder ser realizado: exequível, realizável».

No mesmo dicionário encontra-se, sim, o substantivo viabilidade com o significado de «exequibilidade», bem como viável, enquanto sinónimo de exequível. Contudo, também se associa a noção de «ausência de obstáculos» quer a viabilidade quer a viável, pelo que estas palavras estão em sinonímia com praticabilidade/praticável e transitabilidade/transitável.

N.E. [30/05/2022] - A palavra factibilidade encontra-se já dicionarizada em dicionários como o Priberam com a aceção «qualidade do que é factível».