Os dois usos estão corretos, e é também possível dizer ou escrever «a sua recusa a jantar». Ou seja, o substantivo pode ser seguido das preposições em, de e a antes de substantivo ou de verbo no infinitivo.

O Dicionário da Língua Portuguesa Contemporânea, da Academia das Ciências de Lisboa, apresenta abonações do uso do substantivo recusa com as preposições em e de:

1 – «A recusa em apresentar desculpas valeu-lhe a perda de um amigo.»

2 – «O cliente pode fazer a recusa de qualquer produto danificado.»

O Dicionário UNESP do Português Contemporâneo também abona o uso de a:

2 – «Não esperava a recusa ao seu pedido de casamento.»

Ver ainda Francisco Fernandes, Dicionário de Regimes de Substantivos e Adjetivos, onde se confirmam estas regências.