Numa perspetiva estritamente linguística, não vejo qualquer tipo de impedimento numa expressão deste tipo, já que «muito mais raramente» significará «de forma muito mais rara».

Do ponto de vista semântico, e no que diz respeito a este enunciado concreto, poderemos eventualmente tecer algumas considerações, pois raramente significa «De modo raro; com pouca frequência» (Priberam). Assim, tendo em conta esta aceção, poder-se-á dizer que «muito raramente» já poderá significar «quase nunca», sendo que a expressão «muito mais raramente» nos deixará, consequentemente, em termos semânticos, uma margem de manobra mínima (ou até nula) para podermos estabelecer uma diferença viável entre a citada expressão e nunca. No entanto, será sempre possível fazê-lo em termos comparativos, ex.: «O João vai a minha casa muito raramente. Ainda assim, o António vai lá muito mais raramente do que o João.»

Direi, portanto, que, em termos semânticos, a expressão «muito mais raramente» será, digamos, algo extravagante, mas possível e aceitável.