Andar a cavalo é uma expressão feita, e usa-se quando o meio de transporte é um animal: andar a cavalo num burro, numa égua, num camelo, etc.
   Teríamos também "andar a cavalo num cavalo", e às vezes ouve-se em frases como esta:
   Não gosto de andar a cavalo numa égua nem num burro. Só gosto de andar a cavalo num cavalo.
   Noutras circunstâncias, não se diz assim, porque soaria mal a repetição do substantivo cavalo. Por isso, apenas:
   Não gosto de andar a cavalo.
   A expressão andar de usa-se, quando o meio de transporte não é um animal:
   Gosto de andar de automóvel, de comboio, de avião, de carro, de cavalos, de navio, de bicicleta, etc.