Segundo o Sistema Internacional de Unidades, a abreviatura da unidade hora é h e a abreviatura de minuto é min (sem ponto). Assim, a representação correcta de dezassete horas e trinta minutos, com algarismos, é: 17h30 min, de acordo com a sua última hipótese.

Em 17h30 fez-se uma simplificação, que não me escandaliza, mas que pode ser criticada por não se indicar claramente a que unidade se refere a quantidade 30 (podem ser segundos: 30 s).

Há quem prefira a notação 17.30 h ou 17h 30´. A que faço as seguintes objecções: o ponto como unidade de separação entre algarismos pode dar lugar a confusões (17.30 h pode ser interpretado como 17,3 h); e em 17h.30´ há a mistura da representação de unidades de tempo com a de unidades angulares.

Nas suas duas outras hipóteses é usado o sinal de pontuação `dois pontos´ como separação. De facto, a notação abreviada usual na informática para representar o horário é 17:30:10 (horas, minutos, segundos). Considero perfeitamente aceitável 17:30 h, como inovação dos nossos tempos.

Quanto a 17:30 horas, note que com algarismos é de regra usarem-se as abreviaturas das unidades (bem como é de regra escrever a unidade por extenso, se a quantidade também o for). No entanto, pessoalmente adopto as seguintes grafias: escrita por extenso da unidade, quando sinto a necessidade de que o contexto fique sem ambiguidades (horas e não h); algarismos, quando desejo que o valor seja imediatamente sugestivo à vista (ex.: 47 123 metros, em vez de: quarenta e sete mil, cento e vinte e três metros). 

Cf. Como utilizar corretamente símbolos e nomes de unidades, da autoria de Guilherme de Almeida + O Uso de Horas no Texto