A forma adjetival reptilíneo está de facto registada no Dicionário da Língua Portuguesa da Porto Editora, o qual, no entanto, não regista reptiliano. Outros dicionários gerais elaborados e publicados em Portugal (Dicionário Priberam da Língua Portuguesa, Grande Dicionário da Língua Portuguesa, de José Pedro Machado, e dicionário da Academia das Ciências) não consignam nenhum dos dois adjetivos.
Quanto aos dicionários brasileiros, a consulta do Dicionário Houaiss e do Dicionário Unesp do Português Contemporâneo revela que aí se inclui reptiliano, sem haver entrada para reptilíneo. Esta situação poderia sugerir que os adjetivos em apreço têm uma distribuição geográfica bem marcada, mas não me parece que seja exatamente isso que ocorre. Com efeito, de uma forma intuitiva e sem negar a correção de reptilíneo, eu diria que, mesmo em Portugal, se usa reptiliano em relação ao assunto em causa, tendo-se assim consagrado a expressão «cérebro reptiliano», que é, muito provavelmente, um decalque do inglês reptilian brain, ou seja, «cérebro reptiliano» (cf. Linguee).