O correcto é usar-se a preposição com, já incluída na própria pergunta: «O que queres dizer com isso?» A resposta, naturalmente, será: «Com isso quero dizer…» No texto apresentado, o pronome demonstrativo isso é substituído pelo nome (omitido) mais o adjectivo:
«com isso» = «com (o termo) despassarado» = «com despassarado».
Neste contexto, não faria sentido utilizar-se «por isso». A locução «querer dizer» poderá vir seguida da preposição por apenas quando esta faz parte de uma determinada expressão, como «por seu turno», «por bem», «por extenso», «por meio de…», etc.