Não encontrei em nenhuma das obras consultadas o registo de colher de chá, ou colher de sopa, com hífen, nem creio que tal se justifique. O complemento determinativo “de chá” está a caracterizar/caraterizar (ou qualificar) a colher. Poder-se-ia dizer colher pequena, ou colher grande, mas preferiu dizer-se colher de chá. Isto porque os tamanhos das colheres estão hoje de tal forma normalizados que elas podem ser usadas como se se tratasse de medidas padronizadas.
O hífen pode, no entanto, ser utilizado para atribuir ao conjunto um sentido figurado. Desconheço em que contexto D’Silvas Filho usou colher-de-chá, mas há muita gente que eu conheço a quem daria, de boa vontade, uma! E estou a dar ao conjunto o sentido de “raspanete”, ”lição”. Não quer dizer que seja com este sentido que o autor o use! Adquirindo um novo significado, nem sempre próximo dos mais convencionais, o conjunto construído com hífen precisa do contexto para ver o seu sentido sancionado.

P.S. - Dias depois de ter redigido a resposta em cima, folheando o Dicionário de Erros e Problemas de Linguagem de Sá Nogueira, Clássica Editora, Lisboa, li o artigo que o autor dedica a este tema e em que defende que a grafia deveria ser com hífen, tanto em colher de chá, como em colher de sopa, por se tratar de uma unidade de sentido e porque dessa forma se evitariam ambiguidades como a que pode surgir em: «Uma colher de sopa de rabo de boi».
Da leitura deste artigo concluo que a grafia é sem hífen e que há situações em que o bom senso dos falantes, imprescindível em todo o acto comunicativo, tem de intervir para se compreender a mensagem. É esse bom senso, associado ao conhecimento que todos temos da realidade que nos cerca, que conduz à interpretação de colher, no exemplo citado, como “concha”, nome porque também é conhecida a colher com que se serve a sopa.