No uso mais corrente, com o sentido de «empregar», «aplicar», é verdade que o verbo envidar quase se usa só com «esforços» e a expressão «todos os esforços». Mas os dicionários atestam outras palavras a preencher o núcleo da expressão que realiza o seu complemento directo; por exemplo:

«Envidou os recursos necessários para atingir seu objectivo» (Dicionário Houaiss);

«O examinando deverá envidar a sua ciência para a resolução de problemas» (Dicionário Gramatical de Verbos Portugueses, dir. de João Malaca Casteleiro, Lisboa, Texto Editora, 2007);

«Teriam de envidar muitas horas para resolver o conflito» (ibidem).

Pode, portanto, dizer «envidar os meus cuidados/o meu desprezo», desde que com isso queira dizer «empregar/aplicar os meus cuidados/o meu desprezo».