El teléfono marca el archivo como «solo lectura» mientras es fondo de pantalla.
Si aún así no deja borrar, conecta el móvil por USB, usa explorador de archivos (ej. FExplorer en Symbian o PC Suite), localiza el archivo, botón derecho > Propiedades > desmarca «Solo lectura» > borrar.