Sí. Cualquier transformador/fuente conmutada enchufada a la red consume una pequeña corriente en vacío (pérdidas en el núcleo, circuito de control).
Un cargador moderno enchufado 24/7 sin teléfono gasta ~1-4 kWh/año = $0.10 - $0.50/año (precio EE.UU. promedio). Es despreciable, pero desenchufar ahorra ese mínimo y alarga vida del cargador (menos estrés térmico).
Buen hábito: desenchufa cuando no cargues (regleta con interruptor).