En la ficha del contacto:
En Android también: mantén pulsado el contacto en la lista > "Ver detalles" > edita. En iPhone: Contactos > Editar > menos rojo.