Forma universal:
En Android también: mantén pulsado el contacto en la lista > Eliminar. En iPhone: Editar > Desplázate abajo > Eliminar contacto.