Método universal (Google Contacts):
En Samsung: Contactos > Menú > Gestionar contactos > Eliminar.
En iPhone: Contactos > Editar > Desplázate abajo > Eliminar contacto.
Si usas cuenta Google, los cambios se sincronizan en todos tus dispositivos.