El método varía según marca/modelo, pero la lógica es similar:
En Android: Contactos > mantén pulsado > Eliminar. En iPhone: Contactos > Editar > Desplázate abajo > Eliminar contacto.
Si no sabes tu modelo, dínoslo y te damos pasos exactos.