Según tu sistema:
Android (Google Contacts)
- Abre Contactos.
- Busca el contacto > púlsalo > Editar (icono lápiz).
- Borra el número (icono papelera junto al número) o pulsa Eliminar contacto abajo.
iPhone (Contactos / Teléfono)
- Abre Teléfono > Contactos o app Contactos.
- Selecciona el contacto > Editar (arriba derecha).
- Desliza a la izquierda sobre el número > Eliminar, o pulsa Eliminar contacto al final.
Varios a la vez
En Google Contacts web (contacts.google.com): selecciona varios > icono papelera. En iCloud.com similar.