iTunes solo acepta vídeos en formatos específicos (H.264/MP4/M4V con perfiles concretos). Si al arrastrar un .mp4 te dice "formato no compatible", el códec o el perfil no son los que iOS espera. La solución gratuita y definitiva es HandBrake.
VLC para iOS fue retirado de la App Store por licencias. HandBrake usa el mismo motor (libav/ffmpeg) y genera archivos nativos compatibles al 100%.
Así podrás ver cualquier vídeo (MKV, AVI, WMV, etc.) en tu iPhone sin problemas.