En el Apple TV Remote en el iPhone, puedes usar botones en lugar de gestos de deslizamiento.
Ve a Configuración > Accesibilidad > Apple TV Remote y activa "Botones direccionales".