Latency – om å spille på iPad og andre nettbrett

Selv om strøm går rasende fort, så vil elektronisk behandling av lyd alltid medføre en viss forsinkelse fra du gir enheten beskjed om å spille til det faktisk kommer lyd i høyttaleren. Dette har skapt hodebry siden den elektroniske musikkteknologiens barndom – og gjør det fremdeles. Forsinkelsen, latency, er et komplekst tema med mange faktorer som spiller inn. Jeg skal prøve å gjøre det tydeligere.

Men først:

Hva betyr forsinkelsen i praksis?

Som bildet viser, skal jeg nå holde meg til forsinkelsen som den tiden det tar fra du trykker på skjermen til det kommer lyd fra høyttaleren. (Den kan også måles på andre punkter i signalgangen.) Man måler latency i millisekunder (ms). En passelig lav latency kan være rundt 5-10 ms, mens alt over dette regnes som mye når vi skal spille musikk. Utfordringen med latency merkes f.eks. når vi skal:

• Spille på et nettbrett, til et akkompagnement som allerede er innspilt.
• Gjøre opptak av sang, mens vi hører oss selv i hodetelefoner.
• Spille “live” musikk der det legges til en effekt før lyden når høyttaleren.

Hvis forsinkelsen blir for stor, så hører vi det vi spiller en liten stund etter at vi spilte. Da blir det umulig å spille eller synge i takt med akkompagnementet.

Bakgrunn

I oktober 2014 skrev jeg en kommentar i Facebook-gruppa “Bruk av nettbrett i skulen” om at iPad på det tidspunktet var det eneste nettbrettet som fungerer godt for musikkfaget, og at de andre plattformene dermed utelukker et av skolens fag. Det skapte litt forargelse og muligens forvirring. Noen mente at det var “tøv” og feil, ettersom man har holdt på med musikkproduksjon lenge før iPad. Det har man selvfølgelig gjort. Jeg snakker imidlertid ikke om musikkproduksjon, men om “live” samspill – og/eller annen “live” prosessering av lyd.

Videoen nedenfor viser et eksempel på slikt samspill. Elevene mine framførte et musikken på konferansen SETT-dagene. Samspillet er avhengig av at elevene hører på hverandre og spiller i takt. Hvis lyden fra eget instrument er forsinket, så er det umulig å spille i takt me det de hører. Et annet eksempel kan være når man f.eks. ønsker å bruke en effekt-app på nettbrettet til å legge effekter på lyden under en framføring. Man har også latency-utfordringer i mer tradisjonell musikkproduksjon, når man tar opp sang/spill sammen med et spor som er tatt opp tidligere.

Latency

Informasjon om latency kan være litt vrient å få tak på. Først og fremst fordi tallene som oppgis refererer til ulike varianter av forsinkelse, uten at artikkelforfattere har for vane å presisere dette:

1. Forsinkelsen fra du trykker på skjermen til det faktisk trigger en app til å produsere lyd.
2. Forsinkelsen fra appen trigger lyd til den kommer ut.
3. Forsinkelsen fra lyd fanges opp av mikrofonen til den er klar for å sendes videre til høyttaler eller en annen app (f.eks. ved bruk av effekter i en live sammenheng)

Hvis latency oppgis til å være 6ms er det ofte uklart om dette f.eks. er summen av 1+2 eller bare 2. (Ofte er det bare 2.) I tillegg vil forsinkelsen variere ettersom man bruker nettbrettets interne høyttaler eller linje-/hodetelefonutgangen. (Som regel er det faktisk lavere latency ved bruk av minijack ut til et lydanlegg. Bruk av HDMI gir imidlertid svært høy latency.) Andre forhold, som for eksempel om du kjører mange apper i bakgrunnen, kan også påvirke forsinkelsen.

En typisk latency på iOS, med en god app, vil ligge på rundt 6ms. I noen tilfeller mer. Dette kan virke ubetydelig, men ved spilling med f.eks. trommer kan selv dette være merkbart. Er det noe vi ikke vil, så er det å bruke verktøy som frarøver elevene muligheten til å mestre.

Latency er ikke viktig ved avspilling av lyd eller musikkproduksjon som ikke bearbeiderlyd i sanntid. Slike oppgaver kan dermed utføres på dingser av alle slag.

Mind the gap

Nettbrett basert på Android og Windows har vanligvis ligget langt etter i kampen om å redusere latency ned til et anvendelig nivå for å jobbe med musikk. En artikkel fra 2011 (som dessverre ikke lenger ligger på nett) beskrev målinger på iPad og Android-nettbrett. Den gang hadde iPaden en latency på 5-7 ms, men tilsvarende målinger for Android-baserte nettbrett lå på 2-300 ms. Ved å finne en optimal kombinasjon av nettbrett-modell, Android-versjon og app kom målingene ned mot 100 ms. Målingene var gjort at et fransk fagmiljø av utviklere som ønsket å kunne selge på begge plattformer. De la også ut fire lydeksempler for å illustrere forskjellene. Disse kan du høre her.

(Innlegget fortsetter under lydspilleren.)

Vi er mange som har ventet på at de andre plattformene skal tette «latency-gapet» i forhold til iOS, og fra tid til annen har det kommet artikler som bærer bud om dette. Lavere latency har imidlertid vist seg å være avhengig av at man også finner riktig kombinasjon av enhet, versjon av OS og app. Dette blir umulig for skolene å sette seg godt inn i.

En artikkel (06/2014) ga en stund nytt håp for Android, men resultatene har uteblitt. Noen utviklere, bl.a. de som lager ThumbJam, har testet mulighetene for å legge ut produktene sine på Google Play, men de er forsiktige. For stor latency i nettbrettet vil gi en dårlig brukeropplevelse av det de lager. En nyere artikkel (08/2016) er spennende, ikke minst fordi den viser at noen jobber seriøst med det som kalles “Andriod Audio’s 10 Millisecond Problem” (som henviser til at alt over 10ms er for høy latency). I beste fall vil det “løsne” litt på markedet, slik at det på sikt vil lønne seg å tilby gode musikkapper også for Android.

I noen apper, bl.a. i nevnte ThumbJam for iOS, kan man justere latency (via å velge «buffer size» i preferences/options) og dermed prøve å spille med ulike verdier av latency. Etter mitt skjønn er 20ms en betydelig forbedring, men på perkusive lyder (f.eks. trommer) er det fremdeles så merkbart at det krever mye trening å spille nøyaktig rytmisk. Resultatet blir et vaklende samspill. Det kan du teste selv ved å sette på en metronom og spille helt nøyaktig på likt med den. (Merk: Det er selvsagt avgjørende å bruke en app som er laget for lav latency. Også på iOS vil f.eks. de fleste tromme-apper har så lang forsinkelse at de ikke fungerer i samspill. Dårlige apper er dårlige, uansett operativsystem.)

Hva da med Microsoft / Surface variantene? Jeg finner rett og slett ikke nyere artikler som tallfester latency her, men støtter meg til apputviklere som sier at plattformen ikke er klar – og til det faktum at de innovative musikkappene for «live audio» ikke finnes i butikken, med MorphWiz fra Wizdom Music som eneste unntak jeg har funnet. (Enklere apper, som spiller av et sample av trommer og div bandinstrumenter, finnes og man får en del apper som ikke er avhengig av lav latency.)

Min konklusjon

Etter å ha gravet litt på nett etter oppdatert informasjon, holder jeg fast ved min påstand om at Windows- og Androidbaserte nettbrett for øyeblikket utelukker et av skolens fag – musikkfaget. Man kan drive noe med musikk også på disse enhetene, men ikke inkludere de i sentrale læringsmål i faget. Det er veldig synd.

Hvis du har oppdatert informasjon om hva som skjer mht latency på Windows/Surface, så håper jeg du tar kontakt.

Til slutt en liten betraktning til:

Forsinkelse er selvsagt noe alle musikere, til alle tider, har måttet forholde seg til. For lyden bruker jo også tid gjennom lufta! Det er en grunn til at en strykekvartett, der musikerne sitter 2-3 meter fra hverandre, ikke bruker dirigent, mens et større orkester, med en avstand på kanskje 15 meter, sjelden klarer seg uten. (Og hvorfor er det vanligere å plassere trommer i midten…?) Den største forskjellen er likevel at musikerne her sitter så tett på sitt eget instrument at forsinkelsen fra trykk til lyd er tilnærmet null. Problemet løses dermed ved bruk av dirigent. I den digitale verden, derimot, ligger forsinkelsen i selve instrumentet, i tillegg til evt. avstand mellom utøverne.

(Dette er en omskrevet versjon av et innlegg i Facebook-gruppa “Bruk av nettbrett i skulen” 3. oktober 2014.)