Wanneer de gemeten samples gedigitaliseerd worden, wordt de spanningswaarde van ieder sample omgezet naar een getal. Dit wordt gedaan door de spanningswaarde met een aantal verschillende niveaus te vergelijken. Het resulterende getal is het nummer van het hoogste niveau dat nog lager is dan de spanningswaarde. Het aantal beschikbare niveaus wordt bepaald door de resolutie. Hoe hoger de resolutie, hoe meer verschillende niveaus beschikbaar zijn en hoe nauwkeuriger de spanningswaarde omgezet kan worden. In de onderstaande afbeelding wordt steeds hetzelfde signaal gedigitaliseerd, met drie keer een ander aantal niveaus: 16, 32 en 64.

Het aantal beschikbare niveaus wordt bepaald door de resolutie:

aantal niveaus = 2 resolutie in bits

De gebruikte resoluties in de bovenstaande afbeelding zijn respectievelijk 4 bits, 5 bits en 6 bits.

De kleinste te meten spanning hangt af van het ingestelde ingangsbereik en de resolutie. Deze spanning kan als volgt berekend worden:

minimum voltage = volle schaal-bereik / aantal niveaus

In het 200 mV bereik, loopt de volledige schaal van -200 mV tot +200 mV, het volledige bereik is dan 400 mV. Wanneer 12 bit resolutie wordt gebruikt, zijn er 2¹² = 4096 niveaus beschikbaar. Dit resulteert in een kleinst waarneembare spanning van 0.400 V / 4096 = 97.7 µV. Bij 16 bit resolutie is deze waarde 0.400 V / 65536 = 6.1 µV

Veranderen van de resolutie van een instrument in de Multi Channel software kan op diverse manieren gedaan worden:

• Rechts-klikken op het instrument in het Objectscherm, Resolutie selecteren en dan de gewenste waarde kiezen in het popupmenu.
• Met de Verhoog/verlaag resolutie-knoppen en op de instrumentbalk.
• Klikken op de Resolutie-indicator van de gecombineerde Recordlengte + Samplefrequentie + Resolutie-indicator op de instrumentbalk en dan de gewenste waarde uit het menu kiezen.
• Klikken op de Resolutie-indicator op de instrumentbalk en dan de gewenste waarde uit het menu kiezen.