Unicode: cos'è e perché ha sostituito ASCII

Un numero per ogni carattere

Secondo la FAQ del Consortium Unicode, Unicode è lo standard di codifica universale dei caratteri, la base su cui si elaborano, si salvano e si scambiano i testi in qualunque lingua. A ogni carattere possibile — una lettera, un segno di punteggiatura, un simbolo — lo standard assegna un numero univoco, chiamato code point, scritto con la notazione U+ seguita da cifre esadecimali. Il computer, dentro, lavora sempre e solo in numeri binari: Unicode è il ponte che traduce quei numeri in caratteri leggibili da una persona.

Esempio pratico: aprire lo stesso file di testo su un computer in Italia, uno in Giappone e uno in Arabia Saudita, e vedere ovunque gli stessi caratteri — accenti, ideogrammi, scrittura da destra a sinistra — è possibile solo perché tutti concordano sullo stesso numero per lo stesso carattere. Prima di Unicode, ogni sistema aveva la sua tabella, e lo stesso numero poteva corrispondere a lettere diverse da un computer all’altro.

Perché ASCII non bastava più

ASCII, pubblicato nel 1963 come standard ASA X3.4-1963, usa 7 bit per carattere: un valore da 0 a 127, per un totale di 128 code point, di cui 95 stampabili e 33 di controllo. Bastava per l’inglese scritto con la tastiera americana, ma secondo Wikipedia lo standard non supporta direttamente termini o nomi come résumé, jalapeño o naïve, perché non ha code point per le lettere con segni diacritici. Le revisioni successive provarono ad allargare lo spazio a 8 bit, con famiglie di codifiche “parenti” di ASCII pensate per singole lingue, restando però incompatibili tra loro: nessuna bastava a coprire più alfabeti insieme.

Come funziona UTF-8

Unicode assegna i numeri; UTF-8 è il modo più diffuso di trasformarli in byte da salvare o trasmettere. Lo specifica l’RFC 3629 dello IETF, pubblicato nel novembre 2003: ogni carattere diventa una sequenza da 1 a 4 byte, a seconda di quanto è alto il suo code point, fino a coprire l’intero intervallo U+0000-U+10FFFF. Il primo byte porta un pattern di bit che dice quanti byte seguono; i byte successivi iniziano sempre con gli stessi due bit, così un programma può sempre capire dove comincia un nuovo carattere, anche aprendo il file a metà.

La caratteristica che ha reso UTF-8 la scelta più diffusa sul web è la compatibilità all’indietro: per l’RFC 3629, i caratteri US-ASCII sono codificati in un solo ottetto con il normale valore US-ASCII. Un file scritto solo in ASCII, letto come UTF-8, produce esattamente lo stesso testo — nessuna conversione, nessun byte che cambia. Quando un testo viaggia da un server a un browser, attraverso la rete che porta i dati da un capo all’altro, la codifica dichiarata deve combaciare con quella usata per scrivere il file, o i caratteri arrivano storpiati.

Una storia breve

L’idea di una codifica universale nacque, secondo la pagina storica del Consortium, circa quattro anni prima della fondazione dell’ente — quindi attorno al 1987 — da discussioni tra ingegneri di Xerox (Joe Becker) e Apple (Lee Collins e Mark Davis). Lo Unicode Consortium fu costituito formalmente nel gennaio 1991, in California. La Versione 1.0 dello standard, Volume 1, fu pubblicata pochi mesi dopo, in ottobre dello stesso anno.

Da allora lo standard è cresciuto versione dopo versione, aggiungendo alfabeti e nuovi intervalli di code point, compreso uno spazio di oltre 137.000 code point riservato all’uso privato, per chi ha bisogno di caratteri personalizzati fuori dallo standard. Chi scrive codice lavora quasi sempre con testo già codificato in Unicode, spesso attraverso l’algoritmo di UTF-8 descritto sopra, anche senza accorgersene: uno degli sviluppi raccontati nella storia del computer.