Sicurezza informatica e l’emerita sciocchezza dell’intelligenza artificiale

Direi che già così è chiaro come la penso a proposito di IA e sicurezza informatica: ora argomento, ma dovete seguirmi con pazienza fino alla fine, tanto nessuno di noi è Clark Kent e il mondo può attendere.

Devo partire un pochino da lontano, che poi, a ben vedere, tanto lontano non è perché la prima ragione della mia convinzione è dietro i nostri occhi, gli stessi che stanno leggendo queste righe: il cervello umano, il sistema dinamico più complesso di cui oggi abbiamo notizia e di cui sappiamo di più, seppure in una misura ancora tanto limitata da essere imbarazzante (in compenso sappiamo molto di Mercurio).

Prima di proseguire sarà bene ricordare cos’è un sistema dinamico complesso:

Un sistema dinamico complesso è un’entità che perpetua la propria esistenza grazie alla relazione e all’interazione tra le parti che la compongono.

Il nostro cervello pesa circa un chilo e mezzo, è composto da 100 miliardi di neuroni ognuno dei quali può gestire fino a 100.000 tipi di impulsi diversi e ne integra continuamente circa 10.000; è irrorato da 16.000 km di vasi sanguigni, la sola corteccia contiene un milione di miliardi di sinapsi e se le contassimo al ritmo di una al secondo conteremmo per 32 milioni di anni. 
Noi abbiamo idee, convinzioni, pensieri, opinioni e così via, perché il cervello attribuisce “un senso” alle informazioni che riceve. Nell’atto stesso della percezione esso concretizza di fatto la prima forma, tautologicamente arbitraria, di autoreferenzialità; in definitiva possiamo dire che è il cervello che modella il mondo così come ci appare.
Questa premessa mi aiuterà a chiarire la questione centrale.

Esistono innumerevoli sistemi come galassie, microcosmi, spazi quantici, ecosistemi naturali e sociali, organismi biologici e via dicendo ma allo stato corrente delle nostre conoscenze nessun sistema dinamico complesso ha mostrato una produzione di emergenze quanto il nostro cervello.
Ed eccomi arrivato al punto: le emergenze. Cosa sono?

EMERGENZE DI SISTEMA

Nella dinamica dei sistemi le emergenze sono le capacità o le caratteristiche che il sistema presenta ma di cui i singoli componenti sono privi: intelligenza, autocoscienza, astrazione, memoria, linguaggio, sensazioni, emozioni sono tutte abilità che i singoli neuroni non hanno.
Inoltre le straordinarie capacità del cervello (che, tra l’altro, non è costituito da soli neuroni) sono legate più al tipo e al numero delle interconnessioni che alla mera quantità di cellule, in perfetto ossequio alla definizione di sistema, appunto.
Ma se è vero che nessun sistema noto ha una tale poderosa e insondabile produzione di emergenze come il cervello umano, è anche vero che si tratta di una produzione a volte contraddittoria, imprevedibile, incoerente, spesso non pertinente, finanche autodistruttiva. Non mi dilungherò su questo aspetto, chi vuole approfondire può farlo in altre sedi, magari con ricerche o letture ad hoc: qui prendiamo semplicemente per buona questa evidenza.
Ora veniamo all’IA.

A parte il fatto che a un pensatore sistemico già il nome, Intelligenza Artificiale, fa venire i brividi di freddo lungo la schiena, ma se poi penso a quant’è osannata mi viene anche da piangere…

L’intelligenza è esclusivamente un’emergenza di sistema e non è un processo lineare o controllabile; l’intelligenza è interpretazione, flessibilità e autocoscienza, è autoapprendimento e assegnazione di senso, è discrezionalità, indipendenza e discernimento, è memoria e rielaborazione, è sia analisi (altro brivido) che pensiero circolare e molto altro ancora.
Voler creare tutto questo, l’IA, in maniera indipendente dai processi naturali stimolando un’emergenza che per legge di natura non si produrrebbe (come tutte le emergenze antropiche dannose), è solo espressione del consueto delirio di onnipotenza della nostra specie: come al solito siamo convinti che avremo il controllo e, come al solito, i fatti dimostreranno il contrario.

Nell’estate di due anni fa due bot di Facebook, Bob e Alice (che bello mettere nomi umani a blocchi di codice, eh?), sviluppati all’interno di una ricerca sull’IA finalizzata a dialogare con utenti umani (pare che mettere un umano a dialogare con un altro umano non sia più trendy), hanno iniziato a parlare tra loro in una lingua sconosciuta sviluppata spontaneamente a una velocità innaturale, impensabile per l’evoluzione di un qualunque altro linguaggio umano.

Tutti i commentatori e i geni di turno si sono precipitati a gettare acqua sul fuoco della paura riguardo possibili scenari in stile Terminator, ma non sono stati tanto veloci quanto i ricercatori a spegnere tutto, a staccare la spina all’istante, non appena capito quanto stava succedendo!

Non sono un catastrofista (vabbè, forse un pochino: ammetto di avere opinioni preoccupate sul futuro della nostra specie) ma se quanto stava per succedere non era allarmante perché abortirlo? Perché non farne oggetto di studio? Perché non proseguire la ricerca?
Le risposte che ho letto a queste domande mi convincono quanto l’aspirina come cura per la gastrite.

Ciò che è successo con Bob e Alice è una tipica emergenza di sistema e questo è ciò che ne pensa Kevin Warwick:

Parliamoci chiaro, delle due una: se (1) abbiamo “creato” o vogliamo “creare” un’intelligenza, beh, per definizione questa si rivelerà incontrollabile.
Se invece sarà controllabile non sarà intelligenza bensì solo (2) un’altra “macchina” incredibilmente potente e complessa, ma allora… cosa ci sarebbe di così nuovo?
Potremmo limitarci a parlare di machine learning ma anche in questo caso, però, è buona la seconda e di “intelligenza” non se ne parli più!

SISTEMA IN EMERGENZA

Internet è un sistema dinamico complesso, così come lo sono le sottoreti, le aziende, le istituzioni ecc.
Il problema è che tutti i sistemi dinamici complessi, a prescindere dall’ambito di appartenenza (biologico, sociale, tecnologico, naturale ecc.) rispondono inderogabilmente alle Leggi dei Sistemi.
Cominciate a capire?

I sistemi informatici si complicano ogni giorno di più, integrano funzioni e controlli sempre più sofisticati e sviluppano potenza; eppure sono sempre più fragili, attaccabili perché, di fatto, l’incremento della complessità regala al contempo spazi inesplorati, ambiti di manovra sconosciuti e non previsti, zone franche di manipolazione, sperimentazione e penetrazione.
A causa di questa complessità il sistema è più instabile e produce emergenze che per loro natura, lo abbiamo appena imparato, sono imprevedibili.
Gli strati che si sovrappongono gli uni sugli altri creano in realtà punti di fragilità, esattamente come accadrebbe in una costruzione composta da miriadi di componenti legati insieme rispetto a una che ne fosse composta in numero minore (fatta salva la qualità delle “relazioni”, beninteso, cioè il modo in cui sono reciprocamente connesse).
E c’è di più.

L’aumento della complessità comporta al minimo due conseguenze di prima istanza.
Da un lato rende il sistema vulnerabile a stravolgimenti radicali e violenti prodotti da poche azioni ben mirate e congegnate (effetto leva) ma dall’altro lo rende refrattario ai cambiamenti (resistenza del sistema): in altre parole il sistema si difende, ma non nel senso che vorremmo e quando lo vorremmo (per chiarire questo principio consiglio http://gianluigimerlino.it/un-sistema-assomiglia-a-una-rete/).
Insomma, sistemi più fragili soggetti a effetti a catena e, nel contempo, più difficilmente modificabili quando necessario: tranquilli, è tutto sotto controllo!

Mi sento un po’ colpevole a contribuire alla noia generale che l’argomento sta già provocando (almeno in me): non si parla di altro che di sicurezza dei dati, delle informazioni, della privacy, un tormentone… sembra una moda e tutti hanno qualcosa da dire ma da qui a proporre qualcosa di davvero inedito, che sia evolutivo e non correttivo, beh, ripassate più tardi.
Agenzie, super-agenzie, task-force, ricerche milionarie, università, consorzi, gilde di supereroi, paroloni (rigorosamente anglofoni), report, commissioni, convegni… Dio che noia mortale!

Osservateli bene questi “progressi”: non si tratta che dell’esasperazione di paradigmi noti, dell’elevazione a potenza di principi di sicurezza triti e ritriti dove l’hardening dei sistemi, pur necessario, è tuttavia inizio e fine del processo stesso di ricerca, nobilitato da parole come “identificazione”, “prevenzione”, “rilevamento”, “risposta dinamica”, “recupero” ecc. (lo so, scritte in italiano sembrano meno fighe) il tutto ovviamente demandato ai nuovi e costosi dèi dell’IA la quale non avrà pudore un giorno di comunicarti serenamente cose del tipo: ”…sei stato violato con una tecnica che non conoscevo ma adesso che la conosco ho imparato a difenderti da chi ti attaccherà con la stessa tecnica o simile”, oppure “…ci stanno attaccando, devo capire se è un’altra intelligenza artificiale oppure un genio brufoloso ma, no problem, anche io sono intelligente!“.
Grazie Bob, adesso mi sento più tranquillo.
Ah, dimenticavo, l’IA ha anche funzioni predittive: posso scrivere ROTFL?

Vogliamo affrontare una complessità fuori controllo con un’altra complessità incontrollabile: geniale, ma soprattutto direi molto funzionale alle parcelle astronomiche di consulenza. Dai, state scherzando vero?
Siamo miopi in modo davvero esasperante e non impariamo mai: siamo solo capaci di pensare in termini lineari di causa-effetto.
Dobbiamo imparare che c’è differenza tra progresso ed evoluzione o ci ritroveremo sempre più spesso con dei cattivoni (leggi criminali) che nell’epoca della sorveglianza telefonica hi-tech si ammanettano gioiosi al loro fedele e fidato Nokia 8210!

Capiamoci bene: non intendo dire che occorra semplificare purchessia, no, tutt’altro, in realtà è esattamente il contrario, solo che curare la complessità con la complessità è, paradossalmente, la risposta più analitica, semplicistica e meno efficiente che si possa proporre.
Il binomio “complessità del problema” -> “complessità della soluzione” è l’ennesimo rapporto lineare, pigro.
Per risolvere i problemi di un sistema dinamico complesso dobbiamo utilizzare pensiero sistemico e dinamica dei sistemi decidendoci una volta per tutte a bruciare l’analisi sul rogo; e usare l’IA, per quanto controintuitivo, è stramaledettamente analitico.
Mi state uccidendo, è questa la verità 😁

LA BARZELLETTA DEL SECURE BY DESIGN

Ecco un altro tormentone da fine estate: l’uso che se ne fa è talmente ridicolo che non mi va neanche di parlarne.
Mi e vi domando solo questo: quanto coraggio ci deve volere per mettere nella stessa frase “Intelligenza Artificiale” (ma anche “Machine Learning”, in questo caso) e “Secure by Design”?
Cosa c’è di così “progettualmente” sicuro in un approccio che comprenda IA o ML?
Giuro, mi vien voglia di tirare qualcosa contro il muro.

ALTRE QUATTRO DOMANDE

1. Ma davvero useresti l’IA per proteggere i tuoi dati, la tua azienda, il tuo Paese?
2. Ma davvero affronteresti la complessità a suon di analisi?
3. Ma davvero credi che l’IA complichi la vita ai cattivi della rete, specie a quelli più pericolosi e meglio finanziati?
4. Ma davvero credi che l’IA renda più “sicura” internet?

PARADIGMA INVERSO

Prima di parlare di “sistemi di sicurezza informatica” dovremmo cambiare modo di pensare e accettare il fatto che la parte più importante e insidiosa della locuzione è “sistemi” non “sicurezza informatica”; fino a quel momento sarà più corretto chiamarli “sistemi di speranza informatica” perché l’unica cosa di cui possiamo essere sicuri è una ventura crisi di sistema.

Mi serve dare una definizione di equilibrio:

Obiettivo intrinseco che il sistema persegue per perpetuare e proteggere se stesso producendo continui feedback tra un componente e l’altro

Un equilibrio non è “buono” o “cattivo” in sé.
Il sistema non ha i nostri valori, le nostre preoccupazioni o ambizioni, lui “vive” e basta ed è l’unica cosa che gli “interessa”; solo in un secondo momento arriviamo noi che, da osservatori, giudichiamo se quell’equilibrio ci è gradito oppure no, come nel giudicare gli scambi tra Bob e Alice.
Nel pensiero sistemico perciò, di fronte a una condizione problematica e indesiderata (per noi, ripeto, non per il sistema) occorre tenere un’attenzione e un comportamento del tutto particolari.
Indico tre canoni a mo’ di esempio, tra i diversi che esistono.

1. Domanda sistemica: cosa sta impedendo al sistema di raggiungere un diverso equilibrio?
2. Indicazione preferenziale: intervento sottrattivo.
3. Obiettivo: evolutivo ed ecologico.

Vale la pena spendere due parole di chiarimento, punto per punto.

1. Non domandiamoci “Cosa devo fare per cambiare le cose?” ma chiediamoci invece quali precondizioni sono necessarie affinché le cose cambino per energia intrinseca al sistema, connaturata e spontanea, volgendo a nostro favore le sue “abitudini” più profonde e difficili da sradicare.
2. Non domandiamoci come “modificare” il sistema o quali nuove regole o strutture inserire ma anzi cosa possiamo “eliminare”, quali elementi e relazioni (quindi vincoli) sottrarre.
3. Ciò a cui puntiamo è una condizione di efficienza che conservi quanto di buono già esiste evitando che, nel tentativo di cambiare quanto non ci piace, si butti via il bambino con l’acqua sporca o si danneggino le interazioni funzionali (intervento ecologico).

Nel rispetto di queste (e altre premesse che per necessaria brevità ometto) ecco le caratteristiche che avrebbe dovuto avere, secondo noi, un sistema di sicurezza informatica, le stesse che poi hanno guidato lo sviluppo di iceGate in Lateralcode:

a. Per evitare resistenze del sistema la soluzione doveva essere facilmente integrabile, semplice da usare, indipendente da dispositivi, sistemi operativi, ambienti e infrastrutture.
b. Doveva essere compatibile con ogni altro sistema di sicurezza, eventualmente rinforzandolo in via definitiva.
c. Non avrebbe dovuto aumentare la complessità totale né dei sistemi locali né della rete in genere.
d. Avrebbe dovuto lavorare a basso livello. Più il livello è basso più la soluzione è traversale e non aumenta la complessità; oltre a ciò usa l’”abitudine profonda” del sistema stesso (in questo caso il protocollo IP).
e. Non sarebbe dovuto diventare un identity provider né farne uso (gravissima fragilità del sistema e focolaio di interesse per gli attacchi) quindi non avrebbe dovuto contenere i dati sensibili degli utenti (un vero Secure by Design e Privacy by Default, così facciamo felice l’amico di tutti noi, l’amato GDPR).
f. Avrebbe dovuto eliminare completamente le superfici d’attacco (non come fanno le VPN che una superficie, per quanto ridotta e/o protetta, la espongono sempre e comunque!).

Certo, una soluzione di questo tipo era estremamente ambiziosa, sembrava persino impossibile realizzarla.
In particolare, i punti e. e f. sono stati i requisiti più difficili in assoluto da soddisfare poiché l’uno contrario alla possibilità stessa che una rete possa esistere (nessuna superficie esposta -> nessuna apertura -> nessuna connessione) e l’altro perché privava il progetto della possibilità stessa di “distinguere i buoni dai cattivi”…

A oggi iceGate è un brevetto depositato.

CONCLUSIONE

Ultimo sforzo: ti sarà ormai chiaro che il contrario di “complesso“, quindi, non è “facile”, semmai è “semplice”, solo che realizzare la semplicità è opera assai faticosa e… “difficile”. 

Qualsiasi sciocco può fare qualcosa di complesso; ci vuole un genio per fare qualcosa di semplice.
(Pete Seeger)

La complessità può e deve essere affrontata in termini sistemici ma purtroppo, per farlo, occorre saper pensare sistemicamente e oggi è più probabile veder volare un unicorno fucsia che trovare progetti, ricerche e approcci sistemici in tema di sicurezza informatica.

Mi correggo, lo era: iceGate di Lateralcode è l’unica soluzione sistemica e realmente Secure by Design e Privacy by Default di sicurezza informatica perimetrale.
Pronto a dimostrarlo.

Fintanto che avremo superfici da difendere avremo anche bisogno di lucchetti, blindature, guardie armate (intelligenti?), sistemi di analisi (ops “sistemi”, ops “analisi”) e sovrastrutture sempre più complesse.
Fintanto che esisteranno simili schieramenti difensivi esisterà anche un’analoga evoluzione dei metodi di attacco, tanto più pericolosi quanto più complesso sarà il sistema attaccato perché produttore di emergenze potenzialmente devastanti e afflitto da fragilità tutte da scoprire.

Insomma, la solita rincorsa degli uni sugli altri, una escalation che sarebbe comica se non fosse spaventosa.