Donald Trump e i paradossi dell’automazione

Donald Trump e i paradossi dell’automazione

Il ricorso ai luoghi comuni per spiegare gli incidenti

Ogni grave incidente ha i suoi profeti di sventura del giorno dopo e il suo corollario di luoghi comuni, utili a dare una spiegazione semplice ad un problema inevitabilmente complesso.

La Costa Concordia, affondata affondata a poca distanza dal porto dell’Isola del GiglioIl problema è l’uomo”, con le sue debolezze e la sua insopprimibile tendenza a commettere errori. Così si disse dopo la tragedia della Costa Concordia, la nave da crociera affondata a poca distanza dal porto dell’Isola del Giglio il 13 Gennaio 2012. Quale figura sarebbe stata più adatta ad una spiegazione così semplice, del resto, di quella del comandante Schettino, apparentemente così codardo e inaffidabile mentre era necessario ogni sforzo possibile per salvare feriti e dispersi? Individuato un capro espiatorio, quasi nessuno ascoltò chi ricordava che la pratica del cosiddetto inchino era assai diffusa nel mondo croceristico, ed erano stati moltissimi i casi di avvicinamento eccessivo alla costa non segnalati dalle autorità competenti. Poco considerate furono anche le gravi carenze formative dell’equipaggio reclutato dalla Costa Crociere, emerse durante le fasi più convulse della gestione dell’emergenza.

L’incidente ferroviario sulla linea Andria-Corato, in Puglia“Il problema è la tecnologia troppo arretrata”, si sarebbe detto invece all’indomani dell’incidente ferroviario tra Andria e Corato di Puglia, il 12 Luglio 2013. L’incidente, che provocò 23 vittime, avvenne su una linea a binario unico in cui era ancora operativo un vecchio sistema di gestione della circolazione, denominato Blocco Telefonico. Un sistema effettivamente superato e non più in uso nelle altre reti ferroviarie italiane, in una tratta oggetto di investimenti inadeguati e tardivi per il passaggio ad una linea a doppio binario. Di fronte ad una spiegazione in apparenza così convincente, faticarono ad emergere le voci di chi sosteneva che non sempre l’uso della tecnologia è sinonimo di maggiore sicurezza. Tuttavia, oltre il 40% della rete ferroviaria italiana è tutt’oggi a binario unico; e quel tratto gestito dalla società Ferrotramviaria non aveva visto accadere alcun incidente significativo dagli anni Cinquanta del secolo scorso fino a quel momento.

“Il problema è la tecnologia troppo avanzata”, sentiamo dire oggi dopo l’incidente del volo ET302 della Ethiopian Airlines, accaduto il 10 Marzo 2019. Gli aerei sono diventati troppo complessi da pilotare. Meglio i velivoli tradizionali, con i loro livelli di automazione più bassi, che lasciavano pieno controllo all’uomo nella gestione delle emergenze. Questa tesi la sostiene il presidente degli Stati Uniti Donald Trump, e risulta molto popolare in un momento in cui lo stesso modello di aereo, il tecnologicamente avanzatissimo Boeing 737 MAX 8, subisce due incidenti a soli cinque mesi di distanza.

“Gli aeroplani stanno diventando troppo complessi per volare. Non servono più piloti, ma piuttosto scienziati del MIT. Lo vedo continuamente in molti prodotti. Cercare sempre di fare un ulteriore passo avanti inutile, quando spesso vecchio e semplice è molto meglio. Servono decisioni in una frazione di secondo… …e la complessità crea pericolo. Tutto questo per un grande costo ma un guadagno molto piccolo. Non so voi, ma io non voglio che Albert Einstein sia il mio pilota. Voglio grandi professionisti del volo che possano prendere facilmente e rapidamente il controllo di un aereo!”

In effetti, protagonista dell’incidente potrebbe essere stato il software che gestisce in automatico alcune fasi del volo. In particolare, una sua funzionalità denominata MCAS (Maneuvering Characteristics Augmentation System), che interviene quando si ravvisa il rischio che il velivolo vada in stallo.
Le analisi degli investigatori, specie dei dati contenuti nelle scatole nere, è appena iniziata. Non sappiamo ancora come i piloti abbiano reagito alle circostanze precedenti l’incidente, né se i dati trasmessi dal software sospettato siano stati effettivamente non corretti. Ma l’esperienza recente dell’incidente del volo Lion Air JT610 il 29 Ottobre 2018, con lo stesso tipo di aereo, spinge inevitabilmente a stabilire delle analogie. E cresce il sospetto che vi sia stato di nuovo un problema nel dialogo fra uomo e macchina.
Perciò l’incidente del Boeing 737 MAX 8 fa tornare di attualità un problema ben noto agli esperti di Fattori Umani, che si occupano di studiare come le persone, in un sistema complesso, interagiscono con le altre risorse, inclusi gli altri operatori, le procedure e la tecnologia.

 

I paradossi dell’automazione

Un articolo degli anni Ottanta, famoso nella letteratura di settore, introduceva il concetto dei paradossi dell’automazione(in originale Ironies of Automation). L’articolo si focalizzava su quattro paradossi che accompagnano sempre chi deve progettare un sistema automatico, affidando all’automazione compiti che in precedenza venivano svolti da un operatore umano.

Il primo paradosso sta nella scelta di far riprendere il controllo manuale all’operatore umano solo quando quello automatico non funziona. Così, non si tiene conto che l’operatore potrebbe non avere più le abilità necessarie a svolgere il compito. Se infatti certi compiti non vengono svolti per molto tempo, è difficile che l’operatore possa eseguirli con la stessa rapidità, efficacia e precisione di quando era sempre lui ad eseguirli.

Strettamente legato al primo è il secondo paradosso. Se l’azione dell’operatore è richiesta solo in caso di guasti o problemi dell’automazione, i sistemi automatici più affidabili saranno proprio quelli che daranno all’operatore meno occasioni di esercitare le proprie abilità manuali, rendendolo quindi meno preparato ad agire in caso di emergenza.

Il terzo paradosso riguarda invece la scelta di trasferire all’automazione i compiti di tipo esecutivo, lasciando all’operatore un ruolo di supervisione di ciò che l’automazione sta facendo. Certamente questa scelta ha il merito di liberare l’operatore da larga parte del suo carico di lavoro. Tuttavia, è noto che il sistema cognitivo umano è inadatto a svolgere compiti di vigilanza per lunghi periodi, specie quando l’informazione da osservare non mostra cambiamenti significativi. In questi casi, la prestazione dell’operatore è facilmente soggetta ad errori.

Infine, uno dei motivi principali che giustificano la presenza degli operatori umani in ambienti operativi complessi è intervenire in caso di difficolta dei dispositivi automatici a gestire situazioni impreviste. Questo può avvenire quando le condizioni cambiano improvvisamente, in modi non contemplati dalla logica di funzionamento dell’automazione. L’operatore può quindi osservare l’ambiente esterno, verificare cosa sta accadendo, e mettere in relazione tutte le informazioni disponibili per capire come rimettere in moto il processo. Tuttavia, questo tipo di prestazione necessita di elaborazioni mentali complesse, che richiedono tempo e non possono essere svolte in parallelo con altre attività. Esattamente quello che non è possibile fare – e qui sta il quarto paradosso – in sistemi come l’aviazione, in cui le emergenze sono quasi sempre time critical e c’è pochissimo tempo per trovare una soluzione.

 

Il giusto livello di automazione

Nessun esperto di Fattori Umani si sognerebbe mai di sostenere che la tecnologia, in quanto tale, ha effetti negativi sulla sicurezza. D’altro canto i successi dell’aviazione nel ridurre il numero di incidenti, anche grazie ad un costante miglioramento della tecnologia, sono molto evidenti.

“Falso. La tecnologia rende più sicuro volare. Meno incidenti nonostante più aerei in volo. Questa è una cosa folle da dire per chiunque, figuriamoci per il Presidente.”

Tuttavia, l’uso dell’automazione per aumentare la sicurezza è più complesso di quanto si tende ad immaginare. E chi progetta sistemi automatici deve necessariamente tenere conto dei paradossi dell’automazione. Infatti, non solo è tecnicamente complesso portare l’automazione a livelli sempre più alti, ma in alcuni casi può essere perfino controproducente.
Quando le funzioni svolte dall’automazione sono preponderanti rispetto a quelle svolte dall’operatore umano, si possono determinare situazioni in cui l’operatore non è in condizione di eseguire la propria prestazione con un livello di affidabilità adeguato.
È necessario quindi un cambiamento di prospettiva. L’attenzione dei progettisti deve spostarsi dall’esigenza di ridurre il più possibile la presenza umana, considerata poco affidabile, alla ricerca di un equilibrio che renda più efficace questa presenza residua. Non c’è altro modo per aumentare la sicurezza complessiva del sistema che si sta progettando, composto di macchine e persone. In caso contrario, ciò che si guadagna in termini di affidabilità grazie all’aumento dei livelli di automazione rischia di essere annullato dagli effetti negativi su quel che resta della prestazione umana.

Luca Save

Luca Save è un esperto di Sicurezza e Fattori Umani presso la società di consulenza e ricerca Deep Blue (www.dblue.it).
Dal 2001 si occupa di sistemi safety critical, quali l’aviazione, il controllo del traffico aereo ed il trasporto ferroviario. Si è specializzato nello studio dell’errore umano e delle metodologie per la gestione della sicurezza.

Parla con noi