La cifra e’ severa maestra.

Mi chiedono riguardo al test di Turing e all’approccio di Bion-Hinshelwood allo stesso. Vorrei introdurre questa cosa in un discorso piu’ ampio riguardante alcune pseudo-scienze come la psicologia o la psichiatria, le quali si ostinano a rifiutare argomentazioni di tipo quantitativo, a mero scapito della propria credibilita’.

Prima premessa, primo esempio. La teoria dell’evoluzione. Tempo fa, durante una discusione qui, un utente posto’ un lavoro matematico nel quale si trasformava la teoria della selezione naturale in un modello matematico, ci si mettevano i numeri e si procedeva col calcolare come si comportasse quel modello.(se qualcuno ha il link me lo riposta, per favore?)

Nel caso di organismi semplici che si riproducono con medodi piu’ o meno semplificati, la teoria regge: siamo nell’arco delle centinaia di migliaia di generazioni per un singolo gene dominante stabile su tutta la specie, e nei caso di microorganismo i tempi ci sono. Quando il calcolo si estendeva ad organismi come l’homo sapiens, i conti non c’erano piu’: ci vogliono  piu’ di un milione di generazioni perche’ tutta la specie contenga un nuovo gene dominante stabile.Il guaio e’ che, anche considerando 10 anni a generazione, la nostra specie tutto quel tempo per carattere ereditario non ce l’ha mai avuto.

Ora, se io facessi presente questo risultato numerico in un club di biologi, contestando quindi la validita’ di questa teoria (o perlomeno suggerendo l’esistenza di “acceleratori” piuttosto esponenziali del fenomeno) , verrei immediatamente bollato per “creazionista” e messo alla porta. Un comodo espediente per rifutare un argomento numerico.

Cosa succedera’ quando dei creazionisti VERI avranno in mano questo argomento? Succedera’ che vinceranno ogni dibattito. E ovviamente, sfideranno ovunque gli evoluzionisti. Ecco quel che si dice “avere le gambe corte”.

Lo stesso capita con gli psichiatri: quando gli fai presente che la stragrande maggioranza di cio’ che sanno e’ soltanto un lavoro fatto empiricamente, poco resistente al linguaggio, del tutto dipendente dal giudizio di un osservatore che non puo’ diagnosticare la sanita’ della PROPRIA percezione, ovviamente ti dicono su di tutto.

Cosi’, rimane il problema della IA e del test di Turing. Perche’ rimane questo problema? In astratto, il Test di Turing e’ un test che si considera superato quando la mente umana non riesce a distinguere per un certo lasso di tempo una macchina da un essere umano stesso. In astratto, quindi, se il test di turing viene superato, lo psichiatra diventa incapace di distinguere un pezzo di silicio da un cervello; il che la dice lunga sulla sua affidabilita’ quando prescrive un farmaco o diagnostica una malattia.

Qual’e’ il problema? Il problema e’ che per come e’ stato espresso in origine il test di turing era soggetto a numerose reprimende logiche: il fatto che un umano fallisca qualcosa puo’ essere una proprieta’ della macchina (che riesce ad imitare un altro essere umano) oppure semplicemente un fallimento della mente umana, che non e’ costruita a questo scopo.

Cosi’, per prima cosa occorre che il test di Turing da test negativo diventi un test positivo, cioe’  dipenda effettivamente e solo dall’abilita’ e non da un possibile fallimento. Per realizzare questo requisito si sono avvicendate numerose “interpretazioni” del Test di Turing, alcune basate sulla “compressione” del test, altre su singole abilita’, altre su test concettualmente differenti.

Una sola di queste interpretazioni, a mio avviso , ha avuto un certo successo, al punto che esistono prodotti commerciali che fanno questa cosa (la mia azienda ne ha realizzato uno, btw). L’approccio in questione e’ l’approccio di Bion-Hinshelwood. Anziche’ misurare la possibilita’ per una persona di distinguere un interlocutore macchina da un interlocutore umano, questa lettura propone un test logicamente equivalente ma basato sulla mera abilita’ della macchina, il che significa che misuriamo solo la macchina e non il fallimento di chi dovrebbe sgamarla.

L’interpretazione di Bion-Hinshelwood propone uno schema di questo tipo:

Siano A e B un essere umano e una macchina, la macchina stupida o intelligente a piacere. Sia C la macchina che deve superare il test. Il test consiste, per ragioni di equivalenza logica, nel distinguere A da B osservandone il comportamento. Stiamo quindi misurando una macchina il cui test consiste nel distinguere una macchina da un essere umano.

Avrete incontrato spesso i captcha. I captcha sono dei testi offuscati parzialmente , i quali servono (nei sistemi di social network non moderati) a distinguere se chi scrive e’ un essere umano oppure no. Se pensate che un robot possa aprire una casella su Google e spammare il mondo, oppure entrare su Facebook e spammare gli altri utenti, capite che esiste un interesse commerciale forte verso sistemi che siano capaci di distinguere un bot da un essere umano reale.

Ne esistono parecchi sul mercato (almeno 3) i quali sorvegliano il comportamento degli utenti , imparano dagli esempi, implementano sistemi di tassonomia stocastica, reti neurali back propagation, eccetera, allo scopo di distinguere un software da un essere umano.

Alcuni di questi sistemi raggiungono il 97-98% dell’efficienza dell’operatore umano.

Ipotizziamo che tra qualche anno sia possibile, per un software, di distinguere un essere umano da un robot osservandone il comportamento, quanto un essere umano. Oppure, visto che l’essere umano fallisce qualche volta in questo compito, piu’ dell’essere umano.

Come potrete ancora fidarvi di un elemento come uno psichiatra, che non conosce abbastanza il comportamento umano da essere inferiore ad una macchina nel compito di distinguere un essere umano da una macchina? E come potrete credere nei loro modelli, nel momento in cui una macchina , imparando mediante processi stocastici , ha un modello di comportamento umano superiore a quello degli psichiatri?

Perche’ il realta’ il problema non e’ se la macchina sia piu’ brava a identificare un comportamento umano rispetto ad un operatore ; il problema e’ se sia migliore di uno psichiatra.

Uno psichiatra sa dirmi, sulla base della sua conoscenza della psiche, se un tale comportamento sia “umano” o meno. E’ importante, perche’ se manca questo requisito non capisco in che modo possano pretendere di riconoscere la deviazione dai comportamenti “normali”.

E qui veniamo al punto: la macchina che svolge il lavoro di riconoscere gli esseri umani ha un modello di comportamento umano. Se lo fa in qualche modo, ma se lo fa. Con questo modello dice “tale comportamento non e’ quello di un normale essere umano”. In pratica, se non ci sono robot in giro e la macchina cassa qualche utente, sta riconoscendo comportamenti “anormali” tra esseri umani. Il che e’ il lavoro che fanno gli psichiatri.

Ma… c’e’ un ma. Che lo psichiatra NON accetta di misurare la propria abilita’, come invece succede quando si misura l’efficacia dei software commerciali. Sarebbe carino se, forti della propria scienza psichiatrica, si mettessero N psichiatri a distinguere tra esseri umani e bot, e si confrontasse l’efficienza con una macchina.

Da questa sfida ovviamente si conoscerebbe la reale efficienza della psichiatria come modello; il problema e’ che nessuno psichiatra si prestera’ mai ad un esperimento che possa confutare la sua preziosa scienza.

Cosi’, possiamo aspettare un massimante: non appena una macchina sara’ piu’ abile di un essere umano generico nel riconoscere un uomo da un bot, potremo concludere che non ci riesca neanche uno psichiatra, e spettera’ a loro mostrare la bonta’ del loro modello battendo la macchina.

Perche’ spettera’ a loro? Perche’ questi “sgama-bot” non sono limitati necessariamente agli scopi che il mercato riserva loro, cioe’ scoprire se abbiamo di fronte un essere umano o un bot. Nessuno vieta di venderli come strumenti diagnostici per la sanita’ mentale.

E allora ci sara’ da ridere. Possono rifiutare il confronto con una macchina in sede accademica; ma come succede quando si industrializza un processo, prima o poi qualcuno vendera’ un software che fa lo stesso lavoro di uno psichiatra. Ma costa meno. E a quel punto ci pensera’ il mercato. E’ questione di pochi anni, prima che qualcuno si accorga che esistono software in grado di dividere il comportamento normale da quello anormale (oggi attribuito ai bot) , e che questi software funzionano meglio di uno psichiatra….

Uriel

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *