Ho gia’ espresso in passato il mio lieve disappunto verso il sito “le alternative.net”, perche’ e’ il classico tentativo da parte di persone “meno competenti di quanto dovrebbero” di scavarsi un posticino e ottenere un redditino. E’ il problema della mancanza del reddito di cittadinanza: troppe persone sono spinte a cercare, ad ogni costo, di salire a bordo di qualsiasi trend per cercare di vendersi come “esperto”.
E questo viene fatto semplicemente sfruttando la certezza di parlare con gente MENO competente, effetto che io chiamo “staccahstaccahcistannotracciandohhh”.
Mi riferisco ad una cosa che ho letto piu’ per sbaglio che altro, e che trovo piu’ patetica che ridicola.
L’articolo di cui parlo e’ questo:
ed e’ cosi’ sbagliato ed incompetente che non saprei da dove cominciare. Potrei dirvi che la sua descrizione di GPT e’ ridicola: lui la descrive (copiando probabilmente la newsletter “Guerre di Rete”) come un sistema che date n parole puo’ dirvi quale parola n+1 piu’ probabilmente segue l’ultima.
Ma questo non ha NIENTE a che vedere con il “prevedere il prossimo token”. GPT-3 prevede cosiddetti “token”, che non sono parole, sono elementi di un modello linguistico. Che e’ stato acquisito a sua volta.
Se volete sapere di piu’ su questo, potete leggere che so io:
https://arxiv.org/abs/1409.0473 , sui sistemi “trasformativi” che sono parte di GPT-3 , detti “attention mechanisms”, che consentono a GPT-3 di capire cosa sia importante e cosa no.
GPT-3 inoltre deve ben sapere come si parla una lingua di preciso, perche’ quando ha generato una sequenza di token deve poi tradurla nelle stringhe del linguaggio: {maiale, specifico, suono, } , espresso in token non leggibili , verra’ poi tradotto in “grufolare”, se e’ {maiale, specifico, suono, femmina, bocca, ieri} verra’ tradotto come ” lei ha grufolato” , e cosi’ via. Questa conoscenza del modello non e’ statica, nel senso che nessuno ha mai detto alla macchina come fare. In genere e’ una GAN ad apprendere.
Serve poi tutta una serie di altre reti per ottenere quello che e’ descritto qui: https://arxiv.org/abs/2005.14165
Non si tratta ASSOLUTAMENTE di una cosa come “fare statistiche su quale parola segua la parola X in una frase”. Questo modello e’ stupido, banale, lo trovate nel suggeritore automatico della tastiera del vostro telefono, e si chiama “Markov Chain” (https://en.wikipedia.org/wiki/Markov_chain), ed e’ basata su un modello matematico , appunto, di Markov: https://en.wikipedia.org/wiki/Markov_model
La differenza tra un modello di Markov e un GPT-3, per farvi un’idea, ha la stesso ordine di grandezza che passa tra una clava e un missile cruise. Certo, possono essere entrambi espressi dicedo “BONK!” (o “statistica cancerosa”) , ma se questo e’ il livello di comprensione di “Cassandra”, possiamo tranquillamente sostituire l’intero articolo con una ricetta di cucina.
Tanto per darsi una patina di credibilita’ il nostro eroe cita Gödel (che non c’entra nulla : un sistema di regole formalmente completo per il vostro computer potete facilmente installarlo, e’ un insieme di Clausole di Horn ed e’ implementato sotto la forma di un linguaggio detto “Prolog”) , ma il teorema di Gödel si riferisce ad un caso estremamente specifico ed isolato che comprende l’induzione. Ma esistono sistemi di regole piu’ piccoli che sono completi e girano sui computers, come PROLOG.
Quindi, caro Cassandra, installa pure Linux per una volta, scarica Prolog dal tuo repository, e comincia pure a usare un sistema formale completo per programmare. Gödel non se ne avra’ a male, perche le clausole di Horn, su cui si basa PROLOG, SONO un sistema completo, ma lui aveva messo altri requisiti.
Insomma, quando cerca di essere autorevole usando parole come “statistico” (se anche fosse Markov dovrebbe parlare di “stocastico”) o “Gödel” o altro , l’articolo mostra chiaramente una ciarlataneria perlomeno deludente, una mancanza di comprensione dei temi di base che ha dell’incredibile, e un’ignoranza del tema sconcertante.
Per esempio, “Cassandra” pensa che per far girare questo modello siano stati usati Petabyte di dati. Stando ai paper, hanno usato 590GB di testo, che potete avere tranquillamente sul computer di casa. Non serve lo storage di un datacenter o di un hyperscaler. Ma dire “datacenter” e’ fico, cosi’ “Cassandra” lo fa.
Cambia poco, ma secondo Wikipedia ne servono 8ooGB, di dati:
Non serve un datacenter per far girare GPT-3, caro “Cassandra”: basta un computer. Costoso, ma alcuni li hanno a casa. Se vuoi provarci, ecco la configurazione:
Ok, le GPU di cui parliamo sono costose, dai 3K€ in su, ma non direi siano “un data center”. Avrai bisogno di un data center, al massimo, se esponi il tutto su internet e vuoi avere tanti utenti. Ma se segui le istruzioni di cui sopra, puoi avere GPT-3 a casa tua.
Per essere uno che ti spiega le cose, “Cassandra” e’ abbastanza deludente. Se non patetico.
Ma c’e’ un momento in cui “Cassandra” decide di salire sul piano piu’ alto, e crede di giocarsi la carta piu’ potente: quando chiede se GPT-3 capisce quel che legge, o di riflesso se capisce quel che scrive.
Quando uno pseudofilosofo mi fa questa domanda riferito alla AI, la mia risposta e’ semplice:
“perche’, Cassandra, TU capisci tutto quello che leggi , scrivi o dici?.”
Mi basterebbe il livello di incompetenza che hai mostrato nell’articolo per dimostrare che tu NON sai di cosa parli, se ne hai letto qualcosa non lo hai capito, e se anche lo hai capito, allora non capisci quello che scrivi.
Ma allora perche’ pretendi che una AI lo faccia, di preciso, se TU scrivi senza capire e confondi un NLP con una catena di Markov?E a il problema e’ piu’ esteso ancora.
Hai scritto una pagina di cose che non capisci usando termini che non capisci. Per esempio, “data center”. Il fatto che sul piano della capacita’ di calcolo lo hai scambiato per una GPU di Nvidia mi dice molto, ma a riguardo SO qualcosina in piu’.
Ho lavorato alla creazione di una cosa che per te e’ un “data center”, una cosa relativamente piccola, cioe’ un cluster Cloudera per gestire 16PB/giorno di dati in ingresso, estrarre degli aggregati e gettare il resto per via del GDPR.
E vuoi sapere una cosa buffa? Quando si faceva la riunione “all-hands” degli architetti, attorno al tavolo eravamo in 16. Ed eravamo gli architetti. Sotto di noi c’era una serie di specialisti, e sotto di loro i vari vendor avevano inviato dei “subspecialisti”. Sai cosa significa: che NESSUN ESSERE UMANO, da solo, “capisce” davvero cosa sia un datacenter.
Certo esistono i “blueprint” che te lo spiegano a blocchi, https://www.cisco.com/c/en/us/td/docs/solutions/Enterprise/Data_Center/DC_Infra2_5/DCI_SRND_2_5a_book/DCInfra_2a.html , ma se si tratta di costruirne uno, nessuno “capisce” davvero tutto. Morale: CHIUNQUE parli di un “data center” parla di una cosa che NON capisce davvero. Anche il piu’ esperto di noi.
E quindi, caro “Cassandra”, posso dirti una cosa: nessun essere umano ha mai CAPITO davvero completamente quel che scriveva. Anche quando erano meno incompetenti di te , o meglio di quanto tu ti sia sforzato di esibire incompetenza in maniera bovina, nessuno in genere “intellege” davvero quel che scrive.
Certo, non ci vuole molto per dire che capisco un data-center piu’ di te (non ne ho mai scambiato uno per una GPU NVIDIA nel calcolo delle performance) , non ci vuole molto per dire che capisco meglio di te la differenza tra una catena di Markov e un NLP, ma non mi azzarderei davvero a dire che lo “capisco completamente” , nel senso che stiamo parlando di un campo estremamente vasto e nessun singolo essere umano “capisce” davvero tutto quello che c’e’ dentro l’orizzonte. Diciamo che almeno saprei quali specialisti chiamare in squadra e quali subspecialisti coinvolgere.
Se pensi che la superiorita’ “umana” consista nel fatto che GPT-3 non “capisce” cosa legge e non “capisce” cosa scrive, ho brutte notizie per te: non solo e’ quasi normale per il genere umano, ma e’ PARTICOLARMENTE CHIARO nel tuo caso.
Tu non capisci quello che hai scritto piu’ di GPT-3 , ed e’ facile notare che lo capisci molto meno di tantissimi esseri umani: se questo facesse di te una “macchina statistica cancerosa” , qualsiasi cosa voglia dire, beh, sai cosa fare. Ci sara’ pure un ponte, dalle tue parti.
Ma allora perche’ ti affanni a scrivere cose che non “capisci” a sufficienza riguardo a cose che non “capisci” a sufficienza? O , detto come va detto, perche’ riempi la rete aggiungendo pagine e pagine di sproloqui incompetenti?
LA risposta e’ molto semplice: speri di guadagnarci dei soldini. O speri che ti aiuti a farlo. Diciamo che ne dubito, nel senso che nessuno , dopo aver letto quello che scrivi, pensa che tu ne “capisca” qualcosa. Hai scambiato un datacenter per una scheda grafica di NVIDIA, e un modello di NLP per la catena di Markov che ti suggerisce le parole mentre scrivi al cellulare. Chi mai ti assumerebbe dopo aver letto una simile badilata di merda lanciata sul muro bianco dell’informatica?
E mi e’ quindi chiaro per quale motivo hai paura di CHAT-GPT, o di GPT-3. Ne hai paura perche’ puo’ scrivere articoli MIGLIORI dei tuoi, ne hai paura perche’ puo’ scriverne di piu’, ne hai paura perche’ COSTA MENO di te.
Questo e’ il punto, caro “Cassandra”: hai paura di GPT-3 (con cui e’ costruito chat-GPT) perche’ scrive articoli migliori dei tuoi.
Ed e’ quindi un pericolo per tutta una serie di persone come te, che credono di potersi fare una carriera, o almeno di sbarcare il lunario, scrivendo di cose che “conoscono meno di molti altri” e che “capiscono meno di molti altri”. Per essere gentili, mentre indico incompetenza e superficialita’.
So che cercherai, se qualcuno te lo fara’ notare, di rispondere a questo scritto. Ma il problema per te non cambia. Se anche tu trovassi il modo di rispondermi, quello che succederebbe COMUNQUE, in qualche mese o anno, e’ che chiunque voglia riempire pagine di scritti su un argomento, minimizzando i costi, anziche’ chiamare te usera’ ChatGPT.
Come persona che lavora nel campo delle tecnologie emergenti, conosco il comportamento delle persone come te. Conosco il panico, lo eggo nei loro occhi quando il CEO ordina di mettere in piedi i sistemi che prenderanno il loro posto e veniamo “introdotti” , e non ho dubbi sulla causa prima di definizioni come “statistica cancerosa” .
Odora di merda nelle mutande.
Ma se sei arrivato ad aver paura di una scheda nvidia e di 800GB di testo , non cercare il colpevole in qualche tecno-complotto, nel capitalismo e nei nemici della liberta’ e della democrazia, o nei meganoidi: il problema e’ che tra due intelligenze incompetenti (come quella umana e ChatGPT), e’ ancora relativamente facile distinguere tra quella piu’ incompetente e quella meno incompetente.
E tu sei dal lato sbagliato della riga, caro “Cassandra”.
Parli di esattezza come se gli esseri umani fossero esatti , e lamenti che quelle di GPT-3 siano risposte statisticamente esatte , ma non “davvero” esatte. Dopo aver citato Gödel, che a questo punto deduco che tu non abbia mai capito, e nemmeno letto, ma specialmente dopo aver evitato accuratamente di chiederti quanto gli esseri umani “pensanti” (qualsiasi cosa significhi: altra parola che si usa ma non si “capisce”) facciano qualcosa di diverso.
Nessun essere umano “capisce davvero” quel che scrive, quel che legge, o e’ “davvero” esatto. Alcuni lo sono leggermente di piu’, altri di meno, e la differenza si perde nella scienza probabilistica: esattamente come la “comprensione” di GPT-3.
Sai qual’e’ il problema? E’ che nello spettro della “comprensione del testo”, GPT-3 si piazza un gradino piu’ in alto di te.
Ed e’ questo che ti fa paura, caro Cassandra.
