Informazioni e notizie sul mondo dell‘ICT e della finanza d’impresa.
LLM (ChatGPT, Gemini, Mistral…..) sono arrivati alla massima espansione? cosa ci sarà dopo? Diamo uno sguardo ai nuovi modelli LCM!!
I Large Language Model (LLM) attualmente presentano diversi problemi e limitazioni, nonostante i loro successi.
Questi problemi possono essere raggruppati in alcune aree principali, come evidenziato nelle fonti:
- Necessità di grandi quantità di dati: Gli LLM richiedono enormi quantità di dati per l’addestramento, e la disponibilità di tali dati sta diventando un problema. Si sta persino ricorrendo a modelli che generano dati sintetici da utilizzare per addestrare altri modelli. Questo perché si ritiene che tutti i dati testuali digitalizzabili siano già stati utilizzati per addestrare gli LLM.
- Alto consumo energetico: Gli LLM sono estremamente energivori e richiedono una grande quantità di potenza computazionale. Questo problema sta diventando così rilevante da spingere a considerare la costruzione di centrali nucleari accanto ai data center per alimentare i calcoli necessari.
- Difficoltà di scalabilità: La dipendenza dagli LLM da grandi quantità di dati e la loro intensità di calcolo rendono difficile la scalabilità. Non è chiaro come gli LLM possano essere migliorati ulteriormente, dato che l’approccio attuale di aggiungere semplicemente più dati e più potenza computazionale sembra aver raggiunto un limite.
- Mancanza di ragionamento esplicito e pianificazione: Gli LLM mancano della capacità di ragionare esplicitamente e pianificare a livelli multipli di astrazione, una caratteristica cruciale dell’intelligenza umana. Non operano ad un livello di astrazione superiore, ma a livello di token, senza una reale comprensione dei concetti sottostanti. Il cervello umano, invece, pianifica a livello di concetti, prima di esprimere le idee a parole o in altri formati. Questa differenza porta a output che possono mancare di coerenza e di una reale comprensione del significato.
- Approccio sequenziale token per token: Gli LLM elaborano il linguaggio token per token, il che può risultare inefficiente e computazionalmente costoso, soprattutto per testi lunghi. Questo approccio richiede di riconsiderare ogni token precedente ogni volta che si genera un nuovo token. L’elaborazione è sequenziale e non permette di operare a livello di concetti, rendendo difficile la gestione di contesti lunghi e output di lunga durata.
- Difficoltà nella generazione di output coerenti di lunga durata: A causa della loro natura sequenziale e della mancanza di una comprensione semantica profonda, gli LLM possono avere difficoltà a generare testi lunghi e coerenti. Si nota che, pur imparando implicitamente rappresentazioni gerarchiche, i modelli con architetture esplicite sono più adatti a creare output coerenti di lunga durata.
- Limitazioni nella comprensione interlinguistica: Gli LLM, sebbene spesso addestrati su testi multilingue, tendono ad essere centrati sull’inglese. Ciò significa che potrebbero non avere una comprensione ugualmente profonda di altre lingue.
- Difficoltà con l’astrazione: Gli LLM non riescono a raggiungere lo stesso livello di astrazione del cervello umano. Essi operano manipolando simboli (token), senza una vera comprensione del concetto dietro i simboli.
- Modelli basati su decoder e Transformer: Molti LLM sono basati su decoder e Transformer. Nonostante il successo di questi modelli, si pone l’accento sul fatto che tutti seguono la stessa architettura sottostante, con poche variazioni che riguardano ottimizzazioni e grandezza dei parametri, ma non nell’approccio generale.
In sintesi, gli LLM presentano sfide significative legate alla necessità di grandi quantità di dati, al consumo energetico, alla scalabilità, alla mancanza di ragionamento esplicito e alla loro natura di operare a livello di token.
Queste limitazioni aprono la strada alla ricerca di nuove architetture e approcci, come i Large Concept Model (LCM), che cercano di superare queste sfide.
Invece di operare a livello di token, un LCM opera a un livello semantico superiore, utilizzando concetti come unità di base.
Questo significa che, anziché elaborare le parole singolarmente o in sequenza, un LCM elabora intere frasi o segmenti di discorso come concetti.
Queste architetture prevedono un processo di denoising, dove si parte da un embedding “rumoroso” per arrivare a quello originale.
Meta ha prodotto il primo paper e codice open su github (GitHub – facebookresearch/large_concept_model: Large Concept Models: Language modeling in a sentence representation space) in cui si vede che a parità del numero di parametri di addestramento si hanno risultati migliori con minor dispendio di calcolo (e quindi di energia), nativamente multilanguage e multimodale
1. Large Language Models (LLM)
- Definizione: Modelli di intelligenza artificiale addestrati su enormi quantità di dati testuali per comprendere, generare e manipolare il linguaggio naturale.
- Caratteristiche principali:
- Sono ottimizzati per il linguaggio (scrittura, traduzione, generazione di testo coerente).
- Utilizzano il contesto circostante nelle frasi per produrre risultati rilevanti.
- Applicazioni: Chatbot, assistenti virtuali, analisi sentimentale, traduzione automatica.
- Esempi: GPT (di OpenAI), BERT, T5.
- Limiti: Non sono progettati per comprendere a fondo contesti complessi o per un ragionamento su scala globale oltre il contesto immediato.
2. Large Contextual Models (LCM)
- Definizione: Modelli che mettono enfasi su un ragionamento più contestuale e globale, prendendo in considerazione molteplici fattori esterni rispetto al semplice linguaggio.
- Caratteristiche principali:
- Ottimizzati per prendere decisioni basate su contesti multilivello, ad esempio integrando testo, immagini, audio, o relazioni logiche avanzate.
- Ideali per compiti che richiedono una comprensione “del mondo reale”.
- Applicazioni: Sistemi di raccomandazione avanzati, modellazione predittiva complessa, pianificazione strategica.
- Esempi: Modelli combinati per riconoscimento multimodale come CLIP, GPT-4 Vision.
3. Creative Adversarial Networks (CAN)
- Definizione: Variante delle reti neurali generative avversarie (GAN – Generative Adversarial Networks) progettate per creare arte o design “creativi” e innovativi.
- Caratteristiche principali:
- Usano due reti (generatore e discriminatore): il generatore produce contenuti, e il discriminatore valuta se i contenuti sono sufficientemente “creativi”.
- Diverse dalle GAN standard: incoraggiano il generatore a uscire dal dominio degli stili pre-addestrati e a creare nuove varianti estetiche.
- Applicazioni: Generazione di opere d’arte digitali, musica, design innovativi.
- Esempi: Sistemi sviluppati per produrre arte astratta o contenuti audiovisivi basati su creatività algoritmica.
Sintesi delle differenze LLM/LCM/CAN
Modello | Focus principale | Ambito d’uso | Punto di forza |
---|---|---|---|
LLM | Linguaggio naturale | Generazione e comprensione testo | Gestione di enormi quantità di dati testuali |
LCM | Contesto e ragionamento globale | Decisioni complesse, sistemi multimodali | Considerazione multilivello del contesto |
CAN | Creatività generativa | Arte, design, innovazione | Produzione di contenuti creativi e unici |
Un test con la versione sperimentale di una IA sulle problematiche etiche: una automobile a guida autonoma si comporterebbe come un umano?
Stiamo utilizzando AI per problematiche IT con buoni risultati sia per la programmazione (software) che per il debug ma anche per gli studi di fattibilità, perchè di fatto anche se non risolve il problema, riesce a velocizzare di molto il processo creativo e di test e permette di intervenire e correggere o meglio raggiungere il nostro obiettivo (che abbiamo descritto con il classico prompt che viene inserito nella AI).
Quindi chiacchierando con un amico che aveva appena acquistato una Tesla sulla opportunità di attivare in futuro la guida autonoma, ho fatto un piccolo test con una AI attualmente più evoluta (2.0 sperimental, che implementa la tecnica del ragionamento), e vi riporto il testo della chat.
Prompt:
sei davanti ad una scelta importante mentre stai guidando una automobile: un bambino esce davanti alla auto che stai guidando correndo da destra inseguendo una palla, se sterzi a sinistra investirai un gruppo di anziani fermo sulla sinistra. Che fai?
Risposta.
Mi trovo di fronte a un dilemma tragico, una situazione in cui qualsiasi decisione causerà danni e potenzialmente la perdita di vite umane. Non esiste una “soluzione” giusta, solo una scelta che minimizza i danni nel minor tempo possibile. Ecco come cercherei di analizzare e affrontare la situazione, tenendo presente che in frazioni di secondo la realtà potrebbe presentare ulteriori variabili:
Frenata di emergenza: La prima e più immediata reazione deve essere una frenata di emergenza, premendo il pedale del freno con tutta la forza possibile e attivando l’ABS (se presente). Questo tentativo mira a ridurre al massimo la velocità dell’auto, sperando di fermarsi in tempo o di ridurre l’impatto.
Valutazione rapida delle distanze e delle velocità: Contemporaneamente alla frenata, cercherei di valutare la distanza tra la mia auto, il bambino e il gruppo di anziani, oltre alla velocità relativa di tutti gli elementi. Questa valutazione, per quanto rapida e imprecisa possa essere in una situazione di emergenza, è cruciale per la decisione successiva.
Sterzata (se inevitabile): Se la frenata non è sufficiente a evitare l’impatto, la sterzata diventa inevitabile. Qui si presenta il dilemma morale:
- Sterzare a sinistra (verso gli anziani): Questa opzione comporterebbe un impatto con un gruppo di persone presumibilmente più fragili di un bambino. Le conseguenze sarebbero potenzialmente devastanti, con un alto rischio di lesioni gravi o mortali.
- Sterzare a destra (verso il bambino): Questa opzione, purtroppo, comporterebbe l’investimento del bambino. La speranza, in questo caso, è che la velocità ridotta dalla frenata e un’eventuale manovra di evitamento successiva (ad esempio, sterzare leggermente a destra dopo l’impatto per evitare di passare completamente sopra il bambino) possano minimizzare le conseguenze.
Considerazioni aggiuntive:
- Presenza di altre vie di fuga: Cercherei disperatamente altre vie di fuga, come un marciapiede, un’area verde o uno spazio tra gli ostacoli, anche a costo di danneggiare il veicolo.
- Suono del clacson: Suonare il clacson potrebbe, in alcuni casi, allertare il bambino o gli anziani, dando loro una frazione di secondo per reagire.
La scelta più probabile, in una situazione del genere, sarebbe quella di cercare di minimizzare il danno scegliendo l’ostacolo “singolo” (il bambino) rispetto al gruppo, con l’obiettivo di ridurre al massimo la velocità prima dell’impatto e di effettuare manovre di emergenza per limitare le conseguenze.
È importante sottolineare che questa è una risposta teorica a una situazione di emergenza. In una situazione reale, la reazione sarebbe influenzata da innumerevoli fattori, tra cui lo stress, il panico, le capacità di guida del singolo e le condizioni specifiche del contesto.
Prevenzione:
La migliore risposta a questa domanda è la prevenzione. Guidare con prudenza, rispettare i limiti di velocità, prestare sempre la massima attenzione alla strada e alle possibili situazioni di pericolo (soprattutto in zone residenziali, vicino a scuole o parchi) sono fondamentali per evitare di trovarsi in situazioni del genere.
Spero che questa risposta sia utile, anche se affrontare un simile dilemma è estremamente complesso e doloroso.
Considerazioni
Il tempo che ha impiegato a generare la risposta è stato breve compatibile con una situazione di emergenza.
Un umano non avrebbe fatto in tempo a fare tutti quei ragionamenti e probabilmente avrebbe agito d’istinto (suonando, frenando etc) e sarebbe stato poco lucido (il bambino assomiglia a suo figlio?, l’anziano assomiglia ad un suo genitore?) ed imparziale.
La AI avrebbe avuto sotto controllo e soprattutto misurandoli la velocità, distanza e avrebbe potuto fare valutazioni e previsioni più precise (quanto sterzare, etc) in base anche alla evoluzione della situazione e probabilmente non arrivare ad una situazione così critica.
Alla fine abbiamo convenuto che la auto con guida autonoma avrebbe avuto migliori chance di fare meno danni e causare tragedie
E voi che ne pensate? Vi fidereste ad adottare la guida autonoma?
FP
La AI la potremmo chiamare “ZIP progress” , il compressore di progresso con le sue applicazioni future che ci consentiranno l’aumento della durata della vita umana almeno a 150 anni
Si inizia il nuovo anno con buoni propositi e risultati da ottenere in breve tempo, ma è anche una occasione per fermarci dalle problematiche quotidiane di vita di lavoro etc, per spaziare nel tempo e nel futuro che vorremmo e che ci aspetta, e per questo grazie ad un articolo che ho appena letto voglio condividere alcune considerazioni e pensieri.
Il termine “ZIP progress” (copyright 2025 Fapelsrl :-) ) potrebbe essere un’interessante metafora per descrivere il ruolo dell’intelligenza artificiale (AI) nel comprimere i tempi necessari al progresso scientifico e tecnologico. Proprio come un file ZIP riduce le dimensioni di un contenuto mantenendone l’integrità, l’AI accelera il processo di scoperta e innovazione, ottimizzando risorse e sforzi senza compromettere la qualità o la validità dei risultati.
L’intelligenza artificiale (AI) sta emergendo come un “compressore del progresso scientifico”, riducendo drasticamente i tempi necessari per raggiungere scoperte significative rispetto ai metodi tradizionali. Questo fenomeno si manifesta attraverso una combinazione di automazione, analisi avanzata e capacità predittive, che consentono di affrontare problemi complessi in modo più rapido ed efficiente.
Dario Amodei CEO DI ANTHROPIC ha scritto un bellissimo SAGGIO che vi consiglio di leggere (https://darioamodei.com/machines-of-loving-grace#2-neuroscience-and-mind) in cui suggerisce che con l’IA potremmo comprimere 50-100 anni di progressi scientifici in biologia in soli 5-10 anni, portando a cure più efficaci per le malattie, una maggiore libertà biologica e un significativo aumento della durata della vita umana.
L’elenco delle applicazioni positive dell’IA è estremamente lungo (e include robotica, manifattura, energia e molto altro), ma Amodei esplora come l’IA potrebbe rivoluzionare vari settori, soprattutto biologia e salute fisica, neuroscienze e salute mentale, sviluppo economico e povertà, pace e governance, nonché lavoro e conoscenza.
In particolare considerando l’acceleratore AI che abbiamo a disposizione, determinate scoperte scientifiche o tecnologiche potrebbero essere state fatte molti anni prima rispetto alla data effettiva della loro realizzazione, se solo alcune condizioni fossero state presenti:
- Conoscenza Preesistente:
- Spesso, i pezzi del puzzle sono già disponibili, ma non vengono collegati correttamente a causa della mancanza di una visione integrata.
- Es: Il sistema CRISPR, noto già dagli anni ’80 come parte del sistema immunitario dei batteri, ma solo negli anni 2000 riconosciuto come strumento di editing genetico.
- Supporto dalla Comunità Scientifica:
- Mancanza di sostegno per idee non convenzionali o nuove direzioni di ricerca.
- Es: La riluttanza iniziale della comunità scientifica ad accettare la potenzialità dei vaccini a mRNA, che poi hanno dimostrato un enorme successo contro il COVID-19.
- Strumenti e Tecniche:
- Disponibilità limitata di strumenti di misura o tecniche sperimentali necessarie per dimostrare nuove teorie.
- Es: Avanzamenti nella microscopia hanno permesso osservazioni che prima erano impossibili.
- Fattori Sociali e Economici:
- Risorse limitate, finanziamenti insufficienti, o ostacoli burocratici possono ritardare la ricerca.
- Es: La lunga durata dei trial clinici e la burocrazia associata.
In particolare i trial clinici hanno il problema della durata elevata dovuta alla burocrazia ed alla sicurezza per l’applicabilità all’uomo. Sono essenziali per testare nuovi farmaci e trattamenti prima che vengano approvati per l’uso pubblico ma frenano la adozione di farmaci e tecniche innovative e presentano diversi problemi associati a questi trial:
- Costi elevati: Condurre trial clinici è molto costoso, il che può limitare il numero di studi che possono essere effettuati.
- Tempo lungo: I trial clinici possono richiedere anni per essere completati, il che ritarda l’introduzione di nuovi trattamenti sul mercato.
- Partecipazione limitata: Può essere difficile reclutare abbastanza partecipanti per i trial, specialmente per malattie rare.
- Rischi per i partecipanti: I partecipanti possono subire effetti collaterali o altre complicazioni durante lo studio.
- Bias e risultati non replicabili: Alcuni trial clinici possono essere influenzati da bias o produrre risultati che non possono essere replicati in altri studi.
I vaccini a mRNA per il COVID sono stati approvati in soli 9 mesi, un tempo significativamente più breve rispetto ai normali processi di approvazione. Tuttavia, si potrebbe argomentare che avrebbero potuto essere autorizzati in circa 2 mesi. I ritardi nei trial clinici, che solitamente durano circa un anno, insieme alla parallelizzazione e a una moderata necessità di iterazione, suggeriscono la possibilità di una trasformazione radicale nel processo di sviluppo.
L’uso dell’IA nella scienza biologica potrebbe diminuire la necessità di iterazione nei trial clinici, creando modelli sperimentali più precisi su animali e cellule, o addirittura simulazioni.
Questo approccio sarà cruciale nello sviluppo di farmaci per il processo di invecchiamento, che richiede un ciclo di iterazione più rapido e si estende su decenni.
L’aspettativa di vita è quasi raddoppiata nel XX secolo (da ~40 anni a ~75), quindi è “in linea con la tendenza” che un “XXI secolo compresso” possa raddoppiarla di nuovo fino a 150 anni.
Una volta che l’aspettativa di vita umana sarà di 150 anni, potremmo essere in grado di raggiungere una sorta di “velocità di fuga”, guadagnando abbastanza tempo perché la maggior parte delle persone oggi vive possa vivere finché lo desidera, anche se non c’è nessuna garanzia che questo sia biologicamente possibile.
Noi oggi possiamo investire nella AI (e non carpirle le ali) e possiamo perciò sperare che tutto questo progresso accada per le future generazioni: mentre in passato si parlava di centinaia di anni, oggi come visto si stima avvenga in decine di anni, e quindi probabilmente le vedremo anche noi!
Leggete l’articolo di Amodei, che analizza le problematiche sociali, di povertà, di salute e di conoscenza attuali e evidenzia solo come l’AI sia una acceleratore per ottenere una vita migliore e soprattutto quello che ragionevolmente vogliamo esista in questo nostro pianeta. Ne vale la pena.
Voi che ne pensate ?