Introduzione
Il SiLAB, Laboratorio Segnali e Immagini dell’ISTI-CNR di Pisa ha competenze consolidate nel settore dell’elaborazione e dell’analisi di segnali e immagini. In particolare, la missione del laboratorio si incentra sullo studio e sullo sviluppo di metodologie, tecnologie e strumenti innovativi nel campo dell'acquisizione e della formazione di segnali e immagini e della comprensione del contenuto informativo di dati multimediali. Le principali tematiche includono quindi la visione artificiale, l’elaborazione in real-time, l’ausilio alle decisioni, i sistemi embedded e le reti di sensori multimediali. Il SiLAB comprende nella sua struttura la sezione del Body Sensing Laboratory, che si occupa di ricerca e sviluppo nel campo dell’interazione uomo macchina tramite dispositivi di rilevamento gestuale e sensori elettromedicali di vario genere (EEG, ECG, EMG etc.). In questa sezione del SILab sono cioè studiati e realizzati dispositivi che hanno la capacità d’intercettare la presenza e i movimenti delle persone e di comandare, in funzione di queste “percezioni” raccolte, altri dispositivi informatici in grado di compiere azioni corrispondenti, quali l’emissione di suoni e o immagini. Questi sistemi possono trovare impiego in presentazioni e demo multimediali di grande impatto scenografico, per utilizzi museali, didattici o spettacolari oppure in campo riabilitativo. Negli ultimi anni il SiLab ha, infatti, utilizzato queste tecnologie di interazione uomo macchina per un innovativo sistema per trattamento di bambini affetti da disturbi dello spettro autistico. Dopo una preliminare fase di sperimentazione (con un parizale finanziamento da parte di privati)il prototipo del sistema (chiamato SI RE MI in quanto ancora mancante della parte Domiciliare) è stato installato presso l’Istituto Comprensivo Massarosa 1, presso il quale è stato utilizzato per due stagioni scolastiche consecutive (2011-2012 e 2012-2013) in una serie di sedute di trattamento rieducativo curate dalla Prof.Elisa Rossi.Presupposti del trattamento
La sperimentazione ha previsto interventi individualizzati rivolti a bambini con disturbi dello spettro autistico e difficoltà relazionali, finalizzati a promuovere l’interazione a vari livelli di complessità attraverso la mediazione della stimolazione sonora interattiva. Illustrare il nome che è stato scelto per questo progetto è il punto di partenza ideale per sottolinearne finalità e obiettivi. SI sta per Sistema, trattandosi infatti di una sinergia proficua tra diversi elementi, quali la sezione tecnica che, attraverso un software, permette l’associazione tra movimento corporeo e suono di varia tipologia (naturale, strumentale, vocale, ecc.); un contesto fisico idoneo all’accoglienza del bambino, allestito in una stanza selezionata nell’ambiente scuola per le condizioni acustiche e di illuminazione ottimali. Del sistema è parte integrante l’insegnante-operatore che interagisce e lavora con il bambino, fungendo da stimolo e modello per l’azione nel setting. DO sta per Domiciliare: in questa nuova versione infatti le postazioni interattive saranno installate direttamente a casa del bambino, in modo da continuare nell’ambiente domestico il lavoro fatto nel centro specializzato. RE sta per Rieducazione Espressiva, si vuole cioè elicitare l’aggancio attentivo del bambino attraverso la mediazione acustica, coinvolgendolo per poi innescare atti motori che scaturiscano dall’imitazione e, auspicabilmente, dalla propria motivazione, dal proprio contributo personale all’azione. Tutto ciò al fine di creare comportamenti più funzionali, connotati da una più efficace e intenzionale valenza comunicativa. MI sta per Movimento e Interazione: movimento espressivo finalizzato ad interagire con l’ambiente e l’altro da sé oggettuale e non. L’idea di concentrarsi sul movimento è stata motivata da alcuni punti fondamentali:1. Il movimento espressivo è finalizzato a interagire con l’ambiente e l’altro da sé oggettuale e non.
2. Il movimento porta verso un’interazione comunicativa il più possibile efficiente ed efficace.
3. Attraverso la percezione del suono relazionato al movimento (auditory feedback) si facilita la consapevolezza del proprio corpo, aumentandone la capacità di interagire con il mondo.
4. Il potenziamento dell’esperienza sinestetica potrebbe, grazie anche alla neuroplasticità, incrementare la ridotta attività dei neuroni a specchio (responsabili di imitazione ed apprendimento).
Il trattamento concentra il suo intervento su aree che nell'autismo (ma anche in altre patologie dell'età evolutiva) sono frequentemente compromesse:
1. area della comunicazione,
2. dell'intersoggettività,
3. delle difficoltà sensoriali,
4. della reciprocità
5. condivisione con l'altro.
Ovviamente non ci si aspetta che i bambini «guariscano», ma che progrediscano, sperimentando in modo gradevole e gioioso una modalità coinvolgente e affettivamente significativa di stare con gli altri, lungo il loro percorso evolutivo, correggendo alcuni aspetti (le stereotipie, le difficoltà di elaborazione dei dati sensoriali, la tendenza all'isolamento, la scarsa propositività, la mancanza di iniziativa e di intenzionalità, ecc.) che ostacolano tale progresso. L’approccio proposto non sostituisce gli altri, né rimane isolato, ma si integra completando il programma “riabilitativo”. Il sistema si propone quindi come integrazione dei trattamenti ad orientamento neuroevolutivo, rinforzando e sviluppando gli aspetti motivazionali centrali del Disturbo Autistico che portano a ricercare l’interazione con l’altro e solo indirettamente scoraggiando il comportamento disadattivo.
Primi incontri
1. disorientamento e disinteresse, fuga dall’operatore;
2. rifiuto di accesso allo spazio, permanenza breve e discontinua, necessità di esplorare la stanza fuori dal setting;
3. sporadico innalzamento della testa per cercare di capire da dove provengano gli stimoli acustici;
4. assenza di contatto oculare con l’operatore;
5. accenni di contatto a livello tattile e corporeo, scontri, per lo più di spalle, o di fronte
6. rigidità del corpo, respingimento del corpo dell’operatore
Evoluzione
1. Maggiore serenità e volontà dei bambini nel tornare ad affrontare gli interventi;
2. Connotazione positiva dell’ambiente e dell’esperienza;
3. Attenuazione del disorientamento;
4. Ingresso spontaneo nel setting, permanenza più lunga nello spazio operativo;
5. Attenuazione delle esternazioni di disagio, insofferenza, frustrazione, dei tentativi di fuga, in parte sostituiti da comportamenti a maggior valenza comunicativa.
6. Contatto oculare con l’operatore;
7. Sorriso a valenza sociale, per esprimere piacere;
8. Vocalizzi a imitazione di suoni emessi dallo strumento o dalla voce dell’operatore, tentativi di comunicare verbalmente,
9. Abbozzo di gioco con l’operatore, cenni d’intesa con la testa per invitare l’operatore a ripetere alcuni gesti;
10. Azione imitativa e/o di libera iniziativa da parte dei bambini su input dell’operatore;
11. Interesse per gli stimoli sonori, con tentativo di adattare i movimenti e le azioni di gioco.
Premettendo di esprimersi con le dovute cautele a causa del poco tempo trascorso che, coscientemente, impedisce di formulare giudizi più mirati, nel complesso si può tranquillamente affermare che il lavoro di sperimentazione ai suoi esordi si palesa molto promettente. L’obiettivo primario e più ambito sarebbe quello di riscontrare il mantenimento dei miglioramenti all’interno del setting anche nell’ambiente esterno, trasferendo la motivazione e la curiosità all’interazione per la piena comunicazione nel mondo reale. La nuova versione del sistema, SI DO RE MI, va esattamente in questa direzione.
Nota: questo video non può essere diffuso in alcun modo senza l'autorizzazione degli autori del progetto.
Si prevede che nelle abitazioni in cui si svolgerà la sperimentazione di SI DO RE MI sarà installata una serie di dispositivi in grado di rilevare i movimenti del corpo con differenti gradi di precisione. Uno di questi dispositivi avrà una precisione tale da rilevare angoli e posizioni dei singoli arti, e sarà collegato direttamente ad un calcolatore munito di altoparlanti. Il bambino, sotto la guida di un familiare opportunamente istruito, si muoverà liberamente davanti a questo dispositivo producendo e controllando suoni in tempo reale (con modalità simili alla versione mono-postazione, SI RE MI). Le caratteristiche del movimento saranno memorizzate e inviate al server per una eventuale successiva elaborazione. Si prevede, infatti, che l’insieme dei sistemi home installati nelle famiglie possano essere collegati tramite connessione internet a una o più postazioni centralizzate. Quest’aspetto è molto importante: i tracciati dei movimenti, infatti, saranno analizzati da esperti con appositi algoritmi, che ne estrarranno parametri statistici che si evolvono nel tempo man mano che le sessioni procedono. Dall’evoluzione di questi parametri si pensa di poter dedurre una valutazione obiettiva dello stato corrente del disturbo di cui è affetto il bambino. Questo sensore sarà integrato da un insieme di altri piccoli sensori wireless (a cura del Wireless Network Lab dell'ISTI-CNR), alimentati a batteria, che permettono la localizzazione passiva di persone utilizzando una tecnica chiamata di radio imaging. Questi sensori saranno disposti negli altri spazi della casa abitualmente frequentati dal bambino, ad esempio nell’area del letto per monitorare la qualità del sonno. I dati provenienti dai sensori wireless saranno integrati e inviati al server assieme a quelli del sensore primario, per permettere una valutazione dell’andamento del disturbo ancora più accurata. La connessione remota con la postazione centrale permetterà inoltre la configurazione remota delle postazioni casalinghe e la possibilità di consulenza audiovisiva a distanza del personale specializzato. La postazione centrale della sperimentazione verrà installata presso il Centro Medico Salus (convenzionato ASL) di Lido Di Camaiore (LU).
1. area della comunicazione,
2. dell'intersoggettività,
3. delle difficoltà sensoriali,
4. della reciprocità
5. condivisione con l'altro.
Ovviamente non ci si aspetta che i bambini «guariscano», ma che progrediscano, sperimentando in modo gradevole e gioioso una modalità coinvolgente e affettivamente significativa di stare con gli altri, lungo il loro percorso evolutivo, correggendo alcuni aspetti (le stereotipie, le difficoltà di elaborazione dei dati sensoriali, la tendenza all'isolamento, la scarsa propositività, la mancanza di iniziativa e di intenzionalità, ecc.) che ostacolano tale progresso. L’approccio proposto non sostituisce gli altri, né rimane isolato, ma si integra completando il programma “riabilitativo”. Il sistema si propone quindi come integrazione dei trattamenti ad orientamento neuroevolutivo, rinforzando e sviluppando gli aspetti motivazionali centrali del Disturbo Autistico che portano a ricercare l’interazione con l’altro e solo indirettamente scoraggiando il comportamento disadattivo.
Sistema utilizzato nella sperimentazione presso l’Istituto Massarosa 1
Il sistema informatico sviluppato al SiLAB consiste in un insieme di dispositivi di rilevamento di rilevamento gestuale, di un calcolatore dotato di scheda audio e di un sistema di amplificazione sonora. Il software, sviluppato opportunamente, interpreta i dati provenienti dai dispositivi di rilevamento e produce suoni di vario genere ad esse correlati. Tramite un apposita interfaccia utente l’operatore è in grado di mappare a piacimento le caratteristiche del suono generato ( tipologia, timbro, volume, altezza etc.) alle diverse grandezze caratteristiche della postura e del movimento. L’insieme delle relazioni fra caratteristiche del movimento e caratteristiche dei suoni emessi, che costituisce un preset dell’applicazione software, può essere memorizzato nell’archivio presente sul calcolatore. In questo modo è possibile reperire velocemente una diversa configurazione del sistema in base alle esigenze dell’operatore, diversificando ad esempio le modalità di utilizzo in funzione del singolo soggetto o del tipo di sessione che si vuole effettuare. Nella primissima versione realizzata, testata brevemente su alcuni bambini, il sistema di rilevamento consisteva unicamente in una videocamera che inquadrava lo spazio di azione, collegata tramite un digitalizzatore ad un calcolatore sul quale era stato implementato un algoritmo di rilevamento gestuale.Il sistema HW/SW del prototipo
Sulla base dei risultati della prima fase di test sono state apportate profonde modifiche al SW, in modo da renderlo più robusto ed utilizzabile anche da operatori non specializzati. Il meccanismo di riconoscimento basato sulla telecamera è stato sostituito da un'altro basato sul sensore Microsoft Kinect. Questo sensore, inizialmente destinato al controllo di videogiochi della piattaforma Xbox, è in grado di rilevare la posizione tridimensionale di 20 punti caratteristici del corpo umano, corrispondenti in pratica alle estremità degli arti e alla varie giunture. Il sensore è in grado di seguire nei movimenti due figure contemporaneamente, e non ha bisogno di alcuna taratura. Il Kinect è stato affiancato da sensori piezoelettrici posti sotto la pedana dello spazio di azione, in modo da rilevare con maggiore precisione e minor latenza i movimenti dei piedi.Ambiente allestito per la sperimentazione
Il sistema tecnologico è stato installato in un ambiente allestito opportunamente. L'idea di base è di creare un contesto che fosse isolato dall’ambiente scolastico, il più possibile caldo, accogliente e rassicurante. Lo spazio, ricavato in un locale scolastico, consisteva in un’area di 4x5 metri, delimitata da muri e quinte in legno su 3 lati, e da un paravento sufficientemente alto da nascondere l’operatore seduto alla consolle. I colori e le forme dello spazio sono stati scelti per favorire l'attenzione all'attività ingaggiata nello spazio interattivo.Sperimentazione
La sperimentazione è stata condotta su soggetti maschi di età compresa tra 5 e 7 anni, ed è consistita in una serie di 15 interventi della durata di circa 30 minuti, effettuati a cadenza settimanale. L'operatore ha sfruttato le occasioni spontanee d’interazione offerte dai bambini, cercando di veicolarle verso circoli comunicativi significativi. Partendo dalle preferenze e dalle predisposizioni del soggetto si è incoraggiato l'iniziativa spontanea arricchendola di nuovi valori e significati, così da sfruttarne a pieno le peculiarità innescandone la motivazione e la curiosità di conoscere.
Risultati ottenuti
Da una prima generale osservazione dei filmati ripresi durante gli interventi si possono rilevare lievi sviluppi rispetto alla situazione iniziale. L’elemento più evidente di cambiamento è probabilmente la comparsa del contatto oculare con l’operatore, accompagnato da qualche sorriso a valenza sociale, di vocalizzi per imitare i suoni percepiti o la voce dell’operatore. L’evoluzione riscontrata può essere riassunta nei seguenti punti:Primi incontri
1. disorientamento e disinteresse, fuga dall’operatore;
2. rifiuto di accesso allo spazio, permanenza breve e discontinua, necessità di esplorare la stanza fuori dal setting;
3. sporadico innalzamento della testa per cercare di capire da dove provengano gli stimoli acustici;
4. assenza di contatto oculare con l’operatore;
5. accenni di contatto a livello tattile e corporeo, scontri, per lo più di spalle, o di fronte
6. rigidità del corpo, respingimento del corpo dell’operatore
Evoluzione
1. Maggiore serenità e volontà dei bambini nel tornare ad affrontare gli interventi;
2. Connotazione positiva dell’ambiente e dell’esperienza;
3. Attenuazione del disorientamento;
4. Ingresso spontaneo nel setting, permanenza più lunga nello spazio operativo;
5. Attenuazione delle esternazioni di disagio, insofferenza, frustrazione, dei tentativi di fuga, in parte sostituiti da comportamenti a maggior valenza comunicativa.
6. Contatto oculare con l’operatore;
7. Sorriso a valenza sociale, per esprimere piacere;
8. Vocalizzi a imitazione di suoni emessi dallo strumento o dalla voce dell’operatore, tentativi di comunicare verbalmente,
9. Abbozzo di gioco con l’operatore, cenni d’intesa con la testa per invitare l’operatore a ripetere alcuni gesti;
10. Azione imitativa e/o di libera iniziativa da parte dei bambini su input dell’operatore;
11. Interesse per gli stimoli sonori, con tentativo di adattare i movimenti e le azioni di gioco.
Premettendo di esprimersi con le dovute cautele a causa del poco tempo trascorso che, coscientemente, impedisce di formulare giudizi più mirati, nel complesso si può tranquillamente affermare che il lavoro di sperimentazione ai suoi esordi si palesa molto promettente. L’obiettivo primario e più ambito sarebbe quello di riscontrare il mantenimento dei miglioramenti all’interno del setting anche nell’ambiente esterno, trasferendo la motivazione e la curiosità all’interazione per la piena comunicazione nel mondo reale. La nuova versione del sistema, SI DO RE MI, va esattamente in questa direzione.
Da SI RE MI a SI DO RE MI
Allo scopo di trasferire nel mondo reale i risultati incoraggianti finora ottenuti è stata prevista una nuova versione del sistema da poter installare direttamente nelle abitazioni dei bambini. Con questa versione le famiglie dei soggetti possono proseguire in ambito casalingo il percorso ri-educativo seguito svolto nell’ambiente scolastico (o comunque nel centro specializzato) rimanendo comunque connessi tramite internet, in tempo reale o differito, alla postazione centrale. A questo punto SI RE MI acquista una nuova nota: DO come domiciliare, e diventa SI DO RE MI .
Si prevede che nelle abitazioni in cui si svolgerà la sperimentazione di SI DO RE MI sarà installata una serie di dispositivi in grado di rilevare i movimenti del corpo con differenti gradi di precisione. Uno di questi dispositivi avrà una precisione tale da rilevare angoli e posizioni dei singoli arti, e sarà collegato direttamente ad un calcolatore munito di altoparlanti. Il bambino, sotto la guida di un familiare opportunamente istruito, si muoverà liberamente davanti a questo dispositivo producendo e controllando suoni in tempo reale (con modalità simili alla versione mono-postazione, SI RE MI). Le caratteristiche del movimento saranno memorizzate e inviate al server per una eventuale successiva elaborazione. Si prevede, infatti, che l’insieme dei sistemi home installati nelle famiglie possano essere collegati tramite connessione internet a una o più postazioni centralizzate. Quest’aspetto è molto importante: i tracciati dei movimenti, infatti, saranno analizzati da esperti con appositi algoritmi, che ne estrarranno parametri statistici che si evolvono nel tempo man mano che le sessioni procedono. Dall’evoluzione di questi parametri si pensa di poter dedurre una valutazione obiettiva dello stato corrente del disturbo di cui è affetto il bambino. Questo sensore sarà integrato da un insieme di altri piccoli sensori wireless (a cura del Wireless Network Lab dell'ISTI-CNR), alimentati a batteria, che permettono la localizzazione passiva di persone utilizzando una tecnica chiamata di radio imaging. Questi sensori saranno disposti negli altri spazi della casa abitualmente frequentati dal bambino, ad esempio nell’area del letto per monitorare la qualità del sonno. I dati provenienti dai sensori wireless saranno integrati e inviati al server assieme a quelli del sensore primario, per permettere una valutazione dell’andamento del disturbo ancora più accurata. La connessione remota con la postazione centrale permetterà inoltre la configurazione remota delle postazioni casalinghe e la possibilità di consulenza audiovisiva a distanza del personale specializzato. La postazione centrale della sperimentazione verrà installata presso il Centro Medico Salus (convenzionato ASL) di Lido Di Camaiore (LU).