Semantic Holistic User Modeling for Personalized Access to Digital Content and Services (slides in italian)

Semantic Holistic User Modeling
per l’Accesso Personalizzato a
Servizi e Contenuti Digitali
Cataldo Musto (cataldo.musto@uniba.it)
Future in Research – Dissemination Event
23 Febbraio 2019 - Dipartimento di Informatica – Bari
Codice Progetto: DYO7BR4
Programma regionale a sostegno della specializzazione intelligente e della sostenibilità sociale ed ambientale

Agenda
• Parte 1
• Motivazioni e Stato dell’Arte
• Parte 2
• Il Progetto di Ricerca
• Parte 3
• Myrror@Work
• Parte 4
• Attività Future e Scenari Applicativi

Chi sono
Giugno 2012: Dottorato di Ricerca in Informatica
Gennaio 2014: Scrittura Proposta di Progetto ‘Future in Research’
Ottobre 2014: Selezione Proposta di Progetto ‘Future in Research’
BURP (Bollettino Ufficiale Regione Puglia) n.142 del 09.10.2014
Da Gennaio 2016: Ricercatore Presso il Dipartimento di Informatica
http://www.di.uniba.it/~swap/musto
cataldo.musto@uniba.it
@cataldomusto

Parte 1: Motivazioni e Stato dell’Arte

A desk in the 80s
Cataldo Musto. Semantic Holistic User Modeling per l’Accesso Personalizzato a Servizi e Contenuti Digitali. Parte 1: Motivazioni e Stato dell’Arte

Social networks, dispositivi Mobili e dispositivi wearables
agiscono da enormi «contenitori» di dati

Le metodologie di raccomandazione e personalizzazione
sono ancora molto limitate
X

Quotidianamente utilizziamo questi strumenti per esprimere le nostre opinioni,
mostrare i nostri interessi, monitorare le nostre attività o i nostri dati fisiologici

Sviluppo di una piattaforma per
la costruzione di profili utente in
grado di fondere efficacemente
la conoscenza proveniente da
sorgenti dati eterogenee (dati
sociali, dispositivi mobili,
dispositivi wearables, etc.)
Obiettivo del progetto di ricerca

Obiettivo del progetto di ricerca
• Costruzione di un modello olistico di
rappresentazione dell’individuo
• Possibili Sfaccettature
• Dati Anagrafici
• Interessi
• Emozioni e Personalità
• Connessioni Sociali
• Attività e Abitudini
• Dati Fisiologici

Fornire servizi personalizzati al
cittadino, ritagliati su misura di
gusti, esigenze, conoscenze,
fattori contestuali (dati sulla
posizione, fattori di personalità,
relazioni sociali, stile di vita, etc.).
Ricadute Applicative

User Modeling
• 1979: Modelli utente stereotipati (*)
• 1993: Keyword-based o Overlay-based Profiles (#)
• 2013: Modelli utente basati su dati estratti da social network (+)
(*) Rich, E. User modeling via stereotypes. Cognitive science 3(4) pp. 329-354, 1979
(#) Kobsa, A. User modeling: Recent work, prospects and hazards. Human Factors in Information Technology 10 (1993), 111-125.
(+) Abel, F., Herder, E., Houben, G.-J., Henze, N., and Krause,D. Cross-system user modeling and personalization on the social web. User Modeling and User-Adapted Interaction 23, 2-3, 169-209, 2013

Elementi Caratteristici
Profilazione
Olistica Semantica Trasparente

Parte 2: Il progetto di ricerca

Analisi dei
Requisiti
Progettazione
della Piattaforma
Implementazione
della Piattaforma
Definizione dei
Casi d’uso e
Valutazione
Mese 1-9 Mese 10-18 Mese 19-27 Mese 28-36
Gennaio 2019Gennaio 2016
Cataldo Musto. Semantic Holistic User Modeling per l’Accesso Personalizzato a Servizi e Contenuti Digitali. Parte 2: Il Progetto di Ricerca
Analisi dei Requisiti

Ruoli e Responsabilità
Individuati tre stakeholders
Utenti SviluppatoriUtenti RegistratiUtenti Amministratori

Ruoli e Responsabilità
Utenti Amministratori
• Definiscono le sorgenti dati
• Definiscono le modalità di elaborazione dei dati grezzi
Utenti Registrati
• Si registrano alla piattaforma e collegano le proprie identità digitali
• Abilitano l’estrazione delle informazioni
• Visualizzano le reportistica prodotta dal sistema
• Impostano la visibilità e la privacy delle informazioni codificate nella piattaforma
Utenti Sviluppatori
• Si registrano alla piattaforma
• Integrano i profili codificati nel sistema in applicazioni di terze parti
• Fungono a loro volta da sorgente dati, fornendo nuove informazioni sugli utenti

Analisi dei
Requisiti
Progettazione
della Piattaforma
Implementazione
della Piattaforma
Definizione dei
Casi d’uso e
Valutazione
Progettazione della Piattaforma

Vista Logica

Vista Logica
Moduli delegati all’estrazione dei dati e alla
gestione degli stessi (definizione privacy e
visibilità)
Moduli delegati all’elaborazione dei dati
grezzi e al popolamento del profilo utente
Moduli delegati alla visualizzazione dei dati
e all’esposizione del profilo verso
applicazioni di terze parti

Descrizione dei Moduli

Connection Manager
Moduli delegati alla
gestione delle identità.
Data Extractor
Moduli delegati
all’estrazione dati dalle
identità associate
all’utente.
Data Manager
gestione delle regole di
privacy e visibilità sui dati
estratti.

Processing Manager
Moduli delegati al
coordinamento e alla
configurazione degli
algoritmi per elaborare e
arricchire i dati grezzi.
Data Processor
Moduli delegati
all’elaborazione dei dati
grezzi (NLP, Sentiment
Analysis, Machine
Learning, etc.)

API Manager
definizione degli endpoint per
gli sviluppatori esterni
Login Manager
Moduli delegati all’accesso
alla piattaforma da parte delle
diverse tipologia di utenti
User Interfaccia
visualizzazione dei profili
attraverso un cruscotto di
reportistica.

Architettura della Piattaforma

Holistic User Modeling Worflow

Definizione delle sorgenti dati
Twitter
Facebook LinkedIn
Android
FitBit
Instagram

Sorgenti Dati
Twitter
Dato Descrizione
Profile Informazioni demografiche estratte dal profilo (nome, luogo, sito
web, immagine del profilo, #followers, #following, etc.)
Post Contenuto testuale del post, nome utente, data, lingua, #likes e
retweet, eventuali informazioni di geo-localizzazione
Connections Nome utente, tipologia di relazione (following/follower)

Sorgenti Dati
Facebook
Dato Descrizione
Profile Informazioni demografiche estratte dal profilo (nome, cognome,
immagine del profilo, lingua, sesso, età)
Post Contenuto testuale del post, nome utente, data, lingua, eventuale
«story» (descrive l’azione effettuata dall’utente)
Friends Nome utente
Likes Nome della pagina, tipologia della pagina, data del «like»

Sorgenti Dati
LinkedIn
Dato Descrizione
immagine del profilo, lingua, #contatti, tipologia di lavoro)
Position Descrizione ed eventuale categoria della posizione lavorativa,
nome dell’azienda, data di inizio ed eventuale fine.

Sorgenti Dati
Instagram
Dato Descrizione
immagine del profilo, lingua, sesso, età)
Post Contenuto testuale del post, hashtag, popolarità, eventuali
informazioni di geolocalizzazione
Friends Elenco di following e followers

Sorgenti Dati
Dispositivi Android
Dato Descrizione
GPS Data Localizzazione GPS dell’utente: latitudine, longitudine,
accuratezza e timestamp
Contacts Nome, numero di telefono, quantità di interazioni
App Nome della app, categoria, descrizione utilizzo giornaliero
Display Modalità del display (acceso-spento)
Usage Conteggio byte in entrata/uscita e tipologia di Rete (wi-fi, 3G, etc.)
Device Marca e modello del dispositivo

Sorgenti Dati
FitBit
Dato Descrizione
data e città di nascita, altezza, peso, immagine del profilo, sesso)
Attività Tipologia di attività (corsa, camminata), durata, distanza, calorie
bruciate
Battito
Cardiaco
Valore del battito cardiaco e timestamp
Sonno Data, Minuti di Sonno, Minuti Trascorsi a Letto, Qualità del sonno
Cibo Descrizione dei cibi assunti, calorie, data e ora

Data Processing and Data Enrichment
• I dati grezzi acquisiti sono elaborati attraverso delle pipeline di Natural Language
Processing e Machine Learning
• Natural Language Processing
• Language Detection
• Stop-words Removal
• Lemmatization
• Entity Linking
• Wikipedia Categories Identification
• Machine Learning (work-in-progress)
• Sentiment Analysis for Italian Tweets
• Emphathy and Personality Detection from Text
• Models for Activity Detection
• Reverse Geocodice for Places Identification
• ….

Holistic Profile Builder
•Componente fondamentale dell’intera architettura
•Crea «materialmente» il profilo olistico dell’utente
• Definisce le sfaccettature del profilo utente
• Popola il profilo sulla base dei dati grezzi
• Definisce la visibilità delle singole sfaccettature sulla
base delle impostazioni dell’utente

Modello Concettuale di Profilazione Olistica
•Ispirato al modello proposto da Cena et al. [*]
•Sette sfaccettature del profilo
• Demographics, Interests, Affects, Cognitive Aspects,
Behaviors, Physical States, Social Relations, Knowledge
and Skills
[*] Cena, F., Likavec, S., and Rapp, A. Real world user model: Evolution of user modeling triggered by advances in wearable and ubiquitous computing.
Information Systems Frontiers, 2018. doi: 10.1007/s10796-017-9818-3

Cataldo Musto. Semantic Holistic User Modeling per l’Accesso Personalizzato a Servizi e Contenuti Digitali. Parte 2: Stato di Avanzamento delle Attività
Holistic User Profile
Affects
Demographics
Interests
Behaviors
Social Relations Physical States
Cognitive Aspects

Modello Concettuale di Profilazione Olistica
Nome Descrizione
Demographics Modella le informazioni anagrafiche
Interests Modella interessi, gusti e preferenze dell’utente
Affects Modella emozioni e umore dell’individuo
Cognitive Aspects Modella caratteristiche cognitive (es. personalità)
Behaviors Modella attività e abitudini dell’utente
Social Relations Relazioni Sociali dell’Utente
Physical States Modella caratteristiche fisiche (sonno, battito, etc.)

Popolamento del Profilo
•Come popoliamo le singole sfaccettature del
profilo a partire dai dati grezzi?
•Individuate due modalità di popolamento
• Esplicita: attraverso operazione di «copiatura» di coppie attributo-
valore già disponibili, e definizione di meccanismi di priorità e
risoluzione di ambiguità
• Implicita: attraverso applicazione di algoritmi sui dati, che ci
permettono di inferire features di più alto livello

• Nel profilo olistico sono codificati 12 attributi anagrafici
• Name, surname, profile pic, email, gender, location, height, weight,
working position, industry, language
• Molti attributi sono ‘generali’ e comuni a diverse sorgenti
• Name, surname, profilePic, etc.
• Altri attributi sono specifici di una singola sorgente
• e.g., height, weight from FitBit, working position from LinkedIn
Demographics

Interests
• Gli interessi dell’individuo possono essere acquisiti implicitamente ed
esplicitamente
• Esplicitamente: gli interessi dell’individuo sono ricavati dalle categorie descrittive
delle Pagine gradite all’utente (es., sport, politica, etc.) e delle app utilizzate di
frequente;
• Implicitamente: ngli interessi possono anche essere inferiti individuando le entità
menzionate frequentemente dall’utente nei suoi post (con un sentiment positivo o
neutrale), dagli hashtag utilizzati nei post o dai topic discussi in Rete.
• In entrambi i casi la sfaccettatura è modellata come un insieme di keyword e di
entità estratti dai post o dalle pagine che l’utente gradisce. Anche i termini
descrittivi dei luoghi visitati dall’utente descrivono le sue preferenze

Affects
• L’umore e le emozioni dell’utente sono inferite automaticamente
dai contenuti prodotti e pubblicati in Rete
Cognitive Aspects
• I tratti di personalità dell’individuo sono ottenuti inferendo le sue
caratteristiche nel modello Big-5 (extraversion, openness to
experience, Conscientiousness, neuroticism, agreeableness)
analizzando i contenuti prodotti e pubblicati in Rete

Behaviors
• Le attività dell’utente e i luoghi visitati sono codificati nella
sfaccettatura ‘Behavior’
• Le attività dell’utente sono ricavate analizzando i dati estratti
da FitBit e dispositivi Android
• Bentrambi sfruttando la sensoristica presente sui dispositivi per
inferire implicitamente le attività dell’utente (corsa, camminata,
etc.).
• I luoghi visitati asono inferiti implicitamente analizzando I
geotag disponibili sui contenuti estratti da Instagram

Social Relations
• Le Relazioni Sociali sono attualmente inferite acquisendo tutti i contatti
disponibili sulle sorgenti collegate alla piattaforma. A ciascun utente viene
associato uno score legato al numero di interazioni con l’utente profilato.
Physical States
Le informazioni relative alla salute sono acquisite
direttamente utilizzando i dati esplicitamente disponibili
su dispositivi FitBit (food, hearth rate, sleep quality, etc.)

Analisi dei
Requisiti
Progettazione
della Piattaforma
Implementazione
della Piattaforma
Definizione dei
Casi d’uso e
Valutazione
Implementazione della Piattaforma

• Componenti Sviluppate
• Interfaccia Web
• Interfaccia Amministratore
• Interfaccia Sviluppatore
• App per l’estrazione dati da
dispositivi Android
• Web Service per la comunicazione
con l’applicazione web e l’esposizione
dei profili utente all’esterno

• Gran parte dei moduli e servizi utilizzati fanno parte delle librerie
standard di Angular 5.
• Per l’interfaccia grafica si è utilizzata la libreria Angular Material [1],
che ha permesso lo sviluppo di un’interfaccia Web con widget tipici
del material design di Google.
• La libreria Angular Flex-Layout[2] ha, invece, permesso la costruzione
del layout delle pagine, sia per desktop che per mobile.
• Socket.io[3] è stata utilizzata per la gestione degli eventi delle socket
di comunicazione con i dispositivi.
• Per i grafici è stata utilizzata Angular Highcharts[4]. [1] https://material.angular.io/
[2] https://github.com/angular/flex-layout
[3] https://socket.io/
[4] https://github.com/cebor/angular-highcharts

Cataldo Musto. Semantic Holistic User Modeling per l’Accesso Personalizzato a Servizi e Contenuti Digitali. Parte 3: Myrror@Work
Schermata di Registrazione

Schermata di Collegamento delle Identità

Identità Collegate al Profilo Utente

Informazioni estratte del profilo Twitter

Informazioni estratte del profilo FitBit

Settaggio dei dispositivi Android

Cruscotto di Visualizzazione

Bio Personalizzata in Linguaggio Naturale

Informazioni Demografiche

Interessi e Preferenze

Andamento del Mood dell’Utente

Tratti di Personalità ed Empatia

Luoghi Visitati dell’Utente

Attività Quotidiane

Analisi del Sonno

Privacy e Visibilità dei Dati

Esposizione del profilo (formato JSON-LD)
{
@Context: “”,
user: Cataldo,
demographics: {},
affects: {},
behaviors: {
personalities: {}, empathy: {}
},
cognitiveAspects: {
personalities: {}, empathy: {}
},
interests: {}
physicalStates: {
heart: {}, sleep: {},
food: {}, body: {}
},
socialRelations: {}
}
http://myrror:9090/profile?id=cataldo&key=xxxx

Schermata Amministratore
L’amministratore scrive degli
script in formato JSON in cui
definisce la sequenza di
algoritmi da eseguire sui
dati estratti.

Parte 4: Conclusioni e Sviluppi Futuri

Conclusioni
• Risultati di Ricerca
• Modello Concettuale di Semantic Holistic User Modeling
• Modello basato su Sette Sfaccettature Utente
• Piattaforma per Semantic Holistic User Modeling
• Sei Sorgenti Dati
• Privacy e Controllo del processo di profilazione
• Esposizione del Profilo verso Applicazioni di Terze Parti
• Valutazione della Piattaforma
• User Study con 40 utenti
• Elevato gradimento e soddisfazione del processo di profilazione, della privacy e delle
modalità di visualizzazione dati
Cataldo Musto. Semantic Holistic User Modeling per l’Accesso Personalizzato a Servizi e Contenuti Digitali. Parte 4: Conclusioni e Sviluppi Futuri

Sviluppi Futuri
• Estensione delle sorgenti dati e delle modalità di elaborazione
• Individuazione di scenari in cui integrare (e valutare) la
piattaforma
• Possibili ipotesi
• Recommender Systems Conversazionali in ambito health
• Recommender Systems in ambito finanziario
• Integrazioni in progetti di ricerca in corso (es., ambito turistico)
• Obiettivo
• Validazione dell’efficacia del modello e della precisione dei suggerimenti generati
dalle applicazioni esterne
Cataldo Musto. Semantic Holistic User Modeling per l’Accesso Personalizzato a Servizi e Contenuti Digitali. Parte 4: Conclusioni e Sviluppi Futuri

Semantic Holistic User Modeling per
l’Accesso Personalizzato a Servizi e
Contenuti Digitali
Cataldo Musto - Dipartimento di Informatica
cataldo.musto@uniba.it
Grazie!

Semantic Holistic User Modeling for Personalized Access to Digital Content and Services (slides in italian)

More Related Content

More from Cataldo Musto (20)

Semantic Holistic User Modeling for Personalized Access to Digital Content and Services (slides in italian)