Tesi_slides
- 1. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Dalla Merged Italian Dependency Treebank ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale 21 giugno 2013 Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 2. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Concetti chiave Concetti chiave L’Information Extraction (IE) è il settore dell’informatica che si occupa dell’estrazione automatizzata di informazioni da testi. Si definisce corpus linguistico, una collezione grande e strutturata di testi usata per condurre ricerche liguistiche o per addestrare strumenti ad apprendimento automatico. Un corpus annotato che riguarda l’albero sintattico della frase prende il nome di treebank, il cui scopo principale è addestrare parser. Una treebank gold è una treebank (che può essere annotata automaticamente attraverso un parser) revisionata e corretta da annotatori umani. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 3. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Concetti chiave Concetti chiave L’Information Extraction (IE) è il settore dell’informatica che si occupa dell’estrazione automatizzata di informazioni da testi. Si definisce corpus linguistico, una collezione grande e strutturata di testi usata per condurre ricerche liguistiche o per addestrare strumenti ad apprendimento automatico. Un corpus annotato che riguarda l’albero sintattico della frase prende il nome di treebank, il cui scopo principale è addestrare parser. Una treebank gold è una treebank (che può essere annotata automaticamente attraverso un parser) revisionata e corretta da annotatori umani. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 4. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Concetti chiave Concetti chiave L’Information Extraction (IE) è il settore dell’informatica che si occupa dell’estrazione automatizzata di informazioni da testi. Si definisce corpus linguistico, una collezione grande e strutturata di testi usata per condurre ricerche liguistiche o per addestrare strumenti ad apprendimento automatico. Un corpus annotato che riguarda l’albero sintattico della frase prende il nome di treebank, il cui scopo principale è addestrare parser. Una treebank gold è una treebank (che può essere annotata automaticamente attraverso un parser) revisionata e corretta da annotatori umani. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 5. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Concetti chiave Concetti chiave L’Information Extraction (IE) è il settore dell’informatica che si occupa dell’estrazione automatizzata di informazioni da testi. Si definisce corpus linguistico, una collezione grande e strutturata di testi usata per condurre ricerche liguistiche o per addestrare strumenti ad apprendimento automatico. Un corpus annotato che riguarda l’albero sintattico della frase prende il nome di treebank, il cui scopo principale è addestrare parser. Una treebank gold è una treebank (che può essere annotata automaticamente attraverso un parser) revisionata e corretta da annotatori umani. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 6. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Strumenti utilizzati Il parser DeSR e la treebank gold ISDT Il parser a dipendenze ad apprendimento automatico utilizzato nel progetto è DeSR (Dependency Shift Reduce) (Attardi, 2006), inserito nella pipeline linguistica TANL (Text Analytics and Natural Language). La treebank gold usata per addestrare il parser è ISDT (Italian Stanford Dependencies Treebank), treebank gold risultato della conversione nello standard delle Stanford Dependencies, attualmente in fase di verifica, di MIDT (Merged Italian Dependencies Treebank). MIDT è risultato della fusione delle treebank gold di altri due progetti italiani. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 7. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Strumenti utilizzati Il parser DeSR e la treebank gold ISDT Il parser a dipendenze ad apprendimento automatico utilizzato nel progetto è DeSR (Dependency Shift Reduce) (Attardi, 2006), inserito nella pipeline linguistica TANL (Text Analytics and Natural Language). La treebank gold usata per addestrare il parser è ISDT (Italian Stanford Dependencies Treebank), treebank gold risultato della conversione nello standard delle Stanford Dependencies, attualmente in fase di verifica, di MIDT (Merged Italian Dependencies Treebank). MIDT è risultato della fusione delle treebank gold di altri due progetti italiani. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 8. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Schema di annotazione a dipendenze Schema di annotazione a dipendenze L’operazione di parsing su una frase produce uno schema di annotazione a dipendenze corrispondente alla struttura di un albero (da cui il nome “treebank” per denotare banche dati di alberi). In generale, uno schema di annotazioni a dipendenze si rappresenta come un grafo orientato con archi etichettati, in cui i nodi sono le parole della frase e gli archi sono etichettati con le dipendenze. mangia Antonella mela nsubj dobj una det Figura: Schema a dipendenze relativo alla frase “Antonella mangia una mela” Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 9. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Le Stanford Dependencies Le Stanford Dependencies Le Stanford Dependencies (SD) sono uno stile di annotazione a dipendenze adottato anche da Google, sviluppato nel 2006 dal gruppo di ricerca di Natural Language Processing (NLP) dell’Università di Stanford, che si sta affermando come standard internazionale de facto. La notazione delle SD è stata pensata per essere comprensibile e utilizzabile anche da persone con scarse conoscenze linguistiche e per risultare utile e versatile nelle applicazioni in ambito dell’Information Extraction. Il sistema fornisce cinque output alternativi, che differiscono nel grado di dettaglio delle informazioni, che vanno dalla versione “basic” a quella “collapsed and propagated”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 10. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Le Stanford Dependencies Le Stanford Dependencies Le Stanford Dependencies (SD) sono uno stile di annotazione a dipendenze adottato anche da Google, sviluppato nel 2006 dal gruppo di ricerca di Natural Language Processing (NLP) dell’Università di Stanford, che si sta affermando come standard internazionale de facto. La notazione delle SD è stata pensata per essere comprensibile e utilizzabile anche da persone con scarse conoscenze linguistiche e per risultare utile e versatile nelle applicazioni in ambito dell’Information Extraction. Il sistema fornisce cinque output alternativi, che differiscono nel grado di dettaglio delle informazioni, che vanno dalla versione “basic” a quella “collapsed and propagated”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 11. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Le Stanford Dependencies Le Stanford Dependencies Le Stanford Dependencies (SD) sono uno stile di annotazione a dipendenze adottato anche da Google, sviluppato nel 2006 dal gruppo di ricerca di Natural Language Processing (NLP) dell’Università di Stanford, che si sta affermando come standard internazionale de facto. La notazione delle SD è stata pensata per essere comprensibile e utilizzabile anche da persone con scarse conoscenze linguistiche e per risultare utile e versatile nelle applicazioni in ambito dell’Information Extraction. Il sistema fornisce cinque output alternativi, che differiscono nel grado di dettaglio delle informazioni, che vanno dalla versione “basic” a quella “collapsed and propagated”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 12. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Progetto di tesi Progetto di tesi Lavoro svolto nell’ambito di una collaborazione con Google. Lo script sviluppato si integra nella pipeline linguistica TANL (preesistente) e consiste in uno strumento a sé stante che si colloca a valle del parser DeSR, a differenza del parser di Stanford che è un unico indivisibile progetto. Lo script è stato scritto in Python in quanto tale linguaggio permette di interfacciarsi facilmente con altri linguaggi di programmazione ed offre buone prestazioni; tale scelta è stata inoltre rafforzata dal fatto che altri componenti della pipeline linguistica TANL sono scritti in Python. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 13. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Progetto di tesi Progetto di tesi Lavoro svolto nell’ambito di una collaborazione con Google. Lo script sviluppato si integra nella pipeline linguistica TANL (preesistente) e consiste in uno strumento a sé stante che si colloca a valle del parser DeSR, a differenza del parser di Stanford che è un unico indivisibile progetto. Lo script è stato scritto in Python in quanto tale linguaggio permette di interfacciarsi facilmente con altri linguaggi di programmazione ed offre buone prestazioni; tale scelta è stata inoltre rafforzata dal fatto che altri componenti della pipeline linguistica TANL sono scritti in Python. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 14. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Progetto di tesi Progetto di tesi Lavoro svolto nell’ambito di una collaborazione con Google. Lo script sviluppato si integra nella pipeline linguistica TANL (preesistente) e consiste in uno strumento a sé stante che si colloca a valle del parser DeSR, a differenza del parser di Stanford che è un unico indivisibile progetto. Lo script è stato scritto in Python in quanto tale linguaggio permette di interfacciarsi facilmente con altri linguaggi di programmazione ed offre buone prestazioni; tale scelta è stata inoltre rafforzata dal fatto che altri componenti della pipeline linguistica TANL sono scritti in Python. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 15. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Progetto di tesi Fasi di elaborazione dello script Input: file in formato CoNLL, standard de facto relativo alla formattazione di file in pipeline linguistiche. ROOT-0 ROOT ordinò-7 Nel-1 tribunale-4 confisca-9 1944-2 il-3 di-5 la-8 totale-10 dei-11 Roma-6 beni-12 della-13 famiglia-14 Ciano-15 nn pobj pobj pobj prep prep prep prep pobj det det amod nsubj dobj Intermedio: grafo a dipendenze. Output: versione in triple “relazione(testa, dipendente)”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 16. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Progetto di tesi Problematiche relative alle specifiche delle Stanford Dependencies Si sono riscontrate difficoltà nel capire come venivano effettuate le manipolazioni delle strutture delle frasi nelle varie versioni, in quanto l’unica documentazione disponibile è un manuale descrittivo e non tecnico delle specifiche. Non è stato d’aiuto neppure leggere il codice del loro progetto in quanto troppo vasto, dispersivo e poco documentato. Si è arrivati alla teorizzazione delle trasformazioni delle strutture attraverso l’utilizzo del loro parser su frasi in lingua inglese con struttura simile all’italiano. Si è poi verificata la correttezza applicando le teorie formulate sulla treebank italiana. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 17. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Progetto di tesi Problematiche relative alle specifiche delle Stanford Dependencies Si sono riscontrate difficoltà nel capire come venivano effettuate le manipolazioni delle strutture delle frasi nelle varie versioni, in quanto l’unica documentazione disponibile è un manuale descrittivo e non tecnico delle specifiche. Non è stato d’aiuto neppure leggere il codice del loro progetto in quanto troppo vasto, dispersivo e poco documentato. Si è arrivati alla teorizzazione delle trasformazioni delle strutture attraverso l’utilizzo del loro parser su frasi in lingua inglese con struttura simile all’italiano. Si è poi verificata la correttezza applicando le teorie formulate sulla treebank italiana. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 18. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Progetto di tesi Problematiche relative alle specifiche delle Stanford Dependencies Si sono riscontrate difficoltà nel capire come venivano effettuate le manipolazioni delle strutture delle frasi nelle varie versioni, in quanto l’unica documentazione disponibile è un manuale descrittivo e non tecnico delle specifiche. Non è stato d’aiuto neppure leggere il codice del loro progetto in quanto troppo vasto, dispersivo e poco documentato. Si è arrivati alla teorizzazione delle trasformazioni delle strutture attraverso l’utilizzo del loro parser su frasi in lingua inglese con struttura simile all’italiano. Si è poi verificata la correttezza applicando le teorie formulate sulla treebank italiana. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 19. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Schema a dipendenze annotate secondo le Stanford Dependencies Parser di Stanford e versioni dell’output Il parser di Stanford offre la possibilità di generare l’output in una versione fra cinque disponibili. A seconda delle versioni, vengono effettuate diverse manipolazioni sulla struttura iniziale della frase, che si schematizzano come segue: Basic: non effettua alcuna manipolazione. Collapsed: la struttura ottenuta è un grafo orientato, in cui le dipendenze che riguardano preposizioni, congiunzioni, soggetti esterni di frasi subordinate e pronomi di frasi relative, sono fuse (collapsed) insieme al fine di ottenere dipendenze dirette fra token “pieni”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 20. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Schema a dipendenze annotate secondo le Stanford Dependencies Parser di Stanford e versioni dell’output Il parser di Stanford offre la possibilità di generare l’output in una versione fra cinque disponibili. A seconda delle versioni, vengono effettuate diverse manipolazioni sulla struttura iniziale della frase, che si schematizzano come segue: Basic: non effettua alcuna manipolazione. Collapsed: la struttura ottenuta è un grafo orientato, in cui le dipendenze che riguardano preposizioni, congiunzioni, soggetti esterni di frasi subordinate e pronomi di frasi relative, sono fuse (collapsed) insieme al fine di ottenere dipendenze dirette fra token “pieni”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 21. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Schema a dipendenze annotate secondo le Stanford Dependencies Parser di Stanford e versioni dell’output Collapsed and propagated: la struttura ottenuta è ancora un grafo orientato, in cui le dipendenze sono modificate come nella versione “collapsed” e in più, quando è presente una relazione di congiunzione, si propagano le dipendenze che riguardano il primo congiunto su tutti gli altri. Collapsed preservando la struttura ad albero: la struttura ottenuta è un albero, in cui solo le dipendenze che riguardano preposizioni e congiunzioni sono fuse insieme. No collapsed: la struttura ottenuta è un grafo orientato, in cui si aggiungono dipendenze che esplicitano il pronome relativo di una frase relativa e il soggetto esterno di una frase subordinata, non mostrate nella versione “basic” in quanto “rompevano” la struttura ad albero. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 22. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Schema a dipendenze annotate secondo le Stanford Dependencies Parser di Stanford e versioni dell’output Collapsed and propagated: la struttura ottenuta è ancora un grafo orientato, in cui le dipendenze sono modificate come nella versione “collapsed” e in più, quando è presente una relazione di congiunzione, si propagano le dipendenze che riguardano il primo congiunto su tutti gli altri. Collapsed preservando la struttura ad albero: la struttura ottenuta è un albero, in cui solo le dipendenze che riguardano preposizioni e congiunzioni sono fuse insieme. No collapsed: la struttura ottenuta è un grafo orientato, in cui si aggiungono dipendenze che esplicitano il pronome relativo di una frase relativa e il soggetto esterno di una frase subordinata, non mostrate nella versione “basic” in quanto “rompevano” la struttura ad albero. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 23. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Schema a dipendenze annotate secondo le Stanford Dependencies Parser di Stanford e versioni dell’output Collapsed and propagated: la struttura ottenuta è ancora un grafo orientato, in cui le dipendenze sono modificate come nella versione “collapsed” e in più, quando è presente una relazione di congiunzione, si propagano le dipendenze che riguardano il primo congiunto su tutti gli altri. Collapsed preservando la struttura ad albero: la struttura ottenuta è un albero, in cui solo le dipendenze che riguardano preposizioni e congiunzioni sono fuse insieme. No collapsed: la struttura ottenuta è un grafo orientato, in cui si aggiungono dipendenze che esplicitano il pronome relativo di una frase relativa e il soggetto esterno di una frase subordinata, non mostrate nella versione “basic” in quanto “rompevano” la struttura ad albero. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 24. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Sinossi delle operazioni dello script Sinossi delle operazioni dello script Per ogni frase all’interno del file, il procedimento di base dello script si suddivide nelle seguenti operazioni: leggere la frase; creare una struttura dati a grafo per poterne memorizzare le informazioni; manipolare tale struttura a seconda della versione di output scelta; visualizzare la struttura manipolata come triple; così fino al termine del file. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 25. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Sinossi delle operazioni dello script Sinossi delle operazioni dello script Per ogni frase all’interno del file, il procedimento di base dello script si suddivide nelle seguenti operazioni: leggere la frase; creare una struttura dati a grafo per poterne memorizzare le informazioni; manipolare tale struttura a seconda della versione di output scelta; visualizzare la struttura manipolata come triple; così fino al termine del file. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 26. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Sinossi delle operazioni dello script Sinossi delle operazioni dello script Per ogni frase all’interno del file, il procedimento di base dello script si suddivide nelle seguenti operazioni: leggere la frase; creare una struttura dati a grafo per poterne memorizzare le informazioni; manipolare tale struttura a seconda della versione di output scelta; visualizzare la struttura manipolata come triple; così fino al termine del file. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 27. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Sinossi delle operazioni dello script Sinossi delle operazioni dello script Per ogni frase all’interno del file, il procedimento di base dello script si suddivide nelle seguenti operazioni: leggere la frase; creare una struttura dati a grafo per poterne memorizzare le informazioni; manipolare tale struttura a seconda della versione di output scelta; visualizzare la struttura manipolata come triple; così fino al termine del file. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 28. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Sinossi delle operazioni dello script Sinossi delle operazioni dello script Per ogni frase all’interno del file, il procedimento di base dello script si suddivide nelle seguenti operazioni: leggere la frase; creare una struttura dati a grafo per poterne memorizzare le informazioni; manipolare tale struttura a seconda della versione di output scelta; visualizzare la struttura manipolata come triple; così fino al termine del file. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 29. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Esempi di manipolazioni sulla struttura delle frasi Esempi di manipolazioni sulla struttura delle frasi mangia Andrea mela nsubj dobj una det e cc pera una det conj (a) Versione “basic” mangia Andrea mela nsubj dobj una det pera una det conj_e (b) Versione “collapsed” mangia Andrea mela nsubj dobj una det pera una det conj_e dobj (c) Versione “collapsed and propagated” Figura: Schema a dipendenze relativo alla frase “Andrea mangia una mela e una pera”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 30. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Esempi di manipolazioni sulla struttura delle frasi Esempi di manipolazioni sulla struttura delle frasi va Roberto al nsubj prep mare pobj e cc in montagna pobj conj (a) Versione “basic” va Roberto mare nsubj prep_a montagna va' prep_in conj_e (b) Versione “collapsed” Figura: Schema a dipendenze relativo alla frase “Roberto va al mare e in montagna”. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 31. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Caratteristiche dello script Caratteristiche dello script L’algoritmo esegue tutte le manipolazioni sulla struttura visitando ogni nodo una sola volta. Le relazioni di dipendenza che riguardano la punteggiatura non vengono visualizzate nell’output finale: per questo motivo, durante la creazione della struttura non vengono inserite. Lo script verrà principalmente utilizzato su file prodotti dal parser ed è in grado di segnalare errori di struttura delle frasi attraverso un file in cui si annota la riga del corpus in cui si è rilevato il problema ed il tipo di problema. Lo script funziona indipendentemente dalla lingua in quanto le dipendenze effettivamente manipolate (come congiunzioni, preposizioni, etc.) sono trasversali a più lingue. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 32. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Caratteristiche dello script Caratteristiche dello script L’algoritmo esegue tutte le manipolazioni sulla struttura visitando ogni nodo una sola volta. Le relazioni di dipendenza che riguardano la punteggiatura non vengono visualizzate nell’output finale: per questo motivo, durante la creazione della struttura non vengono inserite. Lo script verrà principalmente utilizzato su file prodotti dal parser ed è in grado di segnalare errori di struttura delle frasi attraverso un file in cui si annota la riga del corpus in cui si è rilevato il problema ed il tipo di problema. Lo script funziona indipendentemente dalla lingua in quanto le dipendenze effettivamente manipolate (come congiunzioni, preposizioni, etc.) sono trasversali a più lingue. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 33. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Caratteristiche dello script Caratteristiche dello script L’algoritmo esegue tutte le manipolazioni sulla struttura visitando ogni nodo una sola volta. Le relazioni di dipendenza che riguardano la punteggiatura non vengono visualizzate nell’output finale: per questo motivo, durante la creazione della struttura non vengono inserite. Lo script verrà principalmente utilizzato su file prodotti dal parser ed è in grado di segnalare errori di struttura delle frasi attraverso un file in cui si annota la riga del corpus in cui si è rilevato il problema ed il tipo di problema. Lo script funziona indipendentemente dalla lingua in quanto le dipendenze effettivamente manipolate (come congiunzioni, preposizioni, etc.) sono trasversali a più lingue. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 34. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Caratteristiche dello script Caratteristiche dello script L’algoritmo esegue tutte le manipolazioni sulla struttura visitando ogni nodo una sola volta. Le relazioni di dipendenza che riguardano la punteggiatura non vengono visualizzate nell’output finale: per questo motivo, durante la creazione della struttura non vengono inserite. Lo script verrà principalmente utilizzato su file prodotti dal parser ed è in grado di segnalare errori di struttura delle frasi attraverso un file in cui si annota la riga del corpus in cui si è rilevato il problema ed il tipo di problema. Lo script funziona indipendentemente dalla lingua in quanto le dipendenze effettivamente manipolate (come congiunzioni, preposizioni, etc.) sono trasversali a più lingue. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 35. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Conclusioni Risultati ottenuti Lo script ha contribuito al rilevamento di errori nella treebank ISDT, dovuti all’annotatore umano o a casi particolari non trattati nelle successive conversioni che ha subito il corpus. L’analisi effettuata sulle SD ha contribuito alla comprensione del problema e al raffinamento della risorsa gold ISDT. Il software sviluppato ha dimostrato buone performance nell’elaborare il risultato finale, grazie all’algoritmo one-pass ideato. Limitatamente ai test effettuati su file in input, scritti in formato CoNLL corretto, l’algoritmo ha dimostrato un’ottima resistenza agli errori. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 36. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Conclusioni Risultati ottenuti Lo script ha contribuito al rilevamento di errori nella treebank ISDT, dovuti all’annotatore umano o a casi particolari non trattati nelle successive conversioni che ha subito il corpus. L’analisi effettuata sulle SD ha contribuito alla comprensione del problema e al raffinamento della risorsa gold ISDT. Il software sviluppato ha dimostrato buone performance nell’elaborare il risultato finale, grazie all’algoritmo one-pass ideato. Limitatamente ai test effettuati su file in input, scritti in formato CoNLL corretto, l’algoritmo ha dimostrato un’ottima resistenza agli errori. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 37. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Conclusioni Risultati ottenuti Lo script ha contribuito al rilevamento di errori nella treebank ISDT, dovuti all’annotatore umano o a casi particolari non trattati nelle successive conversioni che ha subito il corpus. L’analisi effettuata sulle SD ha contribuito alla comprensione del problema e al raffinamento della risorsa gold ISDT. Il software sviluppato ha dimostrato buone performance nell’elaborare il risultato finale, grazie all’algoritmo one-pass ideato. Limitatamente ai test effettuati su file in input, scritti in formato CoNLL corretto, l’algoritmo ha dimostrato un’ottima resistenza agli errori. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 38. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Conclusioni Risultati ottenuti Lo script ha contribuito al rilevamento di errori nella treebank ISDT, dovuti all’annotatore umano o a casi particolari non trattati nelle successive conversioni che ha subito il corpus. L’analisi effettuata sulle SD ha contribuito alla comprensione del problema e al raffinamento della risorsa gold ISDT. Il software sviluppato ha dimostrato buone performance nell’elaborare il risultato finale, grazie all’algoritmo one-pass ideato. Limitatamente ai test effettuati su file in input, scritti in formato CoNLL corretto, l’algoritmo ha dimostrato un’ottima resistenza agli errori. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 39. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Conclusioni Sviluppi futuri Nell’ottica di contribuire in maniera attiva al processo di conversione da MIDT a ISDT, il presente progetto si propone anche come un’importante ausilio nell’estrazione di informazioni e nelle applicazioni in ambito dell’IE. Lo script verrà integrato nella pipeline linguistica TANL ed è rilasciato, così come le risorse, con licenza Creative Commons. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 40. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Conclusioni Sviluppi futuri Nell’ottica di contribuire in maniera attiva al processo di conversione da MIDT a ISDT, il presente progetto si propone anche come un’importante ausilio nell’estrazione di informazioni e nelle applicazioni in ambito dell’IE. Lo script verrà integrato nella pipeline linguistica TANL ed è rilasciato, così come le risorse, con licenza Creative Commons. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 41. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Bibliografia Giuseppe Attardi, Experiments with a Multilanguage Non-Projective Dependency Parser, 2006. Cristina Bosco, Simonetta Montemagni and Maria Simi, Converting Italian Treebanks: Towards an Italian Stanford Dependency Treebank, figurerà in “The 7th Linguistic Annotation Workshop & Interoperability with Discourse”, Sofia, agosto 2013. Cristina Bosco, Simonetta Montemagni and Maria Simi, Harmonization and Merging of two Italian Dependency Treebanks, 2012. Sabine Buchholz and Erwin Marsi, CoNLL-X shared task on Multilingual Dependency Parsing, 2006. Katri Haverinen, Filip Ginter, Sampo Pyysalo and Tapio Salakoski, Accurate Conversion of Dependency Parses: Targeting the Stanford Scheme. Sandra Kübler, Ryan McDonald and Joakim Nivre, Dependency Parsing, 2009. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies
- 42. Introduzione Sinossi del progetto Algoritmo Conclusioni Bibliografia Bibliografia Marie-Catherine de Marneffe and Christopher D. Manning, Stanford typed dependencies manual, 2008. Marie-Catherine de Marneffe and Christopher D. Manning, The Stanford typed dependencies representation, 2008. Marie-Catherine de Marneffe, Bill MacCartney and Christopher D. Manning, Generating Typed Dependency Parses from Phrase Structure Parses, 2006. Sampo Pyysalo, Filip Ginter, Katri Haverinen, Veronika Laippala, Juho Heimonen and Tapio Salakoski, On the unification of syntactic annotations under the Stanford dependency scheme: A case study on BioInfer and GENIA, 2007. Colorless green ideas sleep furiously, http://g2discs.wikispaces.com. Roberta Montefusco Università di Pisa - Tesi di Laurea Triennale Da MIDT ad una treebank italiana annotata secondo lo standard delle Stanford Dependencies