Web 2020 05/12: Modelarea datelor. Familia XML. Extragerea datelor cu XPath. Validări via DTD

Dr.SabinBuragaprofs.info.uaic.ro/~busaco/
Tehnologii Web
un model de date pentru Web
familia XML
knowyourmeme.com/memes/fake-html-tags
Dr. Sabin Corneliu Buraga – profs.info.uaic.ro/~busaco/

„Esențialul în lumânare nu este ceara
ce lasă urma, ci lumina.”
Antoine de Saint-Exupéry

Cum modelăm (reprezentăm) datele?

datele: mai importante ca aplicațiile
Procesare
(algoritmi)
Date proprietare
(baze de date,
suite de birou)
Publicarea
datelor
pe Web
(HTML)
Modelare
(semi)
structurată
(XML, JSON)
Modelare
conceptuală
(RDF, OWL)
1945—1970 2000—20031994—20001970—1994 2003—
“Data is less
important
than code”
“Data is as
important
as code”
“Data is more
important
than code”
evoluția conceptului de „dată”
(adaptare după Daconta et al., 2003)
pre-Web Web clasic Web social Web-ul datelor
open data

preliminarii
Ce model de reprezentare a datelor
alegem pentru…
stocarea datelor eterogene ce provin din surse multiple?
informații care evoluează în timp?
reprezentarea limbajului natural?

preliminarii
Dorim să modelăm și să procesăm date
privitoare la
antologii de poezii
cataloage de produse ale unui e-shop
depozite de rețete gastronomice
chestionare
rețele sociale
…

preliminarii
Necesități:
un limbaj de marcare explicită a informațiilor
datele dorite a fi modelate pot fi practic
nelimitate (unbound) și necunoscute
nu există a-priori un vocabular/schemă comun(ă)

preliminarii
Necesități:
datele trebuie să poată fi auto-explicative
(self-explanatory)
ce reprezintă triplul ("Sabin", "Buraga", 30374) ?

preliminarii
Necesități:
modelul adoptat să se preteze arhitecturilor
navigaționale actuale, bazate pe hipertext
suport pentru specificarea URI/IRI-urilor

preliminarii
Documente:
formate particulare vs. formate generice
codificare generică (’60):
procedurală – apeluri de proceduri
bazată pe marcatori (markups)

preliminarii
GenCode – Stanley Rice, Norman Scharpf

GML (Generalized Markup Language)
Charles Goldfarb et al. (IBM)
definirea formală a tipurilor de documente

SGML (Standard Generalized Markup Language)
standard ISO 8879 (1986)

preliminarii: definiții
Marcaj – adnotare, codare, markup
orice acțiune de a interpreta explicit
o porțiune de text (conținut)

exemplificări:
semnele de punctuație pentru limbile scrise,
deliminatorii folosiți în codul-sursă
marcaje
speciale

Limbaj de specificare (de adnotare, de marcare)
markup language
set de convenții de marcare
utilizate pentru codificarea datelor

Limbaj de specificare (de adnotare, de marcare)
definește mulțimea de marcaje obligatorii,
modul de identificare și de structurare a marcajelor
pe baza unei/unor specificații (i.e. gramatici)

xml
Extensible Markup Language
meta-limbaj de marcare derivat din SGML
standard W3C (1998, 2000, 2004, 2006, 2008)
www.w3.org/TR/xml/
Tim Bray, XML is 20, 2018
www.xml.com/articles/2018/02/10/xml-20/

xml
o tehnologie +
o familie de limbaje
www.w3.org/standards/xml/

xml: caracterizare
Marcaje descriptive
<para>
<img />
<response>
<Person>
<tag>
<meta charset="utf-8" />

xml: caracterizare
Tipuri de documente
Document Type Definition (DTD)
specificare formală a tipurilor de documente
(constituienți + structură)
folosește la verificarea corectitudinii sintactice

xml: caracterizare
Independența datelor
suport pe orice platformă hardware/software
procesoare XML disponibile
pentru toate limbajele de programare

xml: trăsături
Meta-limbaj
capabil a defini alte limbaje de marcare
extinderea marcajelor
portabil
independent de codificare/limbă via Unicode

xml: trăsături
Soluție pentru reprezentarea conținutului
resurselor Web identificate de URI/IRI
asigurarea inter-operabilității (lingua franca)
documents are data

xml: constituienți
Prolog (preambul)
Elemente
Atribute
Entități
Secțiuni CDATA
Instrucțiuni de procesare

xml: prolog
Declarație care specifică versiunea
și codificarea documentului
<?xml version="1.0"
encoding="UTF-8"
?>
atribut
obligatoriu
atribut
opțional
trebuie să apară o singură dată la începutul documentului

xml: elemente
Element = componentă structurală (unitate-text)

xml: elemente
Element = componentă structurală (unitate-text)
nume – identifică un element
sintaxă similară cu cea a identificatorilor de variabile
produs

xml: elemente
Sintactic, un element este specificat
via marcatori (tag-uri) – de început și de sfârșit
<produs>Ping Uinix</produs>
tag de început
(start tag)
tag de sfârșit
(end tag)

xml: elemente
Case sensitive
<marcaj>  <Marcaj>  <MARCAJ>

xml: elemente
Un element poate avea conținut vid
(empty element)
<produs></produs>
sintaxa prescurtată:
<produs />

xml: elemente
exemple reale – specificația HTML:
<br />
<meta />
<track />
<input />

xml: elemente

<Form>
<Form.Row>
<Form.Label />
<Form.Input />
</Form.Row>
</Form>
facebook.github.io/jsx/

xml: modele ale conținutului
Model structural
desemnează relațiile dintre elemente:
secvență, ierarhie, grupare, incluziune

Elemente imbricate în alte elemente
(pot conține date textuale și/sau alte elemente)
<produs>
Ping Uinix este o mascotă
<obs>policromă</obs>
care se vinde
<obs>foarte rapid</obs>.
</produs>
<produs> (nod părinte)
include text și elemente
<obs> (noduri copil)

<article>
<section>
<ul>
<li><strong>Stagii pe bune</strong></li>
<li>Exercism.io</li>
<li>Code Golf</li>
</ul>
</section>
</article>
grupare

<article>
<section>
<ul>
<li><strong>Stagii pe bune</strong></li>
<li>Exercism.io</li>
<li>Code Golf</li>
</ul>
</section>
</article>
secvență
ierarhie

Elementele trebuie să fie închise
și să se împerecheze corect
<div><q>We don't need no education</div></q>
greșit!

<?xml version="1.0" ?>
<antologie>
<poem>
<titlu>...</titlu>
<strofa>
<vers>…</vers>
<vers>…</vers>
…
</strofa>
</poem>
<poem>
<titlu />
</poem>
<poem>

</poem>
</antologie>
preambul
document XML
modelând o antologie
de poezii

<?xml version="1.0" encoding="UTF-8"?>
<produse>
<produs>
<nume>Ping Uinix</nume>
<ofertant>http://www.pinguin.info</ofertant>
<promo>Mascota lunii</promo>
</produs>
<produs>

<nume>Blue Ory</nume>
<descriere />
</produs>
<produs>
<nume>⌚ cu gust de 🍎</nume>
</produs>
</produse>
un posibil catalog de produse în cadrul unui e-shop
date semi-structurate

flexibilitate

xml: atribute
Atribut
descrie o anumită proprietate (caracteristică)
a unei apariții particulare a unui element

xml: atribute
Atributele apar doar în marcajul de început
<antologie stare= "ciorna" data="2020-03-26">
...
</antologie>
<student matricol="TuPi33">
<nume initiala= "I">Tuxy Pinguinescu</nume>
</student>

xml: atribute
Atributele pot fi specificate în orice ordine
<Button id="@+id/sync_settings" text="@android:string/ok" />
≡
<Button text="@android:string/ok" id="@+id/sync_settings" />
exemplu concret:
android.googlesource.com/platform/packages/apps/Calendar/

xml: atribute
Numele atributelor este case sensitive
<img src="..." />

<img SRC="..." />

xml: atribute
Valorile atributelor trebuie să fie delimitate
obligatoriu de ghilimele sau apostrofuri
atributele fără valoare nu sunt acceptate

xml: atribute
<form action=procesare.php method="GET'>
<label for=căutare">Caută:</label>
<input default type=search placeholder= /></form>
eronat!

<game>
<title>Angry Profs</title>
<platform type="tablet">Android</platform>
<platform min-version="9" type="tablet">iOS</platform>
<platform min-version="10">Windows</platform>
<url>…</url>
<player>
<identity>
<first-name>Sabin</first-name>
<last-name>Buraga</last-name>

</identity>
<points>30374</points>
…
</player>
</game>
date XML referitoare la un joc electronic

codebeautify.org/online-xml-editor
vizualizarea structurii ierarhice
a datelor XML

xml: referințe la entități
Scop:
codificare și referențiere a unei părți de document
sintaxă:
&identificator;
sau
&#număr;

xml: referințe la entități
Entități predefinite – similare celor de la HTML:
< (<) > (>) & (&) " (")
Entități (referințe) de tip caracter:
  (non-breaking space –   pentru HTML)
ă („ă” – setul de caractere ISO-8859-2 și Unicode)
❀ (simbolul „❀” – Unicode)

xml: secțiuni
Anumite părți din documente necesită
procesări speciale
CDATA – inhibă procesarea XML

xml: instrucțiuni de procesare
Includ informații privitoare la aplicațiile (externe)
care urmează a fi invocate
pentru procesarea conținutului
<?processing-instruction ... ?>

xml: instrucțiuni de procesare
<script>
<?php
echo "<p>Salut!n</p>";
?>
</script>
procesorul XML ar putea invoca, la nivel de server,
interpretorul PHP pentru a executa programul

Exemplificare:
asocierea unei foi de stiluri CSS
pentru redarea conținutului unui document XML
<?xml-stylesheet type="text/css" href="stiluri.css" ?>
/* formatarea datelor XML despre un joc electronic */
* { display: block; font-family: sans-serif; }
game { margin: 2em; }
title { font-size: 2em; font-weight: bold; color: navy; }
platform { display: inline; font-size: 0.9em; color: gray; }
identity::before { content: "User: "; }
first-name, last-name { display: inline; font-style: italic; }
url, points { display: none; }

xml: procesarea spațiilor
Spațiile albe – e.g., spațiu, TAB, caracterele NL (New Line)
sau CR (Carriage Return) – nu au nicio semnificație
<VisualAsset id="obiectObservabil">
<enabled>true</enabled>
<zOrder>0</zOrder>
<Orientation>
<roll>90</roll>
<tilt>90</tilt>
<heading>90</heading>
</Orientation>
</VisualAsset>
<VisualAsset id="obiectObservabil">
<enabled>true</enabled><zOrder>0
</zOrder><Orientation><roll>90</roll>
<tilt>90</tilt><heading>90</heading>
</Orientation></VisualAsset>
≡
marcaje ARML (Augmented Reality Markup Language)

xml: privire de ansamblu
un document XML e compus din
tipuri de noduri: elemente, atribute,
comentarii, instrucțiuni de procesare,
definiția tipului de document (DTD)

xml: privire de ansamblu
tag de finaltag de început
nod de tip comentariu
instrucțiune de procesare
nod de tip text
(characters)
nod de tip atribut
preambul
un document XML e compus din
tipuri de noduri: elemente, atribute,
comentarii, instrucțiuni de procesare,
definiția tipului de document (DTD)

xml: familia
XML (Extensible Markup Language)
sintaxa
XML Information Set – Infoset
modelul (abstract) de date XML
XLL (Extensible Linking Language)
XLink – legături între documente
XPointer – localizare relativă a resurselor
XSL (Extensible Stylesheet Language)
transformări și formatări: XSLT + XSL-FO
XQuery (împreună cu XPath)
interogarea datelor XML

xml: aplicabilitate
Structurarea/formatarea conținutului
(formate de prezentare a datelor)
în navigatorul Web: (X)HTML (Extensible HTML), HTML5
www.w3.org/TR/html/
grafică vectorială: SVG (Scalable Vector Graphics)
www.w3.org/Graphics/SVG/

xml: aplicabilitate
Reprezentarea diferitelor tipuri de conținut
expresii matematice: MathML
www.w3.org/Math/
date multimedia sincronizate:
SMIL (Synchronized Multimedia Integration Language)
www.w3.org/TR/SMIL/

xml: aplicabilitate
informații vocale: VoiceXML
www.voicexml.org
informații cartografice: KML (Keyhole Markup Language)
developers.google.com/kml/
date hidrologice: WaterML
www.opengeospatial.org

xml: aplicabilitate
componente ale interfeței-utilizator:
Android User Interface Layouts
developer.android.com/guide/topics/ui/declaring-layout
FXML (JavaFX)
github.com/mhrimaz/AwesomeJavaFX
Glade XML pentru GTK+ (GNOME)
github.com/GNOME/glade
XAML (Extensible Application Markup Language)
docs.microsoft.com/en-us/windows/uwp/xaml-platform/

xml: aplicabilitate
documentații: DocBook (Documentation Book)
docbook.org
date prelucrate de suite de birou – e.g., Open Office:
ODF (Open Document Format)
docs.oasis-open.org/office/v1.2/OpenDocument-v1.2.html

xml: aplicabilitate
mediatizare (Web syndication) – fluxuri de știri:
RSS (Really Simple Syndication)
www.rssboard.org/rss-specification
Atom Syndication Format
tools.ietf.org/html/rfc4287
publicații electronice (e-books): EPUB
www.w3.org/community/epub3/

xml: aplicabilitate
informații medicale (EHR – Electronic Health Records)
HL7: www.hl7.org/implement/standards/
afaceri electronice
FpML–Financial products Markup Language: www.fpml.org
informații guvernamentale
NIEM–National Information Exchange Model: niem.github.io

xml: aplicabilitate
Descrierea serviciilor Web
serializarea datelor transmise conform RPC:
XML-RPC (XML Remote Procedure Calls)
descrierea serviciilor:
WSDL (Web Service Description Language)
exprimarea protocolului de transfer: SOAP
modelarea proceselor de afaceri via servicii Web:
BPEL4WS
(Business Process Execution Language for Web Services)
într-un
curs viitor

xml: aplicabilitate – alte domenii
BeerXML
BDML (Biological Dynamics Markup Language)
CAP (Common Alerting Protocol)
CML (Chemical Markup Language)
COLLADA (COLLAborative Design Activity)
DFXML (Digital Forensics XML)
GPX (GPS Exchange Format)
MEI (Music Encoding Initiative)
RTML (Remote Telescope Markup Language)
SSML (Speech Synthesis Markup Language)
STAR (Standards for Technology in Automotive Retail)
TEI (Text Encoding Initiative)

xml: instrumente
Analizoare (procesoare, parsers)
Apache Xerces, Expat, libxml, MSXML,…
Vizualizatoare și editoare structurale
browser Web, Open Office, <oXygen/>, Visual Studio (Code)
Formatatoare – e.g., procesoare XSLT/XSL-FO
AH Formatter, FOP, Saxon, Xalan, XEP
Sisteme de gestiune a bazelor de date XML
BaseX, eXistdb, MarkLogic

(în loc de) pauză

Dacă alegem nume de marcatori/atribute
deja definite de alte limbaje bazate pe XML?

xml: spații de nume
<event uri="https://stagiipebune.ro/">
<name xml:lang="ro">Stagii pe Bune</name>
<year>2020</year>
</event>
<participant>
<name uri="mailto:tux@info.uaic.ro">
Tuxy Pinguinnesscool</name>
<year kind="Bachelor">2</year>
</participant>

<event uri="https://stagiipebune.ro/">
<name xml:lang="ro">Stagii pe Bune</name>
<year>2020</year>
</event>
<participant>
<name uri="mailto:tux@info.uaic.ro">
Tuxy Pinguinnesscool</name>
<year kind="Bachelor">2</year>
</participant>
?
conflict!

Spațiu de nume
desemnează un vocabular utilizat
pentru calificarea – în mod unic –
a elementelor/atributelor XML

Vocabularul definit – colecție de nume
de elemente și atribute, plus maniera lor de
structurare – poate fi desemnat de un URI

Vocabularul definit poate fi desemnat de un URI
atributul xmlns specifică acest URI,
atașând opțional un identificator unic
fiecărui vocabular folosit
specificație W3C (2009)
www.w3.org/TR/xml-names/

<?xml version="1.0"?>
<c:calendars xmlns:c="http://www.calendar.info">
<e:participant xmlns:s="http://www.info.uaic.ro/Students/"
xmlns:e="http://www.info.uaic.ro/Events/">
<s:name>Tuxy Pinguinnescool</s:name>
<s:year s:kind="Bachelor">2</s:year>
<c:calendar>
<e:event xml:id="SpB">
<e:name xml:lang="ro">Stagii pe Bune</e:name>
<e:year>2020</e:year>
</e:event>
<e:event xml:id="GSoC" />
</c:calendar>
</e:participant>
</c:calendars>
fără conflicte!
de studiat exemplele din arhiva
asociată acestei prezentări

xml: spații de nume – exemple
Vocabularul HTML: http://www.w3.org/1999/xhtml
Vocabularul documentelor XML Sitemaps:
http://www.sitemaps.org/schemas/sitemap/0.9
Vocabularul tipurilor de date XML Schema:
http://www.w3.org/2001/XMLSchema
Spațiul de nume corespunzător aplicațiilor Android:
http://schemas.android.com/apk/res/android

Studiu de caz:
includerea în documentele HTML
a unor construcții provenite din alte limbaje XML
exemplificare:
SVG (Scalable Vector Graphics)
www.w3.org/TR/SVG/
developer.mozilla.org/docs/Web/SVG
github.com/willianjusten/awesome-svg

<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head><title>HTML + SVG</title></head>
<body>
<h1>SVG într-o pagină Web</h1>

<svg width="500" height="200" xmlns="http://www.w3.org/2000/svg">

<rect x="50" y="50" rx="7" ry="7" style="width: 90%; height: 150px;
fill: #00CCEE; stroke: black;"/>

<text x="70" y="90" style="fill: gray; stroke: black; font-size: 32pt;">
SVG direct în browser...</text>

<circle cx="400" cy="150" r="33" style="fill: yellow;" />
</svg>
<p>De utilizat un navigator Web oferind suport nativ pentru SVG.</p>
</body>
</html>

vizualizarea în navigatorul Web a ilustrației SVG
via instrumentul JS Bin

redarea conținutului grafic vectorial SVG
Firefox
la nivel de desktop
(Windows 10)
Safari pe platforma
mobilă iOS 13 (iPhone)

<rect x="1cm" y="1cm" width="6cm" height="1cm" round="1em"
fill="url(#aGradient)" />

<use x="40" y="40" xlink:href="#aRectangle" />
<use x="100" y="80" xlink:href="#aRectangle" filter="url(#visualFilter)" />
<use x="160" y="80" xlink:href="#aRectangle" fill-opacity="0.33" />
<use x="220" y="80" xlink:href="#aRectangle" />

<text fill="red">

<textPath xlink:href="#aPath">❤ Web ★</textPath>
</text>
</svg>
C. Bulancea & S. Buraga (2004, 2014)

În ce mod pot fi accesate datele stocate
de un document XML?

xsl: xpath
XPath 1.0
recomandare a Consorțiului Web (1999)
versiuni ulterioare:
XPath 2 (2010), XPath 3 (2014, 2017)
www.w3.org/TR/xpath/all/

xsl: xpath
XPath 1.0
adresează părți dintr-un document XML
oferă facilități de bază pentru manipularea datelor
(șiruri, numere,…)
operează la nivelul structurii abstracte
a documentelor XML (arborele)

xsl: xpath
expresia XPath – construcție de bază
evaluarea se realizează în funcție de context:
un nod al documentului XML
poziție
o funcție (predefinită sau specificată de programator)
o declarație a unui spațiu de nume

xsl: xpath
expresia XPath – construcție de bază
în urma evaluării expresiei, e oferit un obiect:
o mulțime de noduri (node-set)
o valoare logică – true/false
un număr (float)
un șir de caractere

xsl: xpath – operatori
Descendent /
/html/body/article
/game/platform

Traversare recursivă //
//platform
//div/a
nodurile-copil sunt traversate în ordinea dată de
algoritmul DFS (depth-first search)

Wildcard *
selectează toate elementele copil ale nodului
aflat în contextul curent (context node)
/game/*/identity
player/*

/html/body/*/div
evaluarea expresiilor XPath
în consola browser-ului Web
via obiectul $x

Nodul curent .
./player

Atribut @
platform/@min-version
table/@*

Spațiu de nume :
svg:*

evaluarea expresiei //svg:* conduce la obținerea a 4 noduri:
<svg:svg xmlns:svg="http://www.w3.org/2000/svg" …><svg:rect …/>…</svg:svg>
<svg:rect xmlns:svg="http://www.w3.org/2000/svg" …/>
<svg:text xmlns:svg="http://www.w3.org/2000/svg" …>SVG</svg:text>
<svg:circle xmlns:svg="http://www.w3.org/2000/svg" …/>
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml" xmlns:svg="http://www.w3.org/2000/svg">
<head><title>HTML + SVG</title></head>
<body>
<h1>HTML + SVG</h1>

<svg:svg width="500" height="200">
<svg:rect …/>
<svg:text …>SVG</svg:text>
<svg:circle cx="400" cy="150" r="33" style="fill: yellow;" />
</svg:svg>
<p>De utilizat un navigator Web oferind suport nativ pentru SVG.</p>
</body>
</html>

Filtru/index [ ]
/game/platform[2]
//li[@class = "lab"]
forma generală: [expresie]

13 noduri <li> (de tip Element) având ca valoare
a atributului class șirul de caractere "lab"
//li[@class = "lab"]

Pentru valori logice și numerice pot fi folosiți
operatorii uzuali:
or and = != <= < >= >
+ - * div mod
comparațiile de șiruri sunt case sensitive

xsl: xpath – axe
Nodul curent (context node) self
Nodul părinte parent
Nodurile copil child
Nodurile descendente descendant
Nodurile de tip atribut attribute
Nodurile spațiilor de nume namespace

xsl: xpath – axe
Nodurile ascendente ancestor
Nodurile ascendente
ori nodul curent ancestor-or-self
Nodurile descendente
ori nodul curent descendant-or-self

Ce rezultat oferă expresiile XPath?
//section/descendant::aside
//section/descendant::*

xsl: xpath – axe
folosind axa preceding accesăm nodurile precedente
un instrument Web de testare: www.xpathtester.com/xpath
rezultatul expresiei XPath
/game/player/identity/preceding::*

xsl: xpath – sintaxa prescurtată
self  .
parent  ..
attribute  @
namespace  :
../first-name
//child::*[@min-version > 9]

xsl: xpath – funcții
Noduri: id(), position(), count(), name(),
namespace-uri(), last(), …
Tipuri de noduri: node(), text(), comment(),
processing-instruction()
Șiruri: concat(), starts-with(), contains(), substring(),
string-length(), translate(), …
Booleeni: not(), true(), false()
Numere: sum(), round(), floor(), number(), …

xsl: xpath – functions
numărarea nodurilor ce satisfac o anumită condiție
count(/game/platform[@min-version >= 9])
extensia XML Tools pentru Visual Studio Code

xsl: xpath – funcții
count(//a[@href]) = count(//a)true
toate elementele <a> includ atributul href
count(//li[@class]) = count(//li)false
există elemente <li> care nu au specificat atributul class

//*[contains(text(), "Demo")]
furnizarea tuturor nodurilor
care conțin șirul "Demo"

<projects>
<project class="M">
<title>Minunat</title>
<desc>Un proiect minunat!</desc>
<stud>3</stud>
<url>http://minunat.info/</url>
</project>
<project class="B">
<title>Minunat--</title>
<desc>Un proiect care nu e minunat...</desc>
<stud>2</stud>
</project>
</projects>
media numărului de studenți alocați per proiect:
sum(/projects/project/stud/text()) div count(/projects/project/stud)

instrumentul xmllint (folosește LibXML)
oferit de distribuțiile GNU/Linux + macOS
xmllint projects-dtd.xml
--xpath "substring(/projects/project[1]/desc/text(), 4, 7)"
<projects>
<project class="M">
<title>Minunat</title>
<desc>Un proiect minunat!</desc>
<stud>3</stud>
<url>http://minunat.info/</url>
</project>
<project class="B">
<title>Minunat--</title>
<desc>Un proiect care nu e minunat...</desc>
<stud>2</stud>
</project>
</projects>
evaluarea expresiilor XPath
direct în linia de comandă

xsl: xpath – programare
Exemplificare:
folosirea XPath pentru procesarea unui flux de știri RSS
(news feed) într-un program PHP
de consultat
arhiva

<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/">
<channel>
<title>InfoQ</title>
<link>http://www.infoq.com</link>
<description>InfoQ feed</description>
<item>
<title>Chrome 81 Release Features New AR and NFC Features,
and Redesigned HTML Form Controls</title>
<link>https://www.infoq.com/news/2020/03/chrome-81-nfc-ar-controls</link>
<pubDate>Wed, 18 Mar 2020 10:54:00 GMT</pubDate>
<description>…</description>

<category>Web Development</category>
<category>WebXR</category>
<category>User Experience</category>
<dc:creator>Bruno Couriol</dc:creator>
<dc:date>2020-03-18T10:54:00Z</dc:date>
</item>

</channel>
</rss>
structura generală a unui
flux RSS poate fi studiată la
www.rssboard.org

define ('FEED', 'https://www.infoq.com/feed'); // adresa fluxului de știri RSS
define ('XPATH', '/rss/channel/item'); // expresia XPath utilizată
// funcție ce generează o legătură HTML spre resursă,
// oferind inclusiv descrierea ei
function genLink ($url, $newsTitle, $pubDate = '', $desc = '') {
return "<section class='news'><p><a href="$url" title="$newsTitle"
>$newsTitle</a> ($pubDate)</p><div>" . $desc . "</div></section>";
}
try {
$xml = @simplexml_load_file (FEED); // încărcăm documentul XML
// baleiăm însemnările (aici, elementele <item> din RSS)
foreach ($xml->xpath (XPATH) as $news) {
echo genLink ($news->link, $news->title,
$news->pubDate, $news->description);
}
}
catch (RuntimeException $e) { echo $e->getMessage (); }

document HTML generat
pe baza datelor RSS

Cum verificăm corectitudinea datelor XML?

necesități
O cerință importantă este de a cunoaște:
elementele/atributele ce pot fi specificate
+
modul lor de structurare
e.g., ordinea, numărul minim/maxim de apariții,...

necesități
tipul conținutului
exemplu: „atributul align poate avea valorile
mutual exclusive left, right, center”

necesități
ce poate fi considerat valid și ce reprezintă eroare
exemplificare:
elementul <img> are conținut vid
(nu va putea include alte elemente)

soluție
Modelul structural se aplică unei clase de
documente XML, în vederea verificării
– via un analizor (procesor, parser XML) –
a corectitudinii instanțelor de documente
aparținând acelei clase

soluție
Apare necesitatea specificării
unui set de constrângeri asociate documentelor
XML, astfel încât datele XML să fie verificate
daca sunt valide sau nu din punct de vedere
structural ori al tipului conținutului

soluție
Modalitățile de specificare a constrângerilor recurg la:
descrieri – DTD, XML Schema
reguli – Schematron
șabloane – RELAX NG
amănunte în cartea S. Buraga, Tehnologii XML:
www.slideshare.net/busaco/sabin-buraga-tehnologii-xml

dtd
Tipuri de documente
Document Type Definition
specificare formală a tipurilor de documente
(constituienți + structură)
în spiritul
limbajelor formale

dtd
Documentele XML pot avea sau nu un DTD atașat
intern sau extern documentului XML pe care-l validează

dtd
Dacă DTD-ul lipsește, documentul trebuie
să respecte un număr minim de constrângeri
document bine formatat (well formed)

dtd
Regulile sintactice de specificare
a meta-elementelor DTD provin de la SGML
DTD-ul poate exprima structura conținutului,
indicatorii de apariție, conectorii
detalii în specificația XML: www.w3.org/TR/REC-xml

dtd
Un DTD specifică un tip de document:
<!DOCTYPE element_rădăcină [
declarații de elemente, atribute, entități,...
]>

dtd
Un DTD specifică un tip de document:
<!DOCTYPE element_rădăcină [
declarații de elemente, atribute, entități,...
]>
<!DOCTYPE projects [
...
]>
exemplu:
lista proiectelor

dtd: elemente
<!ELEMENT projects (project+)>
<!ELEMENT project (title, desc?, stud, url*)>
<!ELEMENT title (#PCDATA)>
<!ELEMENT desc (#PCDATA)>
<!ELEMENT stud (#PCDATA)>
<!ELEMENT url (#PCDATA)>
meta-
element
nume de
element
(neterminal)
conținut (neterminali / terminali)
#PCDATA, EMPTY, ANY
* + ? indicatori de apariție
, | conectori

dtd: elemente
Conținutul unui element poate fi:
un șir de caractere: date ce pot fi procesate
(#PCDATA – parsed character data)
vid (EMPTY)
orice alt marcaj/șir de caractere (ANY)

dtd: elemente
Un element poate apărea:
o singură dată – numele elementului
de oricâte ori, inclusiv niciodată (*)
măcar o dată (+)
de zero sau unu ori – i.e. opțional (?)

dtd: elemente
Ordinea apariției elementelor:
secvență (,)
alternativă (|)

dtd: atribute
<!ATTLIST projects
update CDATA #REQUIRED
>
<!ATTLIST project
class (M | B) "M"
>
tipul conținutului
CDATA, ID, ENTITY,...
enumerare de valori
elementul căruia
îi este asociat
mod de apariție
#REQUIRED
#IMPLIED
#FIXED

dtd: atribute
Conținutul unui atribut poate fi:
șir de caractere (CDATA – character data)
identificator unic (ID)
referință la un identificator (IDREF)
referință la o entitate (ENTITY)
enumerare de valori

dtd: atribute
Un atribut poate fi declarat să apară:
obligatoriu (#REQUIRED)
opțional (#IMPLIED)
fix – se folosește o valoare a-priori stabilită (#FIXED)

<!ELEMENT html (head, body)>
<!ATTLIST html
id ID #IMPLIED
xmlns CDATA #FIXED 'http://www.w3.org/1999/xhtml'>
<!ELEMENT img EMPTY>
<!ATTLIST img
src CDATA #REQUIRED
alt CDATA #REQUIRED
height CDATA #IMPLIED
width CDATA #IMPLIED>
<!ELEMENT table
(caption?, (col* | colgroup*), thead?, tfoot?, (tbody+ | tr+))>
<!ELEMENT caption #PCDATA>
<!ELEMENT thead (tr)+>
<!ELEMENT tfoot (tr)+>
<!ELEMENT tbody (tr)+>
<!ELEMENT colgroup (col)*>
<!ELEMENT col EMPTY>
<!ELEMENT tr (th | td)+>
…
fragment din DTD-ul
specificând gramatica
limbajului HTML

<!ELEMENT html (head, body)>
<!ATTLIST html
id ID #IMPLIED
xmlns CDATA #FIXED 'http://www.w3.org/1999/xhtml'>
<!ELEMENT img EMPTY>
<!ATTLIST img
src CDATA #REQUIRED
alt CDATA #REQUIRED
height CDATA #IMPLIED
width CDATA #IMPLIED>
<!ELEMENT table
(caption?, (col* | colgroup*), thead?, tfoot?, (tbody+ | tr+))>
<!ELEMENT caption #PCDATA>
<!ELEMENT thead (tr)+>
<!ELEMENT tfoot (tr)+>
<!ELEMENT tbody (tr)+>
<!ELEMENT colgroup (col)*>
<!ELEMENT col EMPTY>
<!ELEMENT tr (th | td)+>
…
fragment din DTD-ul
specificând gramatica
limbajului HTML
valoarea e fixă:
spațiul de nume HTML
nu poate fi modificat

dtd: validare
O instanță de document trebuie să aibă atașată
o declarație a tipului de document căruia îi aparține
utilizarea gramaticii (DTD-ului) public(e)
XHTML 1.0 Strict de la Consorțiul Web:
<!DOCTYPE html PUBLIC
"-//W3C//DTD XHTML 1.0 Strict//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
folosirea DTD-ului specific HTML5 cu sintaxa prescurtată
<!DOCTYPE html>

dtd: validare
O instanță de document trebuie să aibă atașată
o declarație a tipului de document căruia îi aparține
recurgerea la un DTD al sistemului local
(e.g., preluat dintr-un fișier text):
<!DOCTYPE projects SYSTEM "projects.dtd">

dtd: validare
Validarea documentului se realizează
prin intermediul unui utilitar
(exemple: OpenSP, <oXygen/>, xmllint,…)
sau analizor – procesor, parser – XML
(Apache Xerces, libxml, MSXML etc.)
apelat din linia de comandă sau invocat prin program

dtd: validare – programare
Pentru PHP se folosește metoda DOMDocument::validate
a clasei DOMDocument
www.php.net/DOMDocument.validate
vezi arhiva
cu exemple

dtd: validare
validarea unui document XML cu utilitarul xmllint
<projects>
<project class="D">
<title>Super</title>
<title/>
<desc>Un super proiect!</desc>
<stud atribut="suplimentar">
1
</stud>
<url>http://www.super.ro/</url>
</project>
</projects>
> xmllint projects-dtd.xml --valid
projects-dtd.xml:32: element project: validity error :
Value "D" for attribute class of project is not among
the enumerated set
<project class="D">
^
projects-dtd.xml:36: element stud: validity error :
No declaration for attribute atribut of element stud
<stud atribut="suplimentar">1</stud>
^
projects-dtd.xml:38: element project: validity error :
Element project content does not follow the DTD,
expecting (title , desc? , stud , url?),
got (title title desc stud url )
</project>
^

dtd: validare
validarea paginilor Web pe baza DTD-urilor
corespunzătoare versiunilor HTML – validator.w3.org

rezumat
modelarea datelor prin XML
</>
caracterizare, utilizări, spații de nume XML,
acces via XPath, validări DTD

episodul viitor:
procesarea documentelor XML/HTML cu DOM
procesorprogram
🗎
date
XML
HTML
API XML
arbore
DOM

Web 2020 05/12: Modelarea datelor. Familia XML. Extragerea datelor cu XPath. Validări via DTD

More Related Content

What's hot (20)

Similar to Web 2020 05/12: Modelarea datelor. Familia XML. Extragerea datelor cu XPath. Validări via DTD (20)

More from Sabin Buraga (20)

Web 2020 05/12: Modelarea datelor. Familia XML. Extragerea datelor cu XPath. Validări via DTD