IEB2011, Umap

IEB2011 | eu.umap.eu

eu.umap.eu

Josu Azpillaga

1


eu.umap.eu
● Ideia. Zer da umap.eu
● Tresna. Nola dabil.
● Emaitzak. Estatistika batzuk.
● Aurrera begira.


Zer da umap.eu?


eu.umap.eu tresna... proba bat


eu.umap.eu. tresna
● Tuitak jasotzea, denbora errealean
● Erabiltzaile euskaldun berriak harrapatzen
● Hizkuntza detekzioa
● Albisteak, gakohitzak


Tuitak jasotzea, denbora errealean
● Twitter. Streaming API
– http://dev.twitter.com/pages/streaming_api

● Aukerak:
– Location
– Track (keywords)
– Language and Country > users
– Limit: eskaera berezia (50000)

● X (10) minutuz behin, eskaera berritu


class Client:
    def __init__(self):
        self.buffer = u''
        self.conn = pycurl.Curl()
        self.conn.setopt(pycurl.USERPWD, "%s:%s" % (USER, PASS))
        self.conn.setopt(pycurl.URL, STREAM_URL)
        self.conn.setopt(pycurl.POSTFIELDS, urllib.urlencode(get_post_values()))
        self.conn.setopt(pycurl.WRITEFUNCTION, self.on_receive)
        try:
         self.conn.perform()
        except pycurl.error, e:
        print "Error code: ", e[0]
        print "Error message: ", e[1]

    def on_error(self, data):
        import pdb;pdb.set_trace()
        print data

    def on_receive(self, data):
        print data
        self.buffer += data
        if data.endswith("rn") and self.buffer.strip():
            content = json.loads(self.buffer)
            a = create_status_from_dic(content)

            self.buffer = ""


Erabiltzaile euskaldun berriak
harrapatzen
● Ehhhh.... algoritmo...

● Hasteko erabiltzaile multzo batekin, nahikoa
● Garbiketa ere egiten da
● Norbanakoak bai; robotak?
●
Eu... ondo; ca... ejem.


Hizkuntza detekzioa
● Aukera diferenteak
● Errazena? Google API !!!
● Onena? Google API!!!
– http://code.google.com/apis/language/

● Lizentziak ez du baimentzen. Orduan?


Hizkuntza detekzioa
LangID Textcat LID GuessLanguage
●
Test 1. eu OK % 75 % 74 % 85 % 93
Test 2. eu OK % 76 % 88 % 96 % 95

GuessLanguage erabiltzen dugu
● LangID http://langid.net/
● Text cat http://odur.let.rug.nl/~vannoord/TextCat/
● LID http://web.me.com/dcavar/LID/
● Guess Language https://code.google.com/p/guesslanguage/


Albisteak, gakohitzak
● Gakohitzak
– Hitz guztiak zenbatu eta batu
– Logika
● Hitz normala: 1 point
● Hasha: 10 point
● Tuit horrek link bat du: x1.1
● Tuit hori retuit bat da: x1.1
● ...
● Aldatu liteke!


Albisteak, gakohitzak
● Albisteak
– Link guztiak batu (ojo laburtzaileekin!)
– x minutuz behin, aipatuenak kalkulatu
– Aipatuen hoiek bisitatu eta informazio
relebantea ekarri
● OEmbed!!!!!!!!!!
● HTML parserra ;)


oEmbed vs HTML parser
http://www.youtube.com/oembed?url=http%3A//www.youtube.com/watch%3Fv%3DbDOYN
6gdRE&format=json

{"provider_url": "http://www.youtube.com/",
"title": "BRIARD ON SCOOTER - scooting dog",

vs
<h1 id="watch-headline-title">

<span id="eow-title" class="" dir="ltr" title="BRIARD ON SCOOTER - scooting dog">
BRIARD ON SCOOTER - scooting dog
</span>
</h1>
<div id="watch-headline-user-info">
<a id="watch-username" class="inline-block" rel="author" href="/user/courteous1
"><strong>courteous1</strong></a>


eu.umap.eu tresna. kodea
● Kode guztia, horratx:
– http://www.codesyntax.com/products
● cstwitterstatus
● cstwitternews
● cslanguagedetection


Emaitzak: datu batzuk
● 2010eko urritik martxan (aurreko datuak...)
● Datu orokorrak:
– Tuitak: 1.177.666 (aurrekoak beste 400.000)
– eu tuitak: 151.969 (%13)
– Erabiltzaileak: 2000tik gora jarraitzen. Eu
aktiboak? 1200 inguru... gutxiago seguraski.



● eu tuiten bat egin duten erabiltzaileak, 6

hilabetean: +%60


● 2010/11tik hona tuit kopuruaren araberako
erabiltzaileak


● 2010/11tik hona euskarazko tuit kopuruaren
araberako erabiltzaileak


● 2011 / 04. Retuitak.
● Tuitak (eu): 26.982
● Retuitak (eu): 4.109 (%15)
● Erabiltzaile retuiteatuenak (eraginkorrenak!):
berria (225), kalaportu (126), argia (108), Sustatu (82), boligorria (75), euskalherrian (71), bildueh (57),
zaldieroa (55), garanet (53), theklaneh (49), larbelaitz (48), luistxo (46), iturri (44), euskaljakintza (42),
17Korrika (41), info7irratia (40), zuzeu (40), dabidmp (36), robergutierrez (35), beaetaeneko (34), imnl (30),
gaztea (30), tropela (30), teketen (29), Karrikiri (28), birasuegi (26), euskadi_irratia (25), ameslaria (25),
EITBKultura (24), eitbcom (24), donostiakultura (24), ainhoaeus (24), baieuskarari (24), eguraldia (23),
koldocas (23), goiena (22), zerdionk (22), hedoi_etxarte (21), jonabril (21), iPtx (21), jazpillaga (21),
ueu_orokorra (20), exprai (20), GAZTEA (20), joxearanzabal (19), demonocrazy (19), IBIL2D (19), macmikel
(18), kazetainfo (18), xletona (17),


● 2011 / 04. Loturak.
● Tuitak (eu): 26.982
● Loturadunak (eu): 14.802 (%55!!!)
● Hedabide(!) aipatuenak:
eitb.com (1238), youtube.com (504), argia.com (395), berria.info (372), sustatu.com (314), goiena.net (310),
zuzeu.com (245), gara.net (235), twitpic.com (230), feedburner.com (226), euskadi.net (200), twitter.com
(197), ukberri.net (191), topatu.info (165), google.com (156), askatu.org (143), kulturweb.com (132),
etengabe.blogsome.com (117), bizkaie.biz (116), kazeta.info (103), bildu.info (100), uberan.org (87),
otamotz.com (87), aiaraldea.com (86)


● 2011 / 04. Albisteak.
● Albisteak albistegi automatikoan: 508
● Nondik?
eitb.com (49), argia.com (37), youtube.com (28), berria.info (26), gara.net (19), zuzeu.com (14), twitpic.com
(12), sustatu.com (13), topatu.info (10), orekakomunikazioa.deusto.es (8), bildu.info (8), askatu.org (7),
ezkerabertzalea.info (7), otamotz.com (6), bit.ly (6), ueu.org (6), hitzondo.net (6), diariovasco.com (5),
askapena.org (5), ikasleabertzaleak.org (5), baisarean.org (5), feeds.feedburner.com (4),
feedproxy.google.com (4), berriketan.info (4), imh.es (4), juankarh.blogspot.com (4), etxerat.info (4),
elpais.com (3), euskaljakintza.com (3), albisteak.euskalherrian.info (3), eibar.org (3), bizkaie.biz (3),
noticiasdegipuzkoa.com (3), flickr.com (3), imanolmurua.blogspot.com (2), deia.com (2), codesyntax.com (2),
mukom.mondragon.edu (2),


Aurrera begira


Eskerrik asko

@jazpillaga

IEB2011, Umap

More Related Content

Featured (20)

IEB2011, Umap