Interrogando plataformas e algoritmos digitais
2 gostaram3,755 visualizações
- Testaram com imagens de rostos de diferentes tons de pele - Watson teve dificuldade em reconhecer rostos femininos e rostos de pele escura - Microsoft Assistant teve desempenho melhor, mas ainda apresentou viés - Demonstra que mesmo sistemas de IA de grandes empresas podem apresentar vieses não intencionais - Importância da transparência e auditoria independente
![Da liberação do pólo emissor ao tecnoliberalismo
Livro -> bit.ly/eccms
“As diversas manifestações socioculturais
contemporâneas mostram que o que está em
jogo como o excesso de informação nada mais é
do que a emergência de vozes e discursos
anteriormente reprimidos pela edição da
informação pelos mass media. A liberação do
pólo da emissão está presente nas novas formas
de relacionamento social, de disponibilização da
informação e na opinião e movimentação social
da rede. Assim chats, weblogs, sites, listas, novas
modalidades midiáticas, e-mails, comunidade
virtuais, entre outras formas sociais, podem ser
compreendidas por essa segunda lei [da
cibercultura]”. (LEMOS, 2003, p.9)](https://image.slidesharecdn.com/interrogandoplataformasealgoritmosdigitais-181031104630/85/Interrogando-plataformas-e-algoritmos-digitais-3-320.jpg)
![Da liberação do pólo emissor ao tecnoliberalismo
Livro -> bit.ly/eccms
“As diversas manifestações socioculturais
contemporâneas mostram que o que está em
jogo como o excesso de informação nada mais é
do que a emergência de vozes e discursos
anteriormente reprimidos pela edição da
informação pelos mass media. A liberação do
pólo da emissão está presente nas novas formas
de relacionamento social, de disponibilização da
informação e na opinião e movimentação social
da rede. Assim chats, weblogs, sites, listas, novas
modalidades midiáticas, e-mails, comunidade
virtuais, entre outras formas sociais, podem ser
compreendidas por essa segunda lei [da
cibercultura]”. (LEMOS, 2003, p.9)
“os meios tradicionais de comunicação
passaram a perder espaço para essa
nova modalidade intercomunicativa,
operacionalizada não mais por
proprietários de veículos de
comunicação, mas por cidadãos
comuns” (MAZZUOLI, 2015)](https://image.slidesharecdn.com/interrogandoplataformasealgoritmosdigitais-181031104630/85/Interrogando-plataformas-e-algoritmos-digitais-4-320.jpg)
![Plataformização da Web
• “Web being enclosed and overwritten
by social media” (Helmond, 2015)
• “network effects [...] leads to platforms
having a natural tendency towards
monipolisation” (SRNICEK, 2016)
• “the web has evolved into an engine of
inequity and division; swayed by
powerful forces who use it for their
own agendas” (Berners-Lee, 2018)
https://qz.com/333313/milliions-of-facebook-users-have-no-idea-theyre-
using-the-internet](https://image.slidesharecdn.com/interrogandoplataformasealgoritmosdigitais-181031104630/85/Interrogando-plataformas-e-algoritmos-digitais-8-320.jpg)
![Auditoria de Raspagem
“Cases like the ‘warporn’ videos in
the [syria] query and the overall
presence of often (far) right
leaning YouTube personalities
show that the video platform
arranges search ranking in a
way that allows highly active
‘niche entrepreneurs’ to gain
exceptional levels of visibility.
Feeding on controversy and loyal
audiences, these channels
consistently appear in top
positions, even if their videos most
often receive fewer views than
more mainstream or conciliatory
voices.”](https://image.slidesharecdn.com/interrogandoplataformasealgoritmosdigitais-181031104630/85/Interrogando-plataformas-e-algoritmos-digitais-59-320.jpg)
![Referências
BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: Intersectional accuracy disparities in commercial gender classification. In: Conference on Fairness,
Accountability and Transparency. 2018. p. 77-91.
CARTER, Daniel. Hustle and brand: The sociotechnical shaping of influence. Social Media+ Society, v. 2, n. 3, p. 2056305116666305, 2016.
EPSTEIN, Ziv et al. Closing the AI Knowledge Gap. arXiv preprint arXiv:1803.07233, 2018.
ESLAMI, Motahhare et al. I always assumed that I wasn't really that close to [her]: Reasoning about Invisible Algorithms in News Feeds. In: Proceedings of the
33rd annual ACM conference on human factors in computing systems. ACM, 2015. p. 153-162.
NAPOLI, Philip; CAPLAN, Robyn. Why media companies insist they're not media companies, why they're wrong, and why it matters. First Monday, v. 22, n. 5,
2017.
RIEDER, Bernhard; MATAMOROS-FERNÁNDEZ, Ariadna; COROMINA, Òscar. From ranking algorithms to ‘ranking cultures’ Investigating the modulation of
visibility in YouTube search results. Convergence, v. 24, n. 1, p. 50-68, 2018.
ROGERS, Richard. Social Media Research After the Fake News Debacle. Partecipazione e Conflitto, v. 11, n. 2, p. 557-570, 2018.
SANDVIG, Christian et al. Auditing algorithms: Research methods for detecting discrimination on internet platforms. Data and discrimination: converting critical
concerns into productive inquiry, p. 1-23, 2014.
SCHOLZ, Trebor. Platform cooperativism. Challenging the corporate sharing economy. 2016.
SCHOLZ, Trebor. Platform cooperativism vs. the sharing economy. Big Data & Civic Engagement, v. 47, 2014.
SRNICEK, Nick. Platform capitalism. John Wiley & Sons, 2017.
Obrigado!](https://image.slidesharecdn.com/interrogandoplataformasealgoritmosdigitais-181031104630/85/Interrogando-plataformas-e-algoritmos-digitais-63-320.jpg)
Interrogando plataformas e algoritmos digitais
- 1. Interrogando Plataformas e Algoritmos Digitais Tarcízio Silva (IBPAD; UFABC)
- 2. Tarcízio Silva • Sócio-Diretor do Instituto Brasileiro de Pesquisa e Análise de Dados • Mestre em Comunicação pela UFBA • Doutorando em Ciências Humanas e Sociais pela UFABC • Co-organizador de • “Estudando Cultura e Comunicação com Mídias Sociais” (Editora IBPAD, 2018) • “Monitoramento e Pesquisa em Mídias Sociais: metodologias, aplicações e inovações” (Uva Limão, 2016) • “Para Entender o Monitoramento de Mídias Sociais (Bookess, 2012) • “Mídias Sociais e Eleições 2010” (Bookess, 2011) • “#MídiasSociais: Perspectivas, Tendências e Reflexões” (Bookess, 2010) http://bit.ly/eccms tarciziosilva.com.br
- 3. Da liberação do pólo emissor ao tecnoliberalismo Livro -> bit.ly/eccms “As diversas manifestações socioculturais contemporâneas mostram que o que está em jogo como o excesso de informação nada mais é do que a emergência de vozes e discursos anteriormente reprimidos pela edição da informação pelos mass media. A liberação do pólo da emissão está presente nas novas formas de relacionamento social, de disponibilização da informação e na opinião e movimentação social da rede. Assim chats, weblogs, sites, listas, novas modalidades midiáticas, e-mails, comunidade virtuais, entre outras formas sociais, podem ser compreendidas por essa segunda lei [da cibercultura]”. (LEMOS, 2003, p.9)
- 4. Da liberação do pólo emissor ao tecnoliberalismo Livro -> bit.ly/eccms “As diversas manifestações socioculturais contemporâneas mostram que o que está em jogo como o excesso de informação nada mais é do que a emergência de vozes e discursos anteriormente reprimidos pela edição da informação pelos mass media. A liberação do pólo da emissão está presente nas novas formas de relacionamento social, de disponibilização da informação e na opinião e movimentação social da rede. Assim chats, weblogs, sites, listas, novas modalidades midiáticas, e-mails, comunidade virtuais, entre outras formas sociais, podem ser compreendidas por essa segunda lei [da cibercultura]”. (LEMOS, 2003, p.9) “os meios tradicionais de comunicação passaram a perder espaço para essa nova modalidade intercomunicativa, operacionalizada não mais por proprietários de veículos de comunicação, mas por cidadãos comuns” (MAZZUOLI, 2015)
- 5. Monitoramento, “big data” e plataformas A coleta contínua de dados sociais tornou-se um padrão festejado ou criticado de forma cada vez mais intensa nos últimos 10 anos. As “mídias sociais” foram o epítome público da tendência de coleta de informações e seu impacto nos negócios e sociedade. Livro -> bit.ly/eccms
- 6. Normalização do capitalismo de plataforma Livro -> bit.ly/eccms
- 7. Capitalismo de Plataforma • Novos termos como “share economy” ganham tração no marketing e jornalismo normalizando precarização e oligopolização • O capitalismo de plataforma emprega a gestão da visibilidade concentrada e otimização algorítmica para disruptar mercados Livro -> bit.ly/eccms
- 8. Plataformização da Web • “Web being enclosed and overwritten by social media” (Helmond, 2015) • “network effects [...] leads to platforms having a natural tendency towards monipolisation” (SRNICEK, 2016) • “the web has evolved into an engine of inequity and division; swayed by powerful forces who use it for their own agendas” (Berners-Lee, 2018) https://qz.com/333313/milliions-of-facebook-users-have-no-idea-theyre- using-the-internet
- 9. Plataformização da Web: paradoxos discursos e práticas “The platform ecosystem, as we will argue, is moored in paradoxes: it looks egalitarian yet is hierarchical; it is almost entirely corporate, but it appears to serve public value; it seems neutral and agnostic, but its architecture carries a particular set of ideological values; its effects appear local, whilte its scope and impact are global; it appears to replace “top- down” “big government” with “bottom-up” “customer empowerment, yet it is doing so by means of a highly centralized structure which remains opaque to its users” (DIJCK, POELL & DE WALL, 2018) “Paradoxos” egualitário x hierárquico corporações x valor público neutro x valores ideológicos local x global top-down x bottom-up abertura x opacidade
- 10. Big four / big five
- 11. Big four / big five “Both Facebook and Google stated, earlier in the decade, that they would not share information across silos (Facebook to Instagram, Google to Gmail to YouTube to DoubleClick). However, both lied and have quietly changed their privacy policies, requiring a specific request to opt out if you don’t want them to cross-reference your movements and activity against location and searches. There is no evidence of any intent beyond the data being used for better targeting. Creepy and relevance are strongly correlated in the world of digital marketing. To date, consumers and advertisers have voted with their actions and expressed that creepy is a price worth paying for the relevance.”
- 13. Capitalismo de Plataforma Plataformas de Publicidade (SRNICEK, 2016)
- 14. Capitalismo de Plataforma Plataformas de Publicidade Plataformas de Nuvem (SRNICEK, 2016)
- 15. Capitalismo de Plataforma Plataformas de Publicidade Plataformas de Nuvem Plataformas Industriais (SRNICEK, 2016)
- 16. Capitalismo de Plataforma Plataformas de Publicidade Plataformas de Nuvem Plataformas de Produto e “Lean” Plataformas Industriais (SRNICEK, 2016)
- 17. Capitalismo de Plataforma Plataformas de Publicidade Plataformas de Nuvem Plataformas de Produto e “Lean” Plataformas Self/Afetivas Plataformas Industriais
- 22. Plataformas de Publicidade “o enquadramento de plataformas de mídias sociais e curadores de conteúdo digital puramente como empresas de tecnologia marginaliza as cada vez mais proeminentes dimensões políticas e culturais de suas operações, que crescem mais pronunciadamente na medida em que estas plataformas se tornam gatekeepers centrais de notícias e informação no ecossistema contemporâneo de mídia” (NAPOLI & CAPLAN, 2017)
- 28. Plataformas e a redistribuição de métodos Quem consegue interpretar e estabelecer interpretações sobre a sociedade? Mercado Estado e Academia Sociedade Civil
- 29. Plataformas e a redistribuição de métodos bit.ly/10coisasfb
- 30. Plataformas e a redistribuição de métodos https://www.nature.com/articles/nature11421 Facebook gerou 340 mil votos a mais nas eleições de 2012 apenas com um pequeno ajuste de interface bit.ly/10coisasfb
- 31. Plataformas e a redistribuição de métodos Em experimento de 2013, o Facebook realizou experimento de contágio social com 689 mil usuários Provou que é possível, com pequenos ajustes na entrega de conteúdo, influenciar Positividade e Negatividade emocional bit.ly/10coisasfb
- 32. Plataformas e a redistribuição de métodos “devemos examiner o que a digitalização significa para a distribuição de papéis na pesquisa social entre vários atores dentro e for a da universidade. Especialmente importante sobre a digitalização, deste ponto de vista, é que pode gerar divisões do trabalho desconcertantes na pesquisa social” (MARRES, 2012) “Mercado” – concentrado em ecossistemas de plataformas Estado e Academia Sociedade Civil
- 33. Contra-narrativas, defesas e remediações E o que é possível fazer? • Literacia midiática: tecnologia, trabalho e democracia digital • Sistemas abertos, open source, midialivrismo • Trabalho de pressão nos legislativos e instituições • Interrogar/auditar plataformas e algoritmos
- 34. Literacia midiática e jornalismo
- 35. https://www.revealnews.org/article/heres -the-clearest-picture-of-silicon-valleys- diversity-yet Quem produz os algoritmos e plataformas?
- 36. https://www.revealnews.org/article/heres -the-clearest-picture-of-silicon-valleys- diversity-yet “Na medida que o mundo é cada vez mais visto através de medições formais que são geradas por algoritmos e negociadas por várias comunidades, premissas e práticas daqueles em posições analíticas (incluindo usuários que trabalham para entender seu próprio valor) tornam-se um importante recurso para entender sistemas sociotécnicos” (CARTER, 2016)
- 39. Sistemas abertos, open source, midialivrismo ”But for all the good we've achieved, the web has evolved into an engine of inequity and division; swayed by powerful forces who use it for their own agendas“ – Tim Berners-Lee
- 41. Instituições e legislativo “Where the use of machine learning systems can potentially have a significant impact on human rights, companies should seek independent auditing of algorithms based on agreed- upon industry standards and the human rights framework. Businesses using ML should have ongoing human-in-the- loop checks to identify and amend any bias in the system”.
- 42. Desafio: gap no conhecimento sobre AI Papers propondo novos modelos ! Paper estudando modelos existentes ! (Epstein, 2018)
- 43. Interrogando algoritmos e plataformas digitais • Auditoria de Usuário Não-Invasiva • Auditoria Crowdsourced • Sock-Puppet Audit • Auditoria de Código • Auditoria de Raspagem (SANDVIG et al, 2014)
- 44. Auditoria de Código Análise dos aspectos efetivamente técnicos dos sistemas, a Auditoria de Código, através da qual efetivamente os códigos que incorporam cadeias de decisões, escolhas metodológicas, datasets, pacotes e módulos de programação costuma ser a mais recomenda. Apesar de ser a abordagem que mais se aproxima do cerne material da questão, também é a mais difícil de ser aplicada por questões institucionais (a maior parte das plataformas possui código fechado por questões comerciais e competitivas) e técnicas (capacidades multidisciplinares; complexidade do machine learning). (SANDVIG et al, 2014) Plataforma Usuários Algoritmo Aberto Pesquisador/a
- 45. Auditoria de Código (BOULAMWINI & GEBRU, 2018) Buolamwini e Gebru selecionaram IBM Watson, Microsoft Cognitive Services e o Face++ para avaliar a precisão de identificação de gênero no dataset construído. Os resultados variaram de forma impressionante: • Todos classificadores foram mais precisos em faces de homens (8,1% – 20,6% diferença de taxa de erro) • Todos classificadores performaram melhor em faces mais claras do que faces mais escuras (11,8% contra 19,2% de erro) • Todos classificadores performaram pior em faces mais escuras de mulheres (20,8% comparado a 34,7%) • Os classificadores da Microsoft e IBM performaram melhor em rotos de homens de pele clara (taxas de erro de 0,0% e 0,3%) • Os classificadores do Face++ performaram melhor em rostos masculinos de pele escura (0,7% de taxa de erro) • A diferença máxima de taxa de erro entre dois grupos foi de 34,4%
- 49. Auditoria de Código “We are deeply sorry for this unquestionably serious issue,” he told The Independent. “It is an unfortunate side-effect of the underlying neural network caused by the training set bias, not intended behaviour.
- 50. Auditoria de Usuário Não-Invasiva Adaptação de métodos clássicos da ciência social como entrevistas em profundidade, surveys ou observação não-participante para investigar os modos, dinâmicas e percepções dos usuários quanto aos sistemas estudados. (SANDVIG et al, 2014) Plataforma Usuários Instrumento / Pesquisador
- 51. Auditoria Colaborativa Envolver a construção de sistemas crowdsourced ou colaborativos para avaliar alguns pontos do sistema através do uso, relato ou codificação distribuída. (SANDVIG et al, 2014) Plataforma Usuários Pesquisadores Colaboradores Plataforma de Colaboração / Crowdsourcing
- 52. (ESLAMI, Motahhare et al., 2015) Estudo sobre “consciência algorítmica” construiu sistema chamado FeedVis e demonstrou que usuários não sabem ou entendem mal o impacto dos algoritmos
- 53. (ESLAMI, Motahhare et al., 2015) “Our participants used the News Feed to make inferences about their relationships, wrongly attributing the algorithm’s actions to be the intent of their own friends and family. Users incorrectly concluded that they held unpopular views or were being given the cold shoulder.”
- 54. Sock-Puppet Audit Sock-puppet (fantoche) audit envolve a simulação de usuários ou conteúdo com variáveis controladas pelo desenho da pesquisa ou mesmo sistemas bots. (SANDVIG et al, 2014) Plataforma Usuários Simulações do Pesquisador
- 55. Sock-Puppet Audit (MAGRIGAL, 2014) Extração de micro-gêneros do Netflix com a simulação de usuário bot: Emotional Independent Sports Movies Spy Action & Adventure from the 1930s Cult Evil Kid Horror Movies Sentimental set in Europe Dramas from the 1970s Visually-striking Foreign Nostalgic Dramas Japanese Sports Movies Gritty Discovery Channel Reality TV Romantic Chinese Crime Movies Mind-bending Cult Horror Movies from the 1980s Dark Suspenseful Sci-Fi Horror Movies Gritty Suspenseful Revenge Westerns Violent Suspenseful Action & Adventure from the 1980s Time Travel Movies starring William Hartnell Romantic Indian Crime Dramas Evil Kid Horror Movies Visually-striking Goofy Action & Adventure British set in Europe Sci-Fi & Fantasy from the 1960s Dark Suspenseful Gangster Dramas Critically-acclaimed Emotional Underdog Movies
- 57. Auditoria de Raspagem Engloba a coleta de dados nos sistemas, incluindo técnicas de raspagem de dados, acesso através de APIs, captura de tela e afins. Quando tratamos de sistemas focados em comunicação (como plataformas de mídias sociais e buscadores) ou com interfaces de autogestão do usuário (tais como formulários de seleção, ferramentas de escore de crédito e afins) esta abordagem é usada com frequência por permitir avaliar os resultados e requisições oferecidas aos usuários. (SANDVIG et al, 2014) Plataforma Usuários Scripts/Toolkits do Pesquisador
- 59. Auditoria de Raspagem “Cases like the ‘warporn’ videos in the [syria] query and the overall presence of often (far) right leaning YouTube personalities show that the video platform arranges search ranking in a way that allows highly active ‘niche entrepreneurs’ to gain exceptional levels of visibility. Feeding on controversy and loyal audiences, these channels consistently appear in top positions, even if their videos most often receive fewer views than more mainstream or conciliatory voices.”
- 61. Auditoria de Raspagem Script Data Inspector – APIs de computação visual
- 62. E por que importa? A governança algorítmica tende a ser cada vez mais presente – comunicadores e cientistas sociais devem mergulhar na temática para agir junto a desenvolvedores e legisladores pra analisar: • Danos individuais • Discriminação ilegal e práticas injustas • Perda de oportunidades • Perdas econômicas • Estigmatização social
- 63. Referências BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: Intersectional accuracy disparities in commercial gender classification. In: Conference on Fairness, Accountability and Transparency. 2018. p. 77-91. CARTER, Daniel. Hustle and brand: The sociotechnical shaping of influence. Social Media+ Society, v. 2, n. 3, p. 2056305116666305, 2016. EPSTEIN, Ziv et al. Closing the AI Knowledge Gap. arXiv preprint arXiv:1803.07233, 2018. ESLAMI, Motahhare et al. I always assumed that I wasn't really that close to [her]: Reasoning about Invisible Algorithms in News Feeds. In: Proceedings of the 33rd annual ACM conference on human factors in computing systems. ACM, 2015. p. 153-162. NAPOLI, Philip; CAPLAN, Robyn. Why media companies insist they're not media companies, why they're wrong, and why it matters. First Monday, v. 22, n. 5, 2017. RIEDER, Bernhard; MATAMOROS-FERNÁNDEZ, Ariadna; COROMINA, Òscar. From ranking algorithms to ‘ranking cultures’ Investigating the modulation of visibility in YouTube search results. Convergence, v. 24, n. 1, p. 50-68, 2018. ROGERS, Richard. Social Media Research After the Fake News Debacle. Partecipazione e Conflitto, v. 11, n. 2, p. 557-570, 2018. SANDVIG, Christian et al. Auditing algorithms: Research methods for detecting discrimination on internet platforms. Data and discrimination: converting critical concerns into productive inquiry, p. 1-23, 2014. SCHOLZ, Trebor. Platform cooperativism. Challenging the corporate sharing economy. 2016. SCHOLZ, Trebor. Platform cooperativism vs. the sharing economy. Big Data & Civic Engagement, v. 47, 2014. SRNICEK, Nick. Platform capitalism. John Wiley & Sons, 2017. Obrigado!