Inteligencia artificial in house con servicios cognitivos y docker
1 recomendación320 vistas
El evento Global AI on Tour en Monterrey, México, se llevó a cabo del 13 al 25 de abril de 2020, donde se discutieron servicios cognitivos de Azure y el uso de contenedores Docker para facilitar su implementación. Se presentaron diversas aplicaciones de los servicios cognitivos como la clasificación de imágenes y el reconocimiento de rostros. También se abordaron los beneficios de usar Docker, como la portabilidad y eficiencia, así como la disponibilidad de API de Azure como contenedores para su uso local.
Inteligencia artificial in house con servicios cognitivos y docker
- 1. #GlobalAIOnTour Monterrey – México 13-25 Abril, 2020
- 2. #GlobalAIOnTour Inteligencia Artificial in-house: Servicios Cognitivos + Docker Luis Beltrán
- 3. #GlobalAIOnTour Comparte tu experiencia: #GlobalAICommunity #OnTour #GlobalAIMTY #MSFTStudentPartner GLOBAL AI ON TOUR MTY 2020 Evento virtual • Abril 13-25, 2020
- 4. #GlobalAIOnTour • Investigador en Tomas Bata University in Zlín, República Checa. • Docente en Tecnológico Nacional de México en Celaya, Mexico. • Xamarin, Azure e Inteligencia Artificial @darkicebeam luis@luisbeltran.mx luisbeltran.mx
- 5. #GlobalAIOnTourPresentación disponible en https://bit.ly/LuisGlobalAIMty
- 6. #GlobalAIOnTour Agenda Servicios Cognitivos de Azure Contenedores Docker Servicios Cognitivos en contenedores Docker Demo Presentación disponible en https://bit.ly/LuisGlobalAIMty
- 7. #GlobalAIOnTour Clasificación de Imágenes • Es la identificación del contenido visual en una imagen. • Tema de interés en el área de Visión de Computadora. • Una tarea trivial para los seres humanos… todo un reto para las aplicaciones informáticas
- 10. #GlobalAIOnTour Servicios Cognitivos de Azure
- 11. #GlobalAIOnTour Servicios Cognitivos de Azure Computer Vision Face/Emotion Recognition OCR/Handwriting Custom Vision Video Indexer Text-to-Speech Speech-to-Text Translator Custom Speech Language Understanding Text Translator Text Analytics QnA Maker Bing Custom Search Bing Visual Search Bing Autosuggest Bing Image Search Bing News Search microsoft.com/cognitive
- 12. #GlobalAIOnTour
- 13. #GlobalAIOnTour
- 14. #GlobalAIOnTour
- 15. #GlobalAIOnTour
- 16. #GlobalAIOnTour Face Un servicio de IA que analiza rostros en imágenes Detección de rostros • Detecta rostros humanos en una imagen y sus atributos: edad, emoción, género, pose, sonrisa y vello facial, además de 27 puntos de referencia (face landmarks). Reconocimiento de rostros • Verifica la probabilidad de que dos caras pertenezcan a la misma persona; también muestra el puntaje de confianza. • Devuelve una lista de rostros similares a una cara. • Agrupa rostros en base a su similitud. • Identifica una persona a partir de su rostro.
- 17. #GlobalAIOnTour
- 18. #GlobalAIOnTour
- 19. #GlobalAIOnTour Una variedad de aplicaciones Vision Speech Language Natural Language Processing Intent: PlayCall Knowledge Here are the top results: The purpose of Customer Life-cycle Management (CLM) is to maximize both customer retention and .... Predictive trend analysis provides business visibility. Oct 28, 2015 – Here are FIVE key trends in 2014 that would help marketers in rolling ... Of late, marketers are looking at customer lifecycle management(CLM) Jan 5, 2016 – The top 10 customer service trends for 2016 that .... North American Consumer Search Here is what I found: It also investigates the top three expected Fraud Detection and Prevention programs, in terms of demand in key markets… First, let’s point out that there is not one absolute answer—there are “pros” and “cons” to each. Those who favor in-house… Michael heads fraud prevention tool. Online and mobile shopping are expected to continue growing apace…
- 21. #GlobalAIOnTour En la mayoría de las empresas, el desarrollo, despliegue y entrega de software es un proceso con varios pasos bien diferenciados:
- 22. #GlobalAIOnTour La computadora donde los usuarios finales acceden a la aplicación requiere tener instaladas ciertas dependencias para su correcta ejecución, por ejemplo: • Cierta versión de Java o .NET Framework instalada • Un servidor de aplicaciones (Apache Server, IIS) • Versiones específicas de librerías o ensamblados (.dll) instalados • Inclusive, un sistema operativo específico.
- 23. #GlobalAIOnTour Una solución al problema anterior es la virtualización: • El cliente cuenta con un equipo host, que consta de su propio hardware y un sistema operativo instalado. • Al host se le instala un hypervisor, donde se crea una imagen de máquina virtual, a la cual se le asignan: • recursos virtuales (descontados de los recursos del host) • un sistema operativo determinado • Finalmente, se comienza a instalar y configurar el entorno virtual para que la aplicación objetivo pueda existir dentro de la imagen y cumplir su función.
- 24. #GlobalAIOnTour El “problema” con la virtualización es que puede derivar en una gran cantidad de recursos desperdiciados. Por ejemplo, una empresa que requiere levantar: • 10 máquinas virtuales, • cada una con 4 GB de RAM, • 10 GB de espacio en disco duro para levantar un servidor Linux • y 2 núcleos de procesador… Necesitaría un total de 40 GB de memoria, 100 GB de disco y 20 cores que debería obtener del host. Son muchos recursos desperdiciados de forma innecesaria.
- 25. #GlobalAIOnTour La alternativa son los contenedores: entornos ligeros en tiempo de ejecución que proporcionan a las aplicaciones los recursos necesarios (archivos, bibliotecas, …) para ser ejecutadas, maximizando su portabilidad. A diferencia de las máquinas virtuales, los contenedores utilizan el sistema operativo del host en vez de proporcionar uno propio, siendo rápidos y fáciles de instalar. Esta eficiencia permite que se implementen en clústeres, con contenedores individuales que encapsulan componentes únicos de aplicaciones complejas. En resumen, los contenedores son un enfoque de distribución de software en el que una aplicación o servicio se empaqueta como una imagen junto con sus dependencias y configuración.
- 26. #GlobalAIOnTour Docker es la tecnología por excelencia en cuanto a contenedores se refiere. Docker es una herramienta para iniciar, detener y gestionar contenedores mediante comandos. Es una tecnología open-source cuyo engine (motor) aprovecha el Sistema Operativo sobre el cual se ejecuta a fin de que todas las virtualizaciones de contenedores compartan el Kernel del Host. Docker permite crear entornos de ejecución aislados e independientes para lanzamiento y despliegue de aplicaciones. ¡Con Docker, se eliminan los problemas de dependencia o compilación!
- 27. #GlobalAIOnTour ¿Por qué usar Docker como desarrollador? • Docker es rápido. • Docker es multiplataforma. • Los contenedores se pueden construir y destruir más rápido que una máquina virtual. • No más dificultades para configurar un entorno de trabajo. Es portable • Mantiene su espacio de trabajo limpio, pues cada entorno estará aislado. • Será más fácil implementar su proyecto en su servidor para ponerlo en línea.
- 28. #GlobalAIOnTour Docker Hub es un repositorio donde los usuarios de Docker pueden compartir las imágenes (contenedores) que han creado con otros usuarios. La descarga desde el Docker Hub se realiza mediante comandos y se ejecuta en el propio sistema.
- 29. #GlobalAIOnTour
- 30. #GlobalAIOnTour Servicios Cognitivos en contenedores Docker
- 31. #GlobalAIOnTour
- 32. #GlobalAIOnTour Consideraciones al implementar Servicios Cognitivos en una solución informática • ¿Qué sucede si no puede cargar una imagen o texto a la nube debido a limitaciones en ancho de banda o el acceso a Internet? • ¿Qué procede si el envío de datos fuera de la red de la empresa está sujeto a políticas regulatorias, de confidencialidad o de privacidad? Si pudiera analizar los datos en un contexto local, seguramente la aplicación podría beneficiarse de una menor latencia y ancho de banda…
- 33. #GlobalAIOnTour
- 34. #GlobalAIOnTour ¡Ahora, varias de las API de Azure Cognitive Services están disponibles como contenedores Docker! • Puedes descargar y ejecutar un contenedor que proporciona la misma funcionalidad que los servicios basados en la nube. • Los datos se procesan directamente en el contenedor, nunca se envían a la nube. • Se requiere una conexión a Azure solo para la facturación (sólo en el servidor) al mismo costo (incluye free tier). • El soporte de contenedores en Azure Cognitive Services permite a los desarrolladores implementar soluciones de IA y brinda flexibilidad hacia dónde implementar y hospedar los servicios que vienen con los contenedores Docker.
- 35. #GlobalAIOnTour Características y beneficios • Infraestructura inmutable • Control sobre los datos • Control sobre las actualizaciones de los modelos • Arquitectura portable • Alto rendimiento y baja latencia • Escalabilidad
- 36. #GlobalAIOnTour ¿Qué servicios están disponibles como contenedores? Actualmente hay un subconjunto de Servicios Cognitivos de Azure disponibles como contenedores Docker, incluyendo partes de: • Anomaly Detector • Computer Vision • Face • Form Recognizer • Language Understanding (LUIS) • Speech Service • Text Analytics
- 37. #GlobalAIOnTour
- 38. #GlobalAIOnTour
- 39. #GlobalAIOnTour
- 40. #GlobalAIOnTour Requerimientos • Docker Engine: Docker proporciona paquetes que configuran el entorno Docker en macOS, Linux y Windows. En Windows, Docker debe estar configurado para admitir contenedores de Linux. Los contenedores Docker también pueden implementarse de forma directa en Azure Kubernetes o en las instancias de Azure Container. • Recurso de Servicio Cognitivo creado en Azure: Docker debe estar configurado para permitir a los contenedores establecer una conexión con Azure y enviar datos de facturación.
- 41. #GlobalAIOnTour • Cada contenedor tiene sus propios requisitos de memoria y núcleos de procesamiento: Contenedor Asignación mínima Asignación recomendada QPS / TPS Anomaly Detector 4 cores, 1-GB memoria 8 cores, 2-GB memoria 10 Anomaly Detector 8 cores, 2-GB memoria 16 cores, 4-GB memoria 20 Face 1 core, 2-GB memoria 1 core, 4-GB memoria 10 (mín), 20 (máx) Computer Vision 1 core, 8-GB memoria 8 cores, 16-GB memoria 0.24 (mín), 1.17 (máx) Form Recognizer 2 cores, 4-GB memoria 4 cores, 8-GB memoria Recognize Text 1 core, 8-GB memoria 2 cores, 8-GB memoria LUIS 1 core, 2-GB memoria 1 core, 4-GB memoria 20 (mín), 40 (máx) Speech-to-text, Custom Speech-to-text 2 cores, 2-GB memoria 4 cores, 4-GB memoria Text-to-speech, Custom text-to-speech 1 core, 2-GB memoria 2 cores, 3-GB memoria Key Phrase Extraction, Language Detection, Sentiment Analysis 1 core, 2-GB memoria 1 core, 4-GB memoria 15 (mín), 30 (máx)
- 42. #GlobalAIOnTour https://docs.docker.com/toolbox/toolbox_install_windows/ docker-machine stop docker-machine rm default docker-machine create -d virtualbox --virtualbox-cpu-count=2 --virtualbox-memory=2048 default
- 43. #GlobalAIOnTour • Descargar la imagen del contenedor del Servicio Cognitivo respectivo desde el Microsoft Container Registry. Contenedor Repositorio Anomaly Detector containerpreview.azurecr.io/microsoft/cognitive-services-anomaly-detector:latest Face containerpreview.azurecr.io/microsoft/cognitive-services-face:latest Computer Vision containerpreview.azurecr.io/microsoft/cognitive-services-read:latest Form Recognizer containerpreview.azurecr.io/microsoft/cognitive-services-form-recognizer:latest Recognize Text containerpreview.azurecr.io/microsoft/cognitive-services-recognize-text:latest LUIS mcr.microsoft.com/azure-cognitive-services/luis:latest Speech-to-text containerpreview.azurecr.io/microsoft/cognitive-services-speech-to-text:latest Custom Speech-to-text containerpreview.azurecr.io/microsoft/cognitive-services-custom-speech-to-text:latest Text-to-speech containerpreview.azurecr.io/microsoft/cognitive-services-text-to-speech:latest Custom text-to-speech containerpreview.azurecr.io/microsoft/cognitive-services-custom-text-to-speech:latest Key Phrase Extraction mcr.microsoft.com/azure-cognitive-services/keyphrase Language Detection mcr.microsoft.com/azure-cognitive-services/language Sentiment Analysis mcr.microsoft.com/azure-cognitive-services/sentiment
- 44. #GlobalAIOnTour Demo: Servicios Cognitivos ejecutándose en un contenedor Docker Esta demonstración consta de dos partes: • La configuración del contenedor Docker que montará un servicio disponible en la red local • La aplicación móvil que consume el servicio local de Inteligencia Artificial La aplicación móvil es un proyecto open-source disponible en https://github.com/icebeam7/LocalFaceApiDemo
- 45. #GlobalAIOnTour
- 46. #GlobalAIOnTour
- 47. #GlobalAIOnTour
- 48. #GlobalAIOnTour
- 49. #GlobalAIOnTour
- 50. #GlobalAIOnTour
- 52. #GlobalAIOnTour
- 53. #GlobalAIOnTour
- 54. #GlobalAIOnTour
- 55. #GlobalAIOnTour
- 56. #GlobalAIOnTour
- 57. #GlobalAIOnTour
- 58. #GlobalAIOnTour
- 59. #GlobalAIOnTour Expón el puerto: https://stackoverflow.com/a/36458215 O agrega una excepción para vpnkit desde el firewall (Windows): https://mlhale.github.io/nebraska-gencyber-modules/intro_to_firewalls/advanced/
- 60. #GlobalAIOnTour
- 61. #GlobalAIOnTour Call to Action Cognitive Services • https://microsoft.com/cognitive Soporte a contenedores en Azure Cognitive Services • https://docs.microsoft.com/en-us/azure/cognitive-services/cognitive-services- container-support • https://azure.microsoft.com/en-us/resources/videos/containers-support-of- cognitive-services/ • https://azure.microsoft.com/en-us/blog/running-cognitive-service-containers/
- 62. #GlobalAIOnTour Call to Action Imágenes de Azure Cognitive Services en DockerHub • https://hub.docker.com/_/microsoft-azure-cognitive-services Cognitive Services ejecutándose en contenedores • https://github.com/Azure-Samples/cognitive-services-containers-samples • https://docs.microsoft.com/es-es/azure/cognitive-services/face/face-how-to- install-containers • https://docs.microsoft.com/es-es/azure/cognitive-services/text-analytics/how- tos/text-analytics-how-to-install-containers
- 64. #GlobalAIOnTour Invitación Comunidad Xamarin en Español https://www.facebook.com/groups/xamarindiplomadoitc Global Azure Latinoamérica (Online) 23 – 25 de Abril #GlobalAzureLatam https://ti.to/comunidad-xamarin-en-espanol/global-azure-latinoamerica-2020
- 66. #GlobalAIOnTour
- 67. #GlobalAIOnTour Inteligencia Artificial in-house: Servicios Cognitivos + Docker Luis Beltrán ¡Gracias por tu atención! @darkicebeam luis@luisbeltran.mx luisbeltran.mx