"Validation and Observability of AI Agents", Oleksandr Denisyuk
0 likes98 views
I will talk about the validation and monitoring of AI agents using the example of a mobile application that interacts with a multi-agent system via OpenAPI. I will demonstrate practical approaches to testing agent logic, methods for collecting performance metrics, and setting up an observability system. I will share my experience in tracking agent behavior in real time, detecting anomalies, and ensuring the reliability of a multi-agent architecture in production.
"Validation and Observability of AI Agents", Oleksandr Denisyuk
- 2. Олександр Денисюк Head of nGO NFMA: public-finance.org.ua 25+ years in software development & engineering engineer, developer, manager: team/unit/department; delivery director, CTO, CEO Pet projects: digene.co, myalert.co, litopys.pro Author and host of the "AI no magic" telegram and youtube channels Startups CTO/CEO, change manager AI researcher: LLM RAG youtube.com/@AInomagic @saaszko
- 3. summary ● agents ● multiagents ● real case: ○ demo of observability ○ evaluation ● edd
- 5. AI agent = Autonomy + Sensing + Acting
- 6. AI agent AI-агент — це автономна система штучного інтелекту, здатна взаємодіяти із зовнішнім середовищем, сприймати його стан через "сенсори" (вхідні дані), приймати рішення та виконувати дії для досягнення поставлених цілей. Ключові характеристики AI-агентів: 1. Автономність — здатність діяти самостійно без постійного людського втручання 2. Цілеспрямованість — має чіткі цілі та завдання, які намагається виконати 3. Реактивність — реагує на зміни у середовищі 4. Проактивність — ініціює дії для досягнення мети 5. Персистентність — зберігає стан та контекст між взаємодіями 6. Доступ до інструментів — може використовувати зовнішні API, сервіси, бази даних 7. Пам'ять — має короткострокову та довгострокову пам'ять 8. Планування — здатність розробляти стратегію дій
- 8. AI agent
- 10. AI multi agents architecture
- 11. AI multi agents communication
- 12. Do You know how your agent(s) work?
- 13. AI agents validation & observability
- 14. mytiva - AI-powered personal assistant 💬 Intelligent Chat Assistant ● Communication in Ukrainian and English ● Contextual understanding of user queries ● Personalized recommendations ● Multi-turn conversations 📅 Smart Planning ● Automatic calendar event creation ● Integration with Apple Calendar ● Detailed goal achievement plan ● Deadline management 🎙 Voice Interface ● Advanced Speech Recognition ● Voice commands and dictation ● Natural interaction without typing ● Real-time voice processing 🏆 AI Coach & Gamification ● Personal coach for goal achievement ● Achievement system with tracking ● Smart reminders and motivation ● Behavioral pattern analysis
- 15. mytiva app agents architecture
- 16. demo
- 17. EDD
- 19. EDD