Intersys - Integration mit Spirateam (Zurich 2017)
- 1. B r i d g i n g t h e G a p Mehrwert bei Test-Integrationen mit SpiraTeam
- 2. • SpiraTeam in der DevOps Pipeline • SpiraTeam unterstützt uns bei der Integration von Testwerkzeugen Details/Beispiele aus der Praxis (SpiraTeam) • Die Firma Intersys - Kurzportrait • SpiraTeam passt in unser Test-Framework • Hosten von Testumgebungen 2Intersys AG | Zuchwil | www.intersys.ch Übersicht
- 3. SpiraTeam als Bindeglied der DevOps Prozesse 3Intersys AG | Zuchwil | www.intersys.ch Die Ausgangslage: DevOps mit agiler Entwicklungsmethode Dev Ops plan operatedeploycode test releasebuild
- 4. SpiraTeam als Bindeglied der DevOps Prozesse 4Intersys AG | Zuchwil | www.intersys.ch plan operatedeploycode test releasebuild Die Prozesse Dev Ops Build process Release process Test process Monitoring
- 5. SpiraTeam als Bindeglied der DevOps Prozesse 5Intersys AG | Zuchwil | www.intersys.ch plan operatedeploycode test releasebuild Die Werkzeuge Dev Ops Build process Release process Test process SCM- & Build Tools Test-Mgmt-Tool, Test engines Monitoring Specific Fault Monitors
- 6. SpiraTeam als Bindeglied der DevOps Prozesse 6Intersys AG | Zuchwil | www.intersys.ch plan operatedeploycode test releasebuild Die Überwachung (ohne Collaboration Plattform) Dev Ops Build process Release process Test process SCM- & Build Tools Test-Mgmt, Test engines Specific Fault Monitors Test-Mgmt dash board Alarm panel Monitoring
- 7. SpiraTeam als Bindeglied der DevOps Prozesse 7Intersys AG | Zuchwil | www.intersys.ch plan operatedeploycode test releasebuild Die Stake-Holders (ohne Rollen der agilen Entwicklung) Dev Ops Build process Release process Monitoring Test process SCM- & Build Tools Test-Mgmt, Test Engines Specific Fault Monitors Test-Mgmt dash board Alarm panel Test Manager, Tester, Product Owner Operator
- 8. Supports the test process and collaborates with the other processes SpiraTeam als Bindeglied der DevOps Prozesse 8Intersys AG | Zuchwil | www.intersys.ch SpiraTeam bietet die nötige Integrationsfähigkeit Build process Release process Moni- toring Manual tests Dashboard Reqs, Test cases, Build- & Release info, test results Test Manager, Tester, Product Owner Automated Testing Systems System Under Test Engines API Issues(externalorinsideSpira)
- 9. Ideale und reale Situation beim Kunden Unsere Integrations-Projekte starten in der Regel nicht auf der grünen Wiese. Alle Werkzeuge aus einer Hand wäre zielführend, aber meistens nicht realisierbar. 9Intersys AG | Zuchwil | www.intersys.ch SpiraTeam® SpiraTest® Requirements, Test & Defect Management SpiraPlan® Agile Project Management KronoDesk® IT Support & Help Desk Ticketing Rapise® Test Automation Platform (Web, GUI, Services) TaraVault™ - Source Code Hosting
- 10. Die reale Situation beim Kunden ist meistens heterogen! Die Kunden haben meistens bereits Werkzeuge in Betrieb welche sie nur ungern aufgeben. 10Intersys AG | Zuchwil | www.intersys.ch SpiraTeam®
- 11. Supports the test process and collaborates with the other processes SpiraTeam als Bindeglied der DevOps Prozesse 11Intersys AG | Zuchwil | www.intersys.ch Nachfolgend einige Details aus der Praxis. Build process Release process Moni- toring Manual tests Dashboard Test Manager, Tester, Product Owner Automated Testing Systems System Under Test Engines API Issues(externalorinsideSpira) Reqs, Test cases, Build- & Release info, test results
- 12. Anforderungen im SpiraTeam sind die ideale Datenquelle um ein Testorakel aufzubauen. • Anforderungen abbilden (Erstimport mit Add-In, Nachpflege mit Excel-Importer/Exporter Funktionen) • Anforderungen an Testwerkzeuge definieren, zum Bsp. für Performance-Tests spezifizieren, welche Lasten generiert werden müssen auf welchen Schnittstellen und welchen Komponenten • Lücken in den Anforderungen klären (diese müssen selbstverständlich ins offizielle Anforderungstool überführt werden) • Oft werden für den Test Simulatoren (Mocks, Simulatoren) benötigt. Die Anforderungen derselben können bequem im SpiraTeam definiert werden. Sicherstellen, dass generell alle Info über die Testbasis via SpiraTeam zu finden ist. Dokument Management Funktion benutzen. 12Intersys AG | Zuchwil | www.intersys.ch
- 13. Die Schnittstelle Build-Prozess / Test-Prozess • SpiraTeam agiert als Verbinder zwischen Build-Prozess und Test- Prozess. Artefact Tokens welche durch SpiraTeam generiert wurden, sollten im SCM in den commit-Kommentaren verwendet werden ! Zum Beispiel «IN:4456» für einen Vorfall. Dahinter kann selbstverständlich eine synchronisierte Quelle wie JIRA stecken. Funktioniert also nur, wenn auf die SpiraTeam Tokens verwiesen wird! Siehe http://www.inflectra.com/Documents/SpiraTestPlanTeam-Build- Server-Integration-Guide.pdf https://www.inflectra.com/Ideas/Tag/devops.aspx 13Intersys AG | Zuchwil | www.intersys.ch
- 14. Integration via die API’s Die Integration vom Open Source Testtool FitNesse via API war möglich. Es wurden 2 Extraktoren geschrieben welche Testfälle und Testresultate aus spezifischen FitNesse- Testseiten extrahieren. Die FitNesse-Testseiten wurden mit verschiedenen TAG’s bestückt, so dass die Extraktoren Start und Ende von Testfällen, Testfolders und Kommentarblocks erkennen können. <TC4942> FitNesse-Tabellen <TC#> Diese etwas umständliche Lösung ohne FitNesse Automation Engine wurde gewählt, weil schon sehr viele FitNesse-Testseiten existierten. Der Aufwand um zuerst passende Test- Reihen, Testfälle und Filenamen zu erstellen, war zu hoch. Die FitNesse-Testsuiten wurden mit Jenkins gestartet. 14Intersys AG | Zuchwil | www.intersys.ch Test cases tcext Test results trext SOAPAPI TCIDs
- 15. Die Auswertung im SpiraTeam visualisiert den Fortschritt der Tests deutlich 15Intersys AG | Zuchwil | www.intersys.ch
- 16. Testautomation 16Intersys AG | Zuchwil | www.intersys.ch • Testfälle im SpiraTeam sind die ideale Vorbereitung um später Tests zu automatisieren. Dazu muss ein geeigneter Automation Host addiert werden, zum Bsp. Ranorex. Neu können mit der Ranorex Engine die Werte der Testfall-Parameter direkt in die Testdatentreiber von Ranorex überführt werden. Im Ranorex Script muss lediglich eine Variable existieren, welche denselben Namen hat wie der Parameter im Spira-Testfall. Früher ging das nur via Direktzugriff auf die SpiraTeam DB (Tabelle dbo.TST_TEST_CASE_PARAMETER) Parameter im SpiraTeam Parameter im Ranorex
- 17. Die Operations Phase 17Intersys AG | Zuchwil | www.intersys.ch operate Fault Monitoring Manual or even automated Specific Fault Monitors Check-Mgmt dash board Alarm panel OperatorMaintenance Contractor • Testing/monitoring never ends …. • Die 24h-Überwachung nimmt üblicherweise der Operator wahr. • SW-Lieferanten wie Intersys ergänzen die Überwachungstätigkeiten. Die übertragenen Arbeiten werden in einem Pflegevertrag geregelt.
- 18. Die Operations Phase 18Intersys AG | Zuchwil | www.intersys.ch operate Fault Monitoring Manual or even automated checks executed by contractor. Diese Testresultate können in einem spezifischen Report abgerufen werden. Ergänzende, periodische Tests und Checks (manuell und/oder automatisiert). Der Umfang erstreckt sich von einfachen Health checks und harmlosen E2E- Tests bis zu komplexen Abfragen auf der DB oder über andere Schnittstellen. • Bei öffentlichen Schnittstellen können solche Tests von Aussen gestartet werden. • Oft ist aber der Zugriff auf PROD erschwert und für Testautomaten von ausserhalb der Firewall nicht zugänglich.
- 19. Die Operations Phase 19Intersys AG | Zuchwil | www.intersys.ch operate Fault Monitoring Specific Fault Monitors: HP TeMIP, IBM Netcool, HP BTO, SevOne DNC, SevOne PAS, Weathermap, … Alarm panel, Notifications. Specific analysis report may be generated. • Fault Monitoring durch den Operator wird normalerweise durch spezifische Werkzeuge wie HP TeMIP, IBM Netcool, HP BTO (HP OpenView), SevOne DNC/PAS, Weathermap, usw wahrgenommen. Testdaten werden oft via SNMP gesammelt. Die überwachten Daten werden vom produktiven System selbst generiert und vom Fault Monitoring ausgelesen. In diesem Bereich sind keine Interaktionen mit Produkten von Inflectra möglich.
- 20. Fast Facts Gründung 1999 Anzahl Mitarbeiter 30 (ETH, Uni, FHS, TS) Standorte Zuchwil bei Solothurn (Hauptsitz), Zürich (Shared Office) Aktienkapital CHF 250’000.-, im Besitz der Mitarbeitenden Zertifiziert nach ISO 9001:2008 Wir bilden Lehrlinge aus 20Intersys AG | Zuchwil | www.intersys.ch
- 21. Strategische Geschäftsbereiche 21Intersys AG | Zuchwil | www.intersys.ch Wir entwickeln nach Ihren individuellen Bedürfnissen Wir helfen Ihnen die Qualität Ihrer eingesetzten Software sicher zu stellen Wir unterstützen Sie bei der Optimierung Ihrer Unternehmung Keine Daten zu gross oder zu komplex – wir helfen Ihnen im optimalen Umgang Individuelle Software Entwicklung Test Management Digitalisierung Datenbanken und Big Data Projektleitung / Beratung / Business Analyse Wartung und Support Qualitätssicherung IT Infrastruktur, Testsysteme
- 22. 22Intersys AG | Zuchwil | www.intersys.ch Intersys Test Management Intersys Test Framework KMU orientiertes Framework bestehend aus - Methodik - Test Ware - Testing Services Intersys Testing Services Test Management Spezialisten welche die gesamte Bandbreite von Testing Services abdecken - Von der Teststrategie und Tetskonzepten bis zu Testprozess Assessments - Über die Toolberatung, Automatisierung, Performance Test und weiteren Testarten - Bis zur Bereitstellung von Test Systemen und weiterer Infrastruktur und Services Vertreten im Zertifiziert nach Zertifiziert nach
Hinweis der Redaktion
- #2: Vorwort in Englisch: Before i switch to the local language, firstly my thanks to Inflectra for organisation of this summit. And of course that we can post our short presentation here. My name is René Jehle, i am Test-Manager at Intersys since many years. I will talk about the integration of SpiraTeam within the DevOps pipeline / DevOps process. I selected some detail aspects from real integrations, specificly also from the Operations phase.
- #11: Sie kennen den Werkzeug-Wald wohl auch. Jeder Kunde hat andere Tools im Einsatz. Erstaunlicherweise trifft man sogar in Verwaltungen einen nicht harmonisierten Tool-Park an. Früher oder später kommt dann der Wunsch die existierenden Barrieren abzubauen und da kommen wir ins Spiel und versuchen ein Konzept zu erstellen welches die Barrieren abbaut. Mit dem Ziel die DevOps Pipeline mit optimal abgestimmten Tools zu unterstützen.
- #12: Zu den blau markierten Schnittstellen folgen Details
- #13: Die Akzeptanz des neuen Tools ist nicht selbstverständlich. Man muss die Vorteile pro-aktiv mit Anwendungsbeispielen demonstrieren. Den Kunden bereits im POC überzeugen, dass es funktioniert und dass er damit effizient arbeiten kann.
- #14: Botschaft: vieles ist heute Möglich mit den Werkzeugen! Aber man muss den Benutzer genau erklären, welche Regeln zu befolgen sind. Die Möglichkeiten der Tools sind heute gross, trotzdem ist die sinnvolle Anwendung immer noch zentral ! Zauberwort lautet TOI > Transfer of Information >Anwender müssen verstehen wie es funktioniert. Beispiele in der Schulung zeigen.
- #15: Das Tool tcext wird zuerst ausgeführt, dadurch wurden Testfälle auf einer FitNesse-Seite detektiert und im SpiraTeam kreiert. SpiraTeam liefert dabei die zugehörigen ID’s zurück, welche hernach in der FitNesse-Seite im TAG ergänzt wird. Das Tool trext analysiert ausgeführte FitNesse-Seiten und bildet ein Gesamturteil pro Testfall (wenn alle geprüften Zellen einer Tabelle grün sind, ist Testfall grün).
- #16: Hier ein klassischer Verlauf von einem stabilen Release n nach n+1 mit unstabiler Zwischenphase wo implementiert wurde. Release n wurde nächtlich mit 2800 Testfällen geprüft, beim nächsten Release waren es dann rund 3280.
- #17: Ich muss aber gestehen, dass wir dieses Feature noch genauer anschauen und erlernen müssen. Wir haben es noch nicht produktiv angewendet.
- #19: RSA Schlüssel zeigen, Firewalls erwähnen. Kompletter Werkzeugpark auf PROD ist meistens nicht erwünscht.
- #20: SNMP Traps Hochgradig spezialisierte Werkzeuge.
- #21: Ich übergebe das Wort unserem Sales-Verantwortlichen Reto Gatenbein, Mitglied der GL. Zeitlimit im Auge halten und Reto sagen wie lange er reden soll.