AUG-5: Testing tools
1 like668 views
Документ описывает выбор плагина для управления тестированием программного обеспечения в Jira, анализируя различные инструменты и их особенности, включая Zephyr, Xray и другие. В нем обсуждаются важные критерии выбора, такие как функциональность, стоимость и интеграция с другими системами. Также документ подчеркивает важность управления процессом тестирования для повышения качества программного обеспечения.
AUG-5: Testing tools
- 1. Выбор плагина для управления тестированием Санкт-Петербург, 29.06.2017
- 2. 03-Jul-17 2 Надя Минчева Senior Software Test Engineer T-Systems firussa Nadezhda.Mincheva@t- systems.ru
- 4. 03-Jul-17 4 Немного статистики с software-testing №1 http://software-testing.ru/library/testing/test-analysis/2326-test-case-management- tools
- 5. 03-Jul-17 5 Немного статистики с software-testing №2 http://software-testing.ru/library/testing/test-analysis/2326-test-case-management- tools
- 6. 03-Jul-17 6 Немного статистики с software-testing №3 Причины выбора http://software-testing.ru/library/testing/test-analysis/2326-test-case-management- tools
- 7. 03-Jul-17 7 Testing & QA add-ons
- 8. 03-Jul-17 8 1. Ценаподдерживаемостьпопулярность 2. ServerCloud 3. Процесс тестирования • написание тест-кейсовчек листов • выполнение тест-кейсов в спринте • заведение дефектов из test runs • формировании набора для регрессии • формирование набора для автотестов • загрузка тестов (например из excel) • выгрузка тестов для review, для пользователей и т.д. • возможность редактирования тест-кейсов скоупом • возможность распределения задач и назначения их на конкретных людей • обновление тест-кейсов • простота получения отчетов, метрик, статистики • удобство установки, внедрения, поддержки 3. Кто будет работать с тест-кейсами кроме TestTeam 4. Какие отчеты нужны по тест-кейсам и их выполнению Некоторые Критерии выбора
- 9. 03-Jul-17 9 критерии для нашего проекта Структура теста Прогон теста Иерархия Предусловия Тестовое покрытие Время прогона теста Общий поиск задач Отчёты Стоимость (100 пользов.) $3000 $1600 $2800 Free Free* Zephyr Xray Kanoah Test QA Space Structur eTesty
- 10. 03-Jul-17 10 Zephyr for JIRA https://marketplace.atlassian.com/plugins/com.thed.zephyr.je/ • Есть дополнения ZAPI • Поиск с использованием Zephyr Query Language и Execution • Экспорт в word, excel • Тестовые итерации с несколькими циклами • Лучшая прослеживаемость с привязкой между историями, тестовыми примерами и ошибками в циклах тестирования • Тест кейсы в Agile board Преимущества • ZAPI платный • Невозможно импортировать результаты тестов • Отчетность может быть выполнена только для одного конкретного цикла итерации • Тестовые примеры имеют только 3 стандартных столбца. Невозможно настроить формат тестового сценария Недостатки
- 11. 03-Jul-17 11 Xray https://marketplace.atlassian.com/plugins/com.xpandit.plugins.xray • 4 типа issue: Test, Test Set, Test Execution and Pre- condition • История запусков тестов • API (к тому же включен в лицензию) • Отчеты • Экспорт в excel • Можно прикреплять файлы к шагам • Переиспользование предусловий • Написание тестов в стиле Cucumber • кейс может входить в несколько Test Set Преимущества • В тест плане отображаются тест кейсы, а не тест сеты • Прикрепленные файлы из шагов не попадают автоматически в баг Недостатки
- 12. 03-Jul-17 12 Test Management (formerly Kanoah Tests) https://marketplace.atlassian.com/plugins/com.kanoah.test-manager/ • Можно измерять время выполнения теста • Папки с тестами • Тестовое покрытие Преимущества • Дорогой • Нет предусловия • Отчеты простенькие Недостатки
- 13. 03-Jul-17 13 QaSpace https://marketplace.atlassian.com/plugins/com.epam.jira.tm.test_management/ • Бесплатный • Иерархия папок • Метки • API • Импортэкспорт в Excel • История запусков Преимущества • Отчеты попроще, чем у остальных плагинов • Не обрабатывает результаты теста и его шаги как отдельные объекты Недостатки
- 14. 03-Jul-17 14 Structure.Testy https://marketplace.atlassian.com/plugins/com.almworks.testy • Простота и визуалиизация • Отличный плагин для чек листов • Иерархия задач • Не добавляет вам никаких своих типов задач • Бесплатное дополнение к Structure Преимущества • Нет формы ШагиДанныеОжидаемый результат • Нет отдельного поля для предусловия • Нет отдельной отчетности Недостатки
- 15. 03-Jul-17 15 TestRail https://marketplace.atlassian.com/plugins/com.testrail.jira.testrail-plugin • TestRail API • Возможны различные уровни вложенности • Отчеты • Интеграция с другими системами Redmine, Bugzilla, TFS, GitHub, BitBucket, Visual Studio и т.д. Преимущества • Тестовое покрытие Недостатки
- 16. 03-Jul-17 16 qTest https://marketplace.atlassian.com/plugins/com.qas.qtest.plugins.jira-plugin • Управление требованиями • Интеграция с BugZilla, FogBugz, Raly • Подходит для исследовательского тестирования (Test Run Configuration & Data Management) Преимущества • 2 инструмента: qTest for JIRA Test Management и qTest Scenario for JIRA • По общему поиску JIRA нельзя искать Недостатки
- 17. 03-Jul-17 17 PractiTest https://marketplace.atlassian.com/plugins/com.practitest.jira.plugins.practitest-jira- lite • Типы тест-кейсов • Описание требований • Позволяет создать выборку тестов, назначать тестировщика и указывать точные сроки тестирования • API • Интеграция с Pivotal Tracker,YouTrack,Fogbugz,Bug zilla, RedMine,Github, Selenium, JUnit, SoapUI,QTP,Jenkins,Circle CI ,and Slack Преимущества • Относительно недавно на рынке Недостатки
- 18. 03-Jul-17 18 Test Collab https://marketplace.atlassian.com/plugins/com.testcollab.jira.addon.testcollab-jira- v1 • Time tracking • Управление требованиями • Планирование и составление расписаний • Отчеты (диаграммы успешности) • Функция затраченного времени • Интеграция Преимущества • Назначать тесты нескольким пользователям • Нет отчетов по тестам Недостатки
- 19. 03-Jul-17 19 TestLodge test case for JIRA https://marketplace.atlassian.com/plugins/com.testcollab.jira.addon.testcollab-jira- v1 • Можно всё настроить: роли, категории, приоритеты • Интеграция Преимущества • Отдельный инструмент Недостатки
- 20. 03-Jul-17 20 TestFLO for JIRA https://marketplace.atlassian.com/plugins/com.testcollab.jira.addon.testcollab-jira- v1 • Интеграция с Jenkins, Bamboo • Прикрепление файлов к шагам • Покрытие требований • Импорт из TestLink, Zephyr, CSV • Отчеты Преимущества • Нет Test Suits • Нет документации по cloud версии Недостатки
- 21. 03-Jul-17 21 Meliora Testlab for JIRA https://marketplace.atlassian.com/plugins/fi.meliora.testlab.ext.testlab-jira-plugin • Включает в себя собственный bug-трекер • Миграция с HP QC • Testlab for Confluence Преимущества • Громоздкий инструмент, плагин для JIRA как дополнение к основному решению Недостатки
- 22. 03-Jul-17 22 Ссылки Обзор плагинов для тестирования Юлия Атлыгина (ALM Works) https://www.youtube.com/watch?v=uv9TesICUSI Сравнение Zephyr и Xray: http://cyildirim.com/jira-test-tool-comparison-zephyr-for-jira-vs-x-ray/ https://www.xpand-addons.com/xray/xrayvszephyr/ Best Test Management Tools of 2017 http://bytextest.ru/2017/01/10/10-qa-software/ http://bytextest.ru/2017/01/11/10-qa-software-2/ http://getbug.ru/spisok-samyih-populyarnyih-instrumentov-dlya-testirovaniya/ https://geteasyqa.com/ru/blog/best-test-management-tools/ http://www.softwaretestinghelp.com/15-best-test-management-tools-for-software- testers/ http://www.guru99.com/top-20-test-management-tools.html
- 23. Спасибо!
- 24. JIRA as a Test Management tool Deliver faster and better software releases Sergio Freire Product Manager Xray for JIRA empowers test teams to manage and deliver rock solid software solutions João Mendonça Business Developer
- 25. 4 Years making kickass software 3 Offices in 2 different countries +1.000 Customers Using our products +60 Countries With customers +100 Reviews In the Marketplace +250.000 Lines of Code Written by our team 4 Languages Available in English, German, Spanish and French +500 Support Tickets Closed by our Support Team +300 Features In our roadmap
- 26. Our Products:
- 27. Our Clients
- 28. Agenda 1. Faster and better software releases 2. Why JIRA for Quality Assurance? 3. Leverage JIRA for testing with Xray I. Project Organization Scenarios II. Workflows and Custom Fields III. JQL functions 4. The life of a ”tester” I. Specifying, organizing, planning, executing II. Reporting 5. Test Automation 6. In sum
- 29. 1. Faster and better software releases Xray for JIRA
- 30. Speed vs Quality Are they real enemies? Let these help you out: • Agile • DevOps • Continuous Integration • Automated Testing • Continuous Testing • Continuous Delivery Release often, with confidence. Motivate your team, make your customers happy. Image by www.genalice.com.
- 31. Why is Test Management so important? Software is everywhere, including in critical systems from health, finance, transports, space, IoT, just to name a few…
- 32. 2. Why JIRA for Quality Assurance? Xray for JIRA
- 33. Using JIRA for software development Requirements Defects
- 34. … there was Excel… or even other “legacy Test Management tools” J In the ”dark ages”….
- 35. Built-in features • Focus on teams • Collaboration / Comments • Agile project management & waterfall • Workflow control • Customizable and adaptable • Searching • Assignment • Track changes • Linking between issues • Importing issues from CSV And more, through thousands of add-ons… Welcome to “modern ages” with JIRA
- 36. What is missing? 1. Test related artifacts (tests, executions, plans) 2. Visibility of testing results and progress in Agile boards 3. In-context information about tests for requirements 4. Advanced reporting for generating documents and drill-down on data JIRA as a Test Management tool
- 37. 3. Leverage JIRA for testing with Xray Xray for JIRA
- 38. 1. Specify Pre-Conditions and Tests and organize them in Test Sets 2. Create one or more Test Plans for a given version 3. Create multiple planned Test Executions (i.e. associated with the Test Plan) Dedicated JIRA issue types for testing Specification: Tests and Pre-Conditions Organization: Test Sets Planning: Test Plans Execution: (sub)Test Executions
- 39. 1. Leverages JIRAs built-in features 2. Permission control 3. Implementation of Workflows 4. Custom fields 5. Screens customization 6. Assignment, Changes tracking 7. Collaboration 8. And much more… The benefits of using JIRA issue types
- 40. 3. i) Project Organization Scenarios Xray for JIRA
- 41. A single project to manage your Requirements and Defects, Test related issues and also have all your Test Executions. All for One and One for All
- 42. A dedicated project for Test and Test Set issues. Test Executions are responsibility of other project(s). Dedicated Test Repository
- 43. 3. ii) Workflows and Custom Fields Xray for JIRA
- 44. Possible scenarios • Disable tests for new executions • Have a status for “deprecated” tests • Have an initial stage for the specification (e.g. “draft” or “new”) and then another status whenever it’s ready to be used Workflow example for Tests & Pre-Conditions Manage specification lifecyle
- 45. Possible scenarios • Disallow executions of Tests with workflow statuses • Disallow executions with workflow statuses • For Test Executions in specific status • In progress Test Execution workflow status • After the first run • Resolved Test Execution workflow status • When all runs are in final status • Resolution for Resolved Test Execution Workflow example for Test Executions and Test Plans Manage execution lifecyle
- 46. • Custom fields may be added to any Xray issue type (i.e.Test, Pre-Condition, Test Set, (Sub)Test Execution, Test Plan) • Can be used to complement issues with additional information Custom Fields
- 47. 3. iii) JQL functions Xray for JIRA
- 48. Querying using JQL functions testPlanTests(‘CALC-123’) Test Plan's Tests Test Plan’s Tests currently in a given status Test Plan’s Tests currently in a given status, in a given Test Environment testPlanTests(‘CALC-123’, ’TODO’) testPlanTests(‘CALC-123’, ’TODO’, ’Android’) issue in requirements('NOK', 'Calculator', 'V4.0') Requirement Issues with the provided coverage status Xray provides an extensive list of JQL functions, so you may obtain what you need.
- 49. 4. The life of a “tester” Xray for JIRA
- 50. Testing phases
- 51. • Composed by a list of steps • Each Step is defined by: • Action/Step • Data • Expected Result • Input Attachments • Support for JIRA Wiki markup • Importing steps, including from Excel using copy&paste Specifying “Manual Tests”
- 52. • Cucumber supported natively • BDD – Specify tests in a business-readable domain-specific language • Test definition serves as documentation • Automated test steps may be implemented in Ruby, Java, .Net, etc • Export specification and execute it during Continuous Integration Specifying “Automated Cucumber Tests”
- 53. Astracts initial steps that must be done or ensured before starting the test. • Manual or Automated • Reusable; may be linked to multiple Tests Complement specifications with “Pre-Conditions”
- 54. Flat, with “Test Sets” Organizing Tests in multiple ways A issue that represents a list of tests organized by some logical way. The natural “JIRA way”. For the “hierarchy/folder mindset”… Hierarchical (v3.0)
- 55. A testing plan for aggregating and consolidate results from multiple iterations (i.e. Test Executions) • Tracks a group of tests and their results independently of the number of executions • Create planned test cycles (i.e. Test Executions) for the Test Plan Planning with “Test Plans”
- 56. • Contains a list of tests and their results (i.e. test runs) • Can be labeled, proritized, assigned to components, etc. • May be created manually or during Continuous Integration A “task” for executing a group of tests on a given version of the system. Executing with “Test Executions”
- 57. 1. Set Execution Result 2. Create Defect issues 3. Attach Evidences 4. Add comments 5. Check the Execution Activity Log At the execution screen of a Test Run…
- 58. Ok… but how does gets visible in our requirements? Xray for JIRA
- 59. “Requirements” as they come by default in JIRA • You may track the implementation through the workflow status but it lacks testing related info • “Soft-binding” between implementation and expected result
- 60. Real status of requirements with in-context information With Xray: • Real-time information about the coverage status of the requirement for a given version • Real-time information about the associated test results, for a given version • A ”requirement” may be any issue type you may have; test coverage can be made in any issue type
- 61. 4. ii) Reports Xray for JIRA
- 62. 1. Built-in reports 2. JIRA gadgets in JIRA dashboards 3. Agile boards 4. Through other top-notch JIRA add-ons Multiple ways of reporting, the JIRA way
- 63. Shows the requirement traceability, from requirements to defects. This helps you analyze the requirements and related Tests, Test Runs and defects, for quickly identifying uncovered or incomplete/faulty requirements. Built-in reports: Traceability Report
- 64. Provides a quick way of evaluating the current (coverage) status of your project's requirements, so you will be able to see if they are ready to be or not. JIRA Dasboards: Requirement Coverage Gadgets
- 65. Useful, yet lack quality related information. Standard Agile Boards
- 66. Xray gives you visibility of your testing results and its progress. Enhanced Agile Boards with Xray
- 67. Use Xporter to generate fully customizable Word, Excel or PDF files with your testing reports to give to your management, colleagues or to your customers (e.g. Test specification, Test Execution progress and respective results, Test Plan details). Reports as deliverable assets
- 68. 5. Test Automation Xray for JIRA
- 69. The cost of bugs Code Complete, Steve McConnell, 2004 • The cost of fixing bugs grows exponentially depending on the phase in which they are detected • The fix cost also depends on the stage where bugs are initially introduced => Automated testing to the rescue! Phase in which a Defect is introduced Phase in which a Defect is detected
- 70. Supported formats • Xray JSON • Cucumber • Behave • JUnit • Nunit • Robot framework • Calabash • … more to come Automation in mind… Integrating with automated test frameworks
- 73. 6. In sum… Xray for JIRA
- 74. 1. Use JIRA for managing the complete lifecycle of your software projects 2. Xray is the perfect tool for Test Management inside JIRA, for both manual and automated testing 3. Xporter complements Xray, enabling advanced reports in Word, Excel, PDF with custom layouts Deliver faster and better releases with JIRA and Xray Xray for JIRA empowers test teams to manage and deliver rock solid software solutions
- 75. w w w . x p a n d - a d d o n s . c o m Thank you. joao.mendonca@xpand-it.com