Абсолютно дивно, яку різницю робить автоматизація. Не тільки для тестування веб-сторінок, але прийняття звичних завдань від людей та призначення їх комп’ютерам, як правило, робить працівників щасливішими. Тоді вони можуть направити свій час на більш продуктивні зусилля, чи не так? Менеджери та зацікавлені сторони будуть щасливішими та довірливішими у своєму бізнес-процесі. Клієнти щасливіші та безпечніші. То в чому кришка?
Автоматизація непроста: трохи_захистування:
Автоматизація – це не універсальний варіант: little_frowning:
Автоматизація безпечніша, але вона не захищена від кулі: little_frowning:
Автоматизовані системи потребують технічного обслуговування:
Ми вже говорили про автоматизацію тестування веб-сторінок у попередній статті, тому ви можете пам’ятати, як забезпечення якості є вирішальним для надійної доставки програмного забезпечення. Але чи справді варто тестувати кожну річ кожного разу, коли ми випускаємо нову версію програми? Тестерам незручно продовжувати робити ті самі дії знову і знову. Тоді досить неможливо охопити всі доступні там платформи та операційні системи. Здається, тестування є ідеальним кандидатом для автоматизації.
Автоматизація тестування програмного забезпечення – це процес використання окремого програмного забезпечення для виконання тестів та порівняння фактичних результатів із передбачуваними результатами для системи, що тестується. Але чи варто це робити? Продовжуйте читати, щоб дізнатись.
Перк no1. час-гроші
Буденні, повторювані, необдумані завдання призначені для комп’ютерів. Розгляньте набір тестів, який триває близько 2 годин, щоб пройти тестер вручну. Виходить великий випуск, і їм потрібен тест на регресії. Звичайно, їм потрібно робити це в декількох браузерах та / або операційних системах, тому вони відтворюють цю 2-годинну активність кілька разів. Це принаймні щоденна робота повторюваних клацань, введення форми та очікування. Не кажучи вже про все документування фактичних відповідей додатків, оскільки вони порівнюються із очікуваною поведінкою.
Набір для автоматизованого тестування веб-сторінок працює набагато швидше, ніж тестер, проведений вручну. При розробці еквівалентного автоматизованого набору тестів вам слід врахувати, що:
той самий 2-годинний набір тестів вручну може зайняти лише кілька хвилин
є гнучкість часу; ви можете запускати автоматизовані тести паралельно, частину вашої безперервної інтеграції або безперервного процесу доставки, перегляньте їх, лише якщо вони не вдаються тощо.
їх можна повторно використовувати стільки разів, скільки потрібно, без змін. Тож якщо ви витратите 8 годин на розробку автоматизованого набору тестів, ви заощадите цей час за короткий час. Можливо, навіть пару релізів. Тобто, якщо …
Мінус
Скажімо, ваш веб-додаток швидко змінюється. А може, технічні характеристики нестабільні. У цьому випадку ви не отримаєте таких же фантастичних переваг від автоматизованого тестування веб-сторінок. Чому? Що ж, вам також потрібно налаштувати тестовий пакет, кожен раз, коли ви налаштовуєте специфікації та / або поведінку програми. До речі, ми думали про це, розробляючи Trudon, наш інструмент автоматизованого контролю якості. Ми використовуємо Штучний інтелект, щоб визначити, чи було додаток змінено зовні, але не функціонально. Тому ми можемо продовжувати тестування та попереджати про незначні зміни при звітуванні.
Крім того, розглянемо набір навичок. Допомога ручним тестерам перейти на автоматизацію може мати початкову формувальну вартість. Залежно від технології, яку вони повинні засвоїти, це може зайняти від незначних витрат до вивчення серйозних навичок програмування.
Перк no2. надійність
Повернемось до нашого тестера, що проводиться вручну. Він займається цим вже добрі 4 години. І він потрапляє у свій третій запуск цього тестового набору, але … все стає трохи нудним, і він починає поспішати з процесом. Справа не в тому, що він неакуратний, або в тому, що він має якийсь намір прослизнути. Просто людська увага насправді не така вже й велика.
гідна відправна точка для вивчення виправлення
З іншого боку, автоматизовані тести ніколи не хитаються зі свого встановленого шляху. Кожен крок виконується в точно такому ж порядку, в якому був розроблений. Це питання самодокументування. Ручні тестери можуть натрапити на, але, нічого не документуючи, а потім намагатись відтворити помилку. Але під час автоматизованого тестування ми знаємо точну лінію, коли (що стосується етапу автоматизації) тест не вдався, дані, які використовувались на той час, і точні кроки для відтворення. Отже, автоматизуючи, ми даємо програмістам гідну стартову точку для дослідження виправлення. І нам потрібні ці підказки, щоб перейти від тестування веб-сторінки до виправлення веб-сторінки: little_smiling:
Мінус
Не очікуйте надійності, якщо ваш додаток не є детермінованим. “Недетермінований” означає, що дія, виконана з додатком, може мати ряд різних результатів. Насправді ви навряд чи можете автоматизувати будь-які тести в такому додатку, можливо, крім основних димових тестів. Але докладніше про це у наступній статті.
Perk 3 – різноманітність типів тестування веб-сторінок
Не всі тести створені рівними. І ви завжди можете збалансувати між написанням нових тестів або урізноманітненням масиву тестів.
Деякі типи тестування веб-сторінок за своєю суттю автоматизовані: модульні тести та будь-який тип нефункціонального тесту (навантаження, стрес, локалізація, тестування сумісності тощо). З іншого боку, дослідницьке тестування, де команда з контролю якості досліджує додаток у пошуках можливих проблем, за визначенням є посібником. Але більшість типів тестів підтримують обидві практики.
Ключова різниця полягає в ефективності.
У цьому випадку ключовою відмінністю є, очевидно, ефективність. Для інтеграційного тестування, регресійного тестування та тестування системи потрібно протестувати великий шматок або весь додаток. Це просто займає багато часу для ручного тестера (див. Перк №1). При попередніх методах випробувань, таких як перевірка стану розумності або диму, автоматизація може проводити як попереднє, так і подальше випробування. Це скорочує затримки часу з офіційним прийняттям, призначенням завдань тощо, роблячи доставку додатків швидшою та безпечнішою.
Ще один цікавий аспект – тестування графічного інтерфейсу. Рекомендується поєднання автоматизованого та ручного огляду. Тестерам важко оцінити делікатні деталі, такі як різниця в вирівнюванні на 1 піксель або тонка різниця відтінків між кольорами. Насправді, деякі засоби автоматизації тестів, такі як Applitools, спеціально розроблені для порівняння очікуваного та фактичного вигляду.
Мінус
Вам можуть просто не знадобитися всі ці типи тестів. Слід обережно враховувати цільовий рівень охоплення та різноманітність ваших тестів. Вони також залежать від ваших бізнес-процесів та розміру програми.
Проста автоматизація тестів для нетехнічних людей насправді є однією з ключових причин існування Trudon.
Інший мінус – щодо приймально-здавальних випробувань. Більшість засобів автоматизації тестів є високотехнічними, тому автоматизоване тестування в руках клієнта є чимось рідкісним і цінним. Під час тестування приймання клієнт перевіряє бізнес-потоки наскрізно, але він також може заглибитися в аспекти графічного інтерфейсу користувача або тестування безпеки. Проста автоматизація тестів для нетехнічних людей насправді є однією з ключових причин існування Trudon. Але повернемось до автоматизації загалом.
Перк no4. показники тестування веб-сторінок
Автоматизація дає вам корисні показники, що підтримує чіткі критерії звільнення. Наприклад, ось як ви можете визначити критерії прийняття нового випуску:
100% проходження одиничних тестів
90% або більше покриття коду
80% або більше впевненості, що 1000 одночасних користувачів не зламають ваш додаток (за стрес-тестування)
За допомогою простого ручного тестування ви випускаєте наосліп, не знаючи, які рядки коду можуть бути проблематичними. Тим паче, не маючи чіткого уявлення про вузькі місця в роботі чи як і чому вони трапляються. І навпаки, за допомогою автоматизованого тестування веб-сторінок ви отримуєте багато та багато показників, які можна комбінувати та використовувати для керування вашим бізнес-процесом.
Мінус
Як і у випадку з безліччю видів тестування, вам може просто не знадобитися складних показників. Для простого веб-додатку або такого, який не обробляє процеси високого ризику, вам потрібно лише кілька основних цифр.
Перк no5. простір голови
Якби я був схильний до філософії, я б сказав, що автоматизоване тестування – це спосіб життя. Тому що, щоб щось автоматизувати, спочатку це має бути в психічному стані. Тестування веб-сторінок не є винятком. Рентабельність інвестицій завжди краща для компаній, які ставлять якість на перше місце. Але не тому, що автоматизоване тестування – це якась магія. Це плід послідовного, прагматичного та економічно ефективного підходу до випуску веб-програм. Це дає тестувальникам (і всій команді) свободу вдосконалюватися. Свобода інновацій та комфорт бути людьми, а не побиті рекорди.
І, якщо ви очікуєте негативної сторони … вибачте, але мінусового простору ніколи не буває.
Все ще виконуєте контроль якості по старому?
Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/web-page-testing-5-big-perks-you-get-from-automation-tutunaru/.
Cosmin M. Tutunaru люб’язно дозволив нам перекласти і опублікувати цю статтю.
Temy.co - Software Development Partner 