Checkliste: Anforderungen GUI-Testtool für Java und/oder Web

Checkliste: Anforderungen GUI-Testtool für Java und/oder Web
Anforderungen
Features
Unterstützte Technologien
Gewichtung
QF-Test (QFS)
QF-Test
Vergleichstool Vergleichstool Vergleichstool
Regressions- und Lasttests für Java und Web Ihr Eindruck
1
2
3
GUIs
Java: Swing, JavaFX, AWT, SWT, Eclipse PlugIns, RCP, Applets, JavaWebStart, RIA, ULC,
CaptainCasa.
Web: Internet Explorer, Firefox, Chrome (HTML
5, AJAX: ExtGWT/GXT, ExtJS, GWT, ICEfaces,
jQuery UI, jQuery EasyUI, Kendo UI,
PrimeFaces, Qooxdoo, RAP, RichFaces, Vaadin,
ZK...).
Mehrere GUI Technologien
in einem System
Geeignet für hybride Systeme mit mehreren GUI
Technologien wie auch eingebettete BrowserKomponenten (JavaFX, WebView, JXBrowser,
SWT-Browser…über "generische
Komponenten").
Unterstützte
Betriebssysteme
Swing und JavaFX: Windows, Linux, Unix; Mac
OS X funktioniert (aber keine explizite
Unterstützung)
SWT: Windows, Linux-GTK; Solaris-GTK auf
Anfrage.
Web: Windows, Linux.
Capture/Replay für schnelle Testerstellung:
umfangreiche Möglichkeiten für Ablaufsteuerung,
Modularisierung und erweitertes Skripting.
Testprinzip
Teststrukturierug
Checkliste_QF-Test
Klar und übersichtlich dank graphischer
Darstellung des Testablaufs in Baumstruktur.
Schichtenarchitektur von Testsuiten ermöglicht
modularen Aufbau bei umfangreichen Tests.
1
Komponentenwiedererkennung.
Robustheit der Tests
Variabel, beherrscht komplexe Elemente wie
dynamische Bäume und Tabellen. Ausgereifter,
parametrierbarer Algorithmus sorgt für hohe
Wiedererkennung, besonders bei
Namensvergabe. Tests tolerant gegenüber
Änderungen am GUI.
Wiederverwendbarkeit,
Wartungsaufwand
Hohe Wiederverwendbarkeit (stabile
Komponentenwiedererkennung). Automatische
Erstellung von Basisprozeduren zum
Komponentenzugriff und modularer Aufbau
resultieren in geringem Wartungsaufwand.
Datengetriebenes Testen
Datentreiber erlauben flexibles Einbinden interner
und externer Testdaten z.B. aus CSV, Excel
Dateien oder Datenbankzugriff. Über
Skripterweiterung können beliebige andere
Quellen eingebunden werden. Testfall so mit
mehreren Testdatenvarianten ausführbar.
Schlüsselwort getriebenes
Testen/ Behavior-driven
Testing
Ausführung von Testfällen aus einem
Planungsdokument oder der Spezifikation, z.B.
Excel oder einem Testmanagementtool
(Testerstellung nicht direkt in QF-Test).
Flexibel auf Knopfdruck oder durch Aufruf über
die Kommandozeile. Detaillierte Protokolle mit
allen Informationen zur effektiven Fehlersuche
(inkl. Screenshots der Fehlersituation).
Übersichtsreports in HTML und XML.
Detailliertes Protokoll. Debuggerfunktionalität
inklusive Breakpoints und Variablenanalyse.
Eingebettetes Jython und Groovy inkl.
umfangreicher Bibliotheken ermöglichen auch
Zugriff auf das Java API sowie die Ausführung
eigener JavaScript Codes direkt im Browser.
Kommandozeilenskripting möglich.
Protokolle,
Testdokumentation und
Reports
Fehleranalyse
Erweiterbarkeit / Skripting
Checkliste_QF-Test
2
Testmanagement
Continuous Integration
Reifegrad
Benutzerfreundlichkeit
Zugang zum Produkt
Installation
Einarbeitungszeit
Benötigte Vorkenntnisse
Bedienkomfort
Dokumentation
Checkliste_QF-Test
Pragmatische Lösung für kleinere Projekte in QFTest enthalten. Spezielle Integrationen verfügbar:
HP ALM - QualityCenter, Imbus TestBench,
Qmetry, SQS-TEST/Professional, Klaros (von
Verit) und Testlink (Open-Source).
Flexible Integration in Build-Tools: Ant, Maven,
Hudson, Jenkins, CruiseControl, CVS, SVN,
Subversion, ClearCase, Git, Mercurial, JIRA,
Bugzilla, ClearQuest, TestTrack Pro, Mantis…
Ausgereift, seit 2001 auf dem Markt verfügbar.
Bei über 1.000 Kunden weltweit mit über 7.000
Lizenzen im Einsatz.
Freie Demoversion anonym zum Download.
gratis Evaluationslizenz auch verlängerbar inkl.
freiem Support und Webinar. Upgrade zur
Kaufversion via Lizenzdatei.
Sehr schnell, kleine Downloaddateien für
Windows und Unix-Systeme verfügbar.
Demoversion ohne Lizenzregistrierung lauffähig.
Gutes und klar strukturiertes SelbststarterTutorial, schon ab etwa einer Stunde erste Tests
durchführbar.
Für Standardnutzung keine
Programmierkenntnisse erforderlich, jedoch für
fortgeschrittene Skripterstellung
(Standardskriptsprachen Jython und Groovy)
hilfreich.
Einfach zu bedienen, sehr intuitiv. Klar
strukturierte Baumansicht für bequemes
Bearbeiten der Testfälle, z.B. Copy/Paste und
Drag&Drop. Capture/Replay für einen schnellen
Start.
Ausführliches Handbuch, Selbststarter-Tutorial,
Videos, Standardprozeduren,
Volltextsuchfunktionen, Online-Hilfe per
Rechtsklick in QF-Test, allgemeine und
technische FAQ.
3
Testdurchführung
Testvorbereitung
Testfallvorbereitung
Testskripte
Verifikationspunkte
Bildvergleiche
Object mapping
Tests im Batch-Betrieb
Entfernte Ausführung
Fehlerbehandlung
Anpassung von Tests
Teamarbeit
Formate und
Versionsmanagement
Checkliste_QF-Test
Tipp: 2 Monitore hilfreich
Der Schnellstart-Wizard erledigt eine nur bei
Anwendungen mit SWT Komponenten nötige
Instrumentierung automatisch, AJAX-Toolkit wird
automatisch erkannt, keine Browser Plug-Ins
nötig.
Abhängigkeitsmanagement für Testvorbereitung
für unabhänging lauffähige Testfälle, inklusive
automatischer Fehlerbehandlung.
Übersichtlich,gut nachvollziehbar, leicht
erweiterbar - sogar während des Debuggens.
Direktes Aufnehmen von Standard-Checks,
kundenspezifische Checks über Skripting.
Zahlreiche Algorithmen auch für unscharfe
Bildvergleiche - komfortabler Diff-View zur
Kontrolle bei Abweichungen.
Komponenteninformationen während der
Aufnahme gespeichert in einem eigenen Bereich
in der Testsuite, jederzeit editierbar.
Mechanismen für automatisches Update.
Ja, umfangreiche Konfigurationsoptionen per
Kommandozeilenparameter und Einbinden in
Build-Umgebungen. Einleiten weiterer Schritte
nach einem Testlauf über Rückgabewerte.
Testausführung auch auf entfernten Rechnern im
Daemon-Modus.
Automatische Fehlerbehandlung garantiert das
Fortführen der Gesamttests.
Tests voll editierbar an beliebiger Stelle zu
ergänzen oder zu ändern. Test-Debugger hier
hilfreich.
Konfliktfrei durch modularen Aufbau von Tests
und Importmechanismus für die
Komponenteninformation.
Testsuiten wie Protokolle als XML Dateien und
gut geeignet für z.B. Versionsverwaltung.
4
Generische Komponenten
Lizenzen und Preise
Produktvarianten
Lizenztypen
Erkennung technischer Komponenten (Buttons,
Textfelder…) ist stark abstrahiert, erlaubt die
Wiederverwendung von Tests über Technologien
hinweg sowie den Einsatz von allgemein gültigen
Aktionen ohne jedes einzelne Feld erfassen zu
müssen.
QF-Test ist in verschiedenen Produktvarianten
aus den vier GUIs erhältlich (Swing, FX, SWT,
Web). Es können genau die Technologien
gewählt werden, die man benötigt.
Entwickler und Runtime-Lizenzen: alle Lizenzen
sind floating (d.h. frei im Projekt übertragbar) und
zeitlich unbegrenzt. Kauf, Miete und Upgrading
möglich. Lizenzserver für netzwerkübergreifende
Nutzung.
Lizenzpreise
Entwicklerlizenz ab 1.995 EUR, Runtime-Lizenz
ab 995 EUR. Preisnachlässe bei Kauf mehrerer
Lizenzen/Technologien und späterem Zukauf.
Lizenzserver
Verfügbar oder denzentrales Lizenzmanagement.
Support und Service
Sprachen
Support
Während Evaluation
Komplett auf Deutsch und Englisch
(Dokumentation, Videos, Schulung, Support).
Direkt von den Entwicklern und Testern von QFTest.
Freier Support per Telefon / E-Mail, aktive
Kontaktaufnahme und Supportangebot, freies
Evaluations-Webinar.
Support mit
Wartungsvertrag
(kommerziell)
Pflegevertrag (Support + Upgrades) auf jährlicher
Basis: sehr kurze Antwortzeiten - individueller
Support per E-Mail, Telefon, Webinar.
Schulung, Beratung
Beim Kunden vor Ort oder als regelmäßige
Schulungen bei QFS: alle Angebote auch als
Webinar.
Checkliste_QF-Test
5
Community /
Diskussionsforum
(Englische) Mailing-Liste, kurze Antwortzeiten,
auch von QF-Test Entwicklern - umfangreiches
Listenarchiv mit Suche.
Gesamtergebnis
Checkliste_QF-Test
6

Download Report