Testen von Software

[Malevil]

Hallo,
ich habe recht lange überlegt, ob ich dieses Thema posten sollte, seit geraumer Zeit muß man sich die Wortwahl hier sehr gut überlegen. Das Thema verfolgt mich jetzt schon seit Jahren und konkrete Ausführungen dazu findet man selten. Wie testen Teams eigentlich die Verkaufsversion von FS-Software(eigentlich generell Applications). Der eigentliche Auslöser ist bei mir ist die PMDGOptions.dll, die ständig dieses Fehlermeldungsfenster des FS nach Beendigung des FS
auslöst, egal ob nur eine Scenery angemeldet wird, der FS nur gestartet wurde und ohne Sitzung beendet wird, jedes Mal taucht dieses Fenster auf, es nervt.
Mal ganz naiv gedacht, das muß doch beim Testen auffallen. Ich weiß, es gibt tausende Systemversionen und die Fehler tauchen nicht bei allen auf, aber ist der Veröffentlichungsdruck tatsächlich so groß, daß gnadenlos der Verbraucher den eigentlichen Endtest mit seinen dann in Foren gestellten Fragen absollviert ?
Vielen Dank,
Dieter Swada

[Rainer Duda]

Hallo Dieter,

kann natürlich nur für mich speziell reden.

Tester sind einerseits gute Bekannte/Freunde bzw. Personen, denen man ein gewisses Vertrauen entgegenbringt. Oder auch Personen, die aufgrund gewisser Kenntnisse der Realität (z.B. in meinem Fall eines Flugplatzes) ein frühes "Mitspracherecht" eingeräumt wird.
Andererseits achtet man auch darauf, gewisse Hardware vertreten zu sehen, damit es bei einer "Freigabe in den Wirkbetrieb" keine Überraschung gibt.
In meinem Fall sehe ich es zusätzlich gerne, wenn auch befreundete Designerkollegen einen Blick riskieren. Schon darum, um verwendete Techniken auf deren Meinung hin abzuklären.

Im Test gibt es dann unterschiedliche Entwicklungsstände, ab denen Gruppen in Tests involviert werden oder (noch) nicht. Dieser Entwicklungsstand wird dann immer wieder mit einem Update versehen.

Warum schlussendlich oft in Releaseversionen noch Fehler reinkommen? Hat auch oft was mit Installern zu tun, wo einfach ebenfalls Fehler passieren. Oder auch durch Schnellschüsse, die man als Entwickler gerade noch im Produkt sehen möchte.
Und dummerweise sind natürlich dann die Rechner der Tester schon durch vorherige Testversionen "verseucht", so dass immer etwas durchrutschen kann.
Man macht also im Endeffekt immer wieder auch den gleichen Fehler, nämlich nicht gleiche Ausgangssituationen zu schaffen. Nur... kann man dies in einem derart offenen System wie dem Flusi überhaupt? Wo schon unendlich viele andere Addons den Rechner eines Kunden mit Datenänderungen überflutet haben.

Es mag natürlich bei anderen Gruppen völlig anders aussehen und auch dort ein gewisser Veröffentlichungsdruck zu einem geplanten Termin herrschen. Keine Frage, Hektik ist eine Fehlerquelle.

Zumindest mache ich Test und Abnahmen für diverse Software-Entwicklungen eines grossen deutschen Konzerns und leite dort ein entsprechendes Team. Wir haben dort entsprechende Richtlinien für Softwaretests entwickelt, die man dann spaßeshalber auch mal bei diesen "Homeprojects" anwenden kann. Schon interessant, was daran sogar zu übernehmen ist.

Ciao,
Rainer.

[Lars A]

Hallo Dieter,

der Veröffentlichungsdruck scheint tatsächlich gross zu sein, so findet sich im PMDG-Forum der Hinweis, dass die besagte DLL kurz vor dem Release noch einmal geändet wurde. Wenn man die 747 geladen hat, taucht der Fehler bekanntlich nicht auf und die Tester düften in den letzten Tagen wohl keine FS-Session ohne die 747 zugebracht haben!

Ansonsten glaube ich, dass bei der grossen Zahl heutiger Add-Ons keine Flusi-Installation der anderen gleicht und bei der komplexen Struktur der Software leider (!) immer Inkompatibilitäten und somit Fehler auftauchen werden.

Viele Grüsse

Lars

[HOLI]

Hallo,

nur ganz kurz und knapp, dieser Fehler tat während des Beta Tests einfach nicht auf und hat sich sozusagen in den release candidate eingeschlichen.
Zum weiteren Verständnis, man sollte den PMDG Jungs auch jetzt ne faire Chance geben und warten bis das update rauskommt, da ja dieser Fehler nicht der einzige Fehler ist.

Bevor sich jetzt wieder jemand ereifert und es alles besser weiß, ich weiß wovon ich rede und werde also nicht in irgendwelche Diskussionen einsteigen.
Gruß

[r_schon]

Hallo ,

noch ein Argument - die Betatester arbeiten freiwillig und für lau.

Da kann man zwar Vorgaben und Testschemata herausgeben, aber niemand zwingen, sich so dem zu unterwerfen

Gute Betatester arbeiten nicht nur an einem Produkt. Und gelegentlich wird dann ein Bug auch von den Betatestern übersehen.

Das erscheint mir aber bei Weitem nicht die Hauptursache für Probleme zu sein. Verfolgt man die Diskussion um die "Queen" fällt einem als Außenstehender auf, daß bestimmte Probleme nur bei einigen Usern auftreten - andere haben garnichts oder wieder was anderes. Nehme mal an, wie oben gesagt, jedes System sieht anders aus und wahrscheinlich kommen zusätzlich noch Bedienfehler dazu.

Wird in den Support Foren wahrscheinlich nicht anders aussehen - für die Entwickler sehr schwierig, sich ein zutreffendes Bild zu verschaffen.

Ich kann den Threaderöffner recht gut verstehen, das nervt. Genauso glaube ich, daß es den Betatestern nicht als Problem aufgefallen ist - sonst wäre das bestimmt behoben worden, wenn es direkt ins Auge springt.

Wenn man selbst Support für verzweifelte User leisten muß, dann staunt man manchmal, was so alles auf den Flusi einwirkt was auf den ersten Blick keinen direkten Bezug zu dem Programm hat.

Als Fazit würde ich sagen, seriöse Entwickler testen schon und können im Vorfeld einiges abstellen. Solche Flieger wie diese 747 sind allerdings ein recht komplexes System, bei dem auch Dinge abseits von SDK programmiert werden. Das dann auf einem MS Betriebssystem und in einem MS Programm dürfte eine Hauptursache für Probleme sein.

Gruß
Rolf

[Malevil]

Vielen Dank für die Erklärungen, meine Perspektive ist die eines Anwenders/Verbrauchers mit kritischer Grundhaltung, bestimmt auch ein entschuldbarer Zustand. Ich reagiere, vermutlich wie die meisten Menschen, mit Frust und Ungeduld, wenn ich etwas nicht verstehe und der Erkenntnisgewinn niedrig ist. Zudem bin ich kein Informatiker und erst in meiner Lebensmitte erstmalig mit PCs in Kontakt gekommen, bedingt durch meine Lebenszeit in der DDR. Es erschließt sich mir also nicht alles so auf Zuruf und manches überhaupt nicht. Aber das gehört alles nicht so recht zu Thema.
Die Testung der finalen Software sah ich wahrscheinlich recht blauäugig. In meiner Vorstellung standen so 10 bis ??? PCs in unterschiedlichen Konfigurationen herum und absolvieren Tag und Nacht Testläufe unter den verschiedensten Bedingungen, auch unter eventuell absurdesten Voraussetzungen. Derartige Endtests können sich aber wohl kleine Entwicklerteams schon finanziell überhaupt nicht leisten.
Aber dies alles bringt glaube ich sowieso niemandem etwas, belassen wir es dabei.
Vielen Dank,
Dieter Swada

[r_schon]

Hallo Dieter,

Deine Grundhaltung betreffend Qualitätskontrolle von Software ist sicher richtig.

Ich finde auch Deine Vorgehensweise korrekt, zu versuchen, den Dingen auf den Grund zu gehen, bevor man ein Urteil fällt.

Das würde man sich mehr wünschen, daß die Leute fragen, bevor sie meckern. Hier sind ja genügend Leute aktiv, die einem eine Erklärung geben können. Dann kommt es auch zu einem ausgewogenen Urteil, so wie in Deiner Bewertung , die Du oben dargestellt hast.

So sollte es sein, dann hätte man hier im Forum weniger Ärger und Aufregung .

Gruß
Rolf

[HansHartmann]

Es gibt Systeme, die in der Lage sind, automatisch bestimmte Abläufe zu testen. Allerdings sind sie einerseits sehr teuer und beim FS nicht praktikabel, weil bei einem FS-Addon Eingabe und Ausgabe vom bzw. in den FS erfolgen und nicht in irgendwelche Dateien (o.ä.), die ausgewertet werden könnten.

Wir sind beim Entwickeln zu 100% darauf angewiesen, dass die Betatester bzw. wir selbst die Fehler finden. Und das kann immer nur ein bestimmter Prozentsatz sein, egal, wie viele Leute an einer Beta teilnehmen. Es ist zum Beispiel unmöglich, alle denkbaren Hard- und Softwarekonfigurationen zu testen. Ein Teil der Fehler rutscht immer durch die Maschen und landet beim Kunden.