Wie laufen Beta-Tests ab?

[xtristarx]

hallo zusammen,

also ich möchte hier in keiner weise provozieren oder kritisieren, mich interessiert tatsächlich wei ein beta-test abläuft.
natürlich ist die frage auch ausgelöst durch die jüngsten diskussionen z.b. um die PSS 757 (...die ich nicht habe und dementsprechend soll der thread auch nicht auf eben diese bezogen sein).

fakt ist, dass offensichtlich trotz beta-tests einige flieger ausgeliefert werden, mit sehr drastischen bugs die im beta-test offensichtlich übersehen werden, bei manchen ist es fast unvorstellbar wie diese im test untergehen können.

meine frage ist also eher, wie muss ich mir die arbeit des beta-testers vorstellen. geht man nach checklisten vor (also testen des aussenmodells, abgleich mit einstellungen, test sämtlicher schalter und systeme, test in bestimmten simulatorkonfigurationen) und werden beta-tester mit verschiedenen systemvorraussetzungen "angeheuert"? und wie werden die ergebnisse der beta-tester verwaltet - das kann sicher nur ein entwickler berichten....vielleicht haben wir ja ein paar mit insiderinfos

[FO Niko]

Ich berichte jetzt einfach mal von der Cheyenne und ATR.

Nach einer laaaaaangen entwicklungszeit bekommt man ein Flugzeug mit einer liste von funktionen die nicht funktionieren weshalb man sie auch nicht beachten soll.
Man schaut also ob man fehler findet, findet man welche schaut man auf die Liste um zu vergleichen ob es wirklich ein Bug ist oder einfach noch nicht eingebaut.

Anfangs ist das wirklich vieeeeeeeeel nach schauen, aber die liste wird von Tag zu Tag immer kleiner.
Performence Daten bzw ein handbuch gab es erst recht spät, so das es learning by doing war.

Wenn das Flugzeug dann eine gewisse Reife erlangt hat geht es auf Welt tour. Man macht überall auf der Welt ein paar Test um die Navdaten zu überprüfen.
Auf bestimmten plätzen mache ich dann 2-3h Touch and go trainings mit verschiedenen Anflüge. VOR, ILS, VOR-DME usw usf bla bla bla.

Das ganze dann mit verschiedenen Gewichten und und und.
Am ende sind die teile dann Bugfrei. Ich habe noch nie erlebt das Hans ein Flugzeug veröffentlicht hat wenn noch irgend jemand im Team sich über fehler beschwert.

Dann gibts die Gold version wo man etwa 2 Tage zeit hat noch fehler zu finden, ansonsten geht das Teil an die öffentlichkeit.

Warum es dann bei manchen immer noch Bugs gibt (z.b Cheyenne und HDG dreht in die falsche richtung) kann ich absolut nicht verstehen.
Aber das muss ja auch Hans, und nicht ich

[772]

Ich kann leider nichts zum Prozedere bei Flusi-Beta-Tests sagen, aber zum Vergleich:

Ich hatte mal das Glück, Beta-Tester eines Online-Rollenspiels zu sein.
Dort wurde mit einem Forum speziell für Beta-Tester gearbeitet.
Die Tester haben also ihre Bugs und Vorschläge gepostet und hin und wieder bekamen wir von den Machern die Aufgabe spezifische Sachen zu testen (meistens nach updates).

Ich kann, wie gesagt, nicht viel zum Flusi-Addon testen sagen.
Das Problem, und ich würde sagen das gilt allgemein, liegt nicht so sehr and den offensichtlichen Bugs, sondern eher an der Tatsache, dass jedes PC-System anders ist. Das fängt bei den verschiedenen Komponenten an, geht über zahlreiche verschieden möglicher Parametrierungen dieser weiter (Grafikkarteneinstellungen etc.) weiter und endet bei den zahlreichen unterschiedlichen Addons, die jeder auf seinem PC haben kann und die sich evtl. mit dem Programm "beissen".

Daher versuchen die Firmen häufig auch soviel Tester, mit unterschiedlichen Systemen, and Bord zu kriegen wie möglich.

Aber hier mal ein kleines Beispiel:
PSS hatte für die 757 ein Team von ca. 30 Testern glaube ich, was für so ein kleines Team, wie PSS, verständlich ist.
Das Spiel für das ich das Glück hatte zu testen hatte mehrere Tausend...
...so, und jetzt rate mal, ob der Release reibungslos war....
Mitnichten: der ganze Release musste sogar um einen Tag verschoben werden und du kannst dir vorstellen wie das Forum am ersten Tag aussah....nicht schön.

Meiner Meinung nach wäre Vieles sehr viel einfacher wenn alle, weltweit dasselbe PC-Modell mit denselben Komponenten hätten...reine Utopie !
Ich habe mich mittlerweile schon daran gewöhnt, und empfinde es eher als seltenen Glücksfall, wenn mal was reibungslos rauskommt.
Wie immer, nur meine persönliche Meinung.

Grüsse
Thomas
ELLX

[Martin GEW115]

Das man weitestgehend bugfrei Releasen kann ist trotzdem keine Utopie, sondern eine Frage des Geldes. Als Beispiel ist hier beispielsweise Blizzard zu nennen, deren Spiele sich aber auch immer verzögern. Im Flusibereich kam die PMDG 747 m.E. in einem sehr ordentlich getesteten Zustand auf den Markt.

Nichtsdestotrotz muss aber auch eine Beta-Phase gut organisiert sein, um effektiv Fehler auszumerzen. Und letztendlich ist es für einen Hersteller natürlich auch angenehm, die Software von den Erstkunden "testen" zu lassen, denn schließlich übersteigen diese in der Anzahl und den verschiedenen Hardwarekonfigurationen jedes Beta-Team. Einen schlechteren Ruf nimmt man damit natürlich in Kauf.

[Martin Georg/EDDF]

Moin,


im Prinzip geht es beim Beta-Testen darum, möglichst viele Fehler zu finden, bevor das Produkt released wird. Dieser Prozess setzt meist schon recht früh in der Entwicklung ein, es ist z.B. nicht ungewöhnlich, dass man bereits die Flugdynamik testen soll, es aber noch gar kein passendes Außenmodell gibt. Oder man testet ein Panel ohne passendes Außenmodell.

Für die Kommunikation gibt es verschiedene Ansätze. Viele Entwickler setzen mittlerweile auf sogenannte "Bug Tracker", das sind spezielle Datenbank-Anwendungen, wo man Bugs meldet, diese dann einen Status und eine Priorität bekommen, und einem der Entwickler des Teams zugewiesen werden. Am Ende des Tests sollten dann möglichst alle Bugs in der Datenbank "closed" - sprich, abgearbeitet sein. Oftmals gibt es auch ein spezielles Tester-Forum, wo man sich austauscht.

Wichtig beim Bug-finden und reporten ist auf jeden Fall die Nachvollziehbarkeit. Ein Bugreport macht nur dann Sinn, wenn die Schritte zum Fehler klar beschrieben sind, und der Fehler so nachvollzogen werden kann.

Manche Entwickler legen Wert darauf, den Testsfokus vorzugeben. D.h., man soll sich bei bestimmten Releases auf bestimmte Bereiche des Produkts konzentrieren. Andere Entwickler geben nichts vor, man geht also "frei Schnauze" vor.

Einen Fehler, den viele Neulinge bei Beta-Tests gerne machen ist, dass sie fehlende Features melden oder neue Features fordern. Das ist in aller Regel nicht Sinn und Zwck des Beta-Tests. Wenn das Produkt Beta-Status hat, ist in aller Regel die Feature-Liste "closed", d.h. es gibt keine neuen Features mehr. Meist hat der/die Entwickler eh eine sehr genaue Vorstellung davon, welche Features sein Produkt beinhalten soll, und welche nicht.

Eine "Entlohnung" gibt es für Betatester i.d.R. nicht, man bekommt nach dem Release aber eine kostenlose Lizenz des Produkts. Meist ist auch die knechtende Hand des Entwicklers (aua Hans, nich hauen!!! ) kostenloser Bestandteil

[HansHartmann]

Original geschrieben von Martin Georg/EDDF
Meist ist auch die knechtende Hand des Entwicklers (aua Hans, nich hauen!!! ) kostenloser Bestandteil

Wie kommt es eigentlich, dass du Zeit hast, hier was zu posten? Du hast doch sicherlich Arbeit für mich zu erledigen!

[xtristarx]

na das war doch schon mal sehr interessant. danke für eure auskünfte! vielleicht kann der mit der knechtenden hand, oder wer anders, sagen wie diese tester letztlich ausgewählt werden.

(nebenei die hoffnung das die von martin zu erledigende arbeit mit einem in canada hergestellten regionaljet zu tun hat...hehehe)

[HansHartmann]

Ja, Martin wollte das CRJ Manual eigentlich bis heute abend fertig haben, damit Marcel und ich uns noch ein paar Monate mehr Zeit lassen können, um den Flieger fertig zu machen *denatombunkeraufsuch*

Um Betatester zu werden gibt es verschiedene Möglichkeiten
1) Man bringt technische Qualifikationen mit, ist also Pilot, Dispatcher oder Techniker für den Flugzeugtyp, um den es geht.
2) Man ist in vorherigen Betatests durch hohe Produktivität (viele, sinnvolle und hilfreiche Bugreports) aufgefallen. Die Leute sind immer gesucht, aber leider eher selten.
3) Man gehört zum Bekanntenkreis eines oder mehrerer Entwickler
4) Man spendet eine erhebliche Summe auf das Privatkonto des bettelarmen, völlig verhungert aussehenden Gauge-Programmierers, damit der sich einen neuen BMW leisten kann

Wirklich sicher ist natürlich nur Variante 4.

Wer in den CRJ-Test will, möge ich mir eine PN schicken, damit ich ihm meine Kontonummer zukommen lassen kann

[cwv135]

Original geschrieben von HansHartmann
... des bettelarmen, völlig verhungert aussehenden Gauge-Programmierers

na daran wirst Du wohl noch arbeiten müssen

[HansHartmann]

Original geschrieben von cwv135
na daran wirst Du wohl noch arbeiten müssen

Das finde ich jetzt nicht OK