Wie laufen Beta-Tests ab?
 

hallo zusammen,

also ich möchte hier in keiner weise provozieren oder kritisieren, mich interessiert tatsächlich wei ein beta-test abläuft.
natürlich ist die frage auch ausgelöst durch die jüngsten diskussionen z.b. um die PSS 757 (...die ich nicht habe und dementsprechend soll der thread auch nicht auf eben diese bezogen sein).

fakt ist, dass offensichtlich trotz beta-tests einige flieger ausgeliefert werden, mit sehr drastischen bugs die im beta-test offensichtlich übersehen werden, bei manchen ist es fast unvorstellbar wie diese im test untergehen können.

meine frage ist also eher, wie muss ich mir die arbeit des beta-testers vorstellen. geht man nach checklisten vor (also testen des aussenmodells, abgleich mit einstellungen, test sämtlicher schalter und systeme, test in bestimmten simulatorkonfigurationen) und werden beta-tester mit verschiedenen systemvorraussetzungen "angeheuert"? und wie werden die ergebnisse der beta-tester verwaltet - das kann sicher nur ein entwickler berichten....vielleicht haben wir ja ein paar mit insiderinfos ;)

Ich berichte jetzt einfach mal von der Cheyenne und ATR.

Nach einer laaaaaangen entwicklungszeit bekommt man ein Flugzeug mit einer liste von funktionen die nicht funktionieren weshalb man sie auch nicht beachten soll. :D
Man schaut also ob man fehler findet, findet man welche schaut man auf die Liste um zu vergleichen ob es wirklich ein Bug ist oder einfach noch nicht eingebaut.

Anfangs ist das wirklich vieeeeeeeeel nach schauen, aber die liste wird von Tag zu Tag immer kleiner.
Performence Daten bzw ein handbuch gab es erst recht spät, so das es learning by doing war.

Wenn das Flugzeug dann eine gewisse Reife erlangt hat geht es auf Welt tour. Man macht überall auf der Welt ein paar Test um die Navdaten zu überprüfen.
Auf bestimmten plätzen mache ich dann 2-3h Touch and go trainings mit verschiedenen Anflüge. VOR, ILS, VOR-DME usw usf bla bla bla.

Das ganze dann mit verschiedenen Gewichten und und und.
Am ende sind die teile dann Bugfrei. Ich habe noch nie erlebt das Hans ein Flugzeug veröffentlicht hat wenn noch irgend jemand im Team sich über fehler beschwert.

Dann gibts die Gold version wo man etwa 2 Tage zeit hat noch fehler zu finden, ansonsten geht das Teil an die öffentlichkeit.

Warum es dann bei manchen immer noch Bugs gibt (z.b Cheyenne und HDG dreht in die falsche richtung) kann ich absolut nicht verstehen.
Aber das muss ja auch Hans, und nicht ich :D

Ich kann leider nichts zum Prozedere bei Flusi-Beta-Tests sagen, aber zum Vergleich:

Ich hatte mal das Glück, Beta-Tester eines Online-Rollenspiels zu sein.
Dort wurde mit einem Forum speziell für Beta-Tester gearbeitet.
Die Tester haben also ihre Bugs und Vorschläge gepostet und hin und wieder bekamen wir von den Machern die Aufgabe spezifische Sachen zu testen (meistens nach updates).

Ich kann, wie gesagt, nicht viel zum Flusi-Addon testen sagen.
Das Problem, und ich würde sagen das gilt allgemein, liegt nicht so sehr and den offensichtlichen Bugs, sondern eher an der Tatsache, dass jedes PC-System anders ist. Das fängt bei den verschiedenen Komponenten an, geht über zahlreiche verschieden möglicher Parametrierungen dieser weiter (Grafikkarteneinstellungen etc.) weiter und endet bei den zahlreichen unterschiedlichen Addons, die jeder auf seinem PC haben kann und die sich evtl. mit dem Programm "beissen".

Daher versuchen die Firmen häufig auch soviel Tester, mit unterschiedlichen Systemen, and Bord zu kriegen wie möglich.

Aber hier mal ein kleines Beispiel:
PSS hatte für die 757 ein Team von ca. 30 Testern glaube ich, was für so ein kleines Team, wie PSS, verständlich ist.
Das Spiel für das ich das Glück hatte zu testen hatte mehrere Tausend...
...so, und jetzt rate mal, ob der Release reibungslos war....
Mitnichten: der ganze Release musste sogar um einen Tag verschoben werden und du kannst dir vorstellen wie das Forum am ersten Tag aussah....nicht schön.

Meiner Meinung nach wäre Vieles sehr viel einfacher wenn alle, weltweit dasselbe PC-Modell mit denselben Komponenten hätten...reine Utopie !
Ich habe mich mittlerweile schon daran gewöhnt, und empfinde es eher als seltenen Glücksfall, wenn mal was reibungslos rauskommt.
Wie immer, nur meine persönliche Meinung.

Grüsse
Thomas
ELLX

Das man weitestgehend bugfrei Releasen kann ist trotzdem keine Utopie, sondern eine Frage des Geldes. Als Beispiel ist hier beispielsweise Blizzard zu nennen, deren Spiele sich aber auch immer verzögern. Im Flusibereich kam die PMDG 747 m.E. in einem sehr ordentlich getesteten Zustand auf den Markt.

Nichtsdestotrotz muss aber auch eine Beta-Phase gut organisiert sein, um effektiv Fehler auszumerzen. Und letztendlich ist es für einen Hersteller natürlich auch angenehm, die Software von den Erstkunden "testen" zu lassen, denn schließlich übersteigen diese in der Anzahl und den verschiedenen Hardwarekonfigurationen jedes Beta-Team. Einen schlechteren Ruf nimmt man damit natürlich in Kauf.

Moin,


im Prinzip geht es beim Beta-Testen darum, möglichst viele Fehler zu finden, bevor das Produkt released wird. Dieser Prozess setzt meist schon recht früh in der Entwicklung ein, es ist z.B. nicht ungewöhnlich, dass man bereits die Flugdynamik testen soll, es aber noch gar kein passendes Außenmodell gibt. Oder man testet ein Panel ohne passendes Außenmodell.

Für die Kommunikation gibt es verschiedene Ansätze. Viele Entwickler setzen mittlerweile auf sogenannte "Bug Tracker", das sind spezielle Datenbank-Anwendungen, wo man Bugs meldet, diese dann einen Status und eine Priorität bekommen, und einem der Entwickler des Teams zugewiesen werden. Am Ende des Tests sollten dann möglichst alle Bugs in der Datenbank "closed" - sprich, abgearbeitet sein. Oftmals gibt es auch ein spezielles Tester-Forum, wo man sich austauscht.

Wichtig beim Bug-finden und reporten ist auf jeden Fall die Nachvollziehbarkeit. Ein Bugreport macht nur dann Sinn, wenn die Schritte zum Fehler klar beschrieben sind, und der Fehler so nachvollzogen werden kann.

Manche Entwickler legen Wert darauf, den Testsfokus vorzugeben. D.h., man soll sich bei bestimmten Releases auf bestimmte Bereiche des Produkts konzentrieren. Andere Entwickler geben nichts vor, man geht also "frei Schnauze" vor.

Einen Fehler, den viele Neulinge bei Beta-Tests gerne machen ist, dass sie fehlende Features melden oder neue Features fordern. Das ist in aller Regel nicht Sinn und Zwck des Beta-Tests. Wenn das Produkt Beta-Status hat, ist in aller Regel die Feature-Liste "closed", d.h. es gibt keine neuen Features mehr. Meist hat der/die Entwickler eh eine sehr genaue Vorstellung davon, welche Features sein Produkt beinhalten soll, und welche nicht.

Eine "Entlohnung" gibt es für Betatester i.d.R. nicht, man bekommt nach dem Release aber eine kostenlose Lizenz des Produkts. Meist ist auch die knechtende Hand des Entwicklers (aua Hans, nich hauen!!! :D :D :D) kostenloser Bestandteil :D

Wie kommt es eigentlich, dass du Zeit hast, hier was zu posten? Du hast doch sicherlich Arbeit für mich zu erledigen! :mad2:


:D :D :D

na das war doch schon mal sehr interessant. danke für eure auskünfte! vielleicht kann der mit der knechtenden hand, oder wer anders, sagen wie diese tester letztlich ausgewählt werden.

(nebenei die hoffnung das die von martin zu erledigende arbeit mit einem in canada hergestellten regionaljet zu tun hat...hehehe)

Ja, Martin wollte das CRJ Manual eigentlich bis heute abend fertig haben, damit Marcel und ich uns noch ein paar Monate mehr Zeit lassen können, um den Flieger fertig zu machen *denatombunkeraufsuch* :D :D :D

Um Betatester zu werden gibt es verschiedene Möglichkeiten
1) Man bringt technische Qualifikationen mit, ist also Pilot, Dispatcher oder Techniker für den Flugzeugtyp, um den es geht.
2) Man ist in vorherigen Betatests durch hohe Produktivität (viele, sinnvolle und hilfreiche Bugreports) aufgefallen. Die Leute sind immer gesucht, aber leider eher selten.
3) Man gehört zum Bekanntenkreis eines oder mehrerer Entwickler
4) Man spendet eine erhebliche Summe auf das Privatkonto des bettelarmen, völlig verhungert aussehenden Gauge-Programmierers, damit der sich einen neuen BMW leisten kann :D

Wirklich sicher ist natürlich nur Variante 4.

Wer in den CRJ-Test will, möge ich mir eine PN schicken, damit ich ihm meine Kontonummer zukommen lassen kann :p :D

na daran wirst Du wohl noch arbeiten müssen:D :D :D

Das finde ich jetzt nicht OK ;)

Wolltest du nicht einen Mercedes haben?
Was für ein Abstieg. :rolleyes:


:D

Also eigentlich spare ich ja auf einen Aston Martin V8 Vantage, aber dafür sind die Betatester bisher einfach zu knickerig ;)

Ich bin letztes Jahr ein paar Benze probegefahren... ich bleibe lieber bei BMW.

BMW SKL, den gibts schon? *g

Alse Beta tester muss man nicht ausgewählt werden, das wird man automatisch sobald man
ein Produkt kauft...

:-)

flo

Also kann ich den Bugtracker für die Fokker wieder dicht machen und morgen ist Release? :D
AUA! Nicht schon wieder hauen!

jawoll!

aber hoffentlich net als betatester *g

Hi!

Okay hans, kein problem, der Releasezeitpunkt ist reine Marketingsache hat nichts mit dem
Qulaität der software zu tun :-))

aber nur unter einer bedingung...

der bugtracker des crj wird auch geschlossen und dann releasen wir sofort und gemeinsam.

...das wärn spaß

, obwohl ich bin gestern ohne CTD online von VIE nach FRA gekommen...
das ist schon mehr als manch anderes produkt..

interessant interessant welche qualitäten dieser thread bekommt.
kann man vielleicht einen guten entwickler an seinem auto erkennen? nehmen wir mal an (also NEHMEN WIR MAL AN) auch die PSS 757 stellt sich als zunächst bugreich raus und es gibt sowas wie eine tradition dahingehend - haben die jungs zu wenig beta-tester und fahren deshalb ford fiesta, oder (schlimmer) dacia logan?!
obwohl - die rechnung stimmt wenn letztlich genug leute gleich kaufen ohne abzuwarten...hehehehehe

Ich habe mal gehört, dass Graham Waterfield einen 7er BMW fährt. Sicher weiß ich es allerdings nicht, von daher ist diese Aussage ohne Gewähr.

@Hans
Genau, und wenn man Daimler fahren will, kann man sich ´ne Taxe bestellen.

dazu kann man dann durchaus gratulieren!
ich gönns dir ja auch - aber für nen beta-test zahle ich trotzdem nicht, hihihihi! obwohl...wenns der einzige weg zum crj ist, hahahahaha (gilt auch im falle der fokker). warscheinlich ist das die taktik, es gibt sicher fast so viele crj-beta tester wie es auch käufer geben würde, so streicht aerosoft doppelt kohle ein und hans fährt demnächst bmw 7er-katamaran (also zwei 7er zusammengeschweisst).

Ford befindet sich auf Sanierungskurs und will die "Nobelmarke Aston Martin" anscheinend unbedingt abstossen.

Na ja. Mal abwarten, wenn sich keine Käufer finden, vielleicht gibt's dann die ganze Firma für EINEN symbolischen Euro!!?? :D :D :D
Dann hat Ford zwar keine Kohle bekommen um sie in andere Bereiche zu stecken, aber der Verkauf beinhaltet schliesslich auch ein nicht unbeträchliches Kostensenkungspotenzial.

Aston Martin

Da sollte dann doch ein popeliger -AM V8 Vantage- für Hans bei rausspringen:D

Die Gefahr, dass der Hans dann in Zukunft seltener an seinem Arbeitsplatz sondern eher in seinem Nobelgefährt anzutreffen ist, bleibt zunächst offen:D :D

Ich kann ja mal meine Perspektive als Painter bei Ultimate GA (also Freeware AI Traffic) beisteuern. Wir produzieren komplette AI Pakete die alle fliegenden Exemplare eines Flugzeugtyps mit (möglichst vielen exakten und ansonsten generischen) Repaints und Flugplänen enthalten.

Wir testen unser "Produkt" selber nach dem Prinzip der "Peer Review" auf mehreren Ebenen.

Repaints werden in einem speziellen Forumsbereich vom Painter mit zwei aussagekräftigen Screenshots und Links zu Fotos des echten Fliegers präsentiert. Dann vergleichen die anderen Painter beides und machen Verbesserungsvorschläge -- oder (hoffentlich) auch nicht.

Ist das Paket einigermaßen fertig, so wird eine Beta an die Entwickeler verteilt und die Flugzeuge werden in Blocks unterteilt. Im aktuellen Fall beispielsweise 13 Blocks mit je etwa 50 Fliegern. (Für 614 aktive Exemplare.) Die Tester reservieren jeweils einen oder mehrere Blocks. Dann wird überprüft, dass im Sim auch jedes Flugzeug entsprechend dem Flugplan auftaucht und auch das richtige Repaint mit dem richtigen Modell zu sehen ist. Das ganze geht so lange bis
a) alle Repaints überprüft wurden
b) alle Tester in der Klapsmühle gelandet sind oder
c) wir keine Lust mehr haben.
Dann folgt das Release.

Neue Modelle kommen zu ausgewählten Paintern, wenn der Paintkit einigermaßen komplett ist. Dann fangen wir einfach erstmal an, Paints zu machen, wobei viele Fehler erst in diesem Stadium auffallen. Wenn eine Linie beispielsweise nicht so zwischen die "Referenzmarken" wie Fenster, Pitotrohre und Türen passt wie sie eigentlich soll fällt beispielsweise auf dass die Fenster zu hoch sitzen oder die Triebwerke zu weit vorne sind. Repaints als Mittel bei der Fehlererkennung sind meiner Meinung nach ein oft unterschätztes Werkzeug bei Flugzeugmodellen! Man erkennt gut, welche Flieger nie ein Repaint in der Entwickelungsphase gesehen haben.
Tester werden hier so ausgewählt, dass entweder besonders kritische Painter emfohlen oder angeheuert werden (bei den guten Designern) oder Cheerleader die sagen wie toll sie das Modell finden (bei den schlechten Designern ;) ).

Na ihr habt ja Pläne.



PS:Maybach rules;)

Ja, Flugpläne... :D