Článok - herný priemysel - problematika testovania

Ahojte,

nakoľko je na tomto serveri (fóre) viacero hráčov, čo je vzhľadom na jeho zameranie pochopiteľné, tak dovolím si otvoriť jeden článok, ktorý môže byť kľudne rozvinutý v diskusiu. Páči sa mi, že tento server je vekovo rôznorodý, od 14 ročných deciek až po staršie ročníky. Tento článok by mohol byť zaujímavý pre niekoho kto sa hry len nehráva, ale zaujíma sa o herný priemysel. Dlhé roky som vzdoroval steamu, ako platforme, až som napokon podľahol tejto platforme aj ja. Najskôr som si kupoval známe titulu, neskôr začalo vznikať veľa jednohlavových "garážových firiem", ktorí začali vydávať hry na vlastnú päsť - pravda často veľa krát úspešnejšie ako predajom, tak aj recenziami, ako tituly veľkých štúdií s nákladom desiatok miliónov.

Čo ma ale v poslednej dobe (asi posledných 5 rokov) extrémne irituje, je prístup štúdií ku "quality assurancu" - teda ku kvalite produktu. Možno to beriem ako profesionálnu deformáciu, keďže sa testovaniu SW produktov už venujem zopár rôčikov, avšak to čo sa deje posledných pár rokov v hernom priemysle je neúnosné! Firma vyvíja pár rokov hru, nakoniec ju na nátlak komunity, alebo investorov, alebo dochádzajúceho rozpočtu vydajú v takzvanom "early access" (skorom prístupe). Následne sa spustí takzvané "betatestovanie" a produktový manager z tej serióznejšej firmy aspoň zopár ľudom zadarmo rozdá kľúče vernej komunite, v tých menej serióznych len dajú oznámenie a môžete mať tú ČESŤ a kúpiť si hru v "bete". Arogancia štúdií nemá medze, čo to v praxi znamená? Prakticky je to ako by ste došli do predajne áut, kúpili si auto a predajca vám povie "Samozrejme auto vám za plnú cenu predáme a budete mať tú česť to auto otestovať, motor nikto neskúšal, testovací pilot tiež na ňom nejazdil a vlastne nevieme či sa v prvej zákrute nezabijete a prosím Vás ak to náhodou prežijete, tak nám napíšte všetky chyby, ktoré auto má".

Prečo by mali hráči, teda klienti, zákazníci, platiaci hostia (nazvime si to akokoľvek) mali ZADARMO robiť niekoho prácu? Keď dôjdem domov a večer si chcem u nejakej dobrej hry dve hodinky oddýchnuť, tak nechcem z tých dvoch hodín stráviť tým, že budem hodinu a pól reportovať chyby a dohadovať sa s nejakým vývojárom, alebo komunitným managerom. Kúpil som si produkt a chcem ho používať a nie hľadať chyby, ktoré mal predo mnou niekto nájsť! Samozrejme situácia sa mení keď ide o "garážovku", ktorá otáča každú korunu dva krát. Sám sa (zadarmo) spolupracoval pri vývoji jednej hry, ktorá je na steame. Avšak ak s touto stratégiou šetrenia peňazí za každú cenu dôjde obrovské herné štúdio, tak je to na zaplakanie. Raz som oslovil aj jedno veľké herné štúdio, v Čechách (Bohemia ani Warhorse to nie je), že som ochotný im zadarmo vypomôcť s testami a odpoveď ich manažéra ma vytočila do vývrtky. Odpovedal systémom, že si mám kúpiť hru a keď niečo nájdem, tak to fixnú!

Ďalšia vec, ktorá ma irituje je podvod menom "early access" - nádherne ošetrený steamom, v zásade to znamená, že herné štúdio si prakticky môže robiť čo sa mu len zachce. Inými slovami kúpite si v EA prístupe hrušku, ale na konci vývojového cyklu dostanete jablko. A toto sa už veľa krát stalo, zverejnená road mapa, kde sa nasľubovali hory-doly a nakoniec z toho sa upustí, lebo na to nie sú kapacity, z tam toho sa upustí, lebo to engine nepodporuje. Krásnym príkladom je Vávrov Kingdome Come - najviac som sa tešil na "premakanú a technologicky nadčasovú" umelú inteligenciu, miesto toho som dostal klasické postavy ničím výnimočné založené na IFoch a ELSEoch (klasicky tupo nascriptované AIčko)...a to mám KCD veľmi rád a podľa mňa je to neuveriteľne dobrá gamesa. Vývojári by mali menej sľubovať a menej prachov vynakladať na marketing, ktorý ak je prehnaný, tak môže v konečnom dôsledku uškodiť a viacej prachov investovať do testovania, ktoré ak je efektívne, tak peňazí ušetrí neúrekom.

Samozrejme sú aj štúdia, ktoré majú team testerov - avšak žiaden cyberpunk sa nekoná. 20 ročné decká čo sa dôjdu na 6 hodín pohrať obľúbenú hru a dve hodiny stolný futbal v kuchynke. Niekedy aj v známych tituloch narazím na také bugy, že ma nikto nepresvedčí o tom, že to ich platený tester nemohol nájsť. Ešte, že projektový manager a vedúci vývoja často akceptuje najfekventovanejšiu vetu testerov "Ja keď som to testoval tak to tam nebolo, muselo sa to medzičasom zaniesť novým deployom". Ak by sa v klasickom komerčnom IT takto testovali produkty, tak zrejme by testerom z herného priemyslu nechodili ani peniaze na účty Skutočne je na čase aby herný priemysel začal so svojou kvalitou niečo robiť.

Prizvukujem hlavne deckám aby sa z nich nestávali otroci korporátov a aby nerobili prácu niekoho kto si ju nerobí zodpovedne. Minule som synovcovi hovoril, že v jeho veku som sa hral Age of Empire 1 päť hodín v kuse a nie ako on päť hodín v kuse riešil na discorde problémy vývojárov.

Docela ma zaujíma ako túto problematiku vnímajú starší aj mladší hráči....

Keď sa ti nepáči Early Access s bugmi, tak to jednoducho nekúp a počkaj na reálny release, ale to je asi príliš komplikované testovanie hier porovnávať s normálnym klikaním SW s formulármi je odveci, keďže sa jedná o úplne rozdielne veci, pričom jedna z nich má očakávaný výsledok ktorý sa dá veľmi podrobne monitorovať a prípadné bugy fixovať

Mišo nemáš pravdu Ako vývojár predpokladám, že robíš niečo ako unit testy a keď už sa nevieš vyznať vo vlastnom kóde, tak aj refaktoring...myslíš, že také niečo, alebo niečo obdobné funguje aj v hernom priemysle? Ani komenty v kóde by si nenašiel. Vieš ono testovanie SW produktov sa veeeeľmi zmenilo, testovanie hier vôbec a pritom dalo by sa. Ak by sa konečne našlo štúdio, ktoré venuje do testovania viacej peňazí na vývoj technológií potrebných na testovanie a neuspokojí sa s test managerom, ktorý nebude len skalný fanúšik produktu ktorý sa po čase zamestnal vo firme. Problém je, že v komerčnom SW sú testeri klasický itéčkari so znalosťami SQL aj rôznych programovacích jazykov - samozrejme na úrovni ktorú pozícia vyžaduje. V hernom priemysle testeri nie sú itéčkári ale hráči a to včetne test mangera - a tak to aj vyzerá. Pravda do EA nemusíš ísť ak nechceš s tým súhlasím, avšak máš tony titulov čo sú v "ostrom" a máš tam naďalej tony a tony bugov a tony a tony chýbajúce kontentu...

V hernom priemysle by sa dalo tiež kopec vecí a procesov zautomatizovať a pritom ešte jednoduchšie ako v komerčnom softe (nakoľko máš vlastný, alebo kúpený engine), ale nikto to nerieši. Záťažové testy, ďalšia kapitola, pochybujem, že firmy ktoré robia MMO robili nejaké stress testy na serveri Keď sa dá napísať scenár na hru (nazvi si to napríklad analýza), tak sa dajú z toho napísať aj test cases. Vávra sa chválil, že napísal 3000 stránok analýzy, silne pochybujem, že z toho vzniklo 3000 stránok test cases. Nevidím jeden jediný bod kde by som od NAPROGRAMOVANÉHO produktu mal čakať neočakávaný výsledok Áno kombinatorika by to bola ako prasa...to uznávam, taktiež sa nemusí testovať všetko avšak problém je, že sa prakticky netestuje ani tá elementárna vrstva.

Ty si tak trošku rebel, že?

Komenty v kóde nenájdeš nikde, stačí písať zrozumiteľný kód...

V hrách máš väčšinou bugy spojené s texturami a pohybom vo svete, čo samozrejme automatizovanýmibtestami nemáš ako otestovať a musí to manuálne prechádzať, čo samozrejme nemáš šancu všetko testnúť.

Nekupujem uz early hry od neznamych autorov. Uz som sa popalil na dayz a nedam zase ani cent smejdom.
Arma 3 mala napr. v pohode betu.

@Mišo Hm Arma padala na výstrele z jedného typu pušky, čo je ťažké zautomatizovať proces, že na mapu osadíš vojaka, ktorý vystrieda všetky typy zbraní? Taktiež kopec hier má problémy s chýbajúci colaiderami na mape a to od zmiznutia postavy v objekte až po prepadnutia cez mapu a následným úmrtím postavy. Spraviť objekt (guľa rôznej veľkosti), ktorý prebehne cez mapu po definovaných vektoroch a vyhodnotí chýbajúce colaidery tiež nemôže byť až taký problém. Súhlasím, že testovať textúry automatom je problém.

Komenty v kóde nenájdeš nikde, stačí písať zrozumiteľný kód...// tak neviem si predstaviť u nás chalanov ako robia soft pre banku a nepoužívajú komenty, asi by IT oddelenie v banky nebolo nadšené plus by sa medzi sebou pozabíjali lebo by jeden nevedel, čo znamená kus kódu toho druhého (nie syntax, ale business proces)...

Inak poslal som Ti jednu SZ....

@Stiv - ja v EA kupujem už len od malých firiem aby som ich podporil a dúfam, že raz budem mať hru Od veľkých korporátov už EA kašlem...

Zacal som citat, ale ani som nedocital. Naco sa tolko rozculovat nad tym ze je to early access? Este to nazvat podvod? Je to tam velkym napisane ze je to early access. Ak to niekomu vadi, preco by si to preboha kupil ked tam je napisane ze hra ma bugy a moze sa menit. A potom somre ze to je zabugovane. Neskutocne.
Existuje mnoho hier s vybornym konceptom, a nie su vydane velkym studiom, len ako early access. Pre tie male "studia" a jednotlivcov to je vyborna moznost vyzit zatial co plnia ako svoj sen tak sny inych ludi, kedze taku hru inde nenajdu.
Aspon ked kupis EA hru, stoji par euro. Potom tu mas "full release" battlefieldu 5 v ktorom je milion bugov, dodnes tam pridali minimum veci, a vycalujes 60 euro.
Neviem preco cakas ze niekto dokaze sam vychytat vsetky bugy tym ze si napriklad napise vlastne testy. Si to predstavujes ako hurvinek valku. Ako dlho je vydany counter strike global offensive? Uz hadam viac ako 5 rokov, a minule sme nasli omylom bug kde sa prepadla bomba pod mapu. Aku by mal sancu toto najst jeden, dvaja, 50 testerov ked sa nam to podarilo pravdepodobne najst ako prvym? Po akej dobe?

werwest - keby si prečítal dokonca, tak by si pochopil Voči EA nemám nič ak sa jedná o malé štúdio...ale veľké štúdia EA "zneužívajú" len aby ušetrili prachy za testovanie. Preto nemajú vlastný team testerov a hodia produkt do EAčka - veď komunita to otestuje a to je ten problém. Ono často aj tých testerov majú čo je ešte tragickejšie ale hodia to aj tak otestovať komunite, lebo sa na vlastný team nespoliehajú. A keď sa toto bude aj naďalej podporovať tak kvalitatívne bude herný priemysel stále tam kde aj je. Súhlasím pre malé štúdia je EA jediná voľba ako získať prachy, okrem Kickstartera a pod. Ver mi, že extrémne veľa firiem EA prístup zneužívajú presne kvôli tomu čo si napísal, že je tam jasne napísané "že hra nie je dokončená a môže mať bugy"...oznámia, že v Bete budú mesiac a nakoniec sú z mesiaca 2 roky a to nie je problém len jednej firmy.

Robím v bankovom sektore a komentáre nie sú nikde. Na BP máš špecifikáciu k projektu,samotný kód ti na ostatné stačí. Načo sa kašľať s nepotrebnými zbytočnosťami.

Mišo - Zvláštne, ja robím vo firme ktorá dodáva soft pre banky a participuje aj na interných bankových projektoch a práveže banka je prvá, ktorá nás "cepuje" aby bol kód riadne komentovaný A to nie je len jedna banka s týmto prístupom...ale ja ho chápem "pořádek musí bejt, pravila babička".... // Načo sa kašľať s nepotrebnými zbytočnosťami. // my tomu hovoríme na zastupiteľnosť

// Spojený príspevok 11.09.2019 22:25

werwest - keby si prečítal dokonca, tak by si pochopil Voči EA nemám nič ak sa jedná o malé štúdio...ale veľké štúdia EA "zneužívajú" len aby ušetrili prachy za testovanie. Preto nemajú vlastný team testerov a hodia produkt do EAčka - veď komunita to otestuje a to je ten problém. A to je ten problém, prečo by som mal robiť niekoho prácu? Na druhej strane beriem, že ja sa tým živím, takže nevylučujem v mojom prípade profesionálnu deformáciu a je pravda, že keď prídem domov z práce, tak pre mňa testovanie hry je akoby som ani domov neprišiel. Ono často aj tých testerov majú čo je ešte tragickejšie ale hodia to aj tak otestovať komunite, lebo sa na vlastný team nespoliehajú. A keď sa toto bude aj naďalej podporovať tak kvalitatívne bude herný priemysel stále tam kde aj je. Súhlasím pre malé štúdia je EA jediná voľba ako získať prachy, okrem Kickstartera a pod. Ver mi, že extrémne veľa firiem EA prístup zneužívajú presne kvôli tomu čo si napísal, že je tam jasne napísané "že hra nie je dokončená a môže mať bugy"...oznámia, že v Bete budú mesiac a nakoniec sú z mesiaca 2 roky a to nie je problém len jednej firmy.

A práve k tej vašej prepadnutej bombe cez colaider som zhodou okolností tiež napísal, že colaidery nie sú neriešiteľným problémom...dokonca sú pomerne ľahko riešiteľné. Ľahko sa fixujú horšie sa hľadajú. A to je to, že testovanie klasického softu sa za posledných 20 rokov brutálne zmenilo, testovanie hier za posledných 20 rokov vôbec...a to je ten problém na ktorý narážam. A pritom je možnosť kam sa pohnúť - len chýba záujem! Totiž tester hier, nie je tester ale hráč - obrovská ČESŤ výnimkám! Ale to už sú potom developeri čo si aj testujú A nie nepredstavujem si to ako hurvínek válku, len hľadám riešenia na problémy...thats all.

Suhlasim so sentimentom no uz roky som zastancom velmi jednoducheho hnutia 'no preorders'. Vztahuje sa aj na no early acess, no hype-train-seats a vsetok podobny bullshit. Ja si pockam kym hra vyjde, kym si ju niektori recenzenti kupia a urobia plnohodnotnu, nestrannu a nesponzorovanu recenziu. Ak ma teda hra zaujme.

Teraz bolo usmevne co spravil gearbox s borderlands 3. Rozoslal velmi stary build par dni pred vydanim na recenzovanie a poprosil recenzentov aby nespominali konkretne chyby. Zvazujem ze coho je hodna taka recenzia, ked sa tam nedozvies v akom technickom stave bude finalny produkt, ako tam realne funguje hranie, lebo aj to sa meni, etc... proste prakticky dalsi preview.