Milí hráči,
nedávno jsme obdrželi otázky ohledně A/B testování použitého přímo ve hře. Zajímali jste se zejména o testování Forge Plus a novinek v Denních výzvách. Proto jsme se rozhodli, že vám náš přístup k A/B testování ozřejmíme, abyste viděli, jak důležité tyto testy jsou pro rozvoj Forge of Empires.
Začněme definicí A/B testu. V odvětví informačních technologií je to jeden z běžných testů, u her je vývojáři používaný zejména ke sledování odezvy hráčů na nově přidané vlastnosti. Pro test se náhodně vyberou dvě (či více) skupin. Skládají se z testovací skupiny (skupina A), která k nové vlastnosti dostane přístup, a kontrolní skupiny (skupina B), která přístup nedostane. Pomocí jednoduchého porovnání tak vývojáři mohou přímo sledovat změnu v hráčově chování a posoudit dopad testované vlastnosti. Toto provádíme jak pomocí kvalitativní tak kvantitativní analýzy zpětné vazby. A samozřejmě musíme zohlednit oboje, ale prosím mějte na paměti, že zpětná vazba od vás z fóra je pouze jedním z mnoha zdrojů zpětné vazby, které musíme zohlednit.
Jako příklad vezměme nedávné změny v Denních výzvách. Podíváme-li se na obě sledované skupiny, můžeme porovnávat mnoho aspektů (včetně denní účasti, návratnost uživatelů k dané vlastnosti, věk uživatelů, atd). To nám pomáhá stanovit, zda-li je nová vlastnost pro hráče atraktivní a přínosná. Pokud výsledky neukáží uspokojivý trend, můžeme se podívat hlouběji a zjišťovat, co je problémem. Ve výsledku pak můžeme vlastnost upravit, nebo ji ze hry opět odebrat.
To je důvod, proč jsou pro nás A/B testy tak podstatné. S jejich pomocí se dostaneme ke smysluplným datům získaným z testování v přímé akci. Díky těmto datům můžeme vlastnosti hry zdokonalovat a identifikovat potenciální problémy.
Co víc, zpřístupnění nové vlastnosti menšímu počtu hráčů nám dovoluje efektivněji sledovat zpětnou vazbu a předejít vlně frustrace, která by mohla nastat při zavedení nedotažené vlastnosti pro všechny naše hráče najednou.
Forge of Empires je bezesporu velká hra. Oblíbily si ji stovky tisíc hráčů napříč mnoha světy. To ale také znamená, že se může hodně pokazit! A/B testy jsou absolutní nezbytností pokud chcete minimalizovat rizika spojená s uváděním nových vlastností pro tak početnou komunitu. Důsledky spuštění nedotažené a neotestované vlastnosti by mohly mít rozsáhlé negativní dopady - jak pro nás, tak pro vás.
Je důležité zdůraznit, že A/B testy nejsou selektivní. Žádný hráč nezíská jakoukoliv dlouhodobou výhodu, ani nemůže ovlivnit, zda bude vybrán do testovací skupiny. Samozřejmě jsou i vlastnosti, které pomocí A/B testů vyzkoušet nemůžeme, jelikož by testovacím hráčům poskytly přílišnou výhodu a hra by tak nebyla spravedlivá. Spravedlivost hry je pro nás zásadní a nepřekročitelná. Výběr hráčů do testovací skupiny je čistě náhodný a to nejen z důvodu férovosti: náhodný výběr subjektů je základní premisou objektivního výsledku A/B testu.
Doufáme, že jsme vám tímto alespoň trochu objasnili, proč jsou pro vývoj hry A/B testy tak důležité, a proč zůstanou její součástí i do budoucna.
S pozdravem
tým Forge of Empires