GDC Online 2011 : Georg Zoeller et l'analyse des données (MàJ 14/10)

Bref, pour les chanceux invités aux tests, voici comment vos sessions de jeu aident à la confection d'un meilleur jeu pour la communauté :

 Mise à jour : Ajout d'un autre article sur le sujet en fin d'actualité.

Georg Zoeller : Knights of The Old Republic contenait environ 60 heures de contenu, SWTOR contient incroyablement plus que ça. Gérer ce volume massif de contenu est le sujet de cette présentation.

J'ai parlé il y a deux ans de Dragon Age : Origins, à propos de la fabrication d'un titre massif. Je n'avais aucune idée de la petitesse de la chose. Une seule section de Tatooine possède plus de créatures que l'entièreté de DA:O. Une seule classe passera entre six et dix heures rien que sur Tatooine; 15 si vous êtes un jusqu'au boutiste. C'est seulement le contenu de classe.

Comment créez-vous et gérez-vous du contenu de cette envergure ? Vous avez besoin de beaucoup de ressources, un flux de travail plus intelligent, et des outils plus intelligents. Je vais me concentrer sur les second et troisième points.

Un Weekend de test peut générer 100.000 retours de tests. Les différents types de retours que nous rencontrons sont : les forums de tests, les captures d'écran, /bugs, sondages liés au contexte, logs des chats, tickets de service client, retour in-game. Tout ceci est du retour actif, que seule une petite partie des joueurs fournit. Nous prenons ce retour de joueurs et le filtrons à travers nos métriques pour déterminer quelles sont les actions vraiment nécessaires.

Tous ces métriques sont importants quand vous ajoutez le composant spatial. Où les joueurs ont grimpé, où ils sont morts, d'où viennent les plaintes. En utilisant des cartes thermiques nous pouvons regarder les planètes et voir exactement où les gens meurrent mais plus important encore quelle classe de quel niveau meurt.

Nous avons développé un outil de contenu que nous utilisons sur SWTOR pour analyser n'importe quel contenu avec les coordonnées x, y et z. Nous pouvons alors partager rapidement cette donnée au sein du studio en utilisant le tool kit. Nous pouvons générer des cartes thermiques sur lesquelles nous pouvons cliquer pour aller instantanément sur cette carte et sur ce lieu. Par exemple, nous regardons Tython. D'abord nous obtenons un retour de joueur qui est utile mais normalement pas assez clair pour être utile par lui-même. Nous pouvons alors passer sur nos outils pour sortir des coordonnées afin d'examiner les zones en question (dans ce cas une carte de Tython).

Nous avons énormément étudié la mort et ré-examiné le système de pénalité de mort. C'est pourquoi nous avons ajouté la sonde médicale, pour donner aux joueurs ce sentiment de jeu solo permettant de recharger après un dur combat, pour essayer à nouveau. Nous trouvons que les pénalités de mort sont en général négatives et non nécessaires. Après que les métriques soient tracées, nous ajoutons des données de contenu pour comparer les métriques au contenu. Ces données peuvent nous dire des choses comme "est-ce qu'en général les joueurs sont du niveau des monstres qu'ils combattent ?". Nous avons tendance à trouver beaucoup de lieux où les gens sont deux niveaux en-dessous du niveau prévu. Nous pouvons prendre cette information pour altérer le contenu pour le rendre plus convenable.

Nous suivons aussi où les joueurs jouant seuls ou en groupe et cela nous aide à trouver quand les joueurs groupent et si ce contenu est trop difficile ou non. Un autre exemple est de chercher un retour de joueur quand ils sont perdus. Nous pouvons alors chercher les logs de chat avec des phrases clés comme "Comment je fais...", "Comment il fait...", etc. Nous pouvons voir quand les gens demandent ces questions dans le chat et ce qu'ils demandent pour nous aider à trouver des points de tutorial ou des endroits à clarifier. Ces nuages de mots peuvent être placés sur une carte thermique pour savoir plus facilement où un joueur se tient quand il pose une question.

Nous pouvons aussi utiliser le log de chat pour les quêtes "bug", "buggé", "cassé", etc. Cela nous aide à trouver les problèmes pour lesquels les joueurs ne prennent pas le temps de faire un rapport de bug. Nous pouvons utiliser ces outils pour vérifier l'optimisation des performances. Nous utilisons des métriques appelés par un échantillonage système géré par un bot et vérifions alors cette donnée pour nous dire combien d'objets rendus et actifs sont dans certaines zones que l'ordinateur d'un joueur devra générer. Nous pouvons faire aussi ceci avec le terrain et le feuillage. Savoir instantanément où les speedtrees sont situés par rapport à la situation des arbres statiques pour voir où nous pourrions être en train de sur-utiliser ou de sous-utiliser certains assets.

Nous pouvons générer toutes ces cartes en 3D pour trouver ces points métriques sans un filtrage trop lourd. Cela fonctionne bien parce que le jeu est en 3D et nous pouvons regarder sur plusieurs niveaux via la verticalité. D'autres applications incluent l'analyse de comportement. Par exemple, à un croisement en T parfaitement symétrique donné, 68% des joueurs iront à droite. Cela est bon à savoir pour concevoir du contenu. Nous utilisons aussi le brouillard de guerre pour trouver quelles zones les gens ne voient jamais. Sans le brouillard de guerre, nos testeurs à travers des planètes entières sans qu'une seule personne n'aille à certains endroits. Après l'ajout du brouillard de guerre nos cartes thermiques nous ont montré des joueurs allant à chaque endroit de la carte et visitant tout le contenu.

Question : Votre ensemble d'outils métriques est extrêmement complexe et impressionnant. Est-ce que cela a été intégré dès le début ou plus tard ?

Réponse : Nous n'avions pas intégré ceci au début. Nous avons pensé au fur et à mesure que le jeu prenait de l'ampleur que nous avions besoin de regarder les informations d'une meilleure manière. Nous avons examnié le Hero data et avons doucement rempli l'outil.

Q : Comment arrêtez-vous ou attrappez-vous les fuites ?

R : Avec tout le pistage de donnée que nous avons nous pouvons voir chaque capacité utilisée à chaque endroit pour chaque joueur. Si une vidéo fuitée montre un joueur portant une certaine pièce d'armure ou mangeant des donuts sur un speeder dans une certaine zone nous pouvons le trouver très facilement.

Puisque l'article précédent a été apprécié par nombre d'entre vous, nous avons décidé de traduire pour vous cet autre article de Gamasutra sous forme de questions/réponses qui vous apportera quelques informations supplémentaires sur le sujet.

Gamasutra: D'après vous, quels sont les plus gros défis rencontrés lors de la création de contenu pour un MMO?

Georg Zoeller: Arriver à atteindre le volume voulu (et attendu) en terme de contenu sans toutefois en compromettre la qualité. Les joueurs de MMO sont plutôt sans pitié lorsqu'on la question de la qualité est posée, tu n'as généralement pas le droit à l'erreur.
Le lancement donne le ton concernant le trajectoire prise par le jeu, et la qualité du contenu, encore plus que sa quantité, et un des facteurs majeurs qui contribue au succès du jeu - ou à son échec.
En ce qui concerne le contenu, cette catégorie de jeu demande un engagement absolument vertigineux. Par exemple, dans Star Wars The Old Republic, la planète d'Alderaan, qui est l'une des 17 planètes présentes dans le jeu, voit gambader à sa surface plus de créatures que dans Dragon Age: Origin tout entier, un jeu qui propose 60 à 80 heures de jeu et que nous avons mis quasiment 5 ans à créer.
Nous avons des centaines de personnages différemment doublés dans le jeu, chacun avec ses dialogues et ses quêtes qui ont non seulement besoin d'être écrites, enregistrées, jouées, scriptées et animées, mais qui doivent aussi être testées et validées: la meilleure des quêtes n'aura pas grand succès si elle est injouable.
Pour pouvoir assurer la création et la validation d'une telle quantité de contenu, il faut non seulement plus de personnel, mais il est aussi nécessaire d'être plus malin dans l'utilisation du flux de travail et des outils à notre disposition.

Gamasutra: Pouvez vous nous parler de quelques techniques de création de contenu utilisées par Bioware? Y a-t-il des outils spécifiques ou des processus de création que vous utilisez particulièrement?

Georg Zoeller: L'un des aspects intéressants du moteur du jeu réside dans le fait que c'est un environnement collaboratif à grande échelle. Cela veut dire que la plupart des créateurs occupés du contenu travaillent ensemble sur un même et unique environnement (par exemple, un serveur) et les changements qu'ils opèrent apparaissent en temps réel: Alors qu'un artiste sculpte une montagne à l'arrière plan, un designer sur la même carte peut tout à fait travailler à créer des points de rencontres, ou même des points de récoltes nécessaires pour la confection d'objets.
Il est clair qu'un développement collaboratif en temps réel créé un défi majeur pour les plus grosses équipes et, surtout pour les étapes préliminaires, cela introduit des exigences strictes en ce qui concerne la qualité du travail quotidien; après tout, si vous effacez accidentellement le terrain d'une planète, tout ceux qui s'y trouvaient auront droit à une mort pour le moins pénible, ce qui n'est pas l'idéal en question de productivité.
Toutefois, il y a aussi de gros avantages à utiliser cette approche plutôt que le traditionnel modèle de 'construction': par exemple, une équipe de designers et d'artistes travaillant dans la même salle peuvent créer et itérer ensemble les différents éléments d'une quête directement sur le moteur du jeu.

Gamasutra: Pouvez vous nous parler de l'outil de Bioware 'Holoprojector'? En quoi cela aide-t-il la création de contenu?

Georg Zoeller: Holoprojector est un outil qui nous donne une vue d'ensemble sur le contenu du jeu, que ce soit pour la géométrie statique, les volumes sonores, les éléments déclencheurs ou encore les créatures, les marchands.
L'objectif initial de cet outil consistait à améliorer notre perception des usages individuels faits des millions de valeurs uniques qui constituent Star Wars: The Old Republic
Holoprojector réutilise les valeurs hautement détaillées de la carte du jeu et des reliefs auto-générés du terrain pour visualiser et combiner les valeurs de location, les données des tests, les interactions des utilisateurs, les métriques de performance et des données spatiales en 2D et en 3D, le tout au sein d'un seul espace de travail où les artistes, les designers et d'autres groupes peuvent aisément créer et partager des visualisations de données concernant leurs besoins sur un projet précis, en allant des optimisations de performance aux analyses des comportements des joueurs.
Par exemple, un artiste technique peut utiliser l'outil pour générer une cartographie (carte thermique) d'une planète, ou d'une sous-zone d'une planète où le nombre d'effets visuels est largement en excès, ajouter n'importe quel émetteur d'effets sur la carte, inspecter leurs propriétés, repèrer ceux qui sont le plus susceptibles de causer des problèmes, et peut ensuite présenter sa cartographie complétée à l'artiste concerné.

Gamasutra: Comment les retours des utilisateurs influencent-ils la création de contenu dans The Old Republic? Comment collectez vous ces données?

Georg Zoeller: Les tests et les données collectées lors de ces tests sont une partie intégrale de nos travaux depuis plus d'un an et ont été indispensables pour pouvoir valider la conception du jeu, repérer des problèmes et pour améliorer le jeu en général.
Les données sont récupérées via plusieurs méthodes, dont la collecte automatique, les métriques très pointues concernant les interactions de l'utilisateur en jeu, les tests ciblés, les retours des testeurs, les forums qui leur sont réservés ainsi que des contacts individuels ou par groupes entiers avec les testeur, via des chat.
Nous avons la possibilité de nous plonger dans les interactions que chaque joueur a pu faire en jeu et ainsi corréler leurs retours directement avec les problèmes qu'ils ont rencontrés en jeu. En utilisant plusieurs sources de données, nous pouvons mieux cerner les problèmes rencontrés par les joueurs et qui pourraient ne pas (bien) transparaitre dans leurs retours.
Les métriques qui ciblent les interactions de l'utilisateur nous aident aussi à analyser les problèmes de contenu, à développer des correctifs et surtout, à valider le succès de ces correctifs à travers les différents builds du jeu.

Gamasutra: Quels conseils aimeriez vous donner aux développeurs chargés de la création de contenu d'un MMO?

Georg Zoeller: Tout d'abord, investissez en continu dans vos outils. Assurez vous de bien faire attention à quels outils sont effectivement utilisés pour la création de contenu, combien de personnes en dépendent, s'ils sont stables, et comment vous gérez l'utilisation des données lorsque les utilisateurs interagissent avec ces outils.
Avec de bonnes métriques sur l'utilisation et la stabilité des outils de votre projet, le retour sur investissement devient évident. Par exemple, " si nous accélérons le "guidage" (NDRL: pathfinding), nous pouvons économiser 250 heures de travail sur les prochains mois, mais si nous corrigeons cette erreur, on évite de perdre 340 heures au cours des semaines qui arrivent"
Ensuite, Testez tôt et testez intensément. Testez à la fois avec des personnes externes et des programmes automatiques. Nous comprenons tous les avantages de testeurs humains, combien doués ils peuvent être pour trouver toutes ces bricoles à côté desquelles vous étiez passés et combien ils continuent à vous surprendre en vous révélant de terribles problèmes.
En plus de ça, les tests automatisés et la validation des données complètent ces efforts de tests manuels en détectant des changements subtils. Par exemple, vous pouvez dire "Le bot avait pour habitude de finir cette quête en 2 minutes 20 secondes et en mourant 1 fois sur 20 tentatives. Là, il met 2 minutes 50 et il meurt 1 fois sur 10. Quelque chose a changé, il faut savoir quoi!" Ces procédés aident de plus à éviter la répétition des erreurs faites dans le passé.
A chaque fois qu'on découvre une donnée problématique dans Star Wars: The Old Republic, nous cherchons à savoir si un 'speed-trap' doit être créé, un test automatique des données du jeu qui détecte les conditions du problème (Exposant ainsi tous les troubles du même type) et nous empêche de refaire la même erreur par la suite.

Gamasutra: Comment votre discours lors de la GDC Online abordera-t-il la création de contenu pour un MMO, et qu'attendez vous que les gens en retiennent?

Georg Zoeller: Mon discours portera surtout sur les outils de visualisation et les procédés que nous utilisons pour combiner les métriques générées par les tests en jeu à grande échelle avec les données du jeu, pour comprendre comment les utilisateurs interagissent avec notre contenu, les procédés que nous utilisons pour corriger les bug repérés et ceux utilisés pour tester les solutions implémentées.
A la fin, les personnes présentes devraient avoir une bonne idée sur le réel intérêt qu'il y a à exposer simplement des métriques et des données aux artistes et aux designers, sur l'accélération des validations et des itérations du contenu, et elles devraient aussi retenir quelques trucs et astuces sur la manière de commencer à produire des applications similaires. Ou à réutiliser les solutions existantes.

 Traduction : Aregan