Phena's perfs

Une analyse temporelle de la performance dans Magic n’est pas une nouveauté. Julian Knab, dans son blog, a présenté ses chiffres dans un superbe article nommé « My Legacy by the numbers ». Dans son article il a analysé ses 9 ans de tournois compétitifs contre plus de 1000 adversaires.
Après avoir lu son article, l’esprit de l’analyse de données a pris possession de moi. Il faut savoir que le traitement de données est mon expertise. Cette fois-ci, au lieu d’étudier des motifs scientifiques, je vais essayer de le faire pour quelque chose plus transcendantale.

Voilà donc ma performance en Legacy, à partir du moment où j’ai choisi « mon » deck et je me suis mis plus sérieusement à m’entrainer, septembre 2015.

La première graphique montre le pourcentage de victoires de matchs (la partie complète avec un adversaire) pour chaque tournoi, en suivant le temps. Chaque point est un tournoi, tandis que la ligne est calculée comme motif approximatif temporel. On appelle ça un « smoother ».
De cette première analyse, on observe que ma performance a été cyclique. Pas seulement ça : j’avais fait cette graphique avant le plus récent tournoi, et la prévision était déjà positive. Je suis arrivé donc à Cherbourg sachant d’être en trend croissant. Est-ce que cela m’a aidé à avoir une attitude plus énergétique et visé à gagner ? C’est compliqué à dire. Cette oscillation est-elle liée aux biorythmes naturels ? J’essaierai de le voir quand j’aurais récupéré aux moins deux ans de données.


La graphique d’en bas montre le pourcentage de parties gagnées (donc les games, pas les matchs), moyennées par mois. En plus, j’ai ajouté le nombre de rondes jouées avec les barres bleues, en essayant trouver quelque corrélation. La couleur des points pour chaque mois est en fonction de la règle très connue : si tu as un GWP inférieur à 50% t’es un pinpin, si c’est supérieur à 60% t’es un gros jambon. Pour l’instant ma GWP moyenne est de 58%, donc encore du boulot à faire.
Ma performance dans les parties a été très variable et il est trop tôt pour conclure si le changement de deck (de Loam à Bant) aura un effet sur mes résultats. Le nouveau deck est superbement compliqué à jouer par rapport à l’antérieur, voir présence du Brainstorm et d’une logique plus « tempo », mais pour l’instant les résultats provisionnels font bien espérer.

Voilà. Que en pensez-vous ? Gardez-vous aussi une registre de vos performances ?

À bientôt !

Article très intéressant à lire, merci Phena pour ce boulot !

Pour ma part, je ne conserve pas ce genre d'infos, car je pense qu'elles sont à prendre avec des pincettes.
En effet, les chiffres ne te donnent que ta winrate "brute", c'est à dire sans prendre en compte le niveau des adversaires, s'il y eu non-game (death, fulls), les éventuels games lost... Un 5-0 à la CDF vaut bien plus qu'un 5-0 chez nous, par exemple.

Cela dit je suis très curieux de lire la suite de ton analyse

Je suis en partie d'accord avec Dri.
Tu ne fais qu'effleurer l'analyse des données.

Il aurait été intéressant de prendre des fourchettes de qualité du tournoi. Par exemple, faire une perfe sur un tournoi de 500 joueurs en 9 rondes+top8 contre des joueurs internationaux n'a strictement rien à voir en qualité/niveau qu'un tournoi à 8 joueurs en 3 rondes sans top contre des joueurs locaux :p

Dans une première approche, j'aurai réalisé 2 périodes distinctes. La première avec Loam et la seconde avec Bant (en plus de celle qui combine les 2). Tu n'as fait que la vision macro pour le moment.

Ce qu'il faudrait ajouter dans tes graphes, ce sont les changements de cartes légales. Il faut les faire apparaitre. Il y a parfois un réel impact sur la méta et plus indirectement sur le choix des packs de tes adversaires.

En résumé : c'est bien ce que tu as fait, mais il faut aller plus loin

Merci pour vos remarques. Je vais essayer de vous répondre les plus précisément possible.

1. J’ai justement exclu les pénalités des adversaires. Exemple : Ronde 1 de l’Eternal Weekend, mon adversaire est en retard et il se prend son Game Loss. Après il gagne les deux autres parties. Je l’ai enregistré comme un 0-2 pour moi. La GWP se calcule seulement sur les parties effectivement jouées.

2. Magic n’est malheureusement pas un jeu seulement de skill. Mana-flood et mana-screw sont présents et ils peuvent affecter à tout joueur, peu importe son niveau. De plus, identifier chaque partie comme affectée ou pas par MF ou MS peut devenir très subjectif. J’ai décidé de ne pas considérer ce point dans l’analyse vu que ce type de variance sera nécessairement diluée au cours de l’année.

3. Il n’y a pas eu de bans/debans importants pendant la période analysée. L’unique changement a été Dig Through Time en octobre 2015, et dans l’unique tournoi que j’ai joué en septembre il n’y avait pas de DTT dans la salle. Mais je suis tout à fait d’accord sur leur importance.

4. D’un point de vue de chaque joueur, la variabilité de niveau/qualité de ses adversaires n’a vraiment rien à voir avec sa performance. Si tu es un bon joueur tu gagneras le petit et le gros tournoi. De plus, comment on ajoute un facteur de « niveau » dans le calcul de la MWP ? La taille du tournoi peut être une solution (nombre de rondes sans considérer le Top, donc le logarithme en base 2 du nombre de joueurs), mais il faut penser que le MWP est calculé comme :
Si on ajoute le facteur taille dans la formule, on arrive à une situation circulaire où la performance est simplement le nombre de match gagnés (pas significatif). Je suis ouvert à suggestions sur ce point-là.

5. L’analyse distincte entre Loam et Bant sera faite à la fin de la saison, quand j’aurais récupéré une série temporelle comparable entre les deux périodes. Mais là, on aura un autre problème : le metagame aura bien changé.

En résumé, avec cette analyse je ne souhaitais pas extraire des conclusions générales et applicables à tout le monde. Mon idée était de suivre mon évolution dans le temps et voir éventuellement si ma performance répond aux changements de deck, d’activité, de metagame (pas encore). Comme j’ai dit dans les conclusions antérieures, c’est trop tôt pour avoir une série temporelle acceptable, mais je peux appliquer les mêmes analyses à autres joueurs, si vous en avez de disponibles.

C'est une super idée !

Tu peux même aller plus loin en répertoriant quand telle ou telle carte t'as fait gagner ou perdre un match. Afin de mettre à plat des statistiques concernant le deck building et les choix de side.

Je ne vais pas reprendre tous les points, seulement ceux que je juge important.

Phena a écrit:

Merci pour vos remarques. Je vais essayer de vous répondre les plus précisément possible.

3. Il n’y a pas eu de bans/debans importants pendant la période analysée. L’unique changement a été Dig Through Time en octobre 2015, et dans l’unique tournoi que j’ai joué en septembre il n’y avait pas de DTT dans la salle. Mais je suis tout à fait d’accord sur leur importance.

Alors attention, il faut entendre les ban/debans dans le sens que le format voit un impact dans la meta. L'impact n'est pas forcément immédiat mais il peut prendre du temps. De plus, on a vu l'arrivé d'un nouvel archétype : Eldrazi. La méta a changé petit à petit...

Phena a écrit:

4. D’un point de vue de chaque joueur, la variabilité de niveau/qualité de ses adversaires n’a vraiment rien à voir avec sa performance. Si tu es un bon joueur tu gagneras le petit et le gros tournoi. De plus, comment on ajoute un facteur de « niveau » dans le calcul de la MWP ? La taille du tournoi peut être une solution (nombre de rondes sans considérer le Top, donc le logarithme en base 2 du nombre de joueurs), mais il faut penser que le MWP est calculé comme :

100 * MW / (MW + ML + MD)

Si on ajoute le facteur taille dans la formule, on arrive à une situation circulaire où la performance est simplement le nombre de match gagnés (pas significatif). Je suis ouvert à suggestions sur ce point-là.

Un bon joueur qu'il gagne un petit et un gros tournoi, celà ne change rien, on est d'accord. Mais un joueur qui gagne tous les petits tournois et qui ne fait rien sur les gros tournoi, là je pense que l'impact est important. Soit son deck n'était pas adapté ou pas de chance soit ses adversaires des petits tournois ne sont pas très skillés....ou d'autres raisons... :p
Bref, cela compte !

Angelinou a écrit:

Un bon joueur qu'il gagne un petit et un gros tournoi, celà ne change rien, on est d'accord. Mais un joueur qui gagne tous les petits tournois et qui ne fait rien sur les gros tournoi, là je pense que l'impact est important. Soit son deck n'était pas adapté ou pas de chance soit ses adversaires des petits tournois ne sont pas très skillés....ou d'autres raisons...  :p
Bref, cela compte !

Il faut aussi prendre en compte les bon joueurs (comme moi) qui perfent jamais que ça soit dans les petits ou grand tournois tout ça par manque de chance...

J'ai perfectionné l'analyse, en me concentrant sur un unique indicateur de performance, la Match-Win-Percentage. J'ai aussi convaincu Benoasan à recupérér tous ses résultats en Legacy, en je suis en train de faire tourner les analyses avec les deux bases de données. Pour l'instant je vous présente les données rélatifs à ma performance jusqu'à aujourd'hui.

Angelinou a écrit:

Alors attention, il faut entendre les ban/debans dans le sens que le format voit un impact dans la meta. L'impact n'est pas forcément immédiat mais il peut prendre du temps. De plus, on a vu l'arrivé d'un nouvel archétype : Eldrazi. La méta a changé petit à petit...

Tu as raison. Mais vu les résultats déjà publiés par Julian Knab, la réponse à une nouvelle carte ou ban en termes de performance est presque immédiate. La meilleure façon de prendre en compte cela est d'ajouter des annotations à côté du graphique pour chaque changement dans la méta, et les discuter à posteriori. C'est ce que j'ai fait dans ma nouvelle version.

Angelinou a écrit:

Un bon joueur qu'il gagne un petit et un gros tournoi, celà ne change rien, on est d'accord. Mais un joueur qui gagne tous les petits tournois et qui ne fait rien sur les gros tournoi, là je pense que l'impact est important. Soit son deck n'était pas adapté ou pas de chance soit ses adversaires des petits tournois ne sont pas très skillés....ou d'autres raisons...

J'ai pensé beaucoup à comment résoudre ça. Pour l'instant, j'ai intégré dans mon modèle descriptif (loess, régression polynomiale avec pondération locale) un paramètre qui prend en compte la taille du tournoi. Résultat : les gros tournois auront plus d'impact dans la ligne de tendance. Dans l'image suivante, la ligne continue est le modèle AVEC pondération de la taille du tournoi, tandis que la ligne en pointillé est SANS pondération. Vous pouvez voir que la différence est intéressante.



Problème Nº 1 : Le modèle loess, étant quand-même polynomiale, a l'habitude à exagérer les oscillations et à répresenter des comportements cycliques ou il n'y a pas. Je souhaiterais passer à des modèles plus souples, par exemple des modèles additifs généralisés, mais ce n'est pas evident de les appliquer à des valeurs temporels.

Problème Nº 2 : Je reflechis à un autre possible indicateur de performance, pour lequel je cherche votre avis. IP = racine carrée(nbre joueurs / placement)

Très intéressant !

C'est amusant de voir comment les deux courbes (les deux decks) sont similaires, une croissance (prise en main du deck), un pallier haut (période de gloire, malheureusement éphémère car elle est suivie...) et une descente inéluctable avant tassement (et changement de deck, au moins dans le premier cas). Changement de méta, adaptation des autres joueurs (on est dans un petit club), lassitude... les réponses à cette décroissance peuvent être multiples.

Bon, ceci dit, faut effectivement tempérer entre les deux modèles car dans le cas de celui avec pointillé, c'est déjà moins marqué. D'ailleurs, les résultats sont même inversés pour la période en question (Avril-Août 2016). Qu'est ce qui est réellement représentatif du coup... Par rapport à au "ressentis" (c'est bien d'introduire un peu de psychologie) que tu as eu avec le deck à ces périodes, quel modèle te semble le plus cohérent ?

J'attends ma courbe avec une intense curiosité !

benoasan a écrit:

Qu'est ce qui est réellement représentatif du coup... Par rapport à au "ressentis" (c'est bien d'introduire un peu de psychologie) que tu as eu avec le deck à ces périodes, quel modèle te semble le plus cohérent?

À mes yeux, la courbe qui prend en compte la taille des tournois réprésente parfaitement mes feelings tout au long de mes performances avec Loam. Avec Bant aussi, dans le sens que mes performances ont été moins variables (merci Brainstorm).

Peut-être le modèle loess n'est pas si mauvais : avec ses oscillations un peu forcées il prend en compte les fluctuations naturelles de performance liées aux biorhytmes humains (et variations de stress au cours des années).

benoasan a écrit:

J'attends ma courbe avec une intense curiosité !

La voici :
Tu vois, par exemple ton dernier résultat est le Drakkar, mais comme tu as perfé dans le plus petit tournoi (le samedi) et pas trop le dimanche, la courbe termine sa course plus proche de l'Open.
Et même si c'était clair, pour toi comme pour moi, le point en rouge est l'Eternal Weekend.

Yop,

Merci pour ce graphique.

Manque par contre les annotations avec les decks que j'ai joué (ce qui est le plus important).

Entre juillet 2015 et février 2016, je pratique du goblin stompy, food chain (avec peu de succès pour ces deux premiers) puis Merfolk.

Je switch Nic Fit (ou assimilé) à partir de février jusqu'à octobre 2016 (avec à son crépuscule le joli 25% de Win (75% de loss ^^) à l'EW)).

Arrive ma période Eldrazi en Novembre 2016 (à la cdf) jusqu'au dernier Drakkar.

C'est amusant, via ce graphique, de voir que NicFit ne m'a jamais réellement réussi !

Eldrazi (et ça correspond bien à mon ressenti) a été un vrai boost et ce dès le début. J'ai bien ressenti, également, ce tassement des perfs au fur et à mesure.

Je sais également que je ne suis pas un joueur de gros tournois, réalisant très souvent des performances médiocres au cours de ceux-ci (oui c'est symptomatique du réel niveau du joueur).

J'ai tout de même l'impression que la courbe a tendance à exagérer certaines inflexions. Il faut peut être avoir une période encore plus longue (comme on ne fait classiquement qu'un tournoi mensuel) voir si cela se gomme un peu plus.

On va voir ce que va donner mon nouveau deck ^^.

Dernière petite remarque, le point à 0% en juin 2016 correspond en fait à un tournoi en 3 rondes où je fais 2 draws et 1 défaite. Le fait de ne pas comptabiliser les draws sur ce genre de résultats (ce qui donne un 0% de W, 100% de L), modifie quelque peu la réalité. Et j'ai même l'impression que c'est ce tournoi qui provoque un décrochement de la courbe (?).

Tu devrais peut être faire apparaître une barre horizontale à 50% sur le graphique, ça permettrait de rendre compte immédiatement ce qui est "en dessus/en dessous".

benoasan a écrit:

Manque par contre les annotations avec les decks que j'ai joué (ce qui est le plus important).

Ça prend un peu plus de temps car je dois les ajouter manuellement sur le graphique, et tu étais impatient de le voir (ce qui est correcte!). Si finalement l'idée t'intéresse et tu veux suivre l'analyse dans le futur, je te preparerai les annotations.

benoasan a écrit:

J'ai tout de même l'impression que la courbe a tendance à exagérer certaines inflexions. Il faut peut être avoir une période encore plus longue (comme on ne fait classiquement qu'un tournoi mensuel) voir si cela se gomme un peu plus.

Oui, c'est ce que je disais de la loess. Quand on aura 10 ans de données, avec des miliers de matchs, la meilleure solution sera passer à une moyenne glissante, mais pour l'instant on doit le faire avec des modèles suboptimales.

benoasan a écrit:

Dernière petite remarque, le point à 0% en juin 2016 correspond en fait à un tournoi en 3 rondes où je fais 2 draws et 1 défaite. Le fait de ne pas comptabiliser les draws sur ce genre de résultats (ce qui donne un 0% de W, 100% de L), modifie quelque peu la réalité. Et j'ai même l'impression que c'est ce tournoi qui provoque un décrochement de la courbe (?).

Je viens de relancer l'analyse en supprimant ce point, et la tendance reste presque invariée car il s'agit d'un petit tournoi. Le décrochement est très influencé par l'Eternal Weekend en fait (ce qui était attendu).
Sur le fait de considérer les draws, c'est pourquoi je cherche un autre indicateur, comme par exemple ce que j'ai proposé plus haut. C'est aussi vrai que des draws comme uniques résultats ne changent pas une mauvaise performance, et aussi les draws intentionnels ne changent pas une bonne (car tu seras en Top-8 juste après). Pour cette raison, les draws, les ID, et les byes ne sont pas prises en compte.

benoasan a écrit:

Tu devrais peut être faire apparaître une barre horizontale à 50% sur le graphique, ça permettrait de rendre compte immédiatement ce qui est "en dessus/en dessous".

Bonne idée. Je reflechis à ajouter directement une grille pas trop invasive.

Je serais curieux de vérifier si ces variations cycliques sont artefactuelles ou non et je pense que nous avons un bon spécimen pour cela.

Un joueur qui pratique le même deck depuis deux ans et qui me semble avoir des perfs très régulières depuis plus d'une année.

Rokil, au travail, ramène nous tes données (cdf legacy est ton ami) !

le pauvre, le boulot qu'il va devoir faire....

Le président pourrait aussi se prêter au jeu

non mes données sont "acceptables" que depuis à peine le début d'année....quand je perferai un peu plus, on verra :p

Angelinou a écrit:

non mes données sont "acceptables" que depuis à peine le début d'année....quand je perferai un peu plus, on verra :p

Tu peux récupérér pas mal de données à partir de la page CDFL et de la page officielle Wizards (Planeswalker Points). Si jamais tu te motives, je pourrai t'envoyer le modèle en Excel avec les colonnes necessaires.

En plus, tu est un super candidat car tu as joué un deck par an, donc parfait pour des comparaisons.

Avec ce genre d'arguments, je vois difficilement comment tu pourrais refuser Angélinou