Think aloud with Subway Surfers

Method

"Think aloud" is an observation technique where the user must verbalize his actions, his intentions and his difficulties. The technique serves as a window on the cognitive progress of the user when performing tasks. This technique has an impact on the performance, so this fact must be taken into account, we do not measure the performance in this type of test. This information was passed to the subject as instructions before testing.

For the duration of this test, the subject and the game were videotaped to facilitate the analysis and put the user's words in context according to the events of the game. The test has a duration of about 8 minutes.

The role of the facilitator and the note taking were done by the same person, the video allowed to make a return to complete the note taking. A transcription of what has been said has been done to put the reader of this document in context. A chart highlighting important points of transcription is also present to facilitate understanding of the exercise. Verbalization includes hesitations (...) sighs and breath holdings that have an importance on the cognitive load and the emotional state of the subject.

Game Description

Subway Surfers, from Kiloo, is an endless runner-type mobile game in which the character runs endlessly, faster and faster. The player controls the character with horizontal or vertical finger swings to move on three parallel tracks side by side, to jump or bend to avoid static (barriers, panels, ramps, etc.) or dynamic (trains) obstacles. ). Coins in its path must be collected as well as objects (letters, shells, hats, boards, gifts, etc.) that give him advantages or points that will be prioritized at certain times. This type of game contains a lot of action, the player must constantly avoid obstacles and the games are short (from a few seconds to a few minutes), the game is designed so that the player can start again quickly.

The test was done on a Nexus 5 mobile phone from LG.

Data table

The table includes the most important passages of the actions posed by the player, which is seen on the screen, the time and as well as some notes directly related to the passages. A summary analysis can be found in the next section and a more complete transcript of the verbalisation of the subject is attached.

Time	Subject Actions and Visual Feedback	Verbalizations of the subject	Analyst's notes
0 :00	The player starts the game, the character runs, and the player moves the character laterally with horizontal and vertical thumbs to pick up coins and avoid obstacles (gates and trains).	Donc, c'est parti le grand monsieur me suit. Je vais essayer d'avoir le maximum de pièces possible au début parce que c'est assez lent, alors je vais vraiment essayer de suivre le «path» des pièces.	The player takes knowledge of the environment of the game, he knows a little basic mechanics since he has already played a similar game.
0 :21	The player tries to get on a train by sliding a finger, but accidentally hangs the "back" button on the phone that brings up the menu.	Je vais essayer aussi de … monter... (ouverture accidentelle du menu de pause du jeu, un bouton a été accroché par erreur) ah! Mais qu'est-ce qu'il m'a fait?	The player's error could be avoided with a repositioning of the hand since the button pressed by mistake is one of the phone and the drag action does not require any particular positioning.
0 :27	The "pause" menu is displayed; the player presses the menu exit button to return to the game. A countdown of 3 seconds then appears and the character starts running again at the same speed as before entering the menu and then the player collides with an obstacle.	(le joueur termine sa course dans un obstacle) je me suis fait « niquer » en glissant... euh... sur le mauvais truc.	The countdown helps prepare for the return to the game, but the start is abrupt thereafter, increasing the chances of mistakes.
1 :02	The player discovers new items (seashell and letter "B") and tries to pick up coins and new items by avoiding obstacles by sliding his thumb sideways and vertically. A growing amount of obstacles, forces the player to finish his race in a train.	(Retenue de souffle) ok. Donc, là... toujours les pièces... un gros « B », j'imagine qu'il faut toutes les lettres pour avoir un cadeau... «Hops», un coquillage? ... «ouarrh», là c'est chaud! ...aahh… (rire, alors que le joueur a terminé sa course avec un accident)	The player is very focused. Many obstacles and distracting items and obstacles are present and the speed of running is fast.
1 :34	The player makes a vertical swipe to jump a barrier and hangs the "return" button of the phone showing the "pause" menu.	(À nouveau, le joueur accroche le bouton d'options sur son téléphone et pause la partie) Hmmm, à chaque fois!...	Same problem as before during a swipe of the finger, the hand being placed too low, the player touch a button on the phone.
1 :40	The player taps on the button to close the "pause" menu and return to the game, he swipes a finger to move to avoid a barrier but too slowly and collides with an object.	(en riant) voilà, comme tout à l'heure… (Le joueur recommence) Bon, il faut que je me mette (la main) plus en haut en fait (pour ne pas accrocher le bouton d'options du téléphone)	The player has a collision after a too abrupt start after the countdown.
2 :35	Parts, trains and barriers are present. The player tries to catch the pieces, makes a slip down to avoid an obstacle, and laterally to continue to pick up the pieces. The player makes a vertical swipe to jump and collides with a high barrier.	Je me baisse par là, je continue à suivre les pièces (Reprend son souffle). Donc, là pour l'instant, ce qui est bien c'est que...voilà, j'ai été bête là par exemple. J'aurais pas du sauter.	The player is caught with several obstacles to avoid and items to pick up that he sees coming but made a mistake that he aknowledged himself.
2 :51	The player makes a lateral slip to avoid a train in a tunnel of accuracy and then from below to avoid a barrier. After a few other difficult evasions, he then goes to pieces.	Un train... qui sort de ...heu... Nul part... Parce qu’il y avait un… heu... okay… (Reprend son souffle) Là, j'ai envie de passer en dessous… (Le joueur évite un obstacle de justesse) Là, dernière minute, allez, je veux des pièces. (Reprend son souffle)	A tense moment with a lot of action, the player barely avoids a few obstacles and then, catching his breath, feels comfortable enough to fetch more coins.
3 :27	The player's character is on a train and the player makes a bad move and falls off his platform. Several obstacles are present on the ground and the player tries to avoid them. A train is partially hung up showing a pursuer behind him, and the player collides shortly thereafter.	Je vais rester là-haut... (le joueur tombe en bas de sa plate-forme) ah… je sais pas pourquoi j'ai fait ça. J'ai un peu foiré là... (Reprend son souffle) Ok, donc là ça commence à se compliquer, il y a des trucs qui arrivent dans tous les sens. Il y a le monsieur qui commence à ... (reprend son souffle) ... à être fort là..(le poursuivant le rattrape suite à une mauvaise manœuvre)	The bad maneuver of the player leads to a state of panic where the player is no longer in control and narrowly avoids the elements. The pursuer puts more pressure on him. The player fails shortly thereafter.
3 :44	The player is on a train and moves on other wagons and tries to catch coins, he goes down from his platform to catch a shell and mimics a letter that was on the ground.	(Reprend son souffle) Bon je vais essayer d'avoir un maximum de... de pièces… Je vais… Je vais quand même descendre, parce qu'il y a le coquillage... ah bah, du coup, j'ai raté la lettre (un autre objet spécial)	The player makes a choice but is disappointed at not being able to catch the second object (the letter), the decision being precipitated by the overload of elements.
5 :07	To catch coins, the player makes vertical and horizontal finger swipes by jumping on trains, then jumping to the ground, trying to avoid gates and trains with other landslides, then colliding with a train.	Oh, là, là je suis bien... là j'aime bien… (reprend son souffle alors qu’il est dans une zone moins à risque) Là, je vais rester sur eux là (sur les trains). Ils ont l'air assez répétitif... «Hops» ... (évite un obstacle de justesse) je change…feinte... ouaah… merde... (le joueur a foncé dans un obstacle)	A calm and easy moment for the player with some obstacles changing to a more difficult time with several obstacles forced a mistake of the player.
5 :41	The player runs on trains using vertical and horizontal finger swipe to jump from train to train and catch coins. It makes a last vertical slip to catch a point multiplier but hits a bridge perpendicular to the rails.	Je vais essayer de rester un maximum de temps en haut, parce que y a toutes les pièces qui sont là-haut. Là, y a clairement un objet là-bas. (Le joueur termine sa course dans un obstacle) pffff (avec un signe d'impatience) ... J'avais pas besoin de sauter pour l'avoir.	An error caused the player's failure due to reduced attention by a sparse element (the bridge) and the floating point multiplier that may give the impression of a need to jump to catch it.
6:12	The character runs and avoids various obstacles (gates, trains, etc.) with vertical and horizontal finger swipes, then enters a tunnel with trains running on rails on both sides, pillars are in the center. The player jumps to end up on a train on one side.	...c'est vraiment une histoire de dextérité, même si tu as tout compris, il y a un moment où c'est vraiment... comment tu vas appréhender le chemin qui va déterminer la suite, y a pas... y a pas vraiment beaucoup de chose à apprendre de plus en fait. […] (saute d'obstacles en obstacles qui lui viennent de façon linéaire). Ça j'aime bien ça... t'as l'impression d'être super fort. Voilà, là j'ai commencé à comprendre qu'il fallait tourner sur les trains super rapides qui étaient sur le côté...	The player faces a repetition that gives him the impression of having understood all the tactics of the game, but shortly thereafter discovers a new one.
7 :16	After a failure a button to restart appears. The player taps on the button to restart the game, then tap on the box that appears on the screen to open it discovering a hat to collect.	Ah! Putain! Hihihi (rire, puis le joueur appui rapidement pour continuer, mais découvre une boîte mystère qu'il a ramassé au passage) Bon, j'ai un cadeau. Je suis content j'ai un cadeau. Un bonnet (qui était à l'intérieur de la boîte mystère, le cadeau)	The player quickly understands that the box needs an interaction to continue, its opening makes him happy, even if he misunderstands the usefulness of the item obtained.

Summary Analysis

In this game experience, we can see at the beginning the player is inexperienced, and he encounters difficulties that are easier to solve, ranging from placing his fingers on his phone to not accidentaly touch physical buttons, to adopt a safer behavior in the game, which will allow him to beat his scores, and discover more elements of the game. In the same way, since the beginning of the game is easier, the player begins to be bored at the beginning of each race as his experience in the game progresses, but in the same race, over time, the level of difficulty increases to the point where the tension and the excitement emerges.

Some more structured sections are appreciated by the player because they give him the impression of being better because he uses at this time an alternative path that will make his task easier, so he will have a feeling of pride, which will be the rest is put to the test by a difficulty that will increase. This principle is part of what is called "flow" in the world of video games. It is important to have variations in the difficulty so that the progression is more unpredictable and that the game remains surprising. The breathing of the player is particularly interesting because it denotes the increase and release of tension, while his words are not always related to what he saw, partly because the situation changes quickly, given the speed of the game but of another because there will be a kind of love / hate relationship with the game that will become frustrating at times of failure, and later, reinforce the player's impression of being better at his / her achievements. While the player says he finds some sections easy and sometimes redundant, signs often show that he is immersed, and the hesitation in his voice can see the tensions that follow these moments. More variations in the game, potentially a narrative progression, could reduce the feeling of redundancy.

The ability of the player to be able to continue a game quickly will go hand in hand with his motivation to continue, since he is in a moment of commitment, he will not lose his momentum completely. This is also why we offer the possibility to pay to be able to continue without loss when it fails, if any, the difficulty and its progress will be partially lost, so in some cases, a player should be required to pay. In the case of the test it did not happen, the player was only a temporary player and would not have seen the interest to pay, this principle being only normally functional with players who already have invested a certain time in the game. Tests in real context would be necessary to deepen this research on monetization.

Annexe - Transcription

C = The player/user

M = Me, the analyst and moderator

(Début de la course dans le jeu)

C: Donc, c'est parti le grand monsieur me suit. (Un poursuivant suit le joueur pour lui mettre de la pression)

Je vais essayer d'avoir le maximum de pièces possible au début parce que c'est assez lent, alors je vais vraiment essayer de suivre le « path » des pièces... je vais essayer aussi de … monter... (ouverture accidentelle du menu de pause du jeu, un bouton a été accroché par erreur) ah! Mais qu'est-ce qu'il m'a fait?

(Fermeture du menu) aaah... ahah (le joueur termine sa course dans un obstacle) je me suis fait « niquer » en glissant... euh... sur le mauvais truc.

Je recommence.

Bon, même stratégie, les pièces d'abord. Parce que là, j'ai encore le temps d'y penser. « Hops » je saute, là je vais rester sur l'objet… (retenue de souffle) ... ah, c'est drôle, des « fois deux » (multiplicateur de score) ... je sais pas ce que ça fait les « fois deux »...euh… Ça augmente...?

M: c'est pour les points.

C: D'accord. (Retenue de souffle) ok. Donc, là... toujours les pièces... un gros

« B », j'imagine qu'il faut toutes les lettres pour avoir un cadeau...

« Hops », un coquillage? ... « ouarrh », là c'est chaud! ...aahh… hmhmhm (rire, alors que le joueur a terminé sa course avec un accident)

(Rapidement, le joueur recommence)

Bon, j'ai la dextérité d'une huître à-peu-près...Donc, heu...

(à nouveau, le joueur accroche le bouton d'options sur son téléphone et pause la partie)

Hmmm, à chaque fois!... Qu'est-ce que...c'est bien je vais finir sur YouTube... (Le joueur ferme le menu d'options et au retour fonce dans un obstacle) … (en riant) Hmm, voilà, comme tout à l'heure… Héhé...

(Le joueur recommence)

Bon, il faut que je me mette (la main) plus en haut en fait (pour ne pas accrocher le bouton d'options du téléphone)

M: Oui, repositionner la main aiderait.

C: Je me baisse par là, je continue à suivre les pièces (Reprend son souffle).

Donc, là pour l'instant, ce qui est bien c'est que...voilà, j'ai été bête là par exemple. J'aurais pas du sauter. (Reprend son souffle). C'est que il y a pas vraiment d'objet qui bouge...Donc, ça reste assez facile. Tant que je ne fais pas n'importe quoi. Là, je fais n'importe quoi par exemple. J'ai raté plein d'objet, c'est

« cool » (sarcastiquement, rire)

Un train... qui sort de ...heu... Nul part... Parce qu’il y avait un… heu... okay… (Reprend son souffle)

Là, j'ai envie de passer en dessous…

(Le joueur évite un obstacle de justesse) Là, dernière minute, allez, je veux des pièces.

(Reprend son souffle) Je veux des pièces...

Je vais rester là-haut... (le joueur tombe en bas de sa plate-forme) ah… je sais pas pourquoi j'ai fait ça.

J'ai un peu fff...foiré là...

(Reprend son souffle) Ok, donc là ça commence à se compliquer, il y a des trucs qui arrivent dans tous les sens. Il y a le monsieur qui commence à ... (reprend son souffle) ... à être fort là..(son poursuivant le rattrape un peu suite à une mauvaise manœuvre)

(Le joueur termine sa course dans un obstacle) Et voilà… je suis très nul...

Alors, j'ai pas compris pourquoi... c'est parce que j'ai pas assez de pièces donc... Il me rattrape si je… je connecte pas assez d'objets c'est ça?

(Pendant la réponse, le joueur recommence la partie)

M: Heu, non en fait, c'est qu’il te rattrape, c'est juste si tu fais une collision qui est considérée comme fatale.

C: Ouin, d'accord. Non, mais c'est parce que dans ce coup il s'est retrouvé derrière moi, alors qu'il y était pas.

M: C'est parce que si tu fais juste accrocher un objet en faisant un déplacement, et comme si tu frôlais l'objet, t'as une deuxième chance. Sauf que si tu le fais deux fois de suite, à ce moment-là, il te rattrape, parce qu'il est derrière toi.

C: (reprend son souffle) Bon je vais essayer d'avoir un maximum de... de pièces… Je vais… Je vais quand même descendre, parce qu'il y a le coquillage... ah bah, du coup, j'ai raté la lettre (un autre objet spécial)

(Reprend son souffle avec une expiration sous forme de soupir cette fois)

Voilà, là je vais passer par en haut. J'ai... (évite un obstacle de justesse) eu chaud là, c'était chaud pour ma gueule. Donc, voilà je vais rester là, ça a l'air plus safe. Je vais choisir le chemin le plus safe et puis il y a les pièces donc, heu… J'ai rien à faire là-bas... Alors, ça c'était cool, ça j'étais content. (A terminé une section qui lui était nouvelle).

Marcher sur un train en marche, je pensais que y avait que Chuck Norris qui

pouvait le faire... (rire, le joueur court sur un train)

Aaah?... Ça par contre, heu... je suis bloqué, héhéhé (rire, en même temps le joueur termine sa course dans un obstacle)

Ahahah, le bâtard... J'étais sensé faire quoi là?

M: Choisir une autre voie apparemment. (Le joueur recommence la partie)

C: Ouais... ça joue tellement vite que... heu... c'est pas évident non plus là... (Reprend son souffle)

M: Est-ce que tu regardes un peu au loin?

C: (reprend son souffle) Bah, J'ai tendance à …heu...regarder assez devant moi en fait... heeeu... je crois que c'est une erreur. Heeu, parce que, du coup, il y a des trucs que je rate là, l'objet, le « shell » si j'avais regardé au loin peut-être que j'aurais pu le voir peut-être...

(Reprend son souffle) aah oups... Donc, là c'est assez calme... bon, ça commence à arriver. (Reprend son souffle, des obstacles arrivent au loin)

Je vais rester en haut... ça me paraît plus sûr en fait…je me sens plus en sécurité en haut (retient son souffle, au même moment le joueur doit se concentrer pour ne pas échouer ses sauts) que quand je suis en bas...mais heu... ça c'est valable…heu… un certain temps… ok...

Oh, là, là je suis bien (reprend son souffle) ... là j'aime bien… (reprend son souffle alors qu’il est dans une zone moins à risque)

Là, je vais rester sur eux là (des objets en hauteur). Ils ont l'air assez répétitif...

« Hops » ... (évite un obstacle de justesse) je change…feinte... ouaah… merde... putain... (le joueur a foncé dans un obstacle)

aah... j'étais trop con là..

(Le joueur recommence la partie rapidement)

Je sais pas pourquoi... un réflexe... J'ai paniqué...

(Reprend son souffle puis fait sauter son personnage pour rien) Je sais pas pourquoi j'ai fait ça… Absolument pas.

Je vais essayer de rester un maximum de temps en haut, parce que y a toutes les pièces qui sont là-haut.

Là, y a clairement un objet là-bas.

(Le joueur termine sa course dans un obstacle) pfffff (avec un signe d'impatience) ... J'avais pas besoin de sauter pour l'avoir.

(Le joueur recommence la partie)

Ce que je trouve à la fois frustrant et, heu... et drôle, c'est que, heu, en fait, c'est heu...c'est vraiment une histoire de dextérité, même si tu as tout compris, il y a un moment où c'est vraiment... comment tu vas appréhender le chemin qui va déterminer la suite, y a pas... y a pas vraiment beaucoup de chose à apprendre de plus en fait. J'ai l'impression. Après, il y a peut-être des nouveaux éléments

qui vont arriver, mais heu... J'suis trop nul pour aller jusqu'à eux.

C'est vraiment progressif là, à ce que je vois. « Hops », on va rester là-haut (saute d'obstacles en obstacles qui lui viennent de façon linéaire). Ça j'aime bien ça. J'aime bien parce que... t'as l'impression d'être super fort. Voilà, là j'ai commencé à comprendre qu'il fallait tourner sur les trains super rapides qui étaient sur le côté... ah! Un aimant, alors, ça, ça m'intéresse, j’essaie de chopper un maximum de trucs... ça dure pas longtemps, les aimants hein?

M: Ah, ça, tu peux « upgrader » leur durée.

C: Là, ça commence à être chaud... chhh... chaud patate là... (le joueur fonce dans un obstacle) Ah! Putain! Hihihi (rire, puis le joueur appui rapidement pour continuer, mais découvre une boîte mystère qu'il a ramassé au passage)

Bon, j'ai un cadeau. Je suis content j'ai un cadeau. Un bonnet (qui était à l'intérieur de la boîte mystère, le cadeau) Le bonnet du commandant Cousteau (en blague)

Est-ce que ça va apporter quelque chose?

(Le joueur a également obtenu un nouveau meilleur score lors de cette partie. Il n'en mentionne rien mais regarde attentivement à l'écran l'information qui lui parvient)

M: Hmm... pas vraiment, ça va te permettre de débloquer un personnage... si t'en obtiens assez.

C: Il faut avoir tous ses habits pour pas qu'il soit tout nu, c'est ça? (En blague...) M: heeuu..ouiinn, en fait, il faut qu'il aille plein de bonnets, héhé...

C: D'accord, héhé... le mec il est fan de bonnet en fait... dangereux...