Geoptimaliseerd voorspellen van voetbaluitslagen met
behulp van collectieve kennis op Twitter en machinaal
leren
Jasper Zuallaert
Promotor: prof. dr. ir. Rik Van de Walle
Begeleiders: ir. Fréderic Godin, ir. Baptist Vandersmissen
Masterproef ingediend tot het behalen van de academische graad van
Master of Science in de ingenieurswetenschappen: computerwetenschappen
Vakgroep Elektronica en Informatiesystemen
Voorzitter: prof. dr. ir. Jan Van Campenhout
Faculteit Ingenieurswetenschappen en Architectuur
Academiejaar 2013-2014
Geoptimaliseerd voorspellen van voetbaluitslagen met
behulp van collectieve kennis op Twitter en machinaal
leren
Jasper Zuallaert
Promotor: prof. dr. ir. Rik Van de Walle
Begeleiders: ir. Fréderic Godin, ir. Baptist Vandersmissen
Masterproef ingediend tot het behalen van de academische graad van
Master of Science in de ingenieurswetenschappen: computerwetenschappen
Vakgroep Elektronica en Informatiesystemen
Voorzitter: prof. dr. ir. Jan Van Campenhout
Faculteit Ingenieurswetenschappen en Architectuur
Academiejaar 2013-2014
Voorwoord
Mijn passie voor sport heeft mij gestuurd in het kiezen van een thesisonderwerp. Al
gauw was duidelijk dat we sport en Twitter zouden samenbrengen, en na enkele idee¨en
uitgewisseld te hebben, kwamen we tot het idee om voetbalwedstrijden te gaan voorspellen
met Twitter. De keuze voor de Engelse Premier League sprak ook voor zich, gezien ik
geen enkele speeldag mis en het nieuws daar op de voet volg. Het was dus een bijzonder
fijne ervaring om passie en studie samen te brengen in deze masterproef.
Enkele dankwoordjes bij het schrijven van deze masterproef zijn op hun plaats. Vooraleerst zou ik prof. dr. ir. Rik Van de Walle willen bedanken voor de mogelijkheid om
Twitter te gaan bestuderen op het vlak van voetbalgebeuren. Heel veel dank gaat ook uit
naar mijn schitterende begeleiders, Fr´ederic Godin en Baptist Vandersmissen, die mij op
de voet gevolgd hebben tijdens mijn thesis, en mij ten allen tijde snel van constructieve
feedback voorzien hebben.
Verder wil ik ook mijn familie en vrienden bedanken, die mij tijdens de lange thesisdagen
en -nachten gezelschap gehouden en gesteund hebben, en die mij ook door de rest van
mijn studies geholpen hebben.
Jasper Zuallaert, juni 2014
i
Toelating tot bruikleen
“De auteur geeft de toelating deze scriptie voor consultatie beschikbaar te stellen en delen
van de scriptie te kopi¨eren voor persoonlijk gebruik.
Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met
betrekking tot de verplichting de bron uitdrukkelijk te vermelden bij het aanhalen van
resultaten uit deze scriptie.”
Jasper Zuallaert, juni 2014
ii
Geoptimaliseerd voorspellen van voetbaluitslagen met behulp
van collectieve kennis op Twitter en machinaal leren
door
Jasper Zuallaert
Afstudeerwerk ingediend tot het behalen van de graad van
Master in de ingenieurswetenschappen: computerwetenschappen
Academiejaar 2013-2014
Universiteit Gent
Faculteit Ingenieurswetenschappen en Architectuur
Vakgroep Elektronica en informatiesystemen
Voorzitter: prof. dr. ir. J. Van Campenhout
Promotor: prof. dr. ir. R. Van de Walle
Thesisbegeleiders: Fr´ederic Godin, Baptist Vandersmissen
Samenvatting
In deze masterproef onderzoeken we de mogelijkheid om met de collectieve kennis op
Twitter voorspellingen voor voetbalwedstrijden te doen. We bouwen eerst enkele afzonderlijke systemen op, die kijken naar het aantal berichten dat per ploeg geplaatst wordt,
de emoties in de berichten en de voorspellingen die de gebruikers zelf doen. Door middel
van machinaal leren kunnen we met die informatie voorspellingen gaan doen.
We vergelijken met een voorspeller die enkel naar statistieken kijkt, en met een systeem
dat de voorspellingen van de gokkantoren volgt. Eerst kijken we of de resultaten van die
voorspeller ge¨evenaard kunnen worden, en daarna gaan we de twee aanpakken combineren
om een nog beter systeem te verkrijgen.
Trefwoorden: voetbalvoorspellingen, Twitter, machinaal leren
iii
Optimized techniques for predicting football games
using the wisdom of the crowd on Twitter and
machine learning techniques
Jasper Zuallaert
Supervisor(s): prof. dr. ir. Rik Van de Walle, Fr´ederic Godin, Baptist Vandersmissen
Abstract— In this paper, a system is presented to predict the winner of
football games by analysing Twitter and with the use of machine learning.
The system consists of four parts. The first part takes a statistical approach
to predict the games, not yet using Twitter. A second part analyses the tweet
counts for each team before a game. A third part calculates the general
feelings on Twitter before a game, by running a sentiment analysis on each
relevant tweet. A last part analyses the score predictions of the Twitter
users themselves. The performance of the first and fourth system were very
pleasing, so we combined them into an even better system. The combined
system was compared to an approach following the bookmakers’ odds. The
combined system was able to slightly outperform the bookies.
Keywords—Football predictions, Twitter, machine learning
I. I NTRODUCTION
LL over the globe, gambling and betting websites are very
popular. An incredible amount of money is spent gambling each year. In Great Britain alone we’re talking about more
than five billion pounds a year. Football embodies a big part of
that amount. Thus, constructing an efficient football prediction
mechanism can be a lucrative but also a challenging task.
The automatic prediction of football games nowadays almost
exclusively makes use of statistics. This approach includes the
position in the ranking, the amount of goals scored or conceded,
... Complicated systems can also include individual player performances or injuries. In this paper, social media is introduced
to football predictions. With a few different approaches, we tried
to make predictions based on Twitter talk, and to combine them
into an even better system.
Twitter was an easy choice, as it has a very open community,
where short messages are posted. That’s what makes it easier to
get to the core of what people are trying to say. The community
is also very vivid when it comes to football. For instance, Arsenal has had periods this season where the amount of Twitter
messages sometimes rose above one million in one week.
A
II. R ELATED W ORK
There has been some research where Twitter is indeed used as
an information source to predict certain events. In [1] the possibility of predicting republican pre-elections in 2011 is studied.
The study learns us that one could claim that Twitter talk and the
outcome of the elections are correlated, but [2] tells us we should
take the results with a pinch of salt, as there are many more factors that should be taken into account. A more succesful study
is executed in [3], where the stock market is predicted by analyzing the general mood on Twitter. Automatic crime prediction
is performed in [4], also by analyzing the moods on Twitter.
The study that is closest to this paper is done in [5]. Here, the
authors also try to use Twitter in order to predict the outcome
of American football games. The prediction percentage of the
outcome of the games however was not improved by using Twitter. However, they did manage to boost their predictions for the
point spread and the upper bound for the total amount of points.
This boost was achieved by combining the statistical approach
and the tweet counts of the teams involved.
Most of these studies predict certain events based on Twitter
in a similar fashion. They all use machine learning techniques,
where a certain amount of data is used as to study the correlation
between the Twitter information and the outcome of the event
(“training set”), and another part of the data is used to evaluate
the system (“testing set”). The information that is extracted from
Twitter is the amount of tweets that is posted about each party,
and the mood amongst the users. That mood is calculated by
sentiment analysis”.
III. M ETHODOLOGY
The football games are predicted separately by a few individual systems. After evaluation of the systems, a combination
of the best ones is made in order to improve the performance
even more. First, the individual systems are described. Each
of these systems produces some information (“attributes”) for
each game. Machine learning techniques are then used to build
a model that is able to predict other football games, based on
new information. The choice of these techniques was made by
reading related work and experimenting with the most widely
used techniques. We chose Support Vector Machines, Logistic
Regression and Naive Bayes.
A. Statistical approach
The first approach uses the statistics before a game. Twitter
is not yet involved here. For each game the ranking, average
points per game, average goals for/against per game, ... of both
teams are listed.
B. Counting tweets
In this approach, we look at the amount of tweets that are
placed for each team. We count all the tweets that include the
official hashtag of a certain team. For both teams in a game, we
look at the average amount of tweets posted (containing their
hashtag) per day, since the last game. Based on the comparison
of both averages, predictions are made.
C. Sentiment analysis
In this third approach, we take a look at the general mood
for both teams before the game. In order to do so, we want to
divide all the tweets into seven classes of emotion: neutral (or
irrelevant), positive, negative, doubtful, confident, encouraging
and nervous. We build a model that is able to classify each tweet
into one of these classes. To do so, we manually annotated more
than three thousand tweets, and by using machine learning tools
that then construct the model for our needs.
We classify each tweet in the last 24 hours before a game.
Based on all the tweets before the game, we can calculate the
average sentiment score ratio for each class. Based on those
ratios for each team, a prediction of the game can be made.
D. Prediction analysis
A fourth and final individual approach consists of searching
the tweets for predictions that are made by the users themselves.
In the last 24 hours before a game, the tweets that contain scores
are filtered, and averages are made for neutral and biased (home
or away) user predictions. Biased user predictions are the ones
that contain only one mention of a team. Based on the average
scores for each type of user prediction, the outcome of the game
is predicted.
E. Combining the individual systems
Next, three types of methods to combine the individual system are discussed.
A first type combines the attributes of the individual systems.
A second type predicts the games using the individual systems, and then issues majority voting in order to choose which
prediction is chosen. A similar voting algorithm is to look at the
probability that each system gives to its prediction. From those
probabilities, the highest one is chosen.
A third and last type also predicts the games using the systems
individually, and then constructs new information attributes by
listing the predictions (and probabilities) of the systems. On
these attributes, machine learning is again executed, so the
model can learn from what the systems predict individually.
IV. E VALUATION
The evaluation is done over two hundred games in the English Premier League season 2013-2014. We evaluate using a
chronological model, which is described in IV-A. Next, we include some basic approaches to which we compare our systems.
A. Test setup
The games for which we have gathered tweets run from match
days 10 to 24, and match days 29 to 34 (including one match day
for postponed games), totalling two hundred games. The first
hundred games are exclusively used for training our systems.
The remaining games are split up into two groups: from match
day 20 to 24 and from match day 29 to 34 (both fifty games).
Evaluation is done seperately for both groups.
Evaluation is based on a chronological model. This implies
that all information used to predict a game, is available before
the start of the game. Of course we need to make a choice of
which attributes we find valuable and which we should ignore.
System
Home advantage
Lawro’s Pred.
bookmakers
statistics
tweetcount
sentiment
predictions
combined
md 20-24
0.48
0.62
0.66
0.58
0.48
0.50
0.58
0.66
md 29-34
0.54
0.58
0.68
0.70
0.52
0.56
0.68
0.70
md 20-24,29-34
0.51
0.60
0.67
0.64
0.50
0.53
0.63
0.68
TABLE I
T HE CORRECTNESS PERCENTAGES OF THE MOST IMPORTANT SYSTEMS
( MD = MATCH DAY )
To make that decision, for each group of games we do a seperate
calculation. We only do this once for each group, as it’s a computationally intensive task. We try each attribute combination
with the games that are available before each group (resp. a hundred and a hundred and fifty), and run 10-fold cross-validation
to find out which combination reaches the highest correctness
percentages.
After finding out which attribute combinations should work
best, we approach each match day seperately. With each match
day, we have a few more games at our disposal. With the games
available (100 for the first game, 110 for the second game, ...),
we calculate the best classifier (type and parameters) by running
10-fold cross-validation. Next, the classifier is trained on the
games that are available, and finally we make a prediction for
each of the (most of the time) ten games of the match day.
B. Comparison baselines
A few simple baseline systems with which we compare our
systems, are listed below.
• Simply letting the home team win the game.
• Expert predictions: each match day, Mark Lawrenson, who
is an important pundit at the BBC, does a prediction contest
against a celebrity. His predictions can be used as an “expert
system” baseline to compare with.
• The odds of more than fifty bookmakers ahead of each game
are gathered. Next, the outcome with the highest probability
according to the odds is predicted.
V. R ESULTS
The results of the baseline approaches, and those of the most
important classifiers of each individual or combined system, are
given in Table I.
It’s clear to see that the statistics (64%) and predictions (63%)
outperform our other individual systems (50% and 53%). We
choose to combine these two approaches, and we can see it outperforms the separate systems considerably (68%). The bookmakers’ results are slightly outperformed as well.
It’s notable that the first series of games are a lot harder to
predict than the second series, as all approaches but one have a
lower percentage for the first series. This can partly be explained
by the fact that there are twice as many draws in the second
series than in the first. Draws are never predicted by succesful
predictors, as they’re too rare and too accidental. We conclude
that results in a football season can be very varying, and that we
need a bigger dataset for a more general analysis.
When we would have used our combined system to bet on the
two series of games at the bookmakers, we would have made a
profit of almost 30%, whereas following the bookmakers or the
expert predictions only offered a profit of 18%. We can conclude
that our system is a succesful one.
VI. C ONCLUSION AND F UTURE W ORK
By constructing a prediction system that uses Twitter as well
as statistics, we found a way to outperform the bookmakers and
expert knowledge on predicting the winner of football games.
By using statistics of each team, and the predictions that are
placed by the Twitter users themselves, we constructed a model
that predicted 68 out of a hundred testing games correctly.
In the future, sentiment analysis should be improved, and
above all, more testing needs to be done with bigger datasets.
We only had Twitter data for two hundred games at our disposal, which corresponds to approximately half a football season. Some of the systems would work better if they had more
data to train on, and the risk of overfitting would be nullified.
Also, the nature of results tends to evolve over the course of a
season. By collecting data over several seasons, testing could be
done on the whole of a season, and a more general conclusion
could be made.
R EFERENCES
[1] L. Shi, N. Agarwal, A. Agrawal, R. Garg, and J. Spoelstra, “Predicting us
primary elections with twitter,” in Proceedings of Social Network and Social Media Analysis: Methods, Models and Applications (NIPS Workshop),
Lake Tahoe, NV, December 7, 2012.
[2] Panagiotis Takis Metaxas, Eni Mustafaraj, and Daniel Gayo-Avello, “How
(not) to predict elections.,” in SocialCom/PASSAT. 2011, pp. 165–171,
IEEE.
[3] J. Bollen, H. Mao, and X. Zeng, “Twitter mood predicts the stock market,”
Journal of Computational Science, vol. 2, no. 1, pp. 1–8, March 2011.
[4] Xiaofeng Wang, Matthew S. Gerber, and Donald E. Brown, “Automatic
crime prediction using events extracted from twitter posts,” in Proceedings of the 5th International Conference on Social Computing, BehavioralCultural Modeling and Prediction, 2012, SBP’12, pp. 231–238.
[5] S. Sinha, C. Dyer, K. Gimpel, and N. A. Smith, “Predicting the nfl using
twitter,” in Proceedings of ECML/PKDD Workshop on Machine Learning
and Data Mining for Sports Analytics, 2013.
Inhoudsopgave
1 Inleiding
1
1.1
Probleemstelling
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
Overzicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2 Literatuurstudie
2.1
2.2
2.3
2.4
4
Sentimentanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.1.1
Algemeen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.1.2
Technisch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.1.3
Conclusie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
Voorspellingen op basis van Twitter . . . . . . . . . . . . . . . . . . . . . .
6
2.2.1
Verkiezingen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
2.2.2
Beursgangen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
2.2.3
Misdaad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
2.2.4
Conclusie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
Sportvoorspellingen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
2.3.1
Sportvoorspellingen op basis van statistieken . . . . . . . . . . . . .
9
2.3.2
Sportvoorspellingen op basis van Twitter . . . . . . . . . . . . . . .
9
Conclusie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3 Gebruikte technieken en software
3.1
Gebruikte technieken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1.1
3.2
11
Machinaal leren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Gebruikte software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2.1
Weka . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2.2
SentiStrength . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.2.3
Twokenize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2.4
Twitter4J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2.5
Overige . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
vii
4 Werkwijze voor de verschillende modules
17
4.1
Module 1 - Statistieken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
4.2
Module 2 - Aantal berichten . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4.3
Module 3 - Sentimentanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4.3.1
Wegfilteren van irrelevante Twitterberichten . . . . . . . . . . . . . 19
4.3.2
Annoteren van Twitterberichten . . . . . . . . . . . . . . . . . . . . 24
4.3.3
Classificeren van Twitterberichten . . . . . . . . . . . . . . . . . . . 26
4.3.4
Het voorspellen van wedstrijden a.d.h.v. de sentimentscores . . . . 27
4.4
Module 4 - Voorspellingsanalyse . . . . . . . . . . . . . . . . . . . . . . . . 29
4.5
Combineren van de verschillende modules . . . . . . . . . . . . . . . . . . . 32
4.6
4.5.1
Type A: Een nieuwe vector opbouwen door vectoren van individuele
systemen samen te voegen . . . . . . . . . . . . . . . . . . . . . . . 32
4.5.2
Type B: Meerderheidsstemming en aanverwanten . . . . . . . . . . 32
4.5.3
Type C: Een nieuwe vector opbouwen a.d.h.v. de voorspellingen
per module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Besluit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5 Evaluatie
5.1
5.2
5.3
De twee evaluatiemodellen . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
5.1.1
Het chronologisch model . . . . . . . . . . . . . . . . . . . . . . . . 38
5.1.2
Niet-chronologisch model . . . . . . . . . . . . . . . . . . . . . . . . 40
5.1.3
Overzicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Basisvoorspellingssystemen . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.2.1
De thuisploeg steeds laten winnen . . . . . . . . . . . . . . . . . . . 41
5.2.2
Expertvoorspellingen . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.2.3
Voorspellingen op basis van de cijfers van gokkantoren . . . . . . . 42
5.2.4
Discussie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Module 1 - Statistieken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.3.1
5.4
5.5
37
Discussie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Module 2 - Aantal berichten . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.4.1
Fluctuaties in aantallen over een langere periode . . . . . . . . . . . 44
5.4.2
Verdeling van de berichtenaantallen over de verschillende ploegen . 45
5.4.3
De evolutie naar het eind van het seizoen toe . . . . . . . . . . . . . 47
5.4.4
Het voorspellen van de wedstrijden . . . . . . . . . . . . . . . . . . 47
Module 3 - Sentimentanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.5.1
Het classificeren van de berichten . . . . . . . . . . . . . . . . . . . 49
5.5.2
Het aanduiden van de ploeg waarover elk bericht gaat . . . . . . . . 50
viii
5.5.3
5.6
5.7
5.8
5.9
Het voorspellen van de wedstrijden . . . . . . . . . . . . . . . . . . 51
Module 4 - Voorspellingsanalyse . . . . . . . . . . . . . . . . . . . . . . . . 52
5.6.1
Het correct ontleden van de Twitterberichten . . . . . . . . . . . . 52
5.6.2
De voorspellingen die de Twittergebruikers zelf doen . . . . . . . . 52
5.6.3
Het voorspellen van de wedstrijden . . . . . . . . . . . . . . . . . . 53
5.6.4
Discussie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Gecombineerde modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.7.1
Een overzicht van de individuele modules . . . . . . . . . . . . . . . 54
5.7.2
Twee verschillende combinaties van vectoren . . . . . . . . . . . . . 55
5.7.3
Resultaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.7.4
Discussie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Verdere analyse van de belangrijkste systemen . . . . . . . . . . . . . . . . 57
5.8.1
Een vergelijking per speeldag . . . . . . . . . . . . . . . . . . . . . 57
5.8.2
De voorspellingen waar nog fouten gemaakt worden . . . . . . . . . 58
5.8.3
Een vergelijking met de gokkantoren . . . . . . . . . . . . . . . . . 61
Overzicht van de belangrijkste resultaten . . . . . . . . . . . . . . . . . . . 62
6 Besluit en toekomstig werk
63
6.1
Besluit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.2
Toepasbaarheid op het WK . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.3
Toekomstig werk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Bibliografie
69
ix
Gebruikte afkortingen
CL
csv
EK
EPL
FA Cup
GUI
NFL
NYG
ML
sd
SRL
SVM
tf-idf
WK
Champions League
Comma-separated values
Europees kampioenschap
English Premier League
Football Association Cup
Graphical User Interface
National Football League
New York Giants
Machinaal Leren
speeldag
Semantic Role Labeling
Support Vector Machine
term frequency - inverse domain frequency
Wereldkampioenschap
x
Hoofdstuk 1
Inleiding
1.1
Probleemstelling
E´en van de bekendste online sociale netwerken ter wereld is Twitter. Gebruikers plaatsen
daar korte berichtjes (“tweets”), die dan gelezen worden door volgers. Sinds de oprichting
in 2006 heeft Twitter ondertussen de wereld veroverd, en valt er heel veel informatie en
opinies mee te verzamelen over politiek, evenementen, enz.
Twitter is ook een medium dat kan helpen om voorspellingen te doen. Er is al heel wat
onderzoek gedaan naar het al dan niet effectief kunnen voorspellen van verkiezingsresultaten ([8, 20, 15]) en beurscijfers ([4]). In deze masterproef maken wij de brug naar
sportevenementen. Meerbepaald gaan we de winnaars van voetbalwedstrijden voorspellen.
Voetbal is namelijk met 265 miljoen beoefenaars nog steeds de populairste sport ter wereld
[12], en het wordt dan ook uitgebreid besproken op Twitter. Zowel voor, tijdens als na
de wedstrijden geven gebruikers zowel algemene informatie als hun ongezouten mening
over spelers, ploegen en gebeurtenissen. Het geheel van die Twitterberichten vormt een
haast onuitputtelijke bron aan informatie die verder strekt dan louter een opsomming van
feiten.
Twitter is het ideale medium om voetbalwedstrijden mee te gaan voorspellen, gezien het
grote aantal berichten dat over voetbal geplaatst wordt. Zo werd Arsenal (meerbepaald
de termen “Arsenal”, “#gunners” en “#afc”) bijvoorbeeld ruim 700 000 keer vermeld
in de week van vier tot negen november 2013 (inclusief een Europese wedstrijd tegen
Dortmund), en werden er een dag later, waar een wedstrijd tegen Man Utd plaatsvond,
maar liefst nog eens 490 000 vermeldingen opgetekend. De beperktheid van expressieruimte (140 tekens) geeft ook de mogelijkheid om puur de kern van de meningen van alle
verschillende gebruikers in achting te nemen.
1
Om voetbalwedstrijden te voorspellen wordt vandaag vooral gekeken naar prestaties en
statistieken van beide betrokken ploegen in het verleden. Voorbeelden daarvan zijn het
aantal behaalde punten in de competitie, het aantal gemaakte goals, de prestaties van
individuele spelers in de voorbije wedstrijden of blessures. Verscheidene elementen bij een
voetbalwedstrijd zitten echter niet meteen vervat in statistieken, zoals de onrust in een
spelersgroep, de zenuwen voorafgaand aan een erg belangrijke wedstrijd, de overmatige
zelfzekerheid die kan heersen bij een topploeg, enz. Met sociale media vinden we een
manier om die ontbrekende informatie in te vullen.
Wanneer we succesvolle voorspellingen kunnen doen, is de link naar gokkantoren snel
gelegd. Websites voor gokken en wedden zijn bijzonder populair. In Groot-Brittanni¨e
werd van april 2011 tot maart 2012 maar liefst 6,8 miljard euro ingezet op goksites [6].
Ook voetbalwedstrijden hebben hun aandeel in die omzet. Een hoog correctheidspercentage bij het voorspellen van voetbalwedstrijden kan dus zeer lucratief zijn, zowel voor de
gokkantoren als voor de gokkers. Doorgaans gaan de gokkantoren uit van 11/10 kansen;
d.w.z. om geen winst of verlies te maken dient de speler elf keer te winnen en tien keer te
verliezen[1]. Wanneer de gokkantoren of gokkers dus een correctheidspercentage van meer
dan 52,4% op de voorspellingen kunnen voorleggen, is het mogelijk om winst te maken.
In deze masterproef wenden we de collectieve kennis op Twitter aan om even goed proberen te doen als de huidige voorspellingsmechanismen (voor voetbalwedstrijden), en om
vervolgens die mechanismen te gaan optimaliseren. Aan de hand van voorspellingen,
opinies en gevoelens op Twitter wordt een vollediger beeld gevormd van wat er allemaal
speelt rond de voetbalwedstrijd in kwestie, zodat een nauwkeurigere voorspelling mogelijk
is.
1.2
Overzicht
We verzamelden de Twitterdata over alle ploegen in de Engelse Premier League gedurende
een deel van het seizoen 2013-2014. In eerste instantie hebben we aan de hand van huidige
voorspellingsmechanismen (die voor het overgrote deel gebaseerd zijn op statistieken) een
voorspeller geconstrueerd, om te kijken welke percentages we daaruit kunnen halen.
We keken welke attributenverzamelingen (Eng. feature sets) de nauwkeurigste voorspellingen kunnen doen. Voorbeelden van zo’n verzamelingen zijn de stand op het moment
in de Premier League, het aantal gescoorde doelpunten, enz. In volgende stappen hebben
we Twitter betrokken.
In een eerste benadering hebben we gekeken over welke teams er het meeste berichten
geplaatst worden, voorafgaand aan een wedstrijd. Verder hebben we de inhoud van berichten ontleed, waarbij we ge¨ınteresseerd zijn in het sentiment dat schuilt in de berichten,
2
of in de voorspellingen die de gebruikers zelf doen.
In deze masterproef volgt na deze korte inleiding eerst een studie van de reeds bestaand
onderzoek in Hoofdstuk 2. Vervolgens lichten we in Hoofdstuk 3 enkele gebruikte technieken en software toe. In Hoofdstuk 4 worden de verschillende werkwijzen gedetailleerd
beschreven, waarna ze in Hoofdstuk 5 ge¨evalueerd worden. We sluiten af met een besluit
in Hoofdstuk 6, en we geven een overzicht van de huidige beperkingen van het systeem
en de mogelijke verbeteringen naar de toekomst toe.
3
Hoofdstuk 2
Literatuurstudie
In deze literatuurstudie onderzoeken we enkele verschillende domeinen, waar deze masterproef verband mee houdt. Ten eerste onderzoeken we een typische techniek die op Twitter
toegepast kan worden, namelijk de sentimentanalyse van berichten. In dit hoofdstuk zal
die sentimentanalyse als een nuttige en veelvuldig gebruikte techniek blijken. Vervolgens
onderzoeken we de mogelijkheid om voorspellingen te doen op het vlak van verkiezingen,
beurscijfers en misdaad. Daarna onderzoeken we de mechanismen om sportuitslagen te
voorspellen, aan de hand van statistieken en aan de hand van Twitter. Statistische voorspellingen zijn al veelvuldig onderzocht, maar Twittervoorspellingen worden maar in ´e´en
paper beschreven [21]. De technieken uit die paper zijn ook erg voor verbetering vatbaar.
Tenslotte besluiten we met een conclusie.
2.1
Sentimentanalyse
In deze sectie bekijken we sentimentanalyse. Bij sentimentanalyse worden emoties in
berichten geanalyseerd. Het is een ingewikkeld proces om te zoeken wat een gebruiker net
bedoelt met een bericht. Daartoe bestaan verschillende mechanismen die een positieve of
negatieve waarde geven aan een bericht of andere emoties toekennen.
2.1.1
Algemeen
Om bepaalde emoties in berichten te onderscheiden hebben we nood aan een techniek
voor sentimentanalyse. Die analyse dient om te achterhalen wat een gebruiker net bedoelt
met een bericht. Het geeft een positieve/negatieve/neutrale ingesteldheid weer naar een
bepaalde entiteit. Een voorbeeld hiervan is “My dog is freaking me out”, waar er een
duidelijk negatieve ingesteldheid is tegenover de hond. We beschrijven eerst de werkwijze
en vervolgens worden enkele voorbeelden aangehaald.
4
De auteurs van [19] en [17] zoeken naar semantische entiteiten, en het positief/negatief
ingesteld zijn tegenover die entiteiten. Doorgaans is dat op Twitter lastiger dan in grotere
teksten, gezien het feit dat de berichten erg kort zijn, en het taalgebruik vaak minder
formeel is.
In [19] staan een aantal manieren beschreven om die semantische entiteiten te verwerken.
Enerzijds zijn er de entiteiten (iPod, iPad, ...) en hoort er bij die entiteiten een semantisch concept (in dit geval bv. Apple-product). Bij het analyseren van alle opgehaalde
berichten worden de entiteiten vervangen door het concept, of wordt het concept gewoon
toegevoegd als extra informatie aan het bericht. Op die manier worden semantische entiteiten verbonden met elkaar. Verder wordt een spamfilter toegepast, die ongewenste
berichten uit de dataset moet verwijderen, zoals anderstalige berichten of retweets. Vervolgens wordt er op spelling gecontroleerd en wordt de tekst genormaliseerd (bv. “hatin’
” wordt “hating”). De berichten krijgen scores aangewezen gebaseerd op woordenlijsten,
die zowel handmatig of automatisch (via machinaal leren, hier a.d.h.v. Naive Bayes) opgesteld zijn. In zulke woordenlijst bevindt zich bijvoorbeeld een deel met positieve woorden
(bv. “awesome”) en negatieve woorden (bv. “terrible”). Woorden kunnen ook nog eens
krachtiger gemaakt worden door adjectieven (“very”) of hoofdlettergebruik.
In [9] worden acht verschillende methoden/systemen vergeleken; Emoticons, SASA, SenticNet, SentiWordNet, SentiStrength, Happiness Index, LIWC en PANAS-t. Het gaat
zowel over gesuperviseerde als niet-gesuperviseerde systemen. Bij sommige systemen is
er niet alleen een positief/neutraal/negatief resultaat voor een bericht, maar ook emoties
als kwaadheid of angst worden in rekening gebracht. Het PANAS-t systeem ondersteunt
bijvoorbeeld elf verschillende stemmingen.
Tussen de resultaten van de verschillende systemen op eenzelfde berichtenverzameling kan
echter nog steeds redelijk wat verschil zitten (tot amper 33% overeenkomstige resultaten).
Het combineren van die methodes kan wel leiden tot betere resultaten. In de paper worden
enkele systemen gecombineerd voor betere resultaten, en dus wordt er enkel naar een
positief, neutraal of negatief sentiment gekeken.
2.1.2
Technisch
De opbouw van het analysesysteem zelf wordt onder andere in [18] en [3] beschreven.
Het sentimentprobleem is ingewikkelder dan de traditionele categorizatieproblemen (vb.
sport/politiek/...), gezien een negatieve zin kan voorkomen zonder een negatief woord
te bevatten (bv. “how could anyone sit through this movie?”). Daarom verkiezen ze
een corpusgebaseerde aanpak, in plaats van woordenlijsten die opgebouwd zijn vanuit de
intu¨ıtie.
Een belangrijke factor in zo’n systeem is het reduceren van de attribuutdimensies (Eng.
5
feature dimensions). Voor elk woord kiezen we namelijk een nieuwe dimensie, en dit kan
voor overfitting zorgen. Overfitting wil zeggen dat we te veel specifieke trainingsinformatie aan het systeem doorgeven, waardoor het voor de trainingsverzameling extreem goede
resultaten zal geven, maar voor algemene gevallen zal falen. De dimensiereductie kan op
verschillende manieren bekomen worden, zoals het schrappen van woorden die minder dan
driemaal voorkomen, het schrappen van stopwoorden (hoewel dit soms slechtere performantie kan geven), of het samenvoegen van woorden met hetzelfde prefix (vb. “fun” en
“funny”).
De drie machinaal-leren-technieken die vergeleken worden zijn Naive Bayes, Maximum
Entropy en Support Vector Machine (afk. SVM). Uit de resultaten blijkt dat de SVM er
bovenuit steekt. Het bleek gunstiger om attribuutaanwezigheid (Eng. feature presence)
dan attribuutfrequentie (Eng. feature frequency) te gebruiken bij het controleren van
tekst (d.w.z. enkel 0 voor afwezig en 1 voor aanwezig gebruiken, en meerdere voorkomens negeren). Verder bleken bigrams (bij unigrams wordt gekeken naar het voorkomen
van ´e´en woord, bij bigrams naar het voorkomen van de exacte opeenvolging van twee
woorden) de prestaties niet te verbeteren, maar dit zou in korte berichten (Twitter) wel
het geval kunnen zijn, omdat we vaak dezelfde woordcombinaties gaan hebben (wegens
voetbalwoordenschat). Tenslotte gaf ook positie- en Part-Of-Speechanalyse geen noemenswaardige prestatieverbetering.
2.1.3
Conclusie
De sentimentanalyse zal in de komende sectie een populair middel blijken om informatie
uit berichten te halen. Wanneer we voetbalploegen als semantisch concept kiezen, kunnen we in de berichten allerhande entiteiten terugvinden die bij dat concept horen. Bij
het concept “Arsenal” horen bijvoorbeeld “Emirates” (stadion), “Gunners” (bijnaam) en
“Arteta” (speler). Het lijkt ook interessant om rekening te houden met meer emoties
dan enkel positief/negatief, zoals bijvoorbeeld spanning (voor belangrijke wedstrijden) of
angst (tegen sterkere tegenstanders).
2.2
Voorspellingen op basis van Twitter
Sociale media zijn al vaak in verband gebracht met het voorspellen van de toekomst.
Hieronder zetten we enkele voorbeelden uit de literatuur uiteen. Het eerste voorbeeld is
het voorspellen van verkiezingen. De vraag of Twitter al dan niet gebruikt kan worden om
verkiezingen te voorspellen is al uitvoerig besproken in de literatuur. Het volgende voorbeeld is het voorspellen van de beursgangen, en het laatste voorbeeld is het voorspellen
van misdaad, waar nog uitgebreidere technieken besproken worden.
6
2.2.1
Verkiezingen
Een veelbesproken domein voor voorspellingen is dat van verkiezingen (meestal in Amerika). In [20] wordt gekeken naar de voorverkiezingen van de republikeinen in september
2011. In een eerste experiment wordt enkel naar het berichtenvolume (Eng. Tweet volume) gekeken (d.w.z. het aantal berichten per tijdseenheid). Die aanpak gaf een correlatie
met de peilingen aan bij amper vier van de zes kandidaten. Ook het selecteren van enkel
positieve commentaren hielp hier niet bij.
Daarom hebben de onderzoekers een aantal attributenverzamelingen opgelijst (zoals het
aantal berichten door offici¨ele accounts, aantal volgers, ...), die aan de hand van een
lineair regressiemodel verwerkt worden. Ook hier waren de resultaten niet goed en moet
de methodologie verbeterd worden.
De auteurs van [15] tonen aan dat gebruikte technieken (indien ze al veelbelovende resultaten voortbrachten) echter niet zomaar hergebruikt kunnen worden. Er moet zeker
rekening gehouden worden met extra factoren, zoals het feit dat sociale-mediadata fundamenteel verschilt van andere data (spam, propaganda, ...).
2.2.2
Beursgangen
De auteurs van [4] voorspellen op een succesvolle manier de verandering van de beurscijfers. De juiste richting (omhoog of omlaag) van de dagelijkse slotkoers wordt met een
nauwkeurigheid van 87,6% voorspeld. Er worden twee aanpakken getest: OpinionFinder
en GPOMS.
Bij OpinionFinder wordt enkel gebruik gemaakt van een analyse aan de hand van een
positief/negatief sentiment. Dit gebeurt aan de hand van een lexicon met sterke positieve,
positieve, negatieve en sterke negatieve woorden. De scores van die woorden worden per
bericht opgeteld.
GPOMS (Google-Profile of Mood States) maakt gebruik van zes verschillende stemmingen
(kalm, alert, zeker, vitaal, vriendelijk, vrolijk). De stemmingen worden toegekend aan
berichten op basis van een lexicon met vooral terugkerende woordgroepen van 4 of 5
woorden (Eng. 4- & 5-grams).
Uit experimenten blijkt dat er een duidelijke respons is van de stemming van Twittergebruikers op gebeurtenissen, zoals in dit geval de presidentsverkiezingen in 2008 en Thanksgiving. Bovendien blijkt dat er een oorzakelijk verband is tussen de Dow Jones Industrial
Average (DJIA) en (enkel) de kalm-index die uit de berichten opgemaakt is.
Het uiteindelijke voorspellen gebeurt via een zelf-organiserend vaag neuraal netwerk (Eng.
Self-Organizing Fuzzy Neural Network), dat geoefend wordt op basis van DJIA-cijfers, en
de stemming van de laatste paar dagen.
7
2.2.3
Misdaad
Een nog iets uitgebreidere sentimentanalyse van Twitterberichten wordt verricht in [23].
Hier proberen de auteurs aan de hand van een aantal thema’s (Eng. topics) per dag de
gebeurtenissen van de volgende dag te voorspellen.
De belangrijkste techniek die gebruikt wordt is Semantic Role Labeling (SRL). Hierbij
worden de zinnen ontleed, en worden onderwerpen, werkwoorden e.d. aangeduid. Op die
manier kunnen twee syntactisch verschillende zinnen met dezelfde semantische betekenis
toch op dezelfde manier benaderd worden (bv. “A belt B” en “B wordt gebeld door
A” hebben semantisch gezien dezelfde waarde, maar ze hebben syntactisch een andere
opbouw).
Verder wordt Latent Dirichlet Allocation (LDA) gebruikt om de berichten semantisch te
ontleden, en zo per dag de besproken thema’s te bepalen. Tenslotte worden aan de hand
van lineaire regressie events (misdaad) gekoppeld aan die thema’s.
SRL lijkt op het eerste zicht een interessante piste om volgen, maar voor deze masterproef
steken er wat problemen de kop op. In [23] en [13] wordt er vooral op nieuwsberichten
geconcentreerd, waar de zinsstructuur nog enigszins duidelijk is. Helaas zijn alledaagse
Twitterberichten doorgaans kort en informeel. In [14] wordt een oplossing gezocht voor
dat probleem door gerelateerde berichten te verzamelen (Eng. clustering).
2.2.4
Conclusie
Uit de verschillende papers valt op dat sentimentanalyse de populairste methode is om
voorspellingen te doen. SRL met clustering lijkt een interessante piste, maar is in deze
masterproef helaas minder nuttig toe te passen. De berichten van verschillende gebruikers
zullen elkaar namelijk heel erg tegenspreken, gezien we supporters van 20 verschillende
ploegen onderzoeken.
2.3
Sportvoorspellingen
In deze masterproef willen we voorspellingen van voetbalwedstrijden doen. We geven eerst
een bespreking van voorspellingen op basis van statistieken. Daar is al veel onderzoek
naar verricht, en worden goede resultaten behaald. Daarnaast is er ook ´e´en paper die
onderzoekt of Twitter kan gebruikt worden bij sportvoorspellingen.
8
2.3.1
Sportvoorspellingen op basis van statistieken
In [11] wordt een expertsysteem uit 1997 vergeleken met enkele hedendaagse machinale
leertechnieken (Eng. Machine Learning, afk. ML). Het expertsysteem omvat twee voetbalseizoenen van Tottenham Hotspur op het eind van de jaren ’90. Het expertsysteem
bestaat uit een aantal wedstrijdfactoren met correlaties tussen, die handmatig werden
opgesteld. Die factoren waren het al dan niet aanwezig zijn van drie sleutelspelers, de
positie van een vierde sleutelspeler, de kwaliteit van de tegenstander (gebaseerd op klassement) en het thuisvoordeel. Op basis van die informatie werden de uitslagen van de
ploeg voorspeld.
Die aanpak werd in 2006 herbekeken en vergeleken met enkele technieken die a.d.h.v.
de statistieken rekenen. Het gaat om vier ML-technieken, namelijk Naive/Data driven
Bayesian learners, MC4 en K-nearest neighbours. Bij de eerste drie technieken is het
mogelijk om een model te construeren, en achteraf na te gaan welke factoren en relaties
het meest doorslaggevend waren in de voorspellingen. Hier wordt dat model dus door de
machine opgebouwd, waar het oorspronkelijke model opgebouwd werd door een expert.
De ML-technieken zijn erg handig wanneer we niet veel kennis hebben over wat er allemaal
speelt bij de voorspelling.
Het expertsysteem behaalde met voorsprong de beste resultaten wanneer de oefendata
eerder beperkt is, en dit lijkt dus de effici¨entste manier om te gaan voorspellen (hoewel het
model na zelfs maar een seizoen al snel gedateerd kan geraken, en dus opnieuw opgebouwd
zal moeten worden).
2.3.2
Sportvoorspellingen op basis van Twitter
Dit is het onderzoek dat het dichtst bij deze masterproef aanleunt. De auteurs van [21]
maken gebruik van Twitter om wedstrijden uit de NFL te voorspellen. De voorspellingen
duidden niet enkel de winnaar aan, maar deden ook voorspellingen op basis van puntenspreiding (Eng. point spread) en de doelpuntengrens (Eng. over/under line). De puntenspreiding betekent dat een van de twee teams een score krijgt toebedeeld op basis van
thuisvoordeel/statistieken/... (dit wordt vastgelegd door de bookmakers). Bijvoorbeeld,
de New York Giants spelen thuis tegen de New York Jets en krijgen een puntspreiding
van -4. Dan zullen de NYG pas op puntenspreiding winnen wanneer ze met minstens 4
punten verschil winnen. De puntengrens is een getal, en er moet dan voorspeld worden
of het puntentotaal van de wedstrijd boven of onder die grens zit.
Er worden een paar soorten attributenverzamelingen gehanteerd. Ten eerste zijn er een
tiental verzamelingen die puur op statistieken gebaseerd zijn. Verder worden unigrammen
uit de Twitterberichten gehaald, en tenslotte wordt ook gebruik gemaakt van het totale
9
Attributensets
Statistisch
Twitter unigrammen
Unigrammen + statistieken
Twitter berichtenaantallen
Ber.aantallen + bep. statistieken
Winnaar Puntenspreiding
65.9*
54.8*
52.3
47.6
50.5
51.9
51.0
55.3
65.9*
57.2*
Puntengrens
51.0*
54.3
44.2
52.4
58.2*
Tabel 2.1: De percentages van de besproken voorspellingsmechanismen; * Hier zijn wel telkens
andere statistische attributenverzamelingen gekozen; voor elke categorie werd het beste resultaat
gekozen
aantal berichten voor elke ploeg gedurende de hele week (en o.a. het verschil met de vorige
week/weken). Aan de hand van logistieke lineaire classificatie worden deze sets omgezet
in voorspellingen.
In Tabel 2.1 staan de belangrijkste resultaten van het onderzoek. We kunnen concluderen
dat Twitter potentieel heeft om sportwedstrijden te voorspellen, maar dan vooral de
bijkomstige informatie (puntenspreiding en puntengrens). De uitwerking om de winnaar
van de wedstrijden aan te duiden staat nog niet op punt.
2.4
Conclusie
In de literatuurstudie zijn we eerst dieper ingegaan op sentimentanalyse in Twitterberichten. Aan de hand van emoties in berichten, en de schommelingen in die emoties en
het aantal berichten kan er waardevolle informatie gehaald worden, die via machinale
leertechnieken omgezet kan worden in voorspellingen. Doorgaans worden gesuperviseerde
technieken toegepast.
Vervolgens hebben we enkele papers besproken die aan de hand van Twitter voorspellingen
doen op het vlak van verkiezingen [20, 15], beurscijfers [4] en misdaadcijfers [23]. In die
papers werd bijna uitsluitend beroep gedaan op sentimentanalyse.
Tenslotte wordt in [21] het onderzoek verricht dat het dichtst bij het onderwerp van deze
masterproef staat. Daar wordt ook getracht om sportwedstrijden te voorspellen aan de
hand van Twitter (eventueel versterkt door statistieken). De resultaten stonden echter
nog niet volledig op punt, gezien er basistechnieken gebruikt werden. De resultaten zijn
dus voor verbetering vatbaar.
10
Hoofdstuk 3
Gebruikte technieken en software
In dit hoofdstuk bespreken we de technieken en de software die voor het onderzoek in
deze masterproef gebruikt zijn. We beginnen met machinaal leren kort toe te lichten, om
vervolgens enkele gebruikte softwarepakketten en programma’s te bespreken.
3.1
3.1.1
Gebruikte technieken
Machinaal leren
Met machinaal leren tracht men een computersysteem zelf conclusies te laten trekken uit
voorbeelddata, om vervolgens nieuwe data te kunnen verwerken. Het redeneervermogen
dat zo opgebouwd wordt, wordt opgeslagen in een model.
Indien we deze technieken willen toepassen op het voorspellen van voetbaluitslagen,
gaat het als volgt. Laat ons een gemakkelijk voorbeeld nemen, namelijk het voorspellen van een wedstrijd op basis van de stand in de competitie. In Tabel 3.1 zijn er
enkele voorbeeldjes van invoerdata terug te vinden. Die invoer bestaat steeds uit eenzelfde aantal attributenwaardes, en een klassewaarde die het resultaat van de wedstrijd
weergeeft. In dit voorbeeld geven we telkens de positie in de stand van de thuis- en
de uitploeg, en de winnaar van de wedstrijd. Wanneer we ons model willen opbouwen
aan de hand van deze data, zal er dus een correlatie gezocht worden tussen de attributen en de uitslag. Een heel eenvoudig voorbeeld van zo een correlatie zou kunnen zijn:
if (thuisP ositie > uitP ositie) then T huiswinst else U itwinst. Voor deze gevallen zouden
we dan zes van de negen wedstrijden correct voorspellen.
Er bestaan vele algoritmes om machinaal leren te verwezenlijken. Een eerste selectie ervan gebeurde op basis van de literatuurstudie. We hebben daarbij een aantal algoritmes
opgelijst die het meest frequent voorkwamen in de literatuur [21, 11, 22]. Vervolgens hebben experimenten met voetbalvoorspellingen aangetoond dat er drie technieken bovenuit
11
Thuisploeg
1
14
10
8
17
11
12
17
18
Uitploeg
3
8
19
18
6
2
20
12
11
Uiteindelijk resultaat
Thuiswinst
Uitwinst
Thuiswinst
Thuiswinst
Gelijkspel
Uitwinst
Thuiswinst
Thuiswinst
Gelijkspel
Tabel 3.1: Voorbeelddata voor het voorspellen van voetbalwedstrijden (respectievelijk de positie
in de stand van de thuisploeg, van de uitploeg, en het resultaat van de wedstrijd)
steken, namelijk Naive Bayes [16], Logistic Regression [16] en Support Vector Machines
(SVM) [5]. We kiezen die drie technieken om mee voort te werken.
3.2
Gebruikte software
In deze sectie bespreken we de softwarepakketten en programma’s die gebruikt werden in
deze masterproef.
3.2.1
Weka
Weka (Waikato Environment for Knowledge Analysis) is een populair softwarepakket dat
een brede waaier aan algoritmen voor data-analyse en voorspellingsmodellen voorziet.
Enerzijds is er de GUI-versie, waar vanuit een grafische user interface alle algoritmes en
technieken opgeroepen kunnen worden, en waar een uitgebreide visuele analyse mogelijk is.
Een voorbeeld van deze GUI is terug te vinden in Figuur 3.1. Anderzijds is er ook de Javaversie, waar vanuit Javacode beroep kan gedaan worden op alle algoritmes, en waarmee
dus automatisering mogelijk wordt. Beide versies zijn gebruikt in deze masterproef. Het
spreekt natuurlijk voor zich dat de uiteindelijke onderzoeksresultaten met de Java-versie
behaald werden.
Structuur van de invoer
Als invoer gaan we aan Weka .csv-bestanden (comma-separated values) meegeven. In een
csv-bestand vinden we voor elke wedstrijd een vector terug. Op basis van de informatie
per vector gaan we dan de correlatie met het resultaat van de wedstrijd onderzoeken. Die
informatie per instantie wordt verdeeld over verschillende attributen. In de hoofding (op
de eerste lijn) wordt duidelijk gemaakt wat elk attribuut voorstelt. Een voorbeeld van een
12
Figuur 3.1: De GUI van WEKA
Figuur 3.2: Een voorbeeld van een enkele vectoren in een csv-bestand
aantal vectoren in een csv-bestand wordt gegeven in Figuur 3.2. Voor onze verschillende
modules later gaan we telkens verschillende types van vectoren aanmaken.
De verzameling vectoren wordt opgedeeld in een trainings- en testverzameling. Op basis
van de trainingsverzameling gaat de machine een model opbouwen, waarmee dan uiteindelijk op de testverzameling ge¨evalueerd wordt. Later wordt besproken hoe het opdelen
van die trainings- en testverzameling verloopt.
Enkele veelgebruikte technieken in Weka
Weka ondersteunt het gebruik van vele technieken die we in deze masterproef gebruikt
hebben, waarvan hier enkelen samengevat staan.
• Filteren: Aan de hand van filters is het mogelijke om bepaalde attributen of instanties te gaan schrappen, wanneer ze (al dan niet) aan bepaalde voorwaarden voldoen.
13
Ook is het mogelijk om de attributen aan te passen. Zo kan een String-attribuut
bijvoorbeeld gesplitst worden per woord, zodat er nieuwe attributen gecreerd worden.
• Attribuutselectie: Het is mogelijk om per attribuut scores te gaan bepalen, bijvoorbeeld op het vlak van informatiegewin voor dat attribuut (Eng. Information
Gain). Vervolgens kunnen dan de beste attributen geselecteerd worden om mee
voort te werken.
• Normalisatie: Weka verzorgt normalisatie van attributen automatisch. De normalisatie wil zeggen dat alle mogelijke invoerswaarden herschaald worden naar een
getal tussen 0 en 1.
• GridSearch: GridSearch is een techniek om effici¨ent optimale parameters voor
een bepaalde classificeerder te zoeken. Er wordt voor twee parameters een bereik
opgegeven, waarna GridSearch een zo goed mogelijk parametercombinatie probeert
te bekomen.
• Kruisvalidatie: Kruisvalidatie (Eng. cross-validation) is een techniek om de trainingsen testverzamelingen op een zo uniform mogelijke manier te bepalen. Bij kruisvalidatie zal elk stukje van de totale dataset eens als testverzameling gebruikt worden,
waar de rest dan telkens als trainingsverzameling geldt (het aantal keren wordt bepaald door een parameter, nl. het aantal iteraties). In Figuur 3.3 wordt het principe
ge¨ıllustreerd. Kruisvalidatie wordt vaak gebruikt in statistieken om de analyse te
veralgemenen naar een meer onafhankelijke dataset (omdat er niet chronologisch
gewerkt wordt, maar alles door elkaar).
• Classificatiedistributies: Verder is het ook mogelijk om de distributie van een
classificatie op te vragen. Dit wil zeggen dat Weka aangeeft welke waarschijnlijkheid
de classificeerder toedient aan elke mogelijke klasse. Zo kan een uitslag voor een
wedstrijd bijvoorbeeld een waarschijnlijkheid hebben op winst van 0.45, op een
gelijkspel van 0.25 en op een verlies van 0.20.
3.2.2
SentiStrength
Voor het classificeren van berichten in sentimentcategorie¨en, hebben we de systemen die
in de literatuur[9] vergeleken werden, gevalueerd. Vervolgens hebben we gekozen voor
SentiStrength, omdat het gratis, toegankelijk, makkelijk in gebruik en naar eigen zeggen
erg accuraat is voor korte sociale-mediaberichten. Wanneer we een bericht ingeven in
SentiStrength krijgen we een positieve score van 1 tot en met 5, en een negatieve score
van -1 tot en met -5, wat het positieve en negatieve sentiment in het bericht uitdrukt.
14
Figuur 3.3: Het principe van kruisvalidatie
3.2.3
Twokenize
Om Twitterberichten te ontleden gebruiken we Twokenize, een Part-of-Speech tagger die
ontwikkeld werd in [7]. Deze software gaat een bericht ontleden in een reeks tokens, die
elk een woord voorstellen, en bijkomende informatie geven over de aard van het woord
(bijvoorbeeld afkorting, werkwoord of hashtag). Uiteindelijk hebben we er alleen gebruik
van gemaakt om de berichten op te delen in woorden (zodat we dus geen rekening meer
hoefden te houden met leestekens), en om hashtags en tags makkelijk aan te duiden.
3.2.4
Twitter4J
We hebben gekozen om voetbalwedstrijden uit de Engelse Premier League te gaan voorspellen op basis van Twitter. Die keuze voor de Premier League spreekt voor zich, omdat
de berichten voor het overgrote deel in het Engels geschreven zijn. Een tweede belangrijke
factor is de grote hoeveelheid aan berichten, gezien de Premier League een van de meest
gevolgde voetbalcompetities ter wereld is.
Voor het ophalen van de berichten zelf, hebben we Twitter4J gebruikt. Dat is een softwarepakket voor Java, waarmee we een constante stream van Twitterberichten konden
binnenhalen op basis van de gewenste hashtags. Elke ploeg in de Premier League heeft
een offici¨ele hashtag, en op basis van die hashtag, de ploegnaam of de offici¨ele bijnaam
worden de berichten geselecteerd.
Het ophalen van de Twitterberichten verliep 24 op 7 en is begonnen op 30 oktober 2013 en
ge¨eindigd op 7 april 2014. Wegens problemen met de server zijn er helaas van 2 februari
t.e.m. 27 februari geen berichten opgehaald. De dagen die we wel hebben, komen overeen
met speeldagen 10 t.e.m. 24, en 29 t.e.m. 33 (en ook nog een extra inhaalspeeldag, 34)
van de competitie. In het totaal bestrijken de berichten exact tweehonderd wedstrijden
in de Premier League.
15
3.2.5
Overige
De software voor deze masterproef werd volledig geschreven in Java, enkele kleine hulpprogramma’s in awk of bash uitgezonderd. Verdere softwarepakketten waarvan gebruik
gemaakt is, zijn TexnicCenter en NetBeans.
16
Hoofdstuk 4
Werkwijze voor de verschillende
modules
In dit hoofdstuk lichten we de vier verschillende manieren toe om voetbalwedstrijden te
voorspellen. In de eerste sectie bouwen we een module aan de hand van enkel statistieken,
om een referentie te hebben voor onze Twittermodules. Die drie modules worden in
de daaropvolgende secties toegelicht. Tenslotte leggen we nog de werkwijzes uit om de
verschillende modules te combineren om nog betere voorspellingssystemen te bekomen.
4.1
Module 1 - Statistieken
De eerste module maakt nog geen gebruik van Twitter. Er wordt enkel afgegaan op de
wedstrijden die vooraf al gespeeld zijn, en de stand in de Premier League op dat moment.
Om alle informatie correct te verzamelen en op te lijsten, worden eerst alle uitslagen
van het huidige seizoen van een website gehaald. Vervolgens wordt per wedstrijddag
een nieuwe competitiestand opgemaakt, die de stand na die wedstrijd weerspiegelt. Op
hetzelfde moment wordt per wedstrijd een vector aangemaakt, met daarin voor zowel de
thuis- als de uitploeg de statistische gegevens bij aanvang van de wedstrijd, alsook het
wedstrijdresultaat.
Voor elke ploeg worden telkens de volgende gegevens berekend en weergegeven:
• De positie in de stand van de ploeg
• Het gemiddeld aantal gemaakte doelpunten per wedstrijd
• Het gemiddeld aantal tegendoelpunten per wedstrijd
• Het gemiddeld aantal behaalde punten per wedstrijd
17
Figuur 4.1: Een voorbeeld van hoe de verschillende types vectoren tot stand komen (Module 1)
• Het gemiddeld aantal behaalde punten per wedstrijd, in de voorbije vijf wedstrijden
(dit geeft de huidige vorm van de ploeg aan)
We hebben twee types vectoren opgesteld om met deze statistische gegevens te werken.
In Figuur 4.1 wordt van elk type een voorbeeld getoond.
• Vector type statA: Hier worden simpelweg voor de thuis- en uitploeg apart de
vorige vijf puntjes weergegeven, met toevoeging van nog ´e´en attribuut, namelijk het
verschil tussen beide ploegen in de stand.
• Vector type statB: Hier wordt voor elk van de vorige vijf puntjes het verschil
tussen de beide ploegen berekend.
4.2
Module 2 - Aantal berichten
Een eerste manier om te voorspellen op basis van Twitter, is door eenvoudigweg naar het
aantal Twitterberichten te kijken die in de aanloop van de wedstrijd geplaatst worden.
Dit gebeurt in Module 2.
Het tellen van de berichten gebeurt op basis van hashtags. Elke ploeg in de Premier
League heeft een offici¨ele hashtag, en enkel berichten die die hashtag bevatten worden
meegeteld. Zo zullen bijvoorbeeld alleen berichten die #afc bevatten bijdragen aan het
totale aantal berichten voor Arsenal.
18
Per wedstrijd lijsten we voor elke ploeg het gemiddelde aantal berichten per dag op, voor
dagen vanaf de laatste wedstrijd, inclusief de dag van de vorige wedstrijd zelf (toelichting
volgt). Gezien de sterkere ploegen vanzelfsprekend grotere aantallen zullen hebben, wordt
er als het ware een rangschikking opgemaakt van ploegen. Om nog meer informatie uit
de aantallen proberen te halen, voegen we ook een percentage toe per ploeg, dat uitdrukt
hoeveel berichten gemiddeld geplaatst werden, ten opzichte van het globale gemiddelde
van de ploeg (dus ten opzichte van het gemiddelde aantal per dag, gemeten vanaf het
begin van het seizoen). Zo willen we het voordeel kunnen geven aan een ploeg waarover
de voorbije dagen opvallend meer gepraat is (bijvoorbeeld omdat er veel over de ploeg
gepraat wordt omdat ze in een uitstekende vorm verkeert). In Figuur 4.2 wordt het
opstellen van vectoren ge¨ıllustreerd.
Een opmerking dient gemaakt te worden over Europees voetbal of bekervoetbal. Gezien op
de dagen van wedstrijden zelf een stuk meer berichten geplaatst wordt, zullen de ploegen
die langer in Europese of bekertornooien hogere aantallen hebben dan ze anders zouden
bereiken. Die wedstrijden worden in onze voorspeller namelijk niet in rekening gebracht.
In het volgende hoofdstuk wordt dit verder ge¨ıllustreerd.
Verder lichten we even de keuze toe om de berichtenaantallen op de dag van de vorige
wedstrijd te includeren. We zien in 4.2 bijvoorbeeld dat het aantal berichten voor Sunderland uitzonderlijk hoog ligt op de dag van de wedstrijd tegen Man City, omdat ze de
wedstrijd tegen de verwachtingen in wonnen. Die overwinning schept vertrouwen, wat
hen in de volgende wedstrijd zou kunnen helpen.
4.3
Module 3 - Sentimentanalyse
In deze module kijken we naar de inhoud van Twitterberichten, en meerbepaald naar de
sentiment die in die berichten uitgedrukt wordt. Deze sectie is opgedeeld in drie delen:
het wegfilteren van overbodige berichten worden, het classificeren van de berichten zelf,
en tenslotte het voorspellen van de wedstrijden.
4.3.1
Wegfilteren van irrelevante Twitterberichten
We moeten kiezen welke Twitterberichten we willen beschouwen voor het opbouwen van
een sentimentscore. We willen niet alle berichten van de voorafgaande dagen laten meetellen, want hier zit bijna uitsluitend informatie vervat die niet relevant is voor de huidige
wedstrijd (algemene praat / berichten over wedstrijden die tussen de Premier League
wedstrijden in vallen). Daarom kijken we alleen naar de berichten die in de laatste 24
uren voor de wedstrijd geplaatst worden.
19
Figuur 4.2: Een voorbeeld van hoe de verschillende types vectoren tot stand komen (Module 2)
20
De sentimentanalyse gebeurt per ploeg apart, dus moeten we de berichten per ploeg
indelen. Om die indelingen uit te voeren, wordt in eerste instantie gekeken naar hashtags.
Indien er exact ´e´en ploeg is met een hashtag, wordt het bericht aan die ploeg toegekend.
Indien er meer dan twee ploegen zijn met een hashtag, gaat het bericht niet over ´e´en
specifieke wedstrijd, en vergeten we het dus. Indien twee ploegen een of meerdere hashtags
in het bericht hebben, wordt de ploeg gekozen met de meeste vermeldingen. Bij een gelijke
stand, of wanneer er geen hashtags voorkomen, wordt er verder gekeken naar vermeldingen
van de ploegen in het bericht.
Voor alle twintig ploegen hebben we een aantal bijnamen / afkortingen / Twitternamen
verzameld (zie Tabel 4.1). Indien er ook hier, aan de hand van deze lijst, meer dan
twee verschillende ploegen aangetroffen worden, wordt het bericht verwijderd. Anders zal
de ploeg die nu over het grootste aantal vermeldingen beschikt het bericht toegewezen
krijgen. Bij een gelijke stand wordt het bericht verwijderd (er valt dan niet op te maken
over welke ploeg het bericht werkelijk gaat).
Hieronder staan enkele voorbeelden van toewijzingen van Twitterberichten.
• Chelsea: Come on Chelsea, come on Chelsea, come on Chelsea, come on Chelsea,
come on Chelsea, come on Chelsea #whothefuckisarsenal
• Arsenal: Don’t think Arsenal are going to score tonight, Chelsea looking too solid at
the back in previous games #afc #coyg
• Arsenal: Arsenal are getting crushed tonight! #afc #cfc
• Deleted: Arsenal v Chelsea, Norwich v Liverpool, Hull v City. Exciting games today!
#bpl
Ook zijn niet alle Twitterberichten die in die periode geplaatst worden relevant voor ons
systeem. Met behulp van een aantal regels worden die overbodige berichten uit onze
dataset geweerd. Hieronder worden de verschillende regels uitgediept.
• Retweets worden altijd verwijderd, gezien het een onnodige duplicatie is van dezelfde informatie, waardoor andere informatie makkelijk onderdrukt wordt (het aantal retweets van een tweet kan snel hoog oplopen).
– bv. RT @FutballTweets: Retweet if you believe Arsenal will beat Chelsea - and
celebrate Arsene’s 1000th game in-charge in style. #Wenger1000 ht
• Vlak voor de wedstrijd zijn er heel veel Twittergebruikers die de opstellingen en
bankzitters van beide ploegen opsommen. Dit is een grote brok aan totaal overbodige informatie waar we dus absoluut van af moeten. Hiervoor hebben we dus een
21
Arsenal
Aston Villa
Cardiff City
Chelsea
Crystal Palace
Everton
Fulham
Hull City
Liverpool
Man City
Man Utd
Newcastle
Norwich
Southampton
Stoke
Sunderland
Swansea
Tottenham
West Brom
West Ham
#afc, invincibles, gunners
#avfc, villa, astonvilla, villans, villains, lions, avfcofficial
#ccfc, cardiffcityfc, cardiffcity, cardiff, bluebirds
#cfc, blues, pensioners, chelseafc
#cpfc, official cpfc, officialcpfc, palace, eagles, glaziers
#efc, toffees, blues, merseyside
#ffc, fulhamfc, cottagers, whites, ffc
#hcafc, hullcityteam, hullcity, hull, tigers
#lfc, reds
#mcfc, man c, sky blues, citizens, manchester city,
manc, skyblues
#mufc, man u, manchester united, manchester utd,
manu, manutd, red devils, reddevils, mu
#nufc, nufcofficial, magpies
#ncfc, norwichcityfc, canaries, yellows
#saintsfc, saints, southamptonfc
#scfc, stokecity, potters
#safc, safcofficial, blackcats, black cats
#swans, swansofficial, jacks
#spurs, tottenham hotspur, hotspur, spursofficial, lilywhites
#wbafc, wbafcofficial, west bromwich, westbrom, baggies, wba
#whufc, whufcofficial, whufc official, westham, hammers, irons
Tabel 4.1: de twintig ploegen met hun bijnamen en afkortingen
22
filter ontwikkeld. De filter bevat een lange lijst van alle namen van de spelers die in
de eerste elftallen van de Premier League spelen. Als er zes of meer woorden in een
Twitterbericht gevonden worden, die overeenstemmen met een van de namen in de
lijst, wordt het bericht verwijderd. We hebben voor zes woorden gekozen, omdat
namen anders gespeld kunnen worden, typefouten voor kunnen komen, etc.
– bv. ”Chelsea XI vs. Arsenal: Cech; Ivanovic, Cahill, Terry (c), Azpilicueta;
Matic, David Luiz; Schurrle, Oscar, Hazard; Eto’o - Huge game! #CFC”
• Voor de wedstrijden worden ook vaak berichten geplaatst die starturen van uitzendingen, voorbeschouwingen, etc. oplijsten. Die berichten worden via keywords
(bv. preview ) en reguliere expressies weggewerkt.
– bv. Looking for the big game? We’ve got Arsenal vs Chelsea at 8:45am. March
Madness all day and @MapleLeafs vs @CanadiensM
• In deze module willen we ook nog geen rekening houden met voorspellingen die
geplaatst worden door gebruikers, dus we filteren ook hier op basis van keywords
(bv. prediction, odds, etc.) en reguliere expressies.
– bv. Chelsea to win 2-0
• Berichten waarin videogames vermeld worden, gaan niet over de wedstrijd en worden dus verwijderd. Dit gebeurt op basis van een aantal keywords, zoals ps3, fifa14,
etc.
– bv. Just bought messi on fifa14 with #lfc, everything’s possible in this game!
• Ook worden berichten verwijderd waarin transfers of contractverlengingen, etc.
besproken worden. Keywords hier zijn transfer, signing, etc.
– bv. Diego Costa rules out signing for Chelsea in the January transfer window.
#cfc
• Verder zijn er nog een aantal overige berichtencategorie¨en die op basis van enkele
keywords verwijderd worden, zoals mensen die tickets zoeken of verkopen (keyword
ticket), of berichten die over radio- of televisie-uitzendingen gaan (keyword tv, etc.)
– bv. Anyone got some spare tickets for the game this afternoon? #cfc #cfc
#cfc
• Tenslotte willen we ook enkel berichten die in het Engels geschreven zijn. Daartoe
laden we een woordenlijst in met een benadering van alle Engelse woorden, en we
houden enkel de berichten die voor minstens 40% uit woorden uit die lijst bestaan.
23
Er kunnen namelijk nog veel namen, spelfouten, afkortingen, etc. in de berichten
voorkomen. De grens van 40% bleek uit experimenten een acceptabele grens te zijn.
– bv. Les gens qui sont abonnes au parc si ils vendent une place PSG Chelsea ils
rentabilise leur abonnement
Na al die criteria overlopen te hebben, houden we nog een aantal relevante berichten over
voor een bepaalde ploeg uit de laatste 24 uren voor de wedstrijd. Die berichten dienen
vervolgens ingedeeld te worden in verschillende sentimentcategorie¨en.
4.3.2
Annoteren van Twitterberichten
Om de berichten in verschillende categorie¨en in te delen, hebben we twee methodes gevolgd. In een eerste benadering hebben we met SentiStrength gewerkt, een classificeerder
die in [9] vermeld wordt. SentiStrength gaat een meegegeven bericht zowel een positieve
als negatieve score van ´e´en tot vijf meegeven.
Uit onze experimenten (zie 5.5.1) bleek dat SentiStrength echter te veel fouten maakte.
Daarom hebben we ook een eigen classificeerder samengesteld, die beter zou moeten werken voor voetbaldiscussies. Onze classificeerder gaat de berichten indelen in een aantal
verschillende emoties, waarvan we hieronder telkens enkele voorbeelden geven.
1. Positief
• Actually think Everton have a good chance of top four
• The budget he was given at Everton he bought pretty well. And the United
board haven’t done a lot for him
• Big game tomorrow. Always been impressed by Everton. Proper club proper
fans.
2. Negatief
• I went to the Everton game. Couldn’t believe how negative the fans are. Just
moaning mainly. And half left when efc scored.
• Tomorrow’s game is probably the least excited I’ve been for a #LFC game all
season. #Hull #LFC
• kompany gets injured every weeeeek.. #mcfc
3. Vertrouwen
• Have a feeling about today and would absolutely love it if Sergio scored a hat
trick today#mcfc
24
• Waiting for 3 points , #mcfc
• Got a feeling Newcastle are gonna win today
4. Twijfel
• Hull tomorrow is going to be a tough game seeing as they are playing so good.
They’re going to have high hopes to beat us.
• Not at all confident about Man City away, sadly. Im fearing a heavy defeat :-/
• So Man City have dropped Hart. Maybe they’d also consider playing with a
reduced number so we have half a chance today?!
5. Aanmoedigingen
• @Everton come on lads, you don’t want Liverpool winning the league now do
ye?
• Oh yes derby day tomorrow off to watch me red men. Come on Liverpool lets
bloody do this #excited
• All ready for D day . Derby first then Dr who could be a good Saturday . Lets
have 3 points#lfc#DoctorWho
6. Nervositeit
• Must win today blues and make it big. Still not convinced about Pellegrini
thought we played better under Mancini. #mcfc
• Whoever makes the final team, today is a must win game! #mcfc
• Massive game for Sunderland today! Another 3 points needed!
7. Neutraal / Irrelevant
• Will United be heroes or Villans this weekend? #mufc
• Alan Pardew has today said that he tried to get @RomeluLukaku9 to NUFC
during the summer #nufc
• #safc GP team talk maintain momentum. Fast high tempo start. Then keep
clean sheet.
Merk op dat de emotie uit het bericht niet altijd gericht is op de ploeg die in het bericht
vermeld wordt. Dit kan een probleem vormen voor deze methode. Verdere evaluatie van
deze module vindt plaats in Hoofdstuk 5.
Om te kunnen vergelijken met SentiStrength, kunnen we deze categorie¨en reduceren tot
een positieve (waar vertrouwen en aanmoedigingen dan bijgevoegd worden), een negatieve
25
(waar twijfel en nervositeit bijgevoegd worden) en een neutrale categorie. Later zullen
we ook nagaan of het systeem beter voorspellingen kan doen met alle emoties, of met de
gereduceerde vormen ervan.
4.3.3
Classificeren van Twitterberichten
Om de berichten in te kunnen delen, hebben we een dataset nodig met een aantal voorbeeldberichten, en de klasse per bericht. Daartoe hebben we 3400 berichten handmatig
geannoteerd (= een categorie toegewezen). Om al die berichten te selecteren hebben we
van alle ploegen in de laatste 24 uren voor een wedstrijd (zowel toppers als gewone wedstrijden) berichten verzameld. De helft van de berichten komen van ongeveer 24 uren voor
de wedstrijd, de andere helft komen van vlak voor de wedstrijd. Op die manier zorgen we
voor een eerlijke verdeling van de oorsprong van de berichten. Vervolgens gebruiken we
Weka om de volgende stappen te doorlopen.
We vertrekken per bericht van een lange String met daarin het bericht, en de bijhorende
klasse. Eerst dient die String opgedeeld te worden in attributen. Dit gebeurt aan de hand
van een StringToWordVector. Die gaat een String converteren naar een aantal attributen
(bijvoorbeeld ´e´en attribuut voor elk woord), met nog enkele parameters die we kunnen
aanpassen. Zo kunnen we kiezen of er al dan niet tf-idf toegepast wordt, welke stemmer
en tokenizer we gebruiken, en het aantal attributen om bij te houden in het model. De
verschillende parameters worden hieronder even uitgelegd.
• tf-idf (term-frequency, inverse document frequency): Het al dan niet gebruiken van het tf-idf principe. Term frequency duidt op het feit dat woorden die
meer in een bericht voorkomen dan andere woorden, ook belangrijker en relevanter
zijn voor dat bepaald bericht. Wanneer sommige woorden echter vaak voorkomen in
meerdere berichten (bv. lidwoorden), zal het woord veel van zijn relevantie verliezen.
Dat kunnen we bereiken door inverse document frequency toepassen.
• Stemmer: Bij stemming worden woorden herleid tot hun stam. Zo zullen bijvoorbeeld woorden als walking en walked herleid worden tot ´e´en attribuut walk.
• Tokenizer: Hier wordt gekozen hoe de String omgevormd dient te worden naar
attributen. Dit gebeurt via unigrams, bigrams of n-grams. Bij unigrams wordt elk
woord tot een attribuut omgevormd, bij bigrams worden elke twee opeenvolgende
woorden tot een attribuut omgevormd en bij n-grams worden elke n opeenvolgende
woorden tot een attribuut omgevormd.
• Aantal attributen: Het aantal attributen (de relevantste) dat uiteindelijk bijgehouden zal worden.
26
De parameters die uiteindelijk tot het hoogste correctheidspercentage voor de classificatie
leidden (via kruisvalidatie, zie ook het evaluatiegedeelte in Hoofdstuk 5), worden gekozen.
Er wordt gekozen voor tf-idf, met een stemmer, unigrams en 10 000 attributen. Wanneer
we voor de hele verzameling geannoteerde berichten de attributen hebben afgeleid, kunnen
we via SVM het model beginnen trainen. We kiezen voor SVM omdat het de standaard
is voor textclassificatie, gezien SVM’s heel goed overweg kunnen met een groot aantal
attributen [10].
Het verwijderen van de ploegvermeldingen uit de berichten
Een belangrijk detail dat we niet uit het oog mogen verliezen is het feit dat er nog
ploegnamen in de Twitterberichten staan, die het sentiment zouden kunnen be¨ınvloeden.
Indien we ervan uitgaan dat veel van onze geannoteerde berichten Arsenal bevatten, dan
zou ons model bijvoorbeeld kunnen leren dat de aanwezigheid van het woord Arsenal
een indicatie is voor een positief bericht. Om dit effect tegen te gaan vervangen we de
voorkomens van alle ploegnamen of bijnamen. De ploeg waaraan het bericht toegewezen is
vervangen we overal door <Thisteam>, en de overige vermeldingen van ploegen vervangen
we door <Otherteam>.
4.3.4
Het voorspellen van wedstrijden a.d.h.v. de sentimentscores
Om de vectoren op te bouwen aan de hand van SentiStrength, gaan we per betrokken
ploeg voor alle berichten uit de laatste 24 uren voor een wedstrijd de positieve en negatieve
scores berekenen. Omdat we met minimumwaardes voor de scores van 1 en -1 zitten,
kwadrateren we alle waarden zodat de veel positievere / negatievere scores een grotere
invloed hebben. Vervolgens nemen we van die kwadraten het gemiddelde, en dat wordt
dan de uiteindelijke positieve en negatieve score voor dat team. Dit principe wordt ook
in Figuur 4.3 getoond.
Voor de eigen classificeerder hebben we ons model klaar, en kunnen we er nu nieuwe
berichten mee gaan classificeren. Voor elke wedstrijd zullen we voor beide ploegen apart
het sentiment berekenen, uit de berichten in de laatste 24 uren voor de wedstrijd. We
doen dit eerst bericht per bericht. Voor elk bericht krijgen we een scorevector die per
klasse de waarschijnlijkheid dat het bericht tot deze klasse behoort, aanduidt. Om tot
´e´en vector te komen nemen we over elke klasse het gemiddelde van alle bovenstaande
vectoren. Dit principe wordt ook in Figuur 4.3 getoond.
We bouwen op deze manier ´e´en type vector op a.d.h.v. SentiStrength, en vier verschillende
27
Figuur 4.3: Een voorbeeld van hoe de verschillende types vectoren tot stand komen (Module 3)
28
types a.d.h.v. onze eigen classificeerder. Die vier verschillen in gebruikte sentimentcategorie¨en.
1. Positief - Negatief
2. Positief - Negatief - Vertrouwen - Twijfel - Aanmoedigingen - Nervositeit
3. Neutraal - Positief - Negatief
4. Neutraal - Positief - Negatief - Vertrouwen - Twijfel - Aanmoedigingen - Nervositeit
Zoals voordien al gezegd, kunnen we voor 2 en 4 de berichten die normaal onder Vertrouwen of Aanmoedigingen geplaatst worden, nu onder Positief plaatsen. En natuurlijk
kunnen we dan de berichten die normaal onder Twijfel of Nervositeit vallen, onder Negatief plaatsen.
4.4
Module 4 - Voorspellingsanalyse
In deze laatste afzonderlijke module kijken we naar de voorspellingen die de Twittergebruikers zelf bij de wedstrijden plaatsen. Ook hier zullen we eerst de geschikte berichten
filteren uit de laatste 24 uren voor de wedstrijd. Een aantal voorbeelden van voorspellingen die de gebruikers plaatsen, staan hieronder weergegeven.
• @BroadcastMoose Fulham 1-2 Tottenham, Berbatov 1st #moosecottage
• Fulham to get the win over Tottenham tonight!
• Fulham will beat Tottenham tonight anyway 2-1
• Poisson predicts: Sunderland v Chelsea 0-2; Swansea v Newcastle 1-1; Fulham v
Tottenham 0-0; WBA v Man City 0-2 or 1-2 #epl
• My predictions Arsenal 2-0 Hull Liverpool 1-0 Norwich City Man United 0-1 Everton
Sunderland 1-0 Chelsea Fulham 1-0 Tottenham
Helaas kunnen we niet uit alle voorspellingsberichten een volledige en correcte voorspelling
halen. Bij het filteren kiezen we enkel voor berichten die scores bevatten van de vorm 3-1
(twee getallen gescheiden door een liggend streepje, of eventueel een x). Ook aanvaarden
we enkel scores t.e.m. zes, want hogere scores zijn overdreven voorspellingen die niet
serieus te nemen zijn. Verder weren we ook retweets en berichten die de woorden won,
drew, lost of saw bevatten. Die laatste berichten wijzen meestal op uitslagen uit het
verleden.
29
Na het filteren van de berichten moeten we nog kijken in de berichten zelf of we er voorspellingen voor de gewenste wedstrijd uit kunnen halen. Ten eerste is het belangrijk om
rekening te houden met het feit dat niet iedereen de teams bij dezelfde namen noemt.
Daarom gebruiken opnieuw de lijst uit 4.1 om alle teamvermeldingen tot eenzelfde teamnaam te reduceren. Vervolgens hebben we een aantal verschillende soorten voorspellingen
die we onderscheiden.
Voor een welbepaalde wedstrijd (we kennen dus de thuis- en de uitploeg) halen we de
gefilterde berichten op. Dan wordt voor elk bericht eerst het aantal scores (bv. 0-0)
geteld. Indien het aantal scores gelijk is aan ´e´en, zoeken we vervolgens hoeveel Premier
League ploegen er in het bericht vermeld worden.
• Indien aantal ploegen gelijk is aan ´
e´
en, zoeken we of de ploeg de thuis- of
uitploeg voorstelt, en of het resultaat in het voordeel van de thuis- of uitploeg
uitdraait. Dat doen we door de vermelde ploeg steeds te laten winnen, tenzij het
woord lose in het bericht voorkomt. Dan gaan we ervan uit dat de vermelde ploeg
als verliezer bestempeld wordt.
∗ Bv. Got a feeling it’s gonna end with a 2-1 #cfc
∗ Bv. Fulham gonna lose 0-2 today
• Indien aantal ploegen gelijk is aan twee, dan zoeken we een van de twee patronen die er bijvoorbeeld zoals hieronder uitzien. Indien het patroon niet gevonden
wordt, slaan we dit bericht over.
– T1 1-0 T2 (waarbij thuis- en uitploegen ook omgekeerd mogen staan. Scores
mogen ook gescheiden worden door v, vs, x of een spatie)
∗ Bv. Man Utd 4 - 1 Fulham van persie 1st
– T1 - T2, en elders in het bericht nog een score (waarbij thuis- en uitploegen
ook omgekeerd mogen staan, en ook gescheiden mogen worden door v, x of een
spatie).
∗ Bv. Man Utd vs Fulham prediction? 2-1!
• Indien aantal ploegen gelijk is aan meer dan twee, dan gaan we eerst controleren of we het gewenste aantal ploegen voorhanden hebben in het bericht. We
willen namelijk per score twee teams. Indien de vergelijking opgaat, zoeken we
opnieuw naar twee patterns.
– T1 1-0 T2 (waarbij opnieuw thuis- en uitploegen omgewisseld mogen staan,
en ze ook door v, vs, x of een spatie gescheiden mogen worden)
∗ Bv. Today’s predictions : Man Utd 3 - 0 Fulham Man City 2 - 2 Liverpool
Arsenal 0 - 1 Tottenham
30
– T1 - T2 1-0 (zelfde opmerking)
∗ Bv. Today’s predictions : Man Utd v Fulham 3-0 Man City v Liverpool
2-2 Arsenal v Tottenham 0-1
Op die manier vinden we dus voor elk bericht een gepaste score terug voor een gewenste
wedstrijd, ofwel negeren we het bericht. Om tot een vector te komen gaan we nu voor
elke wedstrijd de berichten van de laatste 24 uren voor de wedstrijd ophalen. Vervolgens
delen we ze op in drie lijsten: thuisberichten, uitberichten en neutrale berichten.
De thuisberichten zijn die waar enkel de thuisploeg in vermeld wordt, dezelfde redenering
geldt voor de uitberichten, en de neutrale berichten bevatten zowel vermelding van de
thuis- als de uitploeg. Voor elke lijst berekenen we het gemiddelde van de voorspelde
uitslagen, en zo komen we tot een vector met zes attributen. In Figuur 4.4 wordt dit
principe ge¨ıllustreerd. We tonen ook de overige types van vectoren die we met deze
techniek bekomen.
Tenslotte nog een opmerking over wat we doen indien we met een gebrek aan data zitten.
Wanneer er geen thuis- of uitberichten door de filter heen geraken voor een wedstrijd,
kiezen we daar als score dezelfde uitslag als voor de neutrale berichten. Die waren in onze
dataset steeds aanwezig.
4.5
Combineren van de verschillende modules
In deze sectie proberen we om een vollediger, correcter voorspellingsmechanisme te construeren door de verschillende modules te combineren. Eerst gaan we de vectoren van de
individuele modules samenbrengen in ´e´en grote vector, om dan met die vector voorspellingen te gaan doen. Vervolgens gaan we in de tweede subsectie een meerderheidsstemming
(Eng. majority voting) en gelijkaardige combinaties uitvoeren (volgens het chronologisch
model, zie 5.1.1). Afsluiten doen we in de derde subsectie, waar we de voorspellingen van
de aparte modules samenbundelen in een nieuwe vector. Op basis van die vector gaan we
dan een uiteindelijke voorspelling doen (opnieuw volgens het chronologisch model).
4.5.1
Type A: Een nieuwe vector opbouwen door vectoren van
individuele systemen samen te voegen
In een eerste benadering gaan we grotere vectoren opbouwen op basis van een aantal
kleinere vectoren. We proberen dit eens door van elke module het succesvolste type te
kiezen, en ook eens door meerdere types vectoren per module te kiezen. Meer informatie
hierover volgt in 5.7.2.
31
Figuur 4.4: Een voorbeeld van hoe de verschillende types vectoren tot stand komen (Module 4)
32
De keuze voor welke attributen gebruikt worden uit de verschillende vectoren, wordt op
de volgende manieren gemaakt:
1. Hier kiezen we alle attributen van de vier gekozen vectoren, en voeren we ook geen
enkele selectie uit op de attributen.
2. Hier selecteren we wel op de attributen via AttributeSelection in Weka. We houden
enkel de attributen over die informatiegewin (Eng. Information Gain) opleveren.
3. Hier selecteren we de attributen die bij de selectieprocedures per vector als beste
keuze golden. Meer uitleg over die selectieprocedures volgt in 5.1.
4.5.2
Type B: Meerderheidsstemming en aanverwanten
Meerderheidsstemming
Deze benadering gaat de voorspellingen (per module) zelf combineren. Opnieuw selecteren
we van elke module de vector die tot de beste correctheidspercentages leidde. Dan gaan
we per wedstrijd een voorspelling doen met elke module. Het resultaat dat daar het vaakst
bekomen wordt, gaan we dan als uiteindelijke voorspelling gebruiken. In geval van een ex
aequo kiezen we voor het resultaat van de statistische voorspeller.
Gemiddelde-distributiestemming
Bij uitbreiding hebben we hier ook een andere soort voorspelling ontworpen. Zoals in 3.2.1
al vermeld, heeft elke voorspelling in Weka een distributie met de waarschijnlijkheid van
elke uitkomst. Wanneer we van de vier distributies die we hier verkrijgen het gemiddelde
nemen per mogelijke uitkomst, krijgen we een nieuwe distributie. Vervolgens kunnen we
de uitkomst met de hoogste waarschijnlijkheid gaan kiezen als uiteindelijk resultaat.
Voorkeursstemming
Bij deze laatste gecombineerde voorspeller van type B kijken we naar de waarschijnlijkheid
die de voorspellers hun voorspellingen toedichten. We gaan ´e´en individuele voorspeller de
voorrang geven. Eerst kijken we enkel naar zijn voorspelling, en naar de waarschijnlijkheid
die hij meegeeft aan zijn voorspelling. Is die waarschijnlijkheid groter dan 0.5, dan kiezen
we voor deze voorspelling. Anders halen we er nog drie andere voorspellers bij, en kijken
we welke van de vier zijn eigen voorspelling het meest waarschijnlijk acht. Die voorspelling
wordt dan definitief gekozen.
33
Figuur 4.5: Gecombineerde systemen van type C: het opbouwen van de vectoren door de voorspellingen van voorgaande modules te combineren
4.5.3
Type C: Een nieuwe vector opbouwen a.d.h.v. de voorspellingen per module
De laatste manier om de modules te combineren, is de voorspellingen van de individuele
systemen zelf op te slaan in een vector. Daartoe hebben we twee aanpakken, waarvan
telkens ook een voorbeeld terug te vinden in Figuur 4.5.
1. Hier laten we elke module een voorspelling doen, en die voorspelling slaan we op,
samen met de waarschijnlijkheidswaarde die de classificeerder aan zijn voorspelling
geeft.
2. Deze methode is gelijkaardig aan de gemiddelde-distributiestemming uit 4.5.2. Ook
hier gaan we weer de gemiddeldes van de distributies nemen, en bouwen we de vector
daarmee op. We krijgen dus ´e´en attribuut per mogelijke uitkomst.
4.6
Besluit
Om dit hoofdstuk te besluiten, geven we in Tabel 4.2 nog eens een overzicht van de
ge¨ımplementeerde voorspellers die in Hoofdstuk 5 ge¨evalueerd zullen worden. We zijn
begonnen met per module de verschillende types van vectoren te bespreken.
• In de eerste module doen we voorspellingen op basis van statistieken.
34
• In de tweede module wordt er voorspeld op basis van het aantal berichten dat over
elke ploeg geplaatst wordt naar aanloop van de wedstrijd.
• In de derde module voeren we een sentimentanalyse uit, om te kijken welke emoties
overheersen voorafgaand aan de wedstrijd.
• In de vierde module analyseren we de voorspellingen die de Twittergebruikers zelf
plaatsen, om vandaaruit zelf een finale voorspelling te doen.
Vervolgens bundelen we de individuele modules tot een gecombineerd systeem. Ook daarin
hebben we enkele verschillende types.
• Bij gecombineerde systemen van type A brengen we de vectoren van de individuele
modules samen tot ´e´en grote vector.
• Bij type B doen we met de aparte vectoren voorspellingen, en nemen we op basis
van die voorspellingen een beslissing (bijvoorbeeld via meerderheidsstemming).
• Bij type C doen we met de aparte vectoren voorspellingen, en bundelen we die
voorspellingen in een nieuwe vector. Op basis van die vector gaan we dan de finale
voorspelling.
De evaluatie van deze verschillende systemen volgt in Hoofdstuk 5.
35
Tabel 4.2: Een overzicht van alle ge¨ımplementeerde voorspellingssystemen
Naam voorspeller
#attr. Beschrijving
statA
12
Statistische gegevens zoals positie in de stand, doelpunten, ... (per ploeg)
statB
6
Statistische gegevens zoals positie in de stand, doelpunten, ... (het verschil tussen beide ploegen)
aantallen
4
Gemiddeld aantal berichten per dag naar aanloop van
de wedstrijd, met daarbij het percentage ten opzichte
van het globale gemiddelde (per ploeg)
sent1
4
Sentimentswaardes voor positief, negatief (per ploeg)
sent2
12
Sentimentswaardes voor positief, negatief, vertrouwen, twijfel, aanmoedigingen, nervositeit (per ploeg)
sent3
6
Sentimentswaardes voor neutraal, positief, negatief
(per ploeg)
sent4
14
Sentimentswaardes voor neutraal, positief, negatief,
vertrouwen, twijfel, aanmoedigingen, nervositeit (per
ploeg)
voorspA
6
De gemiddelde voorspellingen uit de thuis-, uit- en
neutrale berichten apart.
voorspB
3
De verschillen van de gemiddelde voorspellingen uit
de thuis-, uit- en neutrale berichten apart.
voorspThuis/Uit
2
De gemiddelde voorspelling van de score, gekozen
over de thuis- en uitberichten (waarbij beide partijen
even zwaar doorwegen).
voorspNeutraal
2
De gemiddelde voorspelling van de score uit neutrale
berichten.
voorspGemiddelde
2
Het gemiddelde van de voorspellingen van de scores
uit thuis-, uit- en neutrale berichten (waarbij de drie
verschillende soorten berichten even zwaar door wegen).
voorspC
9
De gemiddelde voorspellingen uit de thuis-, uit- en
neutrale berichten apart, met telkens het aantal berichten waaruit de gemiddeldes berekend werden.
combA all
var.
Alle attributen uit vier vectoren.
combA as
var.
Attributen uit diezelfde vier vectoren, maar met attribuutselectie
36
Tabel 4.2: Een overzicht van alle ge¨ımplementeerde voorspellingssystemen
Naam voorspeller
combA best
#attr. Beschrijving
var.
Attributen uit diezelfde vier vectoren, maar met alleen de attributen die vroeger de beste resultaten gaven.
combB meerderheid
n.v.t.
Meerderheidsstemming over de gekozen voorspellers
combB gem.distr.
n.v.t.
Gemiddelde-distributiestemming over de gekozen
voorspellers
combB voorkeur
n.v.t.
Voorkeur aan ´e´en voorspeller, met bijstand van anderen
combC1
8
De voorspellingen van de gekozen voorspellers, met
daarbij de waarschijnlijkheid die elke voorspeller aan
zijn voorspelling toedicht.
combC2
3
Gemiddelde-distributiestemming over de gekozen
voorspellers (´e´en per module), waarbij nu de resultaten in een nieuwe vector opgeslagen worden.
37
Hoofdstuk 5
Evaluatie
In dit uitgebreide evaluatiehoofdstuk zullen we verschillende voorspellingsmechanismen
onderling vergelijken op basis van twee testopstellingen. In sectie 5.1 worden die testopstelling uitgelegd. Vervolgens schetsen we enkele basisvoorspellingssystemen (zoals
bijvoorbeeld telkens de thuisploeg laten winnen) om mee te gaan vergelijken. Daarna
evalueren we alle modules individueel. Tenslotte gaan we vergelijken, en kijken we of de
individuele resultaten gecombineerd kunnen worden tot een nog effici¨enter systeem.
5.1
De twee evaluatiemodellen
Onze voorspellingen gaan we evalueren volgens twee evaluatiemodellen, namelijk een chronologisch model en en niet-chronologisch model. Om een model te construeren, moeten
we een aantal parameters vastleggen:
• De speeldagen die we gebruiken als trainingsverzameling en als testverzameling.
• De attributen die we in onze vector bewaren. We weten namelijk niet welke attributen waardevolle informatie bezitten voor het systeem, en welke overbodig zijn.
• De classificeerder die we gebruiken, en de parameters voor die classificeerder. We
kiezen hier telkens uit Naive Bayes, Logistic Regression of Support Vector Machine,
en om de parameters te berekenen maken we gebruik van GridSearch.
Die keuzes worden hieronder per model toegelicht.
De gebruikte wedstrijden
Zoals in sectie 3.2.4 vermeld, bestrijken onze Twitterberichten tweehonderd wedstrijden
uit de Premier League, van speeldag 10 t.e.m. 24 en speeldag 29 t.e.m. 34 (waarbij ´e´en
38
Figuur 5.1: De tests volgens het chronologisch model.
inhaalspeeldag zit). Voor de vier de modules hebben we ervoor gezorgd dat enkel die
tweehonderd wedstrijden in de vectoren opgeslagen werden.
5.1.1
Het chronologisch model
Een voetbalseizoen verloopt chronologisch. Zo zullen bijvoorbeeld op het einde van het
seizoen sommige ploegen (titelkandidaten en ploegen in degradatiegevaar) met veel meer
inzet spelen dan voordien, en andere ploegen juist niet. Dit kan een invloed hebben op
de uitslag van sommige wedstrijden. We willen dus ook een realistisch model opbouwen,
dat voorspellingen voor een bepaalde speeldag doet op basis van de data waarover we op
dat moment zouden beschikken. Het model wordt in de volgende paragrafen uitgelegd,
en in Figuur 5.1 wordt het schematisch weergegeven.
De gebruikte speeldagen in dit model
We hebben ervoor gekozen om de trainings- en testverzamelingen evenredig te verdelen.
We werken ten allen tijde met een trainingsverzameling van minstens honderd wedstrijden. De testverzameling bestaat uit de overige honderd wedstrijden. Zoals in Figuur 5.1
aangegeven, splitsen we de testverzameling op in twee groepen van vijftig wedstrijden,
namelijk speeldag 20 t.e.m. 24, en speeldag 29 t.e.m. 34.
39
Classificeerder Aantal keer gebruikt
Naive Bayes
31%
Logistische Regressie
38,5%
30,5%
SVM
Tabel 5.1: Het aantal keer dat elke classificeerder gebruikt werd bij de voorspellingen die in dit
hoofdstuk gedaan worden
De gekozen attributen in dit model
Om te bepalen welke attributen waardevol zijn voor de voorspellingssystemen, benaderen
we de twee testgroepen apart. Per groep gaan we ´e´enmaal op voorhand bepalen welke attributen we willen behouden, omdat dit een zeer rekenintensieve opdracht is. Dit gebeurt
dus op basis van respectievelijk 100 en 150 wedstrijden.
De attributen worden gekozen in twee stappen. Eerst evalueren we via attribuutselectie in
Weka welke attributen informatiegewin (Eng. Information Gain) opleveren. Die attributen behouden we al zeker. Voor de overige attributen gaan we elke mogelijke combinatie
testen aan de hand van de voorgaande 100 of 150 wedstrijden. Over die wedstrijden
voeren we een kruisvalidatie (tien iteraties) uit met elk van de drie mogelijke classificeerders. De combinatie die (met gelijk welke classificeerder) het hoogste percentage haalt,
zal uiteindelijk worden gebruikt. Bij een ex aequo kiezen we de combinatie met de meeste
parameters.
Andere keuzes om attributen te gaan selecteren, zoals puur op basis van informatiegewin
of gewoon geen selectie, waren minder succesvol dan bovenstaande benadering.
De gebruikte classificeerder in dit model
Het kiezen van de optimale classificeerder is een minder rekenintensieve opdracht, en dus
kunnen we dit gaan doen voor elke speeldag apart. Bij elke volgende speeldag krijgen
we namelijk enkele extra wedstrijden waaruit we informatie kunnen halen. Over alle
voorgaande speeldagen testen we dus via kruisvalidatie de drie classificeerders, en kiezen
we de classificeerder die het hoogste correctheidspercentage oplevert.
In Tabel 5.1 is een overzicht terug te vinden van welke classificeerders het vaakst gekozen
worden bij al de voorspellingen die nog in dit hoofdstuk gedaan worden. Logistische
Regressie werd het meeste gebruikt (38,5% van de gevallen), maar het verschil met Naive
Bayes (31%) of SVM (30,5%) is niet groot. Geen van de drie classificeerders geniet dus
de voorkeur.
40
Figuur 5.2: De tests volgens het niet-chronologisch model.
Samengevat
Voor beide speeldagengroepen (20-24 en 29-34) gaan we voorspellingen doen. Voor elke
te voorspellen speeldag selecteren we eerst de attributen waarmee we willen werken, op
basis van de eerste 100 of 150 wedstrijden (afhankelijk van tot welke groep de speeldag
behoort). Vervolgens zoeken we de optimale classificeerder voor alle speeldagen vooraf,
die we dan ook trainen op die speeldagen. Tenslotte voorspellen we elke wedstrijd van de
speeldag. In Figuur 5.1 wordt het chronologisch model ge¨ıllustreerd.
5.1.2
Niet-chronologisch model
Het probleem met ons chronologisch model is het feit dat we maar over Twitterdata van
een half seizoen beschikken, waarvan de helft al als oefendata gebruikt wordt. Later zal uit
onze experimenten blijken dat in het begin van het seizoen de resultaten een stuk minder
voorspelbaar zijn dan op het einde. Daarom willen we toch een vollediger beeld van ´e´en
seizoen krijgen door een niet-chronologisch model te introduceren. Het niet-chronologisch
model gaat alle data van de speeldagen dooreen gebruiken, aan de hand van kruisvalidatie
(zie 3.2.1). Dit wordt weergegeven in Figuur 5.2.
De gebruikte speeldagen in dit model
Voor dit model kunnen we gebruik maken van de tweehonderd speeldagen waarover we
beschikken. Aan de hand van kruisvalidatie met tien iteraties zal elke wedstrijd dus
´e´enmaal in een testverzameling opgenomen worden.
De gekozen attributen en classificeerder in dit model
Voor de keuze van de classificeerder en de attributen gaan we de optimale combinatie
zoeken, via kruisvalidatie over alle tweehonderd de speeldagen. We proberen weer bijna
alle mogelijke attributencombinaties uit (analoog aan 5.1.1), voor de drie mogelijke clas-
41
Chronologisch
sd 20-24 sd 29-34
Niet-chron.
sd 10-24, 29-34
Individuele modules
Gecombineerd type A
Gecombineerd type B
Gecombineerd type C
Tabel 5.2: De tests die uitgevoerd worden voor elk systeem. (sd = speeldag)
sificeerders (inclusief de parameters via GridSearch). De combinatie van classificeerder en
attributen met het hoogste correctheidspercentage wordt gekozen.
Opmerkingen
Dit is dus niet meteen een realistisch model, omdat we de beste combinatie achteraf pas
kiezen. Het is echter wel indicatief voor de kracht van een voorspeller over een vollediger
seizoen dan bij het niet-chronologisch model.
Verder zullen we ook de gecombineerde systemen van type B niet aan dit model kunnen
toetsen, omdat die strikt chronologisch opgebouwd worden.
5.1.3
Overzicht
In Tabel 5.2 staat nog eens samengevat welke tests voor elk systeem uitgevoerd gaan
worden.
5.2
Basisvoorspellingssystemen
In deze sectie geven we enkele eenvoudige voorspellingssystemen en hun resultaten, om
later de vergelijking met de resultaten van onze eigen systemen te kunnen maken.
5.2.1
De thuisploeg steeds laten winnen
De eenvoudigste benadering is om de thuisploeg altijd te laten winnen. Dit is namelijk het
resultaat dat het vaakst voorkomt. Dit kan ook een niet onbelangrijke indicator zijn voor
de percentages van onze eigen systemen. Zo zullen we later merken dat gelijke spelen door
onze systemen eigenlijk amper voorspeld worden, omdat die zeldzaam en onvoorspelbaar
42
Wedstrijd
Thuisploeg wint
Man Utd v Man City
3.20
Aston Villa v Stoke City
2.14
2.14
Tottenham v Southampton
Gelijkspel
3.41
3.19
3.32
Uitploeg wint
2.25
3.65
3.51
Tabel 5.3: Voorbeeld van de kansenverhoudingen bij de gokkantoren. Indien 1 euro op de
wedstrijd zou ingezet worden, is het getal in de tabel het bedrag dat je terug zou krijgen bij een
correcte voorspelling.
Voorspellingssysteem sd 20-24
Winst voor thuisploeg
0.48
Gelijkspel
0.20
Winst voor uitploeg
0.32
Lawro’s Predictions
0.62
Gokkantoren
0.66
sd 29-34
0.54
0.10
0.36
0.58
0.68
sd 20-24, 29-34
0.51
0.15
0.34
0.60
0.67
sd 10-24, 29-34
0.49
0.20
0.31
0.55
0.62
Tabel 5.4: De correctheidspercentages van de verschillende basisvoorspellingssystemen over de
verschillende periodes. (sd = speeldag)
zijn. In Tabel 5.4 vinden we de percentages voor de drie mogelijke uitslagen, over de
verschillende voorspellingsperiodes.
5.2.2
Expertvoorspellingen
Een andere benadering is om een zogenaamde expert aan het woord te laten. E´en van de
belangrijkste voetbalkenners (Eng. pundits) in dienst van de BBC is Mark Lawrenson.
In een wekelijkse voorspellingswedstrijd (Lawro’s Predictions) neemt hij het op tegen
Britse of overzeese beroemdheden. Voor elke speeldag geeft hij dus zijn voorspelling per
wedstrijd. Op deze manier kunnen we onze systemen ook toetsen aan een menselijk
voorspellingssysteem.
5.2.3
Voorspellingen op basis van de cijfers van gokkantoren
Tenslotte brengen we ook de cijfers van gokkantoren in rekening. Op [2] vinden we een
historische database met de cijfers gemeten over meer dan vijftig verschillende bookmakers. Bij elke wedstrijd hebben we voor de thuisploeg, de uitploeg of een gelijkspel een
kansenverhouding (Eng. odds ratio) die de waarschijnlijkheid uitdrukt van die uitslag. In
Tabel 5.3 vinden we een voorbeeld van die cijfers. Om te voorspellen kiezen we natuurlijk
de uitslag met de hoogste waarschijnlijkheid (dit is het laagste getal).
43
5.2.4
Discussie
Wanneer we naar het eerste deel van Tabel 5.4 kijken, merken we op dat het aantal
gelijke spelen beduidend hoger ligt in de eerste evaluatieperiode (20%) dan in de tweede
evaluatieperiode (10%). Dit zal in de evaluatie van onze systemen nog een rol spelen.
Bij Lawro’s Predictions speelt dat niet meteen een rol, omdat hij zelf ook gelijke spelen
voorspelt (in tegenstelling tot bijvoorbeeld de gokkantoren). Daarom is het inderdaad
mogelijk dat zijn correctheidspercentage in de tweede voorspellingsperiode zakt (van 62%
naar 58%). Later zullen we zien dat dit amper of niet meer voorkomt.
Tenslotte zien we bij het niet-chronologisch model ook dat bij Lawro’s Predictions en de
gokkantoren de voorspellingen die meer naar het begin van het seizoen toe liggen, een
stuk stroever verlopen (resp. 55% en 62% over alle tweehonderd wedstrijden, in plaats
van resp. 60% en 67% over enkel de laatste honderd wedstrijden). Dit is een trend die
we nog zullen opmerken, namelijk dat de ploegen staan waar ze horen te staan in het
klassement, en dat de kracht en de vormcurve per ploeg duidelijker op te maken valt.
5.3
Module 1 - Statistieken
Deze eerste module gebruikt nog geen Twitter om de wedstrijden te voorspellen, en is
dus ook een mooie basis om mee te gaan vergelijken. Natuurlijk zouden we eindeloos ver
in de statistische analyse kunnen gaan. Zo zijn er systemen die bijvoorbeeld ook naar de
individuele spelers per ploeg gaan kijken (wie speelt er mee en wie niet, wie is er in vorm,
...). We hebben het hier dus op een basisimplementatie gehouden. Natuurlijk gebruiken
we de belangrijkste algemene gegevens (bv. de positie in de stand) waardoor we nog
steeds een effectief mechanisme ontwikkelen.
Om een idee te geven van in welke mate het machinaal leren, alsook de vele attributen
bijdragen aan een succesvoller voorspellingssysteem, hebben we een simpele benadering
op basis van statistieken getest. We kijken in die simpele benadering enkel naar het
verschil van de positie in de stand tussen de twee ploegen. De ploeg die de hoogste positie
bekleedt, wint de wedstrijd. Deze benadering (in de tabel easyStat genoemd) wordt samen
met de twee types vectoren van de eerste module opgenomen in Tabel 5.5. Bij statA wordt
de vector opgebouwd met alle gegevens voor de thuisploeg, alle gegevens voor de uitploeg
en het verschil in positie. Bij statB wordt de vector opgebouwd door voor alle gegevens
telkens het verschil te nemen tussen thuis- en uitploeg.
44
Voorspellingssysteem sd 20-24
easyStat
0.54
statA
0.60
statB
0.58
sd 29-34
0.64
0.64
0.70
sd 20-24, 29-34
0.59
0.62
0.64
sd 10-24, 29-34
0.545
0.570
0.575
Tabel 5.5: Resultaten van onze statistische voorspellingssystemen
Systeem # keer thuiswinst
statA
73
statB
51
# keer gelijk
0
2
# keer uitwinst
27
37
Tabel 5.6: Het aantal voorspellingen van elke soort bij statA en statB.
5.3.1
Discussie
In Tabel 5.5 wordt meteen duidelijk dat de extra gebruikte attributen (bovenop het verschil in de stand) en het machinaal leren een aanzienlijke bijdrage leveren aan de correctheid van de voorspellingen. Met statB gaan we over de laatste honderd wedstrijden het
percentage van 59% naar 64% kunnen verhogen.
In totaliteit worden ook Lawro’s Predictions (60%) overstegen, maar aan de van de gokkantoren (67%) kan nog niet getipt worden. Ook valt op dat het percentage over de eerste
vijftig geteste speeldagen gevoelig lager ligt dan dat bij de laatste vijftig speeldagen. Dat
heeft onder meer te maken met het aantal gelijke spelen die in die periode vielen.
Het is dus interessant om eens te kijken welke resultaten het meest voorspeld worden. In
de honderd wedstrijden in onze testverzameling zien we in Tabel 5.6 welke resultaten het
vaakst voorspeld worden. Gelijke spelen worden amper of niet voorspeld (0% voor statA,
2% voor statB ), wat onze stelling uit 5.2.4 bevestigt: er zullen meer foute voorspellingen
gedaan worden in periodes waar meer wedstrijden in een gelijkspel eindigen.
5.4
Module 2 - Aantal berichten
In deze module kijken we naar de berichtenaantallen per dag. We maken eerst een analyse
van hoe die aantallen vari¨eren van dag tot dag, en over welke ploegen gemiddeld het
grootste aantal berichten geplaatst wordt.
5.4.1
Fluctuaties in aantallen over een langere periode
In Figuur 5.3 hebben we voor Arsenal het gemiddelde aantal berichten per dag weergegeven, voor een periode van 30 oktober 2013 tot 14 januari 2014. In deze periode speelde
Arsenal twaalf Premier League wedstrijden, drie Champions League wedstrijden en ´e´en
45
FA Cup wedstrijd. In de grafiek vallen meteen een aantal pieken op. Deze pieken komen
overeen met de dagen waarop de wedstrijden gespeeld werden.
De topwedstrijden (Liverpool, Man Utd, Man City, Chelsea) lokken een aanzienlijk hoger aantal berichten uit dan de wedstrijden tegen kleinere tegenstanders. Die berichten
worden echter pas in rekening gebracht naar de volgende wedstrijd toe, en niet voor deze
wedstrijd zelf. Dit zorgt ervoor dat de informatie die dat aantal waarborgt, eigenlijk een
pak minder relevant wordt, maar toch nog steeds erg doorweegt op de voorspelling voor de
volgende wedstrijd. We zien ook dat het aantal berichten net voor de topwedstrijden een
stukje hoger ligt dan bij de overige wedstrijden. Dit is natuurlijk wel relevante informatie.
Een belangrijke opmerking is dat er tussen de Premier League wedstrijden door ook nog
wedstrijden gespeeld worden, met name in de Champions League (afk. CL), FA Cup of
League Cup. Natuurlijk spelen enkel de absolute topploegen in de CL, en dat zijn ook
de ploegen die het meest kans maken om door te stoten in de FA en League Cup. Gezien
die wedstrijden nog maar eens extra gemiddelde berichtenaantallen opleveren geeft dit de
grote ploegen nog wat extra voordeel, bovenop de fanbasis die doorgaans al hoger ligt.
Dit leidt dus niet noodzakelijk tot een minder goede voorspeller.
Tenslotte zien we ook dat het interlandvoetbal een invloed heeft op de aantallen. Wanneer
het competitievoetbal ´e´en of twee weken onderbroken wordt, liggen de berichtenaantallen
ook meteen een stuk lager.
5.4.2
Verdeling van de berichtenaantallen over de verschillende
ploegen
Het is interessant om de gemiddeldes van de verschillende ploegen eens naast elkaar te
leggen, en aan de hand daarvan een klassement op te bouwen. In Figuur 5.4 staat het klassement op 13 april (het einde van onze berichtenverzameling) weergegeven, met daarnaast
het klassement op basis van berichtenaantallen.
Over het algemeen is er een duidelijke scheiding tussen de topteams en de mindere teams
zichtbaar. Zo hebben we, op ´e´en uitzondering na, in beide klassementen dezelfde acht
ploegen bovenaan. Tussen de ploegen is er wel nog wat geschuif, zowel boven- als onderaan,
maar over het algemeen geeft het klassement toch een redelijk realistische weergave van
de krachtsverhoudingen.
De ploegen die niet geheel overeenkomen in beide klassementen zijn in het rood aangeduid.
Zo hebben we Manchester City, toch ongeveer de ploeg met de meeste kwaliteit in de
Premier League, die amper op de achtste plaats staan op basis van berichtenaantallen.
Dat kan ermee te maken hebben dat ze nog steeds niet zoveel fans hebben als de gevestigde
topteams, gezien Man City pas de voorbije jaren aan een steile opmars bezig is.
46
Figuur 5.3: Het gemiddeld aantal berichten per dag voor Arsenal.
47
Voorspellingssysteem sd 20-24
easyAantallen
0.56
aantallen
0.48
sd 29-34
0.68
0.52
sd 20-24, 29-34
0.63
0.50
sd 10-24, 29-34
0.575
0.485
Tabel 5.7: Resultaten van het voorspellingssysteem op basis van berichtenaantallen.
Verder is er dan Sunderland, een redelijk stabiele eersteklasser, die nu in acuut degradatiegevaar verkeert. De berichtenaantallen blijven hier erg hoog omdat de aanhang nog
steeds groot is.
5.4.3
De evolutie naar het eind van het seizoen toe
Wanneer we eens kijken naar de gemiddelde berichtenaantallen tussen de 10e en 24e
speeldag, en vergelijken met de gemiddeldes tussen de 29e en 34e, gebeurt de toename
of afname van de gemiddeldes steeds op een logische manier. Zo daalt het aantal van
Arsenal aanzienlijk, wat te verklaren valt door de uitschakeling in de CL, en de daling in
de stand (na een hele tijd aan de leiding gestaan te hebben). Verder stijgen de berichten
over Liverpool bijvoorbeeld in aantal. Dit verklaren we door het feit dat Liverpool een
knappe resultatenreeks neerzette en zich plots weer in het titeldebat kwam mengen. In
dat opzicht leert het systeem steeds beter de verhoudingen tussen de ploegen naar het
einde van het seizoen toe.
5.4.4
Het voorspellen van de wedstrijden
In Tabel 5.7 staan de resultaten voor deze voorspeller. We hebben ook een eenvoudige
voorspeller toegevoegd aan de tabel, die gewoon de overwinning gaat geven aan de ploeg
met het hoogste aantal berichten naar aanleiding van de wedstrijd (easyAantallen).
Discussie
We zien dat deze module een correctheidspercentage van amper 50% haalt voor het chronologisch model, terwijl het systeem dat de thuisploeg telkens liet winnen zelfs al 51%
haalde. In [21] lagen de voorspellingen voor de winnaar van wedstrijden op basis van
berichtenaantallen ook lager dan bijvoorbeeld de statistische aanpak. De berichtenaantallen gaven in de paper echter wel betere resultaten wanneer de puntenspreiding of de
puntengrens voorspeld moest worden (zie 2.3.2).
Uit de eenvoudige voorspeller zouden we denken dat de laatste vijftig (of zelfs honderd)
wedstrijden met een relatief hoog correctheidspercentage te voorspellen moeten zijn. Wanneer we namelijk manueel puur de aantallen vergelijken, krijgen we daar zelfs een percentage van 63%. Indien we machinaal leren echter betrekken, merken we een sterke daling
48
Figuur 5.4: Het klassement op 13 april, en het klassement op basis van berichtenaantallen op
Twitter
49
tot 50%. We verklaren dit door te kijken naar de trainingsverzameling. Die is namelijk
veel onregelmatiger. Wanneer we daar ons eenvoudig systeem op loslaten, vinden we dat
in de eerste honderd wedstrijden amper 53% correct voorspeld wordt. Hierdoor gaat ons
systeem niet het model kunnen opbouwen zoals we gehoopt hadden. We onthouden wel
dat er potentieel zit in deze methode (zoals uit het eenvoudige model blijkt).
5.5
Module 3 - Sentimentanalyse
In deze module is het interessant om eerst te kijken hoe het classificatieproces van de berichten scoort. Vervolgens schakelen we over op het classificeren van de wedstrijduitslagen
zelf.
5.5.1
Het classificeren van de berichten
Zoals in het vorige hoofdstuk uitgelegd, hebben we zowel geclassificeerd op basis van een
bestaand softwarepakket (SentiStrength) als op basis van een zelfgemaakte classificeerder.
Voor het evalueren van die twee methodieken gebruiken we de 3400 berichten die we
geannoteerd hebben om onze eigen classificeerder op te bouwen. Voor SentiStrength
worden alle berichten overlopen en geclassificeerd, voor onze eigen classificeerder gebruiken
we kruisvalidatie met tien iteraties.
SentiStrength
SentiStrength quoteert een Twitterbericht door een positieve (1 tot 5) en negatieve (-1
tot -5) te geven. Om te controleren hoe goed SentiStrength presteert, gaan we berichten
indelen in drie categorie¨en:
• positief (positieve score > |negatieve score|)
• negatief (positieve score < |negatieve score|)
• neutraal (positieve score = |negatieve score|)
Vervolgens kunnen we in onze geannoteerde berichtenverzameling de zeven categorie¨en
reduceren tot een positieve (waar vertrouwen en aanmoedigingen dan bijgevoegd worden),
een negatieve (waar twijfel en nervositeit bijgevoegd worden) en een neutrale. Op deze
manier kunnen we SentiStrength quoteren. Het percentage van correct geclassificeerde
berichten is terug te vinden in Tabel 5.8, en wordt hieronder vergeleken met onze eigen
classificeerder.
50
Classificeerder Aantal categorie¨en Correctheidspercentage
SentiStrength
3
55.0%
Eigen 1
2
76.9%
6
66.3%
Eigen 2
Eigen 3
3
66.2%
7
64.9%
Eigen 4
Tabel 5.8: De correctheidspercentages voor het classificeren van Twitterberichten in sentimentcategorie¨en
Eigen classificeerder
We hebben onze eigen classificeerder op vier verschillende manieren gebruikt om tot vectoren te komen:
1. Twee categorie¨
en: positief en negatief (neutrale berichten worden genegeerd)
2. Zes categorie¨
en: positief, negatief, vertrouwen, twijfel, aanmoedigingen en nervositeit (neutrale berichten worden genegeerd)
3. Drie categorie¨
en: positief, negatief en neutraal
4. Zeven categorie¨
en: positief, negatief, vertrouwen, twijfel, aanmoedigingen, nervositeit en neutraal
In Tabel 5.8 worden de correctheidspercentages van de classificaties weergegeven.
Conclusie
Tabel 5.8 toont ons dat onze eigen systemen veel beter scoren dan SentiStrength. Het
hoogste percentage wordt behaald door Eigen 1 (76,9%). Daar hebben we natuurlijk
maar twee mogelijke categorie¨en. Rekening houdend met het aantal categorie¨en voor
elke aanpak, halen we voor de overige systemen ook acceptabele resultaten. Het feit dat
SentiStrength het hier niet zo goed doet als onze systemen valt te verklaren door de zeer
specifieke woordenschat die in heel veel berichten terugkomt.
We besluiten om verder te gaan met de types vectoren op basis van de eigen classificeerders, en SentiStrength achterwege te laten.
5.5.2
Het aanduiden van de ploeg waarover elk bericht gaat
Naast de keuze van de juiste emotie, dient ook een juiste keuze gemaakt te worden bij
welke ploeg die emotie hoort. Daartoe hebben we voor tweehonderd van de geannoteerde
berichten gecontroleerd of de emotie ook bij de aangeduide ploeg hoort. Dat bleek het
51
Voorspellingssysteem sd 20-24
sent1
0.48
sent2
0.50
sent3
0.48
sent4
0.48
sd 29-34
0.54
0.56
0.54
0.54
sd 20-24, 29-34
0.52
0.53
0.52
0.52
sd 10-24, 29-34
0.485
0.460
0.485
0.460
Tabel 5.9: Resultaten van onze statistische voorspellingssystemen
geval te zijn bij maar 60.5% van de berichten. Naast de mogelijkheid dat een fout sentiment aan een bericht toegewezen wordt, is de kans dus ook nog groot dat de emotie niet
over deze ploeg gaat, maar over een andere ploeg, of dat het bericht niet echt met voetbal
te maken heeft.
5.5.3
Het voorspellen van de wedstrijden
In Tabel 5.9 staan de correctheidspercentages voor onze vier sentimentgebaseerde voorspellers.
Discussie
In Tabel 5.9 staan de resultaten voor deze module. Enkel de tweede classificeerder (53%)
presteert beter dan het eenvoudige systeem dat telkens de thuisploeg laat winnen (51%),
en met amper twee procent.
Enkele tekortkomingen van de module staan hieronder opgelijst. Zij dragen bij tot de
mindere resultaten van deze module.
• Zoals in sectie 5.5.2 aangetoond, wordt niet altijd het juiste sentiment aan de juiste
ploeg toegekend. Dit zorgt voor afwijkingen in de gemiddelde sentimentscores die
per wedstrijd berekend worden, en kan het voorspellen op een negatieve manier
be¨ınvloeden.
• Daarbij aansluitend hebben we vaak vermeldingen van steden (Newcastle, Liverpool,
...) waarbij niet naar de voetbalploeg maar naar de stad verwezen wordt. Deze
berichten zouden eigenlijk niet in rekening gebracht mogen kunnen worden.
• Bepaalde gebeurtenissen, die eigenlijk niet relevant zijn voor de wedstrijd, kunnen
de sentimentscores gaan be¨ınvloeden. Zo waren er bijvoorbeeld op de verjaardag van
een speler (John Terry, al jarenlang de kapitein van Chelsea) heel erg veel positieve
berichten waarin een gelukkige verjaardag gewenst werd. Gezien die verjaardag
toevallig op de dag van de wedstrijd viel, werd de positieve score erg opgetrokken.
Zo’n gebeurtenissen zijn irrelevant voor de wedstrijd maar hebben dus toch een
aanzienlijke invloed op de voorspelling.
52
5.6
Module 4 - Voorspellingsanalyse
In deze module ontleden we de Twitterberichten om te kijken welke voorspellingen de
gebruikers zelf doen. We controleren eerst of dat ontleden correct gebeurt, en vervolgens
geven we enkele voorbeelden van gemiddelde voorspellingen bij een aantal wedstrijden.
Tenslotte worden de resultaten van deze module weergegeven.
5.6.1
Het correct ontleden van de Twitterberichten
Eerst hebben we gecontroleerd of de scores op een correcte manier uit de berichten gehaald
worden. Dat hebben we gedaan door driehonderd berichten handmatig te ontleden, en
te controleren of de score die ons systeem toekent aan de wedstrijd, dezelfde is. Hiertoe
hebben we zowel thuis-, uit- als neutrale voorspellingen bekeken, van zowel topmatchen
als matchen tussen kleinere ploegen. Over de driehonderd gecontroleerde berichten was
4% irrelevant, omdat die gingen over scores uit het verleden of over andere sporten. Van
de resterende 96% waren er 90% correct ontleed. Dat percentage ligt hoog genoeg om
telkens een realistisch gemiddelde te bekomen per wedstrijd over wat de supporters zelf
voorspellen.
5.6.2
De voorspellingen die de Twittergebruikers zelf doen
Om een idee te krijgen van wat er zoal voorspeld wordt door de Twittergebruikers zelf, is
het interessant om wat voorbeelden te geven voor een aantal wedstrijden. Die voorbeelden
zijn terug te vinden in Tabel 5.10. Zogenaamde thuisvoorspellingen zijn voorspellingen
waar enkel de thuisploeg vermeld werd in het bericht (analoog voor uitploegen), en de
neutrale voorspellingen hadden beide ploegen vermeld (wat natuurlijk niet noodzakelijk
betekent dat het een neutraal bericht is).
We zien dat in veel gevallen de berichten met maar ´e´en ploegvermelding ook erg partijdige
scores geven. In de gevallen waar de eigen ploeg ook duidelijk de sterkere is (bijvoorbeeld
Liverpool in de tweede wedstrijd, of Everton in de vierde wedstrijd), gaat die ploeg vanzelfsprekend een veel ruimere overwinning voorspeld krijgen. In de gevallen waar de eigen
ploeg duidelijk de zwakkere ploeg is, gaat de voorspelde overwinning veel minder ruim zijn,
of kan er zelfs een verlies voorspeld worden (zoals bij Sunderland in de tweede wedstrijd).
Wanneer we het gemiddelde nemen van de partijdige scores, of wanneer we naar de neutrale scorevoorspellingen kijken, zien we een behoorlijk realistische voorspelling van hoe
de wedstrijd zou moeten uitdraaien.
53
Wedstrijd
Chelsea v Arsenal
Liverpool v Sunderland
Everton v Arsenal
Fulham v Everton
Fulham v Newcastle
Sunderland v Southampton
1.
2.
3.
4.
5.
6.
2.25
3.86
2.19
2.34
1.94
1.76
Thuis
v 0.84
v 0.56
v 0.90
v 1.07
v 0.69
v 0.92
Neutraal
1.86 v 1.08
3.30 v 0.97
1.24 v 2.07
1.24 v 2.06
1.38 v 1.31
1.32 v 1.50
1.01
2.48
0.93
0.56
0.70
0.81
Uit
v
v
v
v
v
v
2.06
1.17
2.36
2.73
2.20
2.41
Tabel 5.10: Een aantal voorbeelden van thuis-, uit- en neutrale voorspellingen.
Voorspellingssysteem sd 20-24
easyVoorsp
0.60
voorspA
0.44
voorspB
0.52
voorspThuis/Uit
0.58
voorspNeutraal
0.52
voorspGemiddelde
0.62
voorspC
0.44
sd 29-34
0.64
0.54
0.62
0.68
0.62
0.60
0.54
sd 20-24, 29-34
0.62
0.49
0.57
0.63
0.57
0.61
0.49
sd 10-24, 29-34
0.555
0.565
0.570
0.545
0.590
0.580
0.550
Tabel 5.11: Resultaten van onze voorspellingssystemen op basis van voorspellingen door Twittergebruikers.
5.6.3
Het voorspellen van de wedstrijden
In Tabel 5.11 staan de resultaten van deze module weergegeven. We geven in de eerste
rij (easyVoorsp) ook een eenvoudige benadering, waarbij de ploeg die de hoogste score
toegekend krijgt door het gemiddelde te nemen over de drie soorten berichten (thuis, uit,
neutraal), de overwinning toegewezen krijgt. Op die manier kunnen we zien in welke mate
het machinaal leren een gunstige invloed heeft op het voorspellen van de resultaten.
Bij voorspA bouwden we de vectoren op met de drie categorie¨en berichten apart, en
bij voorspC voegden we nog eens het aantal berichten per categorie toe. Bij voorspB
namen we het verschil in score per categorie. VoorspThuis/Uit nam het gemiddelde van
de thuis- en uitcategori¨en, en voorspNeutraal keek alleen naar de neutrale categorie. Bij
voorspGemiddelde werd over alledrie de categorie¨en het gemiddelde genomen.
5.6.4
Discussie
VoorspA en voorspC voorspellen net niet de helft van alle uitslagen juist (beiden 49%).
Ook het voorspellen puur op basis van de neutrale berichten (57%), en op basis van de
verschillen tussen de scores (voorspB, 57%), presteert minder dan de overige systemen.
We kijken dus vanaf nu enkel nog naar voorspThuis/Uit en voorspGemiddelde, die respectievelijk 63% en 61% haalden. Het is duidelijk dat in dit geval de voorspellingen waarin
maar ´e´en hashtag voorkomt, een gunstigere invloed hebben om een voorspelling te doen,
dan de neutrale voorspellingen. Dat zal echter niet altijd het geval zijn, zoals uit het
54
niet-chronologisch model blijkt; via kruisvalidatie over de tweehonderd wedstrijden zullen
de neutrale berichten zelfs beter presteren (59% tegenover 54,5% en 58%).
Het eenvoudig voorspellingssysteem (easyVoorsp) gebruikt dezelfde gegevens als voorspGemiddelde, maar ondanks zijn eenvoud presteert het over de honderd wedstrijden in
ons chronologisch model net beter dan wanneer we machinaal leren toepassen. Dit heeft
opnieuw te maken met het feit dat de data uit de eerste honderd wedstrijden veel onregelmatiger is dan die in de laatste honderd wedstrijden. Wanneer we het eenvoudig
systeem namelijk toepassen op de eerste honderd wedstrijden krijgen we amper een correctheidspercentage van 50% (tegenover 62% in de laatste honderd). Dit verschil uit zich
ook bij het niet-chronologisch model, waar we zien dat het resultaat van de kruisvalidatie
inderdaad boven het eenvoudige systeem uitstijgt (58% tegenover 55,5%).
Een andere vaststelling is dat het systeem de correctheidspercentages van de statistische
module (64%) benadert. Twitter kan dus wel degelijk aangewend worden om op een
effectieve manier voetbalwedstrijden te gaan voorspellen. Een volgende stap is om te
kijken of we de statistiek en Twitter kunnen gaan combineren om een nog beter systeem
te bekomen.
5.7
Gecombineerde modules
In deze sectie evalueren we de prestaties van onze gecombineerde modules. Eerst geven we
een overzicht van de prestaties van de individuele modules, waarna we een keuze kunnen
maken welke types vectoren we gaan combineren. Tenslotte analyseren we de prestaties
van de gecombineerde modules.
5.7.1
Een overzicht van de individuele modules
We geven eerst nog eens een overzicht van hoe de individuele systemen apart presteerden,
en welke systemen we kiezen om te combineren.
Module 1 - Statistiek
Onze statistische voorspellers statA en statB behaalden voor het chronologisch model
respectievelijk 62% en 64%. Voor de combinaties gaan we beide systemen gebruiken.
Module 2 - Aantal berichten
De voorspeller op basis van het aantal berichten behaalde een correctheidspercentage van
50%.
55
Module 3 - Sentimentanalyse
Van de sentimentanalyse gaan we alleen voortwerken met sent2, waar het correctheidspercentage op 53% lag.
Module 4 - Voorspellingen door gebruikers
Uit de systemen die kijken naar de voorspellingen die de Twittergebruikers zelf doen,
kiezen we de twee beste systemen. Dit zijn voorspThuis/Uit (63%) en voorspGemiddelde
(61%).
De percentages worden ook allemaal nog eens weergegeven in Tabel 5.12 en Tabel 5.13.
5.7.2
Twee verschillende combinaties van vectoren
We gaan op twee verschillende manieren de samenstellingen bepalen van welke vectoren
we uiteindelijk gaan combineren.
1. We gaan van elke module de vector kiezen die de beste resultaten behaalde. Op die
manier gebruiken we de vier verschillende bronnen van informatie. Dit zijn statB,
aantallen, sent2 en voorspThuis/Uit.
2. Gezien modules 1 en 4 veel beter scoorden, kiezen we van elke module de twee types
vectoren die de beste resultaten behaalden. Dit zijn statA, statB, voorspThuis/Uit
en voorspGemiddelde.
We herhalen kort nog even de types van gecombineerde systemen die in sectie 4.5 uitgelegd
werden. Bij gecombineerde systemen van type A zullen we nieuwe vectoren opbouwen
door alle (of sommige) attributen uit de individuele vectoren samen te voegen. Bij type
B doen we met elk systeem voorspellingen, waarna we vervolgens een keuze maken door
bijvoorbeeld meerderheidsstemming toe te passen. Bij type C bouwen we opnieuw nieuwe
vectoren op, maar deze keer op basis van de voorspellingen die elk individueel systeem
doet.
5.7.3
Resultaten
Alle resultaten van de individuele systemen en hun combinaties zijn terug te vinden in in
Tabel 5.12 en Tabel 5.13.
Wanneer we de voorspellingen van de verschillende speeldagen eens gedetailleerder bekijken, merken we op dat combA all en combA as op de 21e speeldag maar liefst drie
56
Voorspellingssysteem sd 20-24 sd 29-34 sd 20-24, 29-34
Individuele systemen
statA
0.60
0.64
0.62
aantallen
0.48
0.52
0.50
sent2
0.50
0.56
0.53
voorspThuis/Uit
0.58
0.68
0.63
Gecombineerde systemen
combA all
0.48
0.62
0.55
combA as
0.48
0.62
0.55
combA best
0.5
0.62
0.56
combB meerderheid
0.58
0.64
0.61
combB gem.distr.
0.56
0.60
0.58
combB voorkeur
0.54
0.64
0.59
combC1
0.58
0.62
0.60
combC2
0.62
0.64
0.63
sd 10-24, 29-34
0.570
0.485
0.460
0.545
0.545
0.530
0.515
n.v.t.
n.v.t.
n.v.t.
0.600
0.595
Tabel 5.12: Resultaten van de eerste combinatie, met ´e´en systeem per module
Voorspellingssysteem sd 20-24 sd 29-34 sd 20-24, 29-34
Individuele systemen
statA
0.60
0.64
0.62
statB
0.58
0.70
0.64
voorspThuis/Uit
0.58
0.68
0.63
voorspGemiddelde
0.62
0.60
0.61
Gecombineerde systemen
combA all
0.66
0.70
0.68
combA as
0.66
0.70
0.68
combA best
0.6
0.64
0.62
combB meerderheid
0.64
0.64
0.64
combB gem.distr.
0.64
0.66
0.65
combB voorkeur
0.62
0.68
0.65
combC1
0.58
0.62
0.60
combC2
0.62
0.70
0.66
sd 10-24, 29-34
0.570
0.575
0.545
0.580
0.580
0.605
0.535
n.v.t.
n.v.t.
n.v.t.
0.595
0.610
Tabel 5.13: Resultaten van de tweede combinatie, met twee systemen uit zowel de eerste als de
vierde module.
57
gelijke spelen voorspellen. Gelijke spelen voorspellen is zeer af te raden indien hoge correctheidspercentages beoogd worden. Daarom zullen we in plaats van de gelijke spelen
de voorspelling doen die de tweede hoogste waarschijnlijkheid toebedeeld krijgt. Op die
manier lukt het om nog ´e´en wedstrijd extra correct te voorspellen. Daardoor wordt het
percentage over speeldag 20-24 van 64% naar 66% verhoogd.
5.7.4
Discussie
Eerste benadering: alle modules gebruikt
Uit onze eerste benadering kunnen we niet veel conclusies trekken. De vier modules
worden hier allen gebruikt, maar module 2 en 3 hebben erg lage correctheidspercentages
(50% en 53%). Daardoor wordt bij het combineren van de vier systemen de score omlaag
getrokken tot (in het beste geval, combC2 ) 63%, waar er met enkel statB 64% behaald
werd. We zien dat de gecombineerde systemen van type C het beste resultaat behalen
(63%), gevolgd door type B (61%).
Tweede benadering: enkel eerste en vierde module gebruikt
De tweede benadering is een stuk interessanter om te evalueren. We zien dat bij combA all
en combA as de maximale scores van de individuele systemen opgetrokken worden van
64% naar 68%. Daarmee doen we zelfs beter dan de 67% die via de cijfers van de gokkantoren behaald werd. We zijn er dus in geslaagd om de statistische voorspellingstechnieken
te optimaliseren door Twitter te gaan betrekken. Op die manier presteren we met 68%
dus beter dan de 64% van de individuele statistische voorspeller en de 67% van de gokkantoren.
5.8
Verdere analyse van de belangrijkste systemen
In deze sectie leggen we de systemen die het best presteren eens naast elkaar, en vergelijken
we met de gokkantoren.
5.8.1
Een vergelijking per speeldag
In deze subsectie analyseren we de voorspellingen die gedaan worden door het meest succesvolle systeem (combA as). In Figuur 5.5 wordt per speeldag gekeken hoeveel correcte
resultaten de individuele systemen voorspellen, en hoeveel het gecombineerde systeem er
correct voorspelt.
58
Het is duidelijk dat bepaalde speeldagen (bv. 31, negen correcte voorspellingen) beter te
voorspellen zijn dan anderen (bv. 24, vijf correcte voorspellingen). Speeldag 31 wordt
door alle systemen bijna volledig correct voorspeld, omdat er geen verrassingen of gelijke
spelen in de uitslagen zaten. Bij speeldag 24 vinden we echter dat er enkele verrassende
resultaten vielen (Stoke City won tegen Man Utd won, Chelsea won bij Man City), en
dat er ook al twee gelijke spelen vielen. Dat zorgt ervoor dat de voorspellers (maar ook
de gokkantoren) bij deze speeldag minder goed presteren.
Verder scoort het gecombineerde systeem maar heel zelden slechter dan ´e´en van de individuele systemen op een speeldag. Meestal ligt de waarde ongeveer gelijk met de hoogste
waarde van ´e´en van de individuele systemen. Dit zorgt er dan ook voor dat het gecombineerde systeem over de hele lijn beter scoort.
Vervolgens maken we de vergelijking van het gecombineerde systeem met de voorspellingen
volgens de gokkantoren in Figuur 5.6. Deze resultaten lopen over het algemeen zeer gelijk,
maar toch zitten hier en daar verschillen in de voorspellingen. Het is dus niet zo dat de
systemen dezelfde fouten maken bij dezelfde wedstrijden.
5.8.2
De voorspellingen waar nog fouten gemaakt worden
We bouwen voort op de analyse van het beste gecombineerde systeem. Er zijn vier categorie¨en waar de voorspellingen nog foutlopen:
• Gelijke spelen zijn te zeldzaam om te gaan voorspellen, dus hoe meer gelijke spelen
in een bepaalde periode vallen, hoe meer fouten er gemaakt zullen worden. In onze
testverzameling hebben we voor de eerste vijftig wedstrijden 20% gelijke spelen,
waardoor er nog 14% foute voorspellingen gedaan worden (het correctheidspercentage ligt daar namelijk op 66%). Bij de volgende vijftig wedstrijden hebben we 10%
gelijke spelen, waardoor er nog 20% foute voorspellingen gedaan worden (want het
correctheidspercentage ligt daar op 70%).
• Onvoorspelbare resultaten, waarbij een topploeg van een kleine ploeg verliest. Alle
voorspellingssystemen gaan normaal de topploeg aanduiden als winnende partij,
waardoor alle voorspellingssystemen dezelfde fout maken.
• Wedstrijden tussen twee ploegen die erg aan elkaar gewaagd zijn, en waarbij voor
de verkeerde partij gekozen wordt. Deze wedstrijden maken normaal het verschil
tussen de voorspellingssystemen, en geven aan of een beter voorspellingssysteem
nog mogelijk zou kunnen zijn.
• Wedstrijden die volgens de logica een duidelijke winnaar zouden moeten hebben,
maar die door ons systeem toch een andere winnaar toegewezen krijgen.
59
Figuur 5.5: Het aantal correcte voorspellingen per speeldag voor enkele individuele systemen, en
de combinatie ervan. (Opmerking: speeldagen 29 en 32 bestaan elk uit maar vijf wedstrijden)
60
Figuur 5.6: Het aantal correcte voorspellingen per speeldag voor het beste (gecombineerde)
voorspellingssysteem, vergeleken met de gokkantoren. (Opmerking: speeldagen 29 en 32 bestaan
elk uit maar vijf wedstrijden)
61
Wedstrijd
Uitslag
Onvoorspelbare uitslagen
Stoke v Man Utd
2-1
Newcastle v Sunderland
0-3
Aston Villa v Chelsea
1-0
Crystal Palace v Chelsea
1-0
Partijen aan elkaar gewaagd
Man Utd v Tottenham
1-2
Fulham v Sunderland
1-4
Cardiff v West Ham
0-2
Man City v Chelsea
0-1
Aston Villa v Stoke
4-3
Newcastle v Everton
0-3
Swansea v Norwich
3-0
Sunderland v West Ham
1-2
Norwich v West Brom
0-1
Cardiff v Crystal Palace
0-3
Aston Villa v Fulham
1-2
Onlogische voorspellingen
Southampton v Chelsea
0-3
Southampton v West Brom
1-0
Voorspelling
Uitwinst
Thuiswinst
Uitwinst
Uitwinst
Thuiswinst
Thuiswinst
Thuiswinst
Thuiswinst
Thuiswinst
Thuiswinst
Uitwinst
Thuiswinst
Thuiswinst
Thuiswinst
Thuiswinst
Thuiswinst
Uitwinst
Tabel 5.14: De voorspellingen van combA as die fout zijn, verdeeld over de drie categorie¨en
(gelijke spelen niet meegerekend)
In Tabel 5.14 worden de wedstrijden uit de laatste drie categorie¨en die door combA as
nog fout voorspeld worden, weergegeven.
Bij wedstrijden waarbij de partijen aan elkaar gewaagd zijn, valt het op dat bijna altijd
voor een thuiswinst gekozen wordt. Dat is zo wegens het thuisvoordeel, en het feit dat de
meeste wedstrijden in een thuiswinst eindigen.
5.8.3
Een vergelijking met de gokkantoren
Een finale vergelijking kunnen we maken door te kijken wat de opbrengst zou zijn mochten
we op elke wedstrijd ´e´en euro inzetten. We vergelijken met de benadering wanneer we
gewoon de grootste kans volgens de gokkantoren volgen.
Op elke wedstrijd een euro inzetten, wil zeggen dat we honderd euro inzetten in totaal.
Wanneer we volgens de gokkantoren inzetten, maken we daarop een winst van 18,55 euro.
Het is echter niet zo dat de gokkantoren volgen altijd lucratief is. Dit hangt vooral van
de resultaten af. Over de eerste honderd wedstrijden van onze dataverzameling werd er
door de gokkantoren te volgen een verlies van 2,34 euro opgetekend.
Wanneer we terug over de laatste honderd wedstrijden kijken, en inzetten volgens de
voorspellingen van een statistische voorspeller (statB ), levert dat 25,82 euro op. Wanneer
62
Voorspellingssysteem sd 20-24
gokkantoren
0.66
statA
0.60
statB
0.58
aantallen
0.48
sent2
0.50
voorspThuis/Uit
0.58
voorspGemiddelde
0.62
combA as
0.66
combC2
0.62
sd 29-34
0.68
0.64
0.70
0.52
0.56
0.68
0.60
0.70
0.70
sd 20-24, 29-34
0.67
0.62
0.64
0.50
0.53
0.63
0.61
0.68
0.66
sd 10-24, 29-34
0.620
0.570
0.575
0.485
0.460
0.545
0.605
0.610
Tabel 5.15: Overzicht van de belangrijkste resultaten
we echter inzetten volgens combA as, maken we een winst van maar liefst 29,70 euro.
Ons systeem presteert dus ook hier beter dan de gokkantoren of de statistische benadering.
5.9
Overzicht van de belangrijkste resultaten
Om dit hoofdstuk te besluiten, geven we in Tabel 5.15 nog eens een overzicht van de
belangrijkste resultaten die in dit hoofdstuk behaald werden.
In dit hoofdstuk hebben we zowel onze individuele als gecombineerde systemen ge¨evalueerd.
Onze eerste module haalde over de honderd testwedstrijden een correctheidspercentage
van 64%. De beste systemen voor de tweede en derde modules haalden respectievelijk
50% en 53%. Met de vierde module haalden we maximaal 63%. Wanneer we onze beste
systemen echter gingen combineren, konden we het correctheidspercentage optrekken naar
maar liefst 68%. Daarmee doen we zelfs beter dan de gokkantoren, waar maar 67% van
de wedstrijden correct voorspeld werden.
We kunnen dus besluiten dat de collectieve kennis op Twitter een relevante bron aan
informatie is wanneer we voetbalwedstrijden willen gaan voorspellen. Door de combinatie
met bestaande systemen maken kunnen we een nog beter systeem samenstellen.
63
Hoofdstuk 6
Besluit en toekomstig werk
6.1
Besluit
In deze masterproef hebben we aan de hand van Twitter wedstrijden proberen voorspellen
uit de Engelse Premier League. We hebben dat gedaan op vier manieren:
1. Statistiek (nog geen Twitter): wedstrijden voorspellen op basis van de positie in
de competitie, het aantal gemaakte doelpunten, de vorm in de laatste wedstrijden,
...
2. Aantal berichten: wedstrijden voorspellen op basis van het aantal berichten dat
in de aanloop naar de wedstrijd over beide ploegen geplaatst werd.
3. Sentimentanalyse: wedstrijden voorspellen op basis van de emoties die de berichten per ploeg bevatten in de aanloop naar de wedstrijd.
4. Voorspellingen door gebruikers: wedstrijden voorspellen op basis van wat de
gebruikers op Twitter zelf voorspellen.
De tweede en derde manier konden eenvoudige algoritmen niet overtreffen. De statistische manier haalde wel erg goede resultaten. Ook de vierde manier, die enkel Twitter
gebruikt, behaalde resultaten die gelijkaardig zijn aan die van de statistische benadering.
Vervolgens hebben we geprobeerd om de vier benaderingen te combineren, om zo een grotere hoeveelheid informatie aan te kunnen spreken waardoor de correctheidspercentages
nog zouden kunnen stijgen. Wanneer we de vier individuele modules bundelden, lukte
het niet om de percentages te verbeteren. Wanneer we echter de minder goede tweede en
derde modules weglieten, lukte het wel om het correctheidspercentage van 64% naar 68%
te verhogen. Daarmee doen we beter dan de resultaten die op basis van de gokkantoren
64
voorgelegd kunnen worden. Twitter bevat dus zeker waardevolle informatie om voetbalwedstrijden te voorspellen, waarmee in combinatie met andere informatie een effici¨ent
voorspellingssysteem te vormen valt.
6.2
Toepasbaarheid op het WK
Twee weken na het indienen van deze masterproef begint in Brazili¨e het wereldkampioenschap voetbal. Het is dan ook interessant om eens na te denken in welke mate deze
masterproef kan ingezet worden in andere competities, en dus meer specifiek op het WK.
We bekijken per module de mogelijke problemen die zouden kunnen optreden.
Module 1 - Statistiek
Voor normale competities werkt de statistische benadering op dezelfde manier als in de
Premier League, en zal die ook dezelfde resultaten behalen. Bij het WK dienen we echter
op te letten. Het WK wordt maar ´e´en keer om de vier jaar gespeeld, en dus kan er in
die periode veel veranderen. Ploegen veranderen erg ten op zichte van het vorige WK
(of zelfs EK). Wanneer we bijvoorbeeld naar de Rode Duivels kijken, staat er nu een
veel sterkere ploeg dan enkele jaren geleden, en het laatste WK waaraan ze deelnamen,
dateert zelfs al van 2002. Belgi¨e wordt echter door velen bij de outsiders geplaatst voor het
WK. Er kan natuurlijk afgegaan worden op kwalificatiecampagnes of de wereldranglijst,
maar daarvoor werden veel wedstrijden vaak tegen een groot aantal matige tot slechte
ploegen gespeeld en die zijn dus niet noodzakelijk representatief voor de kracht van de
ploeg. Ook is een groot tornooi een hele andere belevenis waarbij ervaring een grotere rol
speelt. Voor de statistische benadering zal dus best een specifiekere aanpak gelden, waarbij
naar een combinatie gekeken wordt van voorbije grote tornooien, kwalificatiecampagnes,
individuele prestaties van de spelers bij hun clubs, ...
Module 2 - Aantal berichten
Om het aantal berichten te meten, gaat de grootte en bevolking van het land een belangrijke rol spelen. Dit was natuurlijk al het geval in de Engelse competitie, maar op
wereldschaal heeft dit een nog grotere invloed. Grote landen met een minder sterk elftal
(bijvoorbeeld de Verenigde Staten) zouden zo een veel groter aantal berichten kunnen
toegewezen krijgen dan landen met een klein bevolkingsaantal maar een erg sterke voetbalploeg (bijvoorbeeld Nederland dat op het vorig WK de tweede plaats behaalde).
65
Module 3 - Sentiment
De sentimentanalyse zou nog het grootste probleem geven. De sentimentanalyse is namelijk heel erg taalgebonden. In de Engelse competitie wordt het overgrote deel van de
berichten in het Engels geplaatst. Op het WK is dat echter niet het geval. Zo zou er voor
elke mogelijke taal een apart model gemaakt moeten worden, ´en de berichten moeten dan
nog eens de juiste taal toegewezen krijgen. Hier kan dus nog meer foutlopen, dus lijkt
deze manier van werken niet toepasbaar op het WK. Ook in onze Belgische competitie
zou wegens de tweetaligheid het systeem al problemen krijgen.
Module 4 - Voorspellingen
Het extraheren van voorspellingen uit Twitterberichten zou geen probleem mogen geven,
indien we rekening houden met de verschillende schrijfwijzen voor elke ploeg. Wel dient
er opgemerkt te worden dat partijdigheid een grotere invloed kan gaan hebben dan in de
Premier League. Net zoals bij het aantal berichten, zullen grotere landen hier een voordeel
krijgen, omdat er meer eigen supporters zijn die een positieve voorspelling voor hun ploeg
plaatsen. We verwachten echter dat die partijdigheid tenietgedaan wordt door het feit
dat heel de wereld naar het WK kijkt, en dat het aantal niet-partijdige berichten nog veel
groter is. Deze module zou dus even goed moeten werken als in de Premier League.
6.3
Toekomstig werk
Meer Twitterdata verzamelen
De grootste tekortkoming in deze masterproef is het gebrek aan Twitterdata. We hebben
maar van 200 wedstrijden data, wat ongeveer de helft van ´e´en voetbalseizoen in de Premier
League is. Om algemenere conclusies te trekken, die minder situatiegebonden zijn, zou
er Twitterdata van enkele seizoenen verzameld moeten worden. Zo kan er op enkele
seizoenen geoefend worden, om dan vervolgens voor ´e´en of meer seizoenen alles te gaan
voorspellen. Op die manier worden enkele specifieke eigenschappen van het voetbalseizoen
opgelost:
• Het feit dat in het begin van de seizoen de machtsverhoudingen nog niet gekend
zijn. Er gaan bijvoorbeeld nog minder goede teams bovenaan het klassement staan.
Naar het einde van het seizoen toe staat iedereen waar hij moet staan en heeft het
publiek ook een beter idee waartoe elke ploeg in staat is.
• Het feit dat op het einde van het seizoen de resultaten voorspelbaarder worden,
omdat de titelkandidaten nu absoluut moeten winnen wanneer de titel dichtbij is.
66
Die verbetenheid is in het begin van het seizoen niet altijd even drastisch aanwezig.
Ook zullen in een normaal seizoen steeds meer (top)ploegen uitgeschakeld worden
in de Europese competities, waardoor ze zich naar het einde van het seizoen toe met
de volledige ploeg op de competitie kunnen concenteren.
Diepgaande sentimentanalyse
Wegens de tijdsbeperkingen van deze masterproef, is het niet mogelijk geweest om een
heel diepgaande sentimentanalyse te doen. In de literatuur [13, 23] werden nog allerlei
manieren beschreven om een uitvoerige analyse te maken van wat gebruikers net in hun
berichten willen vertellen. Door berichten effici¨enter te gaan categoriseren, kan van de
sentimentanalyse misschien nog wel een waardevolle bron van informatie gemaakt worden,
die dan ook nog eens aan het gecombineerd systeem toegevoegd kan worden.
67
Bibliografie
[1] http://www.thesportsgeek.com/sports-betting/math/, November 2013.
[2] http://www.betexplorer.com/soccer/england/premier-league/results/, May 2014.
[3] S. Bergsma, D. Jung, R. Lau, and Y Wang. Machine learning approaches to sentiment
classification. In Proceedings of EMNLP, pages 79–86, Department of Computing
Science, University of Alberta, 2002.
[4] J. Bollen, H. Mao, and X. Zeng. Twitter mood predicts the stock market. Journal
of Computational Science, 2(1):1–8, March 2011.
[5] Chih-Chung Chang and Chih-Jen Lin. Libsvm: A library for support vector machines. ACM Trans. Intell. Syst. Technol., 2(3):27:1–27:27, May 2011.
[6] Gambling Commission. Industry statistics, april 2009 to march 2012. Technical
report, 2012.
[7] Kevin Gimpel, Nathan Schneider, Brendan O’Connor, Dipanjan Das, Daniel Mills,
Jacob Eisenstein, Michael Heilman, Dani Yogatama, Jeffrey Flanigan, and Noah A.
Smith. Part-of-speech tagging for twitter: Annotation, features, and experiments.
In Proceedings of the 49th Annual Meeting of the Association for Computational
Linguistics: Human Language Technologies: Short Papers - Volume 2, HLT ’11,
pages 42–47, 2011.
[8] Jennifer Golbeck and Derek Hansen. Computing political preference among twitter
followers. In Proceedings of the SIGCHI Conference on Human Factors in Computing
Systems, CHI ’11, pages 1105–1108, 2011.
[9] Pollyanna Gon¸calves, Matheus Ara´
ujo, Fabr´ıcio Benevenuto, and Meeyoung Cha.
Comparing and combining sentiment analysis methods. In Proceedings of the first
ACM conference on Online social networks, COSN ’13, pages 27–38, 2013.
[10] Thorsten Joachims. Text categorization with suport vector machines: Learning with
many relevant features. In Proceedings of the 10th European Conference on Machine
Learning, ECML ’98, pages 137–142, 1998.
68
[11] A. Joseph, N. E. Fenton, and M. Neil. Predicting football results using bayesian nets
and other machine learning techniques. Know.-Based Syst., 19(7):544–553, November
2006.
[12] Matthias Kunz. 265 million playing football. In FIFA Magazine, pages 10–15, July
2007.
[13] Xiaohua Liu, Kuan Li, Bo Han, Ming Zhou, Long Jiang, Zhongyang Xiong, and
Changning Huang. Semantic role labeling for news tweets. In Proceedings of the
23rd International Conference on Computational Linguistics, COLING ’10, pages
698–706, 2010.
[14] Xiaohua Liu, Kuan Li, Ming Zhou, and Zhongyang Xiong. Collective semantic role
labeling for tweets with clustering. In Proceedings of the Twenty-Second International
Joint Conference on Artificial Intelligence, volume 3 of IJCAI’11, pages 1832–1837,
2011.
[15] Panagiotis Takis Metaxas, Eni Mustafaraj, and Daniel Gayo-Avello. How (not) to
predict elections. In SocialCom/PASSAT, pages 165–171. IEEE, 2011.
[16] Thomas
M.
Mitchell.
Machine
learning
(extra
http://www.cs.cmu.edu/ tom/mlbook/NBayesLogReg.pdf, 2005.
chapters).
[17] Subhabrata Mukherjee, Akshat Malu, Balamurali A.R., and Pushpak Bhattacharyya.
Twisent: a multistage system for analyzing sentiment in twitter. In Proceedings of
the 21st ACM international conference on Information and knowledge management,
CIKM ’12, pages 2531–2534, 2012.
[18] Bo Pang, Lillian Lee, and Shivakumar Vaithyanathan. Thumbs up?: Sentiment
classification using machine learning techniques. In Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing - Volume 10, EMNLP
’02, pages 79–86, 2002.
[19] Hassan Saif, Yulan He, and Harith Alani. Semantic sentiment analysis of twitter.
In Proceedings of the 11th international conference on The Semantic Web - Volume
Part I, ISWC’12, pages 508–524, 2012.
[20] L. Shi, N. Agarwal, A. Agrawal, R. Garg, and J. Spoelstra. Predicting us primary
elections with twitter. In Proceedings of Social Network and Social Media Analysis:
Methods, Models and Applications (NIPS Workshop), Lake Tahoe, NV, December 7,
2012.
69
[21] S. Sinha, C. Dyer, K. Gimpel, and N. A. Smith. Predicting the nfl using twitter. In
Proceedings of ECML/PKDD Workshop on Machine Learning and Data Mining for
Sports Analytics, 2013.
[22] A. Tsakonas, G. Dounias, S. Shtovba, and V. Vivdyuk. Soft computing-based result prediction of football games. In The Ist International Conference on Inductive
Modelling, ICIM’2002, pages 15–23, 20-25 May 2002.
[23] Xiaofeng Wang, Matthew S. Gerber, and Donald E. Brown. Automatic crime prediction using events extracted from twitter posts. In Proceedings of the 5th International Conference on Social Computing, Behavioral-Cultural Modeling and Prediction,
SBP’12, pages 231–238, 2012.
70
Lijst van figuren
3.1
De GUI van WEKA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.2
Een voorbeeld van een enkele vectoren in een csv-bestand . . . . . . . . . . 13
3.3
Het principe van kruisvalidatie . . . . . . . . . . . . . . . . . . . . . . . . . 15
4.1
Een voorbeeld van hoe de verschillende types vectoren tot stand komen
(Module 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4.2
Een voorbeeld van hoe de verschillende types vectoren tot stand komen
(Module 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.3
Een voorbeeld van hoe de verschillende types vectoren tot stand komen
(Module 3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4
Een voorbeeld van hoe de verschillende types vectoren tot stand komen
(Module 4) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.5
Gecombineerde systemen van type C: het opbouwen van de vectoren door
de voorspellingen van voorgaande modules te combineren . . . . . . . . . . 34
5.1
De tests volgens het chronologisch model. . . . . . . . . . . . . . . . . . . . 38
5.2
De tests volgens het niet-chronologisch model. . . . . . . . . . . . . . . . . 40
5.3
Het gemiddeld aantal berichten per dag voor Arsenal. . . . . . . . . . . . . 46
5.4
Het klassement op 13 april, en het klassement op basis van berichtenaantallen op Twitter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.5
Het aantal correcte voorspellingen per speeldag voor enkele individuele systemen, en de combinatie ervan. (Opmerking: speeldagen 29 en 32 bestaan
elk uit maar vijf wedstrijden) . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.6
Het aantal correcte voorspellingen per speeldag voor het beste (gecombineerde) voorspellingssysteem, vergeleken met de gokkantoren. (Opmerking:
speeldagen 29 en 32 bestaan elk uit maar vijf wedstrijden) . . . . . . . . . 60
71

Info jeugdbeker Godsheide U10

FactSheet Bouma Webmonitoring

Info en reglement

ADD •ON - Flash Services

Cyclocrossmi

KOM HELPEN EN ERVAAR HET GEVOEL VAN

Wedstrijdverslag Pusphaira Dames 2

Geachte heer Cijntje, Hierbij willen wij U mededelen dat wij, in

Van de wedstrijdcommissie Bij de wedstrijdkalender maken wij de

Beste leden van FCV D´n Urste, FCV Volkel en FCC Wheels, We