Drawing Drawing

Objektives Wissen und dominante Entscheidungsregeln auf Basis emergenzbasierten Maschinenlernens



Zentrum für Emergenzbasierte Statistik
http://zes.dhbw-vs.de

André Kuck, Norbert Kratz, Hans Frischhut

kuck@dhbw-vs.de, kratz@dhbw-vs.de, frischhut@dhbw-vs.de

Inhalt

  1. Die Lösung des Induktionsproblems mit Hilfe emergenter Gesetze
    • 1.1. Das Induktionsproblem
    • 1.2. Emergente Gesetze und T-dominante Entscheidungsregeln
    • 1.3. Metagesetze - Gesetze über die Prognosegüte von emergenten Gesetzen
  2. Zentrale Vorteile Emergenzbasierter Statistik am Beispiel von Gebrauchtwagenangeboten
    • 2.1. Empirische Analyse der Natur der Prognoseprobleme mithilfe von Metagesetzen
    • 2.2. KnowledgeWarehouses - Datenbanken mit emergenten Gesetzen
    • 2.3. State-of-the-art Prognoseperformance
  3. Emergente Gesetze in Wissenschaft, Praxis und Lehre
    • 3.1. Risikoprämie und Aktienauswahl - Reformulierung und Überprüfung wissenschaftlicher Hypothesen
    • 3.2. Gesetze über Konsequenzen in praktischen Entscheidungssituationen - (Kontrafaktische) Experimente
    • 3.3. Emergente Gesetze in der Lehre: Der Methodenserver des ZES

1. Die Lösung des Induktionsproblems mit Hilfe emergenter Gesetze

1.1. Das Induktionsproblem

Induktion von Beobachtungen auf ein allgemeines Gesetz, das zur Prognose verwendet werden kann:

Bisher sind alle Raben, die wir beobachtet haben, schwarz.

  • Induktionsschluss: Alle Raben sind schwarz.
  • Verwendung zur Prognose: Der nächste Rabe ist schwarz.

Probleme der induktiven Vorgehensweise:

  1. Es gibt bisher nicht "genug" Aussagen, die bisher immer wahr waren.
  2. Die Anwendung der Induktionsregel auf sich selbst ("Alles was wir bisher immer beobachtet haben, passiert immer") scheitert. Die Induktionsregel selbst ist empirisch falsifiziert.

Aus diesen Gründen verwendet man heute meist Wahrscheinlichkeitsaussagen:

Die Wahrscheinlichkeit, dass es morgen regnet, beträgt 50%.

Probleme der wahrscheinlichkeitsbasierten Vorgehensweise:

  1. Es gibt keine Beobachtung, die die Aussage verifiziert und keine, die sie falsifiziert.
  2. Es gibt keine Beobachtung, aus der sie objektiv abgeleitet werden kann.
  3. Rückgriff auf nicht überprüfbare „Verteilungsannahmen“ und die „Testtheorie“.

→ Wir behaupten zurzeit, alles mit "Wahrscheinlichkeit" zu wissen.

→ Leider können diese Behauptungen nur im Unendlichen und somit gar nicht objektiv überprüft werden!

1.2. Emergente Gesetze und T-dominante Entscheidungsregeln


Beispiel für ein emergentes Gesetz: Heimvorteil beim Fußball

Nach jeder Sequenz von T=256 Spielen war die Rate gewonnener Spiele der Heimmannschaft größer als die der Auswärtsmannschaft. Die Wahrheit dieser Aussage ist bis jetzt DiV=55,63 mal bestätigt.

In [6]:
data,_,_=loaddata('soccer',True,1)
aktlaw=LLaws(data,'df.gewonnen_h',x='df.gewonnen_a',bed_y='df.C',bed_x='df.C')
aktlaw.PlotLaws('ct')
display(aktlaw.DescribeLaw()[['Target','Bench','Bed_y','R','Bed_x','TU_ct','Div(TU_ct)','Min(TU_ct)','Max(TU_ct)']])
Target Bench Bed_y R Bed_x TU_ct Div(TU_ct) Min(TU_ct) Max(TU_ct)
0 df.gewonnen_h df.gewonnen_a df.C > df.C 256 55.636719 0.035156 0.308594

Beispiel für T-Dominante Entscheidungsregeln: Peer-to-Peer Kredite der Plattform "LendingClub"

Kreditportfolioauswahlregeln mit nach jeder Sequenz von 512 Krediten unterschiedlicher Rendite.

Man erkennt, dass es Auswahlregeln gibt, die nach jeder Sequenz von T=512 Krediten immer eine höhere Rendite aufwiesen.

Die Eigenschaft einer Handlungsheuristik, nach jeder Sequenz von T Entscheidungen nach einer Bewertungsmetrik (hier Rendite) zu einem besseren Ergebnisse zu führen, nennen wir T-Dominanz.

Eine Auswahl von Portfoliokonstruktionsstrategien auf Basis von Sharpe-Ratio oder RAROC würde zur Wahl der von allen anderen dominierten Strategie führen.

In [24]:
res=knowledge.evalnet(3426,'y_rend',select_obj="minT",MinT=4000)
display(res)
Used Objective: ['(df.y_rend)']
Reliability of Net: 0.95
Global RelLevel 0.95
Global MinObs 128
Peergroup 512.0
Necessary Size of closest objects: 3620.0 4644.0
Number of Objects: 4
Parsing Net:
id_learning_process id_knowledge_net Beispiel start_rel EstSample exmean greater_net AnzQuantile TimeSeries Random_Order objective_name
0 1095 3426 lending_club 0.95 0.75 0 True 5 True False (df.y_rend)
Global RelLevel 0.95
Global MinObs 128
Able to convert int_rate into float64
Able to convert revol_util into float64
Total Number of Objects in Net: 4 Calculated: 4 (((~(((categorize(df.int_rate,2)==1.0)|(categorize(df.int_rate,3)==2.0))|(categorize(df.in              
Objectives of the AND-Net
['(df.y_rend)']
Old number of objects in OR-Knowledge_Net 5
Creating AND-Net, run: 1                
Done: New number of objects in AND-Knowledge_Net 6
Number of objects in peergroup: 4
Calculate Object Number: 4       
id_object_name id_object obj Rel T Div min max mean obs EvalMin EvalMax EvalMean objective_name EvalObs
0 253572 6673739 (((~(((categorize(df.int_rate,2)==1.0)|(catego... 0.95 512 8.0 0.113970 0.180035 0.149148 4182 0.146157 0.185681 0.168326 (df.y_rend) 1447
1 253544 6673705 ((~(((categorize(df.int_rate,2)==1.0)|(categor... 0.95 512 8.0 0.080663 0.159280 0.127034 4132 0.135558 0.189442 0.163332 (df.y_rend) 2509
2 253557 6673720 (((categorize(df.int_rate,2)==1.0)|(categorize... 0.95 512 8.0 0.065564 0.116514 0.086110 4186 0.103391 0.125120 0.112931 (df.y_rend) 1371
3 253542 6673703 ((categorize(df.int_rate,5)==1.0)&(categorize(... 0.95 512 8.0 0.030531 0.081286 0.059954 4197 0.071053 0.086091 0.087303 (df.y_rend) 490
In [25]:
print(res.obj.iloc[2])
print()
print(res.obj.iloc[0])
(((categorize(df.int_rate,2)==1.0)|(categorize(df.int_rate,3)==2.0))&(df.home_ownership=='OWN'))

(((~(((categorize(df.int_rate,2)==1.0)|(categorize(df.int_rate,3)==2.0))|(categorize(df.int_rate,5)==4.0)))&(categorize(df.annual_inc,4)==4.0))&(~(categorize(df.dti,4)==4.0)))

Es bleibt die Frage, ob die bei obigem Beispiel zu beobachtende gute Performance von Prognosen mit emergenten Gesetzen ein systematisches Phänomen ist.

Kann man das Konstruktionsprinzip emergenter Gesetze auch auf die Prognosen mit emergenten Gesetzen anwenden?

1.3. Gesetze über die Prognosegüte von emergenten Gesetzen - Metagesetze


Lerner suchen ab einem beliebigen Zeitpunkt nach Gesetzen über die relative mittlere Luftfeuchtigkeit in Washington DC.

Sie prognostizieren, dass die bis zum Zeitpunkt t in Fenstern der Größe T DiV-mal immer beobachtete Relation zwischen den mittleren Luftfeuchtigkeiten auch im Fenster t+T gilt.

Bei der Evaluierung der Prognosen ergeben sich die folgenden Zeitpfade der empirisch beobachteten Raten richtiger Prognosen (Rel) in Abhängigkeit von DiV:

In [3]:
knowledge=Knowledge_View("KnowledgeDB_Version_06_11_2017.db")
knowledge.plotrel("hum","0_3_C2b",3000,True,0)
Correcting Objective-Names

Betrachtet man viele Prognoseprobleme, so kann man z. B. die folgenden emergenten Meta-Gesetze finden:

Wenn eine Aussage A DiV-mal bestätigt wurde, dann gehört die Prognose, dass A beim nächsten Mal wieder auftreten wird, zu einer Kategorie von Prognosen, für die gilt:
In jeder Sequenz von Prognosen der Länge T>=TU war der Anteil wahrer Prognosen >=Rel.

In [20]:
knowledge.show_overview_MetaLaws_1(Rels=["0.6","0.7","0.8","0.9","0.99","0.999"])
Global RelLevel 0.9
Global MinObs 32
credit 0_3_C2b does not exist. Replaced with 0_3_C1b 0_3_C1b File found.
homeside 0_3_C2b does not exist. Replaced with 0_3_C1b 0_3_C1b File found.
soccer_tordiff 0_3_C2b File found.
bike 0_3_C2b File found.
bank 0_3_C2b File found.
temp 0_3_C2b File found.
hum 0_3_C2b File found.
lendingclub_rendite 0_3_C2b File found.
lendingclub_pd 0_3_C2b File found.
C_SU 0_3_C2b File found.
C_DJ 0_3_C2b File found.
C_R2 0_3_C2b File found.
C_DAX 0_3_C2b File found.
C_FT 0_3_C2b File found.
C_NI 0_3_C2b File found.
SuP_Rend 0_3_C2b File found.
soccer_wgheim 0_3_C2b File found.
soccer_wgaus 0_3_C2b File found.
soccer_wgun 0_3_C2b File found.
Out[20]:
Reliability-Level 0.6 0.7 0.8 0.9 0.99 0.999
DiV-Group
1 16777216.0 NaN NaN NaN NaN NaN
2 134217728.0 8388608.0 NaN NaN NaN NaN
4 67108864.0 268435456.0 NaN NaN NaN NaN
8 8388608.0 67108864.0 67108864.0 NaN NaN NaN
16 8388608.0 4194304.0 33554432.0 16777216.0 NaN NaN
32 262144.0 524288.0 4194304.0 67108864.0 NaN NaN
64 65536.0 262144.0 4194304.0 4194304.0 2097152.0 NaN
128 262144.0 2097152.0 65536.0 524288.0 524288.0 NaN
256 16384.0 32768.0 32768.0 131072.0 131072.0 2097152.0
512 8192.0 16384.0 16384.0 32768.0 1048576.0 524288.0
1024 2048.0 4096.0 8192.0 16384.0 262144.0 131072.0
2048 1024.0 1024.0 2048.0 4096.0 65536.0 65536.0
4096 128.0 128.0 256.0 512.0 8192.0 8192.0
8192 16.0 16.0 32.0 64.0 512.0 4096.0
16384 8.0 16.0 32.0 64.0 512.0 4096.0
32768 8.0 8.0 16.0 32.0 256.0 2048.0
200000 4.0 4.0 8.0 16.0 128.0 1024.0

Lösung des Induktionsproblems mit Hilfe von Metagesetzen:

  • Bisher waren alle 8193 (DiV=8192) beobachteten Raben schwarz.
  • Bisher waren in jeder Sequenz von 512 Prognosen mit 8192 mal bestätigten Gesetzen mindestens 99% richtig.

    → Die Prognose, dass der nächste Rabe schwarz sein wird, gehört zu einer Art von Prognosen, von denen nach jeder Sequenz von 512 Prognosen bisher immer mindestens 99% richtig waren.


  • Metagesetze über die Rate richtiger Prognosen zeigen, was man bisher immer über die Mindestgüte von Prognosestrategien sagen konnte.
  • Sie erlauben die Anwendung des emergenten Induktionsprinzips auf Induktionsergebnisse und lösen so das Induktionsproblem.
  • Darüber hinaus existieren Metagesetze über die relative Performance von Modellbildungsprozessen, Modell-Updatestrategien etc.
  • Auf dieser Basis haben wir einen durch Metagesetze gesteuerten Lernprozess entwickelt.

2. Zentrale Vorteile Emergenzbasierter Statistik am Beispiel von Gebrauchtwagenangeboten

Datensatz: Gebrauchtwagenangebote im Internet

  • ~300.000 Gebrauchtwagenangebote auf der Plattform Ebay-Kleinanzeigen (source)
  • Zeitraum 2015/2016
  • Vorhandene Information sind z.B. Marke, Model, Alter, PS, Kilometer, Schaltung, Unfallschaden etc.
  • Interessante Größen zur Vorhersage:
    • Angebotspreis in € (Spalte price)
    • Dauer bis zum Verkauf in Stunden (Spalte offer_period)
In [14]:
data.tail()
Out[14]:
price offer_period brand model car_age powerPS kilometer vehicleType fuelType gearbox seller notRepairedDamage offerType abtest nrOfPictures monthOfRegistration postalCode postalCode_region postalCode_precise length_title dateCrawled dateCreated lastSeen
index
297636 3200 20.745278 seat leon 12 225 150000 limousine benzin manuell privat ja Angebot control 0 5 96465 9 96 12 2016-03-19 19:53:49 2016-03-19 2016-03-19 20:44:43
297637 1199 162.286667 smart fortwo 16 101 125000 cabrio benzin automatik privat nein Angebot test 0 3 26135 2 26 37 2016-03-05 19:56:21 2016-03-05 2016-03-11 18:17:12
297638 9200 463.257222 volkswagen transporter 20 102 150000 bus diesel manuell privat nein Angebot test 0 3 87439 8 87 34 2016-03-19 18:57:12 2016-03-19 2016-04-07 07:15:26
297639 3400 108.755833 volkswagen golf 14 100 150000 kombi diesel manuell privat nan Angebot test 0 6 40764 4 40 22 2016-03-20 19:41:08 2016-03-20 2016-03-24 12:45:21
297640 28990 363.286111 bmw m_reihe 3 320 50000 limousine benzin manuell privat nein Angebot control 0 8 73326 7 73 44 2016-03-07 19:39:19 2016-03-07 2016-03-22 03:17:10

2.1. Empirische Analyse der Natur der Prognoseprobleme mithilfe von Metagesetzen

Nach unseren Erkenntnissen lassen sich Prognoseprobleme in identifizierbare Klassen unterteilen, die die Verwendung unterschiedlicher Prognoseverfahren notwendig machen:

  1. Probleme mit naturwissenschaftlichem Charakter
    • Eigenschaften der Metagesetze: Man findet im Zeitablauf stabile Gesetze mit einem maximalen DIV>256
    • Methoden: Emergente Modellbildung mit Messgrößen als exogenen Variablen.

  2. Probleme mit spieltheoretischem Charakter und stabilen Lerngeschwindigkeiten (Fussballwetten, Kreditrisiko)
    • Eigenschaften der Metagesetze: Man findet im Zeitablauf stabile Gesetze, aber nur einem maximalen DIV<=256
    • Methoden: Verwendung von Moden (nur zwischenzeitlich bestätigter Gesetze) als exogene Variablen.

  3. Probleme mit spieltheoretischem Charakter und variabler Lerngeschwindigkeit (Aktienmärkte)
    • Eigenschaften der Metagesetze: Gesetze nur mit einem maximalen DIV<=256 und im Zeitablauf abnehmender Rel
    • Methoden: Verwendung von Moden (nur zwischenzeitlich bestätigter Gesetze) als exogene Variablen unter Berücksichtigung der aktuellen Lerngeschwindigkeit