Побољшајте пословне одлуке помоћу три алата за интерпретацију машинског учења

Тумачење машинског учења је врло врућа истраживачка тема, а нови научни радови и чланци на ову тему објављују се сваке недеље. Овај чланак представља три комплементарна алата који покривају већину наших потреба за стројним учењем на МаноМано-у где свакодневно помажемо више од милион Европљанаца да пронађу оно што желе у нашем каталогу од 3 милиона производа за самостално и баштованство:

  1. Значајке функције: које карактеристике модел највише користи?
  2. Графикон парцијалне зависности: како модел користи одређену варијаблу?
  3. Значајни допринос: зашто је модел направио ово посебно предвиђање?
ккцд

Зашто требамо тумачити наше моделе машинског учења?

  • Схватите свој посао: Који фактори потичу стопу конверзије веб локација? Какав је утицај цене отпреме на њу?
  • Створите поверење код пословних колега: Зашто је ово предвиђање предвиђања продаје тако високо? Пошто је производ продат 157 пута прошле недеље и сезоналност за његову категорију расте.
  • Подузмите одговарајуће радње за решавање проблема: Зашто се овај купац вероватно појављује? Јер је имао проблема са квалитетом прошлог месеца.
  • Отклањање грешака / побољшања модела: Зашто је ово предвиђање продаје тако високо? Недостају вриједности у производном скупу података. Зашто смо толико подцијенили? Продаја овог производа је била ниска, јер је био на складишту и нисмо приметили.
Предиктивна моћ насупрот дилеми тумачења (© МаноМано)

Употреба случаја: модернизација стопе конверзије помоћу дрвећа за повећање градијента

Да бисмо илустровали три алата, усредсредили смо се на моделизацију стопе конверзије производа. Ево како изгледа наш скуп тренинга:

Покушавамо да предвидимо стопу конверзије производа за одређени дан, зависно од карактеристика заснованих на производу (цена, оцене, време испоруке итд.) И дан у недељи. Да бисмо поједноставили следећу анализу, вештачки узоркујемо наш скуп података како бисмо имали просечну стопу конверзије од 10%.

Користимо ЛигхтГБМ, изузетно моћан модел ансамбла који користи дрвеће. Овај алат се широко користи у такмичењима података.

Значај функције

Значај функције је алат за израчунавање и брзу визуализацију колико је свака функција у нашем моделу корисна. Овај алат се обично користи у моделима ансамбла попут Рандом Форест или Градиент Боостинг Дрвећа. Што се више функција користи за доношење кључних одлука са стаблима одлука, већи је и њен релативни значај. За више детаља о томе како се израчунава значајност значајки, можете се обратити овом посту на блогу. Замислимо графикон важности карактеристике за наш предиктивни модел:

У складу са овом графиконом, најважније карактеристике за предвиђање стопа конверзије су цена производа, цена отпреме, оцене и време отпреме. То се поклапа са нашим пословним интуицијама, што је одлично.

Утицај недостајућих вредности

Покушајмо с другим подешавањем, замислите да имамо проблем са квалитетом података, а из неког разлога је недостајало 90% вриједности цијена. После преквалификације модела, ево шта добијамо:

Могли бисмо претпоставити да цена није битна карактеристика, што је потпуно погрешно. Радије бисмо потрошили вријеме побољшавајући квалитет података да бисмо побољшали наш модел. Успут, вредности које недостају такође могу садржавати информације. На пример, недостатак просечне оцене једноставно значи да нема оцене и да производ није популаран или нов.

Утицај корелираних променљивих

Додајмо три повезане (и бучне) карактеристике цене и видећемо шта се дешава:

Овде се важност наше „цене“ смањила са 38% на 24%. Значај ове варијабле био је распоређен међу њеним корелираним варијаблама. Штавише, додавање бучних функција повећава употребу меморије и ЦПУ-а и повећава ризик од прекомерног намештања. Због тога важна карактеристика према овом алату можда није неопходна карактеристика.

За и против значајних значајки

  • (+) Врло једноставно за имплементацију, то је неколико линија кода
  • (+) Брзо даје добар увид у сигнал
  • (+) Ефикасан алат за откривање проблема са квалитетом података у скупу података за обуку
  • (-) Корелације осетљиве на карактеристике
  • (-) Осетљив на вредности које недостају
  • (-) Не обезбеђује однос између функције и циљне функције (у нашем примеру знамо да је цена јако повезана са циљем, али не знамо у ком правцу)

Парцијалне парцеле зависности

Графикони с дјеломичном овисношћу корисни су за визуализацију утјецаја неке значајке на предвиђени циљ, маргинализирајући вриједности свих осталих значајки. Такав алат помаже да се схвати повезаност циља и карактеристике, а све остале су једнаке. За потпуну математичку демонстрацију можете погледати ово поглавље Елементи статистичког учења. Парцеле парцијалне зависности могу се користити са свим моделима машинског учења. Препоручујемо употребу врло комплетног ПДПБок питхон пакета.

Да илуструјемо делимичну зависност, узмимо пример из стварног живота везан за наш случај коришћења. Претпоставимо да власници предузећа желе да знају утицај цена отпреме на стопу конверзије. Знајући да је цена отпреме јако повезана са ценом производа, започињемо рачунањем карактеристике схиппинг_ратио која је однос између цене испоруке производа и његове укупне цене:

Направимо униваријантну анализу рачунањем просечне стопе конверзије по канти отпреме_ратио:

Резултирајући граф је прилично јасан: стопа конверзије је позитивно повезана са функцијом ратио_схиппинг! Да ли ћемо комуницирати са власницима предузећа и саветовати их да повећају цене отпреме свих наших производа како би повећали стопу конверзије? Наравно да не, јер повезаност не подразумева узрочно-посљедичну везу. Направимо делимичну анализу зависности од исте променљиве и уочимо разлику:

Као што се очекивало и када узмемо у обзир све остале карактеристике које користи предиктивни модел, могућност испоруке_ратио негативно је повезана са предвиђеном стопом конверзије. Имајте на уму да још увек не видимо стварну узрочност, већ је корекција исправљена из других карактеристика.

За и против парцијалних парцела зависности

  • (+) Показује однос између функције и наше променљиве интереса
  • (+) Омогућује вам да видите неконсорлирани утицај функције на друго, у поређењу са стандардном униваријантном анализом
  • (-) За велике скупове података потребно је много времена
  • (-) Ограничена на дводимензионалне парцеле
  • (-) Корелације осетљиве на карактеристике

Прилог улога

Допринос значајки израчунава утицај сваке карактеристике на дано предвиђање. Даје микро разумевање сваке предвиђања. Као и парцијалне парцеле зависности, допринос карактеристикама се може израчунати без обзира на модел машинског учења који се користи. Можете се обратити овом блогу ако желите знати како се израчунава за насумичне шуме. Функција предвиђања ЛигхтГБМ пружа параметар да их директно израчуна. Предвидимо један од најпопуларнијих производа на МаноМано-у - вежба из Маките - и посматрај допринос сваке карактеристике:

Овај производ има пуно добрих оцена (644 оцена, са 4.69 / 5 просечном вредношћу). Стога је допринос броја оцена оцењеној стопи конверзије + 12%. Међутим, његова цена (167,99 €) је изнад просека. Скупи производи имају нижу стопу конверзије. Стога је његов допринос предвиђеној стопи конверзије -7,5%. Имајте на уму да је збир доприноса једнак предвиђеном степену конверзије (таквом треба додати и пресретање).

Овај поступак можемо поновити за други производ и уочити разлике:

Чак и ако овај производ има предвиђену стопу конверзије сличну претходној Макито бушилици, има други "профил": много је јефтинији (34,2 €) и добро је оцењен, али време и цена отпреме су одвраћајући (6,9 € за отпрему у року 8 дана).

Као и две претходне методе, допринос значајкама је осетљив на корелације карактеристика: ако модел храните са две врло повезане функције, допринос предвиђања биће вештачки подељен са две.

За и против доприноса значајкама

  • (+) Микро објашњење предвиђања као збир доприноса значајки
  • (+) Помаже у истраживању предвиђања ради евентуалног превентивног откривања грешака модела или проблема са квалитетом података
  • (+) Изградите поверење са власницима предузећа објашњавајући им како се алгоритам понаша
  • (+) Омогућавање рецептивног моделирања (вс предиктивног моделирања): објашњавање зашто купац може да се поквари помаже у предузимању исправних радњи
  • (-) Корелације осетљиве на карактеристике

Закључци

Представили смо три алата који покривају већину наших потреба за интерпретацијом на МаноМану. Неке упозорења ако их користите изван оквира:

  • Високо повезане функције представљају сметњу за интерпретацију машинског учења. Морате их се ослободити пре него што покушате да протумачите свој модел.
  • Покушај интерпретације модела са врло лошим предиктивним перформансама (нпр. 0,51 АУЦ) нема смисла. Корисност интерпретације директно је повезана са предиктивним сигналом који је ухватио модел.

Имајте на уму да постоје и други алати за интерпретацију (ЛИМЕ, Схаплеи вредности, ИЦЕ цртежи, итд.) Погледајте потпуни водич Цхристопх Молнар за више информација и математичких детаља о тим алатима.

Надамо се да ће овај чланак бити користан за вас и да бриге о тумачењу више неће представљати проблем приликом употребе моћних техника машинског учења!

Написали Јацкуес Пеетерс и Ромаин Аирес.

Признања

Алекандре Цазе, Иохан Грембер, Цхлое Мартинот, Марин Де Беауцхамп, Брице Тицхит, Рапхаел Симеон, Тхомас Цхаруел, Лоуис Пери, Цирил Аубергер, Маттхиеу Цорнец и сви наши велики колеге из МаноМано-а.

Придружи нам се

Тражимо нове колеге у МаноМану, погледајте наше понуде за посао!