Een machine learning-toepassing genereert doorgaans een waarschijnlijkheid voor een gebeurtenis, zonder daarbij uit te leggen waarom. Omdat sommige modellen — zoals neurale netwerken — de neiging hebben overmoedig te zijn op data die niet lijkt op wat ze geleerd hebben, kunnen die waarschijnlijkheidsschattingen volledig fout zitten. Dit soort zware fouten kan bij eindgebruikers vertrouwensproblemen veroorzaken, zeker in de vroege fases van de levenscyclus van een model, wanneer dit soort fouten vaker voorkomt.
Om het vertrouwen van eindgebruikers te vergroten, gebruikt Ixor de informatie uit tussentijdse resultaten (feature maps) van het model om meer context te geven aan een voorspelling. Het uitgangspunt: gelijkaardige inputs genereren gelijkaardige feature maps. Die gelijkenis kan berekend en opgeslagen worden, waardoor we een database krijgen van hoe gelijkaardig inputs onderling zijn.
Een machine learning-model is een weergave van de data waarop het getraind is, en kan dus nooit beter zijn dan die trainingsdata. Wordt het model gebruikt op data waarop het niet getraind is, dan worden er geen gelijkenissen gevonden tussen de trainingsset en die specifieke input. Geen gelijkenissen vinden is voor de eindgebruiker een signaal dat de grenzen van het model bereikt zijn, en dat hij of zij de output dus niet zou moeten vertrouwen.
Het kan ook de andere kant op werken: bij een moeilijke input kunnen de opgehaalde gelijkaardige inputs net argumenten aanleveren die de beslissing van het model onderbouwen.
Meer specifieke toepassingen van deze methode zijn beschreven op onze Medium-blog (https://medium.com/ixorthink/exploiting-feature-maps-to-increase-end-user-trust-7d901dc6bd7a).
