3) Детектирование фотографий, перефотографированных с экрана или с другой фотографии
В этом типе мошенничества мерчендайзер фотографирует не реальную выкладку товаров из торговой точки, а фотографию целевой выкладки (фотография фотографии). Мерчендайзер использует те же базы данных фотографий правильных, качественных выкладок необходимой ему продукции, как мы описывали в п.1. Как правило, в этом случае агент пользуется двумя устройствами, личным и корпоративным. На личном открывает фотографию целевой выкладки, а снимок перефотографирует корпоративным устройством, с которого и загружает его в систему “для проверки”. Если до появления сверхчетких экранов фотографии с экранов были легко узнаваемы, то с ростом технологий, в том числе, улучшением качества камер смартфонов распознавание таких снимков стало порой весьма затруднительным.
Другим источником хороших фотографий могут служить полиграфические материалы из мерчбуков, в которых представлены оптимальные способы расстановки продукции бренда. В нашей практике такие случаи были нечасты, но, тем не менее, такой способ существует, даже если, на первый взгляд, он кажется немного нелепым. В этом случае сотрудник фотографирует распечатанное изображение и вместо реальной фотографии стеллажа загружает в систему его. Нам известны даже случаи, когда мерчендайзеры делали скриншоты из оцифрованных мерчбуков и загружали в систему такие фото.
Как мы работаем с таким фродом:
Первые попытки обучить сервис на распознавание такого типа мошенничества были сделаны несколько лет назад. Фотографии, сделанные с экрана, в то время сильно отличались от стандартных фотографий. К тому же, в те годы мы работали с не очень крупными клиентами, поток фотографий на обработку был не слишком большой, а мерчендайзеры – не больно изобретательны. Поэтому было легко следить за качеством определения фрода и оперативно обновлять обучающие выборки.
Шло время, техника становилась лучше, мерчендайзеры изобретательнее, а клиенты ShelfMatchTM – крупнее и солиднее. Предыдущие подходы к обучению “в лоб” перестали давать необходимую высокую точность распознавания.
Основная проблема, с которой мы столкнулись на том этапе с одним из крупнейших клиентов на рынке, – высокий процент false positive. Наша нейронная сеть прекрасно определяла случаи подлога, но при этом нередко и обычные реальные фотографии тоже помечала, как подлог. Мы выдели, что реальная точность определения фейка колеблется всего лишь в районе 60%. При этом, наш клиент хотел не просто знать, занимаются ли его мерчендайзеры подлогом, а сразу же штрафовать нерадивых сотрудников. Поэтому было предельно важно, чтобы точность нейронной сети на больших потоках изображений стремилась к 100%, а false positive – к 0. Мы, конечно, знаем, что это не достижимая цифра на реальных данных, однако критически принципиально было максимально к ней приблизиться.
Тогда мы стали изучать литературу и рассматривать всевозможные варианты исправления проблемы.
Изучив вопрос, мы добавили к нашим данным данные сторонних датасетов, использовавшихся при решении подобных проблем в других сферах: https://www.commsp.ee.ic.ac.uk/~pld/research/Rewind/Recapture и https://github.com/JerryLeolfl/pytorch-MRGAN-master
Так мы получили большой прирост в данных. Однако качественного прироста в распознавании не получили. Это была серьёзная проблема.
В литературе так и пишут: методы, использующие нейронные сети, страдают от отсутствия обобщающей способности на невиданные области (domain shift, Bad domain adaptation). То есть добавление сторонних фотосетов практически не помогает, нужно брать фотографии, похожие на те, что будут в продакшн-эксплуатации.
Конечно же, мы занимались и обычной разметкой фотографий, поступающих от нашего клиента. Но такого сорта разметка – очень долгая, поэтому приближение к желаемому результату точности происходило слишком медленно.
Тогда мы подумали: когда нам не хватает фотографий для обучения с изображениями нужных SKU, мы просто идём в магазины сами и делаем нужные фото. Почему бы и в этом случае не использовать тот же подход? Поэтому мы попросили всех сотрудников нашей компании представить себя изобретательными мерчендайзерами и прислать нам “фотоподлоги” витрин магазинов.
И у нас всё получилось! Мы добавили собранные фотографии в обучающую выборку, а тестирование проводили на фотографиях клиента из реального потока данных.
На выходе мы получили точность распознавания в 90%, а false positive всего порядка 3%. Конечно же, мы не ставим точку в достигнутых результатах и работаем дальше над улучшениями. Но уже сейчас наш сервис помогает реальному клиенту отлавливать подлог на больших объёмах фотографий.
Так что на всякую изобретательность мерчендайзера есть изобретательность разработчика ПО 😊
Если для вас актуальны способы цифровой борьбы с мошенничеством в мерчендайзинге, наши специалисты готовы вам помочь. Позвоните или напишите нам, мы быстро ответим и вместе подберем оптимальное решение ваших задач.
В следующей, заключительной, статье расскажем о других методах фрода, существующих на рынке мерчендайзинга.