О спаме и ИИ

топ 100 блогов hardsign03.03.2025

В комментариях задали интересный вопрос, ответ на который вполне достоин отдельного поста.

Вопрос: А будет ли когда-нибудь в телефоне помощник на основе искусственного интеллекта для борьбы со спамом?

Ответ: Нет.

А теперь — пост.

Интеллектуальных помощников нам продают уже четверть века. Меняются торговые марки («машинлёрнинг», «бигдата», «артификал интеллидженс» — это всё по большому счёту одно и то же), меняются вычислительные мощности, но суть остаётся одна и та же — некая программа, которая пытается предугадать будущее.

Допустим, синяя BMW 330i 2018 года выпуска с кареглазым водителем 2005 года рождения на шинах Michelin едет в стену со скоростью 180 км/ч. Надо рассчитать энергию удара.

Из курса физики средней школы все мы помним формулу «эм-вэ-квадрат-пополам». Ни год выпуска автомобиля, ни марка шин не имеют значения. Казалось бы — можно взять и посчитать? А вот и нет — масса автомобиля не указана. Нужно посмотреть в каталоге BMW снаряженную массу, а выдавая ответ, указать точность: мы не учитываем массу водителя и хлама, лежащего в багажнике.

Теперь возьмём другую задачу: нам поступает звонок с номера +7-987-654-32-10. Это спам или нет?

Очевидно, что не имея другой информации, ответить на этот вопрос невозможно. А телефон в момент звонка никакой другой информации и не получает. Всё, точка, на этом можно расходиться.

У оператора связи информации чуть больше — например, номера базовых станций, к которым подключены вызывающий и вызываемый абонент. Этого, правда, тоже мало: циферки «42» и «14» вряд ли помогут принять верное решение.

Каждому, кто работал с хранилищами данных, знаком такой термин как «обогащение данных». Источников обогащения по большому счёту два: внешние справочники и история транзакций.

Имея справочник базовых станций, можно выяснить, где географически они находятся. Имея справочники всяких международных электронных ассоциаций по IMEI телефона можно вычислить его марку и иногда модель. Можно также посмотреть, когда зарегистрирован абонент — то ли десять лет назад, то ли вчера вечером. Это — первый источник.

История транзакций гораздо более интересна. Можно, например, посмотреть, сколько звонков совершал абонент до этого, с какой частотой он совершал звонки, какой длительности были эти звонки, были ли жалобы на спам (или, может, номер просто заблокирован у многих абонентов)... Таких параметров для одного звонка можно придумать несколько тысяч, и создание этих параметров — отдельной искусство. Например, из географических координат базовой станции никак не следует субъект федерации, в котором она находится, а может оказаться, что важно именно это, а не градусы соответствующей широты. Аналитик должен догадаться, что неплохо бы обогатить данные ещё и таким параметром.

Дальше запускается процесс обучения. В отличие от физики, готовых формул тут нет, поэтому задача обучения — найти Формулу™. Алгоритмов обучения много, совсем не обязательно это нейросеть. Если интересно, какие именно алгоритмы, прочтите статью Вастрика.

Формула, полученная в результате работы, относительно проста. Важны две вещи: какие именно параметры влияют на оценку звонка, и как их сложить и перемножить, чтобы получить на выходе что-то вроде «спам с вероятностью 81%».

Запихнуть такую модель в телефон нельзя. Во-первых, справочники, по которым вычисляются эти параметры, слишком объёмны, чтобы поместиться в средний смартфон. Во-вторых, информация в этих справочниках секретна. А в-третьих, сама формула, по которой вычисляется финальная вероятность, тоже секрет. В смысле, объект интеллектуальной собственности. В былинные времена некоторые компании даже делали бизнес на продаже таких формул — например, Experian.

Но ведь мобильный оператор может делать все эти вычисления у себя и передавать клиенту уже готовое решение?

Теоретически — да, но для этого надо решить пару небольших проблем.

Проблема номер один заключается в том, что у оператора есть история звонков, в которых участвуют его абоненты. Если абонент Билайна звонил абоненту МТС, то у Мегафона никакой информации об этом звонке нет. Значит, надо придумать протокол обмена этой информацией, который бы позволял определять спам, но не раскрывал бы деталей, являющихся коммерческой тайной.

Проблема номер два в том, что GSM-протокол не предусматривает поля «отметка о спаме». Следовательно, приложение «Телефон» должно поддерживать некий дополнительный протокол. Ну и все операторы мобильной связи тоже должны его поддерживать.

А когда две маленькие проблемы будут решены, придёт очередь большой проблемы, а именно — доброй воли операторов. Чтобы было понятно, о чём речь, расскажу одну историю.

Лет двадцать назад одному моему знакомому все банки отказывали в кредите. У него большая «белая» зарплата, много лет на одном месте, он молод и здоров, с высшим образованием... В то же время другому знакомому, перебивающемуся временными работами и имеющему проблемы с алкоголем, кредиты давали без проблем. Разумеется, обоих прогоняли через компьютерный скоринг. Вопрос только в том, что было целевой переменной этого скоринга, или, говоря простым языком, чего банки хотели от потенциального клиента.

Интуиция подсказывает, что банку важна минимизация рисков, то есть гарантия того, что клиент вернёт деньги полностью и в срок. Но если предположить, что перед компьютером поставили задачу максимизации прибыли, то всё встаёт на свои места: богатый и успешный погасит кредит досрочно, и банк ничего не заработает, а менее успешный выплатит все проценты, а если повезёт, то ещё и пени.

И почему бы мобильным операторам быть более клиентоориентированными, чем банкам?..

Оставить комментарий

Архив записей в блогах:
Я тут посмотрел и понял, что по числу подписчиков второй после Навального и его структур был Кац (признан Минюстом иноагентом). Структуры Навального без Навального существовать смогут, но на спаде. То есть, получается, таким спикером основным оппозиции в эмиграции становится Кац. И ...
Доброго времени суток всем участникам сообщества! Пишу с чужого аккаунта, ибо своего в ЖЖ нет, а инфу лучше излагать от первого лица. Очень нужна ваша помощь! Место действия: Московская область, г. Подольск. Старшую дочь (3 класс) вывели на семейное обучение на 60 дней в связи с отсутст ...
Вот для этого и нужны третьи дочки. Не для стакана воды, а для совместного распития шампанского ночью в День рождения. Поскольку я родилась в 0.30, то решила после театра заехать к младшей дочери. С ней и отметили время рождения. А потом буду отмечать с коллегами без спиртного. И с мужем ...
Давненько я тут не постила роликов про нашу бестолковую жизнь в испанской деревне. Держите двухминутку про оборзевшего на испанских харчах кота. ...
Предсказуемым образом разговор свалился в "протопоповщину" и "инстинкты". Ну мама дорогая! :)) Мальчики-зайчики тоже предсказуемо радуют - с одной стороны, вечно стонут "почему все не так", а с другой - принципиально отказываются хоть чуть-чуть ...