ML на устройстве: когда переносить модель на телефон и чем за это платить?

Модель на устройстве выигрывает по четырём причинам: приватность (данные не покидают телефон), работа офлайн, задержка (нет обращения к серверу) и стоимость (вычисления оплачивает устройство). Платите ограничениями: память в единицы гигабайт, батарея, нагрев и зоопарк железа. Технически задача сводится к сжатию: квантизация весов до 8 или 4 бит, дистилляция в модель поменьше, обрезка. Отдельная инженерная головная боль — выкатка: модель на устройстве обновляется медленно и не у всех сразу.