Как работает распознавание лицевых образов в телефонах

Почему мы выбираем разлочивание по фейсу

В недавние годы идентификация лиц превратилось в одной из наиболее востребованных опций для разблокировки смартфонов. Еще несколько лет назад основная масса использующих довольствовались PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь превращает эту конкретную особенность настолько популярной? Для начала, это удобно: не нужно помнить замысловатые пароли или искать нужный палец в мраке. Кроме того, это мгновенно: современные программы распознают лицо фактически за доли секунды. В-третьем пункте, это впечатление футуристичности — словно в фильмах про вулкан автомат шпионов.

Тем не менее за этой на первый взгляд несложностью прячется полный вселенная комплексных технологий и инженерных разработок. Позвольте нам понять, как конкретно работает фейсканирование в современных мобильных телефонах, какие применяются технологии, насколько они защищены и что нас предстоит.

Сжатая повествование прогресса технологии

Идентификация лиц как техника присутствует уже более 50 годов. Первые попытки машинного изучения облика были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда вычислительные машины умели лишь определять контуры черепа и вычислять промежутки между зрачками и ртом на ахроматических снимках.

Изначальные торговые платформы стали доступны в 90-х, но они были несовершенны: работали медленно и нередко ошибались. Только с прогрессом нейронных сетей и таких площадок, как вулкан россии, сильных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным распознаванием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные решения.

Ключевые стадии действия механизма распознавания

Процесс распознавания лица можно примерно поделить на несколько ключевых этапов:

Распознавание лица — камера распознает наличие человеческого образа в изображении.
Выделение характеристик — система изучает особенности физиономии: очертания глаз, обонятельного органа, губ, положение надбровных дуг.
Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с эталоном — созданный образец сопоставляется с зафиксированной при учёте биометрической сведениями владельца.
Принятие решения — если совпадение достаточно значительное, смартфон деблокируется.

Любой из указанных стадий запрашивает специальных алгоритмов и оптимизаций для быстрой работы непосредственно на девайсе.

Железные компоненты: что прячется внутри них

Типичная фронтальная камера.

Самый простой несложный способ распознавания облика задействует только переднюю видеокамеру мобильного устройства. Данный подход реализован во многочисленных недорогих моделях Android-устройств.

Плюсы:

Необходимо требует дополнительных датчиков.
Быстро действует при достаточном освещении.

Слабые стороны:

Легко ввести в заблуждение изображением или роликом.
Плохо функционирует при низком освещённости или необычных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс является основой Face ID от Apple.

Каким способом это работает:

Точечный проекционный прибор показывает на лицо использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 меток).
ИК камера фиксирует искривление этой сетки по поверхности лица.
Получается 3D карта глубины глубинности, что почти что неосуществима для подделки обычной снимком или маской.

Выигрыши

Надёжная работа даже в полной тьме.
Сильная сопротивляемость к имитациям.
Точность определения более 99%.

Добавочные сенсорные устройства

В некоторых аппаратах используются также экстра датчики: ToF (Time-of-Flight), которые фиксируют время распространения луча до предмета и обратно; Цветные-датчики глубины; специальные лазерные дальномеры для формирования более аккуратной 3D-модели физиономии.

Эти технологии применяются наиболее часто во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искуственный разум в работе

Современные системы опознания физиономий немыслимы без эксплуатации ИИ и machine learning. Именно благодаря таким технологиям, как вулкан россии, аппарат может узнавать пользователя даже при трансформациях внешности: новая укладка, растительность на лице, очки или грим не становятся препятствием для разблокировки.

Распознавание лиц

При стартовом этапе система должна оперативно обнаружить лицо в пределах полного кадра с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лиц человека среди множества других объектов.

Пример: процесс MTCNN способен распознавать физиономию даже в случае неполном перекрытии (например, шалью или ладонью).

Идентификация важных точек

После идентификации лица устройство, такая как вулкан россии, определяет расположение основных точек: края глаз, кончик носа, края губ и так далее. Часто применяется от 68 до 128 главных меток на лице.

Данное нужно для стабилизации изображения: если пользователь находится с смартфон под наклоном, или наклонил головку, программа исправляет изображение до стандартного положения для последующего изучения.

Формирование биометрического модели

Далее нейронная сеть строит сжатое цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Такой формат очень сложно имитировать: он не удерживает само изображение пользователя, а лишь особенные особенности его внешности, что делает его совершенным для таких площадок, как vulkan russia.

Сравнительный анализ и вынесение заключения

Когда пользователь хочет открыть смартфон глазами, программа повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ не предоставляется.

Адаптация к трансформациям внешнего вида

Увлекательная характеристика современных системы — возможность самостоятельного обучения. Если ты часто открываете смартфон с свежей прической или оптикой, алгоритм постепенно обновляет основной образец вашего лица для повышения точности работы без ухудшения безопасности.

Защита биометрических данных информации.

Большинство юзеры беспокоятся держать свои биометрические данные на телефоне из-за риска потери данных или взлома устройства. Определенные фирмы, такие как vulkan russia, предлагают варианты для улучшения сохранности данных юзеров.

Локальное хранение: Большинство аппаратов записывает биометричные модели исключительно в пределах безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и не доступны включая производителю.
Шифрование: Все информация сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Приложения внешних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Необходимо подчеркнуть важную особенность: если какой-то человек сможет получить доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители внедряют систему защиты от автоматического разблокирования — в частности, заставляют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории распознавания лиц на изображениях?

Сегодня можно определить определить три ключевых метода к выполнению этой операции:

Программное 2D распознавание

Эксплуатируется только фронтальная видеокамера без дополнительных детекторов глубины. Этот подход наблюдается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность воплощения; умеренная затраты; оперативная функционирование при хорошем освещении.
Минусы: несложно обмануть фотографией; неустойчивая функционирование ночью; слабая охрана.

Оборудование для объёмное оцифровка

Использует ИК камеру + проектор пикселей + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая надёжность; не получится исказить изображение/видеозапись; постоянная деятельность в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с ИИ-дополнением

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, например вулкан россии и Google Pixel Face Unlock новейших версий, сочетают фронталку c ИК сенсором движения Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Иллюстрации применения разных способов

iPhone серии X/11/12/13/14 применяют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые предложил аналог Face ID в числе Android.
Samsung Galaxy S10/S20 обеспечивают как софтверное 2D определение по снимку фронтальной камерой, так и датчик радужки глаза.
Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные тревоги

Несмотря на поразительный развитие технологий за последние лет, безупречных механизмов пока не существует:

Шанс подвоха: Доступные мобильники без труда “разблокируются” четкой изображением хозяина либо видеозаписью с экрана другого устройства.
Идентичные двойняшки: Даже самые совершенные механизмы могут спутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
Метаморфозы внешности: Внезапное утрата веса/увеличение массы тела, косметические процедуры либо повреждения иногда требуют обновления данных биометрии.
Условия съёмки: Интенсивная освещённость солнцем или плотная тень могут снизить аккуратность идентификации признаков.

Вот пара советов для надёжному эксплуатации:

Для значимых операций всегда применяйте дополнительную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
Постоянно обновляйте программное обеспечение смартфона для защиты от актуальных атак;
Включайте настройку “Требовать открытых глаз” там, где она есть.

Где дополнительно находится применение технология за исключением смартфонов?

Несмотря на то, что основная мысль нашей публикации посвящена конкретно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

Контроль доступа в деловых центрах и жилых домах;
Платёжные аппараты банков (“Face Pay”);
Электронные идентификационные документы последнего поколения;
Установки видеонаблюдения городских сервисов;
Механизация учёта присутствия школ/институтов;
Авторизация пользователей ПК/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без пластика или мобильника! Похожие программы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом изменяется техпроцесс в нынешнее время?

Всякий год проявляются современные идеи для повышения качества функционирования систем распознавания лиц:

Увеличивается разрешение сенсорных устройств — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность погрешности;
Улучшаются нейросети — новейшие конструкции модели MobileNetV3 позволяют быстро обучаться свежим особенностям вида обладателя непосредственно на девайсе без отправки данных в облако.
Совершенствуются способы антиспуфинга — теперь смартфоны способны распознавать подлинные живые лица от фиксированных снимков/маскировок по микроскопическим микродвижениям.
Взаимодействие со умными устройствами — умные часы могут самостоятельно закрыть доступ к мобильный телефон, если владелец отошёл далеко.
Проявляются гибридные системы — в частности совмещающие речевую идентификацию + физиономию + пальцевой отпечаток.

Здесь, какие тренды очень востребованы в данный момент:

1) Уменьшение компонентов

Изготовители пытаются минимизировать габариты отверстия (“чёлки”) под сенсоры на экране за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё больше расчётов осуществляется внутри устройства без передачи информации во дополнительный облачный услугу.

3) Стандартизация норм

Google энергично продвигает эталон BiometricPrompt API, чтобы такие системы, вроде вулкан россия, и все Android-программы могли работать с всеми формами биометрии стандартизированно.

Что решить на сегодня?

В случае если вам всем необходима максимальная безопасность информации, остановите выбор на передовые модели со встроенным ИК-проектором или же ToF-сенсором глубины.

iPhone всех новейших версий
Huawei Partner/P серии
Xiaomi Expert
Vivo X модели
Оппо Find Икс линейки.

Если финансы невелик – лучше отдавать предпочтение классическим методам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, применять только как дополнительную возможность комфорта.

Как улучшить комфорт использования опции?

Есть некоторые советов для людей, кто уже использует разблокировку по лицу:

Периодически меняйте свою фотографию-шаблон, если кардинально изменяется облик.
Не забывайте чистить линзу фронтальной камеры – пятна могут понизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает камеру как только вы берёте его в руки.
В процессе записи пытайтесь держать лицевую часть ровно перед видеоустройства исключая резкого наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от экрана.

Перспективы развития техники

В предстоящие периоды можно предполагать развития полностью бесконтактных способов идентификации индивидуума сразу по нескольким биометрическим параметрам одновременно: облик + звучание + шаги + движения рук!

Также вероятно возникновение свежих подходов защиты приватности – например, изменяющееся корректировка диджитал образца после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее интересных технологий нашего времени! Она делает интеракцию со смартфоном удобнее чем раньше, и такие программы, как vulkan russia, могут существенно повысить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы осведомлены, как работает эта система в деталях, – сумеете осознаннее подбирать свой очередной гаджет!