Как работает распознавание лицевых образов в мобильных устройствах

Почему мы выбираем разблокирование по фейсу

В недавние годы определение физиономий превратилось в одной из наиболее востребованных функций для разблокировки мобильных телефонов. Всего некоторые годков ранее основная масса пользователей обходились PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект делает данную возможность такой востребованной? Для начала, это удобно: не нужно удерживать в памяти трудные пароли или отыскивать верный палец в мраке. Также, это быстро: современные программы распознают лицо практически за доли секунды. В-третью очередь, это впечатление будущего — как будто в кинофильмах про вулкан автомат шпионов.

Однако за этой на первый взгляд легкостью прячется весь вселенная трудных техник и инженерных решений. Давайте понять, как именно функционирует распознавание лиц в актуальных гаджетах, какие применяются технологии, насколько они надёжны и что нас ждёт впереди.

Краткая история развития техники

Идентификация лиц как технология существует уже более пятидесяти лет. Изначальные попытки автоматизированного изучения облика были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры могли лишь обозначать очертания лица и вычислять промежутки между зрачками и устами на монохромных изображениях.

Изначальные торговые установки стали доступны в 90-х, но они были несовершенны: работали медленно и часто давали сбои. Только с развитием синтетических сетей и таких систем, как вулкан россии, сильных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Ключевые шаги работы системы идентификации

Процесс распознавания лица можно условно разделить на несколько важных этапов:

Распознавание лица — устройство определяет существование людского лица в изображении.
Определение особенностей — алгоритм исследует контуры лица: конфигурацию глаз, носа, губ, позицию надбровных дуг.
Построение модели — создаётся неповторимый электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со стандартом — созданный модель сопоставляется с зафиксированной при учёте биометрической информацией владельца.
Принятие решения — если сходство достаточно высокое, смартфон открывается.

Всякий из данных этапов нуждается в особых алгоритмов и усовершенствований для скорой работы непосредственно на девайсе.

Технические составляющие: что скрыто внутри

Обычная передняя камера.

Самый простой метод идентификации лица использует только фронтальную камеру смартфона. Данный способ осуществлён во различных недорогих версиях Android-девайсов.

Плюсы:

Не нуждается в потребляет дополнительных сенсоров.
Быстро функционирует при достаточном освещении.

Недостатки:

Просто ввести в заблуждение фотографией или видеозаписью.
Неудачно функционирует при низком освещённости или непривычных углах обзора.

ИК фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика составляет базу Face ID от Apple.

Каким образом это действует:

Точечный проекционный прибор проецирует на физиономию использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
ИК устройство регистрирует деформацию этой решетки по плоскости физиономии.
Получается 3D глубинная карта глубины, что практически невозможна для фальсификации обычной снимком или маскировкой.

Преимущества

Надёжная работа даже в полной тьме.
Сильная защита к подделкам.
Точность определения более 99%.

Добавочные датчики

В отдельных аппаратах применяются также вспомогательные датчики: ToF (Time-of-Flight), которые определяют время распространения света до цели и обратно; Цветные-датчики глубины; специальные оптические дальномеры для создания более точной 3D-модели лица.

Эти разработки используются наиболее часто во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный интеллект в работе

Нынешние системы опознания физиономий немыслимы в отсутствие эксплуатации ИИ и машинного обучения. Именно из-за таким инновациям, как вулкан россии, устройство в состоянии узнавать пользователя даже при изменениях внешности: новая укладка, растительность на лице, оптика или косметика не становятся барьером для разблокировки.

Детектирование физиономии

При стартовом этапе система необходимо мгновенно распознать лицо среди полного кадра камеры. Для этой задачи задействуются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые «обучены» идентифицировать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать физиономию даже в случае частичном закрытии (например, шалью или ладонью).

Определение основных точек

После идентификации лица система, такая как вулкан россии, устанавливает местоположение главных точек: края глаз, верхушка носа, границы губ и так далее. Обычно применяется от 68 до 128 ключевых маркеров на лице.

Данное требуется для выравнивания изображения: если юзер находится с мобильник под наклоном, или наклонил голову, программа корректирует картинку до стандартного положения для дальнейшего анализа.

Формирование биометрии модели

Далее искусственная сеть строит сжатое математическое представление («эмбеддинг») внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот образец весьма затруднительно сфальсифицировать: он не хранит непосредственно картинку пользователя, а лишь уникальные характеристики его облика, что делает его идеальным для таких платформ, как vulkan russia.

Сопоставление и вынесение решения

Если юзер желает разблокировать мобильник глазами, механизм осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно выше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Привыкание к трансформациям внешнего вида

Увлекательная черта актуальных системы — способность самостоятельного обучения. Если ты постоянно разблокируете мобильное устройство с свежей укладкой или очками, система постепенно освежает базовый модель вашего облика для увеличения точности действия без снижения уровня безопасности.

Охрана биометрических информации.

Множество пользователи опасаются держать свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки информации или хакерской атаки. Определенные фирмы, такие как vulkan russia, предоставляют решения для увеличения защиты информации юзеров.

Локальное сохранение: Основная часть устройств записывает биометрические модели исключительно внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не выходят из гаджет и закрыты даже создателю.
Шифрование: Все сведения хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Приложения третьих разработчиков не обладают прямого возможности доступа к биометрическим данным; они могут лишь требовать факт подтверждения идентичности через системный API.

Стоит упомянуть значимую деталь: если кто-либо сможет получить физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство производители осуществляют защиту от автоматического разблокирования — например, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются категории идентификации лиц на изображениях?

Сегодня можно определить определить 3 главных метода к выполнению этой функции:

Программное 2D распознавание

Используется только передняя камера без экстра детекторов дистанции. Подобный способ встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота осуществления; умеренная затраты; скоростная работа при хорошем освещении.
Минусы: легко одурачить снимком; неустойчивая работа ночью; недостаточная безопасность.

Оборудование для трёхмерное оцифровка

Использует ИК камеру + проекционный модуль пикселей + датчики дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: значительная надежность; невозможно исказить фото/видео; стабильная работа при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана («чёлка»)

Смешанные методы с дополнением ИИ

Применяют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам («anti-spoofing»). Например, такие товары, как вулкан россии и Google Pixel Face Unlock последних поколений, сочетают фронталку c ИК сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Примеры использования разных методов

iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз представил аналог Face ID среди Android.
Samsung Galaxy S10 модель/S20 имеют как программное обеспечение двухмерное распознавание по снимку фронтальной камерой, так и сенсор глазного ириса.
Huawei Mate20 Pro применяет комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности безопасности и неверные срабатывания

Несмотря на замечательный прогресс технологий за прошедшие лет, безупречных механизмов пока не существует:

Возможность подвоха: Недорогие мобильники без труда открываются четкой изображением хозяина или видеозаписью с экрана другого устройства.
Идентичные близняшки: Даже самые идеальные устройства могут спутать между однояйцевыми близнецами либо родственниками с очень аналогичной внешностью.
Метаморфозы внешнего вида: Внезапное снижение веса/набор веса, косметические процедуры либо повреждения иногда требуют повторной регистрации биометрии.
Условия съёмки: Сильная освещённость солнечным светом или интенсивная темнота могут понизить верность распознавания признаков.

Здесь несколько подсказок для защищённому применению:

Для значимых операций всегда применяйте двухфакторную аутентификацию;
Не включайте опцию «Разблокировка по лицу» на недорогих аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку ПО смартфона для защиты от актуальных атак;
Включайте функцию «Требовать распахнутых глаз» везде, где она имеется.

В каких областях ещё применяется технологии помимо мобильных телефонов?

Хотя основная мысль данной статьи сосредоточена на конкретно портативным гаджетам, стоит упомянуть о альтернативных областях использования технологии:

Мониторинг прохода в офисах и многоквартирных зданиях;
Платёжные терминалы финансовых учреждений («Face Pay»);
Виртуальные удостоверения личности нового поколения;
Установки видеоконтроля городских сервисов;
Автоматизирование учёта явки учебных заведений/вузов;
Вход юзеров ПК/ноутбуков.

Например: В столичном метро уже проверяется система оплаты проезда по фейсу («Face Pay») — достаточно пройти через турникет без пластика или телефона! Похожие проекты развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом трансформируется технология в нынешнее время?

Каждый годочек появляются свежие идеи для повышения качества деятельности систем лицевого распознавания:

Увеличивается разрешение датчиков — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
Совершенствуются нейронные сети — современные структуры модели MobileNetV3 дают возможность скоростно осваивать свежим чертам облика обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
Улучшаются технологии антиспуфинга — теперь смартфоны умеют отличать реальные движущиеся лица от неподвижных снимков/масок по мельчайшим микродвижениям.
Интеграция со интеллектуальными приборами — смарт-часы могут самостоятельно закрыть доступ к смартфон, если владелец отошёл далеко.
Проявляются смешанные механизмы — в частности объединяющие голосовую идентификацию + облик + дактилоскопический след.

Здесь, какие тренды в особенности актуальны в данный момент:

1) Сокращение деталей

Производители стараются сократить величину прорези («чёлки») под сенсоры на экране за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на аппарате

Для увеличения приватности всё больше расчётов выполняется на месте без пересылки информации во сторонний облачный сервис.

3) Унификация стандартов

Гугл интенсивно пропагандирует норму BiometricPrompt API, с целью чтобы аналогичные платформы, например как вулкан россия, и все Android-приложения были совместимы с любыми видами биометрии унифицированно.

Что подобрать сегодня?

В случае если вам нужна максимальная безопасность данных, подбирайте передовые модели с интегрированным ИК-проектором либо ToF-сенсором глубины.

iPhone всех новейших версий
Huawei Companion/P Series ряда
Mi Professional
Vivo X линейки
Oppo Найти Икс линейки.

Если бюджет ограничен – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер пальца), а функцию «разблокировка по лицу», такую как в вулкан россия, задействовать только как второстепенную возможность удобства.

Как повысить практичность функционирования опции?

Есть некоторые лайфхаков для пользователей, кто уже применяет функцию распознавания лица:

Регулярно обновляйте свою фотографию-шаблон, если кардинально изменяется внешность.
Не пренебрегайте чистить линзу фронтальной камеры – пятна могут уменьшить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам активирует фотоаппарат как только вы поднимаете его.
В процессе записи постарайтесь сохранять голову прямо перед камеры не допуская сильного наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от экрана.

Возможности прогресса техники

В скоро наступающие годы можно предвкушать появления полностью безконтактных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + походка + манипуляции руками!

Также предполагается развитие свежих подходов охраны приватности – например, переменное изменение электронного паттерна после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих техник нашего периода! Она предоставляет интеракцию со мобильным устройством комфортнее чем раньше, и такие аппы, как vulkan russia, могут в разы улучшить ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как работает эта технология внутри, – сможете осознаннее определять свой будущий гаджет!