Каким способом работает определение лиц в мобильных устройствах

Зачем мы останавливаемся на разблокировку по лицу

В недавние времена идентификация лиц стало одной из самых распространённых функций для открытия умных телефонов. Еще пару годов ранее большинство использующих обходились пин-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что обуславливает данную особенность такой востребованной? Прежде всего, это практично: не нужно удерживать в памяти сложные пароли или искать нужный палец в темноте. Во-вторых, это мгновенно: современные системы узнают лицо практически за мгновения ока. В-третьем пункте, это чувство футуризма — как будто в фильмах про вулкан россия агентов.

Однако за этой кажущейся легкостью прячется весь мир сложных технологий и инженерных разработок. Давайте исследовать, как точно действует распознавание лиц в современных мобильных телефонах, какие бывают технологии, насколько они защищены и что нас ожидает в будущем.

Краткая история прогресса технологии

Идентификация лиц как методика имеется уже более пятидесяти годов. Первые попытки автоматизированного изучения лиц были сделаны еще в 1960-х годах в научных учреждениях США. Тогда ЭВМ могли лишь обозначать контуры лица и определять расстояния между зрачками и устами на черно-белых фотографиях.

Изначальные коммерческие платформы возникли в 1990-х годах, но они были неидеальны: действовали неспешно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как вулкан россии, сильных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные разработки.

Основные этапы функционирования системы распознавания

Процесс определения лица можно ориентировочно поделить на несколько важных этапов:

Идентификация лиц — устройство распознает наличие людского лица в снимке.
Определение признаков — система изучает особенности физиономии: форму глаз, носа, уст, расположение надбровных дуг.
Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе определённых признаков.
Сравнение с эталоном — сформированный образец сравнивается со зафиксированной при учёте биометрической сведениями владельца.
Принятие решения — если совпадение достаточно высокое, смартфон деблокируется.

Всякий из указанных этапов запрашивает индивидуальных алгоритмов и усовершенствований для быстрой работы непосредственно на девайсе.

Технические компоненты: что прячется внутри них

Типичная селфи камера.

Самый простой метод идентификации лица применяет лишь фронтальную камеру смартфона смартфона. Данный метод внедрён во различных бюджетных версиях Android-устройств.

Преимущества:

Необходимо требует дополнительные датчиков.
Быстро действует при качественном свете.

Слабые стороны:

Несложно одурачить снимком или роликом.
Неправильно функционирует при слабом освещении или необычных углах обзора.

Инфракрасная камера и пунктирный проектор

Более совершенные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс является основой Face ID от Apple.

Как это работает:

Точечный проектор проецирует на облик пользователя невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 меток).
Инфракрасная устройство записывает деформацию этой сетки по плоскости лица.
Получается трёхмерная карта глубины глубины, что практически невозможна для имитации обычной фотографией или маской.

Выигрыши

Надёжная деятельность даже в полной неосвещённости.
Высокая сопротивляемость к подделкам.
Точность распознавания более 99%.

Дополнительные датчики

В отдельных аппаратах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют период движения луча до объекта и обратно; Цветные-датчики глубины; специальные лазерные измерители расстояния для формирования более детализированной 3D-модели физиономии.

Эти технологии используются наиболее часто во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный разум в исполнении

Текущие системы распознавания физиономий немыслимы при отсутствии использования artificial intelligence и machine learning. Именно вследствие таким инновациям, как вулкан россии, аппарат может идентифицировать владельца даже при трансформациях облика: новая стрижка, растительность на лице, линзы или косметика не становятся помехой для открытия.

Распознавание лица

При начальном шаге система необходимо оперативно распознать ликовое изображение в пределах полного изображения с камеры. Для данной цели применяются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN способен находить физиономию даже с неполном перекрытии (например, шарфом или рукой).

Выделение важных моментов

После обнаружения лица устройство, такая как вулкан россии, вычисляет расположение ключевых точек: кончики глаз, верхушка носа, края губ и так далее. Часто применяется от 68 до 128 основных меток на лицевой поверхности.

Данное необходимо для стабилизации изображения: если пользователь находится с смартфон под наклоненным, или склонил голову, программа корректирует картинку до стандартного положения для последующего изучения.

Создание биометрического идентификатора модели

Далее нейросеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 чисел с плавающей запятой.

Этот образец очень трудно подделать: он не сохраняет непосредственно фото юзера, а лишь исключительные особенности его вида, что делает его оптимальным для таких платформ, как vulkan russia.

Сравнительный анализ и осуществление заключения

Когда пользователь намеревается разлочить телефон взором, программа повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный порог (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.

Адаптация к трансформациям внешности

Интересная характеристика современных системы — возможность самостоятельного обучения. Если ты часто разблокируете мобильное устройство с свежей прической или очками, программа постепенно освежает базовый шаблон вашего внешности для повышения точности работы без снижения уровня безопасности.

Охрана биометрических данных.

Множество пользователи беспокоятся держать свои биометрические идентификационные данные на мобильном устройстве из-за угрозы утечки данных или взлома устройства. Иные компании, вроде vulkan russia, предоставляют методы для повышения сохранности данных клиентов.

Локальное сбережение: Преимущественно аппаратов сохраняет биометрические образцы исключительно внутрь защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из гаджет и недоступны в том числе производителю.
Шифрование: Все данные сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних девелоперов не обладают непосредственного доступа к биометрическим данным; они могут лишь требовать факт подтверждения идентичности через системный API.

Стоит упомянуть существенную подробность: в случае, если кто-либо достанет физический доступ к вашему телефону (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество производители реализуют систему защиты от “слепого” разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие имеются категории идентификации лиц?

На сегодняшний день можно различить 3 основных метода к осуществлению этой функции:

Программное плоское идентификация

Эксплуатируется только передняя камера без вспомогательных датчиков глубины. Этот способ используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность воплощения; минимальная затраты; быстрая функционирование при достаточном освещении.
Минусы: просто обмануть снимком; нестабильная работа ночью; недостаточная защищенность.

Техническое объёмное сканирование

Использует инфракрасную видеокамеру + проектор точек + сенсоры дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: высокая надёжность; не получится исказить изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с интеграцией ИИ

Применяют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, как вулкан россии и Google Pixel Face Unlock современных версий, объединяют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями чужих устройств.

Примеры применения различных техник

iPhone модели X/11/12/13/14 применяют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 имеют как программное плоское идентификацию по фото фронтальной камерой, так и сканер ириса глаза.
Huawei Mate20 Pro использует набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и неверные сигналы

Несмотря на поразительный развитие техники за последние лет, совершенных механизмов пока не существует:

Вероятность мошенничества: Бюджетные смартфоны без труда “разблокируются” качественной снимком хозяина либо роликом с экрана другого устройства.
Идентичные близняшки: Даже самые безупречные устройства могут перепутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
Изменения внешнего вида: Внезапное похудение/увеличение массы тела, косметические процедуры или повреждения в некоторых случаях требуют перерегистрации биометрии.
Условия записи: Сильная подсветка солнцем или плотная темнота могут уменьшить аккуратность распознавания признаков.

Ниже некоторые подсказок по надёжному использованию:

Для важных операций всегда применяйте дополнительную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
Постоянно апгрейдите программное обеспечение мобильного устройства для обеспечения безопасности от современных угроз;
Включайте настройку “Требовать раскрытых глаз” там, где она имеется.

В каких местах дополнительно применяется технология за исключением мобильных телефонов?

Несмотря на то, что основная мысль этой работы посвящена именно портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

Управление доступа в рабочих помещениях и резиденциях;
Платёжные терминалы банков (“Face Pay”);
Электронные идентификационные документы последнего типа;
Установки видеоконтроля городских сервисов;
Автоматизация учёта присутствия образовательных учреждений/вузов;
Аутентификация юзеров ПК/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без пластика или телефона! Схожие инициативы осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом трансформируется технология сегодня?

Каждый годик появляются современные мысли для повышения стандарта деятельности систем распознавания лиц:

Увеличивается разрешение сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс погрешности;
Развиваются искусственные интеллекты — современные архитектуры типа MobileNetV3 обеспечивают возможность быстро обучаться новым характеристикам вида обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
Совершенствуются способы антиспуфинга — теперь телефоны способны распознавать реальные живые лица от фиксированных фото/маскировок по незаметным движениям кожи.
Синхронизация со умными устройствами — интеллектуальные часы могут автоматически блокировать мобильный телефон, если обладатель отошёл далеко.
Проявляются смешанные системы — в частности совмещающие голосовую опознание + облик + дактилоскопический след.

Здесь, те тренды в особенности востребованы на сегодняшний день:

1) Уменьшение компонентов

Компании пытаются сократить величину отверстия (“чёлки”) под сенсоры на дисплее за счёт внедрения маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на аппарате

Для увеличения приватности всё более расчётов выполняется локально без передачи данных во дополнительный облачный сервис.

3) Упорядочивание стандартов

Google активно продвигает норму BiometricPrompt API, с целью чтобы подобные системы, например как вулкан россия, и любые Android-аппы могли работать с различными типами биометрии унифицированно.

Что подобрать на сегодня?

Когда тебе нужна максимальная безопасность информации, подбирайте топовые аппараты с вмонтированным ИК-излучателем либо ToF-сенсором глубины.

iPhone каждого новейших моделей
Huawei Partner/P серии
Xiaomi Pro
Vivo X линейки
Oppo Найти Икс серий.

Если бюджет скромен – лучше предпочесть обычным методам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в вулкан россия, применять только как дополнительную опцию удобства.

Каким способом повысить удобство работы функции?

Есть некоторые лайфхаков для людей, кто уже пользуется разблокировку через лицо:

Регулярно меняйте свою изображение-шаблон, если кардинально меняется внешний вид.
Не упускайте из виду чистить объектив фронтальной камеры – пятна могут уменьшить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам активирует камеру как только вы берёте его в руки.
В процессе записи постарайтесь сохранять лицо неподвижно впереди камеры без резкого наклона головы.
Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от экрана.

Возможности эволюции инноваций

В скоро наступающие времена можно ожидать развития полностью безконтактных способов опознания человека сразу по нескольким биометрическим параметрам одновременно: физиономия + голос + походка + жесты рук!

Также возможно развитие свежих способов охраны конфиденциальности – скажем, динамическое изменение электронного шаблона после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее захватывающих инноваций нашего эпохи! Она обеспечивает интеракцию со телефоном проще чем до этого, и такие программы, как vulkan russia, могут в разы оптимизировать ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как работает эта система в деталях, – будете в состоянии осознаннее подбирать свой будущий гаджет!