Каким образом работает распознавание лиц в мобильных устройствах

Зачем мы выбираем разблокировку по лицевому распознаванию

В последние годы определение физиономий превратилось в одной из самых популярных опций для открытия умных телефонов. Всего несколько годков назад большинство пользователей удовлетворялись PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Thank you for reading this post, don't forget to subscribe!

Какая вещь превращает данную возможность такой востребованной? Во-первых, это комфортно: не нужно запоминать замысловатые пароли или отыскивать правильный палец в мраке. Также, это оперативно: современные алгоритмы распознают лицо практически за мгновение. В-третьем пункте, это ощущение футуризма — словно в фильмах про вулкан казино разведчиков.

Тем не менее за данной видимой простотой таится полный мир сложных методов и инженерных решений. Давайте разобраться, как конкретно работает идентификация по лицу в новейших мобильных телефонах, какие бывают технологии, насколько они надёжны и что нас предстоит.

Краткая хроника прогресса технологии

Идентификация лиц как техника присутствует уже более 50 лет. Изначальные эксперименты машинного анализа лица были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры способны были лишь выделять силуэты лица и определять дистанции между глазами и устами на черно-белых снимках.

Изначальные бизнес установки появились в 90-х, но они были далеки от совершенства: действовали неспешно и часто ошибались. Только с прогрессом нейронных сетей и таких систем, как вулкан россии, мощных мобильных процессоров определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные разработки.

Ключевые стадии работы механизма идентификации

Процесс идентификации лица можно условно поделить на несколько ключевых этапов:

Распознавание лиц — устройство определяет присутствие людского лица в снимке.
Выделение особенностей — механизм анализирует черты облика: конфигурацию глаз, носа, губ, расположение бровей.
Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение с образцом — полученный модель сравнивается со зафиксированной при учёте биометрической информацией владельца.
Принятие выбора — если сходство достаточно значительное, смартфон разблокируется.

Любой из указанных этапов запрашивает индивидуальных процедур и усовершенствований для быстрой работы прямо на устройстве.

Железные элементы: что скрыто в их недрах

Стандартная селфи камера.

Самый легкий способ определения лица применяет исключительно фронтальную видеокамеру смартфона. Такой метод осуществлён во многочисленных бюджетных вариантах Android-устройств.

Сильные стороны:

Не потребляет дополнительные датчиков.
Шустро функционирует при качественном свете.

Недостатки:

Просто обмануть фотографией или роликом.
Неправильно работает при слабом свете или необычных точках зрения.

ИК камера и пунктирный проектор

Более совершенные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика составляет базу Face ID от Apple.

Как это действует:

Точечный проектор показывает на физиономию пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
ИК камера фиксирует искривление данной сетки по плоскости физиономии.
Создаётся трехмерная глубинная карта глубинности, что почти что невозможна для подделки стандартной фото или маской.

Плюсы

Надёжная функционирование даже в полной неосвещённости.
Большая устойчивость к фальсификациям.
Точность идентификации более 99%.

Дополнительные сенсорные устройства

В отдельных устройствах задействуются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время распространения света до объекта и обратно; Цветные-датчики глубины; специальные оптические дальномеры для построения более точной 3D-модели физиономии.

Эти технологии используются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный интеллект в действии

Нынешние системы опознания физиономий немыслимы без использования artificial intelligence и machine learning. Именно благодаря таким инновациям, как вулкан россии, устройство способно узнавать владельца даже при метаморфозах облика: новая укладка, борода, очки или грим не становятся барьером для разблокировки.

Детектирование лиц

При стартовом этапе алгоритм необходимо оперативно найти образ лица среди полного изображения камеры. Для этого используются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN в состоянии распознавать облик даже в случае неполном перекрытии (например, шарфом или рукой).

Определение основных точек

После идентификации лица устройство, такая как вулкан россии, вычисляет расположение основных точек: кончики глаз, конец носа, границы губ и так далее. Обычно применяется от 68 до 128 главных меток на лицевой области.

Данное требуется для нормализации картинки: если юзер находится с телефон под наклоненным, или повернул головку, программа “выпрямляет” картинку до стандартного положения для последующего изучения.

Формирование биометрии образца

Далее нейросеть строит уплотненное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Данный образец крайне трудно сфальсифицировать: он не удерживает само изображение юзера, а лишь уникальные особенности его облика, что делает его идеальным для таких платформ, как vulkan russia.

Сопоставление и осуществление заключения

Если юзер хочет разблокировать смартфон взором, программа осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.

Адаптация к метаморфозам внешности

Занимательная черта актуальных системы — способность самообучения. Если вы часто открываете мобильное устройство с новой укладкой или оптикой, алгоритм постепенно модернизирует основной модель вашего облика для повышения точности работы без снижения уровня безопасности.

Безопасность биометрии данных.

Многие юзеры опасаются держать свои био-идентификационные данные на смартфоне из-за угрозы потери данных или хакерской атаки. Иные организации, такие как vulkan russia, предлагают варианты для увеличения защиты сведений пользователей.

Локальное сбережение: Большинство девайсов записывает биометричные модели исключительно в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и не доступны в том числе производителю.
Шифрование: Все информация хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Приложения третьих разработчиков не обладают прямого доступа к биометрическим; они могут лишь требовать факт подтверждения личности через системный API.

Стоит подчеркнуть значимую подробность: если какой-то человек сможет получить физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители осуществляют меры безопасности от “слепого” разблокирования — в частности, заставляют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают типы распознавания лиц?

Сегодня можно определить различить 3 основных метода к реализации этой операции:

Программируемое 2D идентификация

Эксплуатируется только передняя камера без экстра датчиков дистанции. Подобный подход используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость реализации; минимальная затраты; оперативная работа при достаточном свете.
Минусы: просто ввести в заблуждение фотографией; ненадежная деятельность ночью; низкая защищенность.

Аппаратное 3D сканирование

Использует ИК камеру + проектор точек + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: значительная надёжность; невозможно исказить фото/видео; устойчивая деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с ИИ-дополнением

Применяют комбинацию программных методов + аппаратно-техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как вулкан россии и Google Pixel Face Unlock современных версий, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями посторонних устройств.

Примеры эксплуатации разных техник

iPhone серии X/11/12/13/14 используют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил подобие Face ID в числе Android.
Samsung Galaxy S10 версия/S20 имеют как программное обеспечение плоское определение по снимку фронталкой, так и сенсор ириса глаза.
Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы безопасности и неверные сигналы

Несмотря на замечательный развитие техники за прошедшие годы, совершенных систем пока не существует:

Шанс подвоха: Бюджетные мобильники легко открываются качественной изображением владельца или же видео с экрана другого устройства.
Идентичные двойняшки: Даже самые совершенные механизмы могут ошибиться между однояйцевыми близнецами либо семьями с очень схожей внешностью.
Метаморфозы облика: Внезапное похудение/увеличение массы тела, пластические операции или повреждения в некоторых случаях необходимы для перерегистрации биометрических данных.
Условия фотографирования: Интенсивная освещённость солнцем либо плотная затенение могут понизить точность распознавания признаков.

Ниже пара подсказок по защищённому эксплуатации:

Для критически важных операций всегда используйте двухфакторную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Постоянно обновляйте ПО телефона для защиты от актуальных атак;
Включайте опцию “Требовать открытых глаз” везде, где она имеется.

В каких местах дополнительно используется технология за исключением мобильных телефонов?

Пускай предмет данной публикации сосредоточена на конкретно смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

Мониторинг входа в деловых центрах и многоквартирных зданиях;
Платёжные устройства банков (“Face Pay”);
Виртуальные удостоверения личности современного поколения;
Установки видеомониторинга городских служб;
Автоматизирование отслеживания присутствия образовательных учреждений/институтов;
Аутентификация юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без карты или мобильника! Похожие программы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом трансформируется техпроцесс в наше время?

Каждый год появляются новые мысли для улучшения качества деятельности систем идентификации лиц:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
Улучшаются нейронные сети — новейшие конструкции типа MobileNetV3 дают возможность быстро осваивать свежим характеристикам вида владельца напрямую на гаджете без отправки данных в облако.
Совершенствуются технологии антиспуфинга — теперь мобильные устройства могут различать подлинные анимированные лица от неподвижных фото/масок по мельчайшим микродвижениям.
Синхронизация со смарт-гаджетами — интеллектуальные часы могут автоматически закрыть доступ к смартфон, если обладатель удалился на значительное расстояние.
Проявляются смешанные устройства — в частности совмещающие голосовую аутентификацию + облик + отпечаток пальца.

Вот, которые тренды в особенности актуальны сейчас:

1) Уменьшение деталей

Производители пытаются сократить габариты прорези (“чёлки”) для сенсоры на дисплее за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения личной безопасности всё более обработки данных происходит внутри устройства без передачи информации во внешний облачный услугу.

3) Стандартизация стандартов

Гугл интенсивно продвигает стандарт BiometricPrompt API, чтобы такие платформы, например как вулкан россия, и все Android-приложения могли работать с всеми формами биометрии унифицированно.

Что решить на сегодня?

Когда тебе важна максимальная безопасность информации, подбирайте флагманские аппараты с вмонтированным ИК-проектором или ToF-датчиком глубины.

iPhone всех существующих последних моделей
Huawei Partner/Series P линейки
Mix Pro
Vivo X линейки
Oppo Find Х серий.

Если финансы скромен – лучше отдавать предпочтение классическим методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как опциональную опцию комфорта.

Каким образом улучшить удобство функционирования возможности?

Есть некоторые лайфхаков для людей, кто уже применяет разблокировку по лицу:

Регулярно обновляйте свою изображение-шаблон, если сильно меняется облик.
Не пренебрегайте чистить линзу передней камеры – разводы могут понизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам включает камеру когда вы поднимаете его.
В процессе записи постарайтесь удерживать лицевую часть ровно перед видеоустройства исключая значительного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от дисплея.

Перспективы эволюции техники

В предстоящие годы можно предполагать возникновения полностью безконтактных способов распознавания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + походка + движения рук!

Также возможно появление современных методов защиты личной информации – например, изменяющееся изменение электронного образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень увлекательных инноваций нашего периода! Она обеспечивает интеракцию со телефоном удобнее чем когда-либо прежде, и такие программы, как vulkan russia, могут существенно улучшить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как работает эта система изнутри, – сумеете осознаннее определять свой следующий устройство!