Главная » Технологии » Холодильники начнут узнавать нас в лицо: Sony предлагает датчики изображений с ИИ

Холодильники начнут узнавать нас в лицо: Sony предлагает датчики изображений с ИИ

Лидер производства датчиков изображений компания Sony предчувствует насыщение этой продукцией главного потребителя ― рынка смартфонов. Компании нужны новые направления для сбыта датчиков. Этим направлением может стать рынок умных вещей с функциями эффективного отслеживания людей и объектов.

Холодильники начнут узнавать нас в лицо: Sony предлагает датчики изображений с ИИ

По мнению Sony, развитие сферы Интернета вещей упирается в ряд ограничений: это высокие задержки при обращении к облаку (которые только будут расти); предпосылки для нарушения приватности (плохо контролируемый рост утечек из облака); и увеличение энергопотребления (на канал связи и удалённые ресурсы). Всего этого можно избежать или значительно ослабить влияние этих факторов, если в каждый датчик изображения встроить свой ИИ. Тогда данные будут обрабатываться в режиме реального времени прямо в датчике без обращения к облаку.

Первой продукцией Sony в области датчиков изображений с ИИ стал 12,3-Мп сенсор IMX500, опытные поставки которого начались в апреле. Цена вопроса 10 тыс. иен ($93). Это стоимость сборки без упаковки. В корпусе чип будет предлагаться в виде микросхемы IMX501 по 20 тыс. иен ($186). Разницу между одним и другим исполнением можно увидеть на фото выше.

IMX500 состоит из собранных в стек двух кристаллов. Верхний кристалл ― это датчик изображения диагональю 7,857 мм (в формате 1/1,23), а нижний ― это чип с памятью, блоком ИИ и цифровым сигнальным процессором. Данные с датчика изображения попиксельно передаются на нижний чип и полностью на нём обрабатываются.


Холодильники начнут узнавать нас в лицо: Sony предлагает датчики изображений с ИИ

Обработка ведётся в зависимости от записанной в память чипа модели для машинного обучения, а также по заранее определённому алгоритму. Это может быть подсчёт количества людей в кадре, определение поведения людей в кадре (анализ поз и жестов), анализ скопления людей с помощью инфракрасного сканирования, слежение за товарами на полках магазинов, определение момента засыпания водителя, реакция на конкретного человека и многое другое.

Модели обучения и алгоритмы могут быть переписаны по необходимости. Например, можно распределять обязанности даже между одинаковыми камерами наблюдения. Одна на входе подсчитывает посетителей, другая наблюдает за тем, что граждане делают в магазине, третья следит, чтобы на полках всегда был товар и так далее. Что во всём этом важно, данные остаются локально в датчике, а это обеспечивает приватность и защиту от утечек. Наружу для анализа выводятся метаданные ― короткие текстовые (семантические) сообщения с выводами или графиками после анализа встроенным ИИ. Эти данные не перегрузят каналы связи и не нагрузят облачные ресурсы. Впрочем, датчик позволяет также передавать обычные изображения и распознанные образы.

Холодильники начнут узнавать нас в лицо: Sony предлагает датчики изображений с ИИ

Обработка данных в кадре встроенным ИИ проводится мгновенно. Например, с использованием свёрточной нейросети MobileNet V1.2 данные в кадре обрабатываются за 3,1 мс. Предложенная Sony система способна с высокой эффективностью следить за подвижными объектами в режиме реального времени. Вот оно будущее.


Источник

О supergran

x

Check Also

Религия и магия, а так же приметы помогающие в быту

Энергия, связанная с религией, — это категория, извращающая божественный закон до конкретных проявлений нашего плотного мира. ...

Астрология, религия, магия

Астрология, религия, магия Хотелось бы коснуться вопроса о понятиях: астрология, религия, магия. На уровне высших ...

Правило индивидуальности при знакомстве с женщинами

Правило индивидуальности. Нестандартный, необычный, удивительный внешний вид – верное средство пленить сердце любой красавицы. Во ...

Swirl и чувственный массаж

Swirl и чувственный массаж Когда вы ознакомились с эрогенными зонами своей женщины, поговорим о двух ...

Советы для женщины желающей получать удовольствие

Чаще всего скованность связана с предвзятым отношением к состоянию внешности. Хорошим шагом к преодолению стеснительности ...