В России представили ИИ-помощника для незрячих
В Новосибирске представили первую версию интеллектуального помощника для слабовидящих и незрячих людей. Устройство разрабатывают на базе больших языковых моделей и технологий искусственного интеллекта (ИИ). Его работу продемонстрировали во время визита зампреда правительства РФ Дмитрия Григоренко в Новосибирский госуниверситет.
Принцип работы системы прост: видеокамера фиксирует окружающую обстановку, изображение передается в портативный компьютер, который преобразует его в текстовое описание. Затем описание озвучивается через голосового помощника и передается пользователю в наушники.
Созданная модель уже способна распознавать надписи, указывать на препятствия и давать словесные описания предметов и помещений. В будущем планируется добавить возможность задавать вопросы об объектах в поле зрения и получать подробные ответы.
При разработке устройства используется мультимодальная языковая модель, благодаря чему оно уже выдает достаточно качественное словесное описание окружающих помещений и предметов.
В перспективе у пользователя появится возможность задавать уточняющие вопросы о наблюдаемой сцене и получать развернутые ответы на них. Также данная языковая модель прекрасно распознает тексты, считывает надписи, указатели, предупреждения о препятствиях.
Предполагается, что ИИ-помощник будет иметь несколько режимов работы: режим движения — для передвижения в пространстве, режим чтения — для работы с текстовыми документами.
Прототип устройства обещают подготовить к концу 2025 года. Он будет состоять из 16-ядерного одноплатного компьютера, видеокамеры и наушников. Общий вес с аккумулятором составит около 1 кг.
Изображение: нейросеть qwen.ai
(Пока оценок нет)
Загрузка...