Компьютерное зрение сегодня для многих продолжает оставаться чудом. Между тем, подобные технологии – уже реальность, и проекты лаборатории технического зрения роботизированных систем в индустрии тому подтверждение. Лаборатория была открыта в ЮУрГУ в 2023 году в рамках реализации программы «Приоритет–2030» национального проекта «Наука и Университеты». О том, как научить компьютер «видеть», о специальных возможностях технического зрения, о том, как с помощью компьютерного зрения улучшить качество услуг ЖКХ, о роли компьютерного зрения в обеспечении безопасности в электроэнергетике и на пищевых производствах и о многом другом – в интервью с руководителем лаборатории, канд. техн. наук, доцентом кафедры прикладной математики и программирования Владимиром Анатольевичем Суриным.
– Расскажите об истории проекта. Как создавалась лаборатория?
– В 2023 году лаборатория технического зрения роботизированных систем в индустрии была открыта в рамках программы «Приоритет–2030». Летом мы вели переговоры о создании лаборатории, осенью закупили оборудование. Непосредственно по своему профилю лаборатория начала работать с января 2024 года, и сегодня уже есть первые значимые результаты. К примеру, в рамках госзадания, которое было получено сотрудниками нашей лаборатории, мы начали работу с Южно-Уральским заводом ЮМЭК (часть холдинга «ФОРЭНЕРГО»). ЮМЭК производит высоковольтные подвесные и штыревые стеклянные изоляторы. Лаборатория получает от завода материал для исследования, а для ЮМЭК прорабатываются варианты алгоритмов технического зрения для дефектоскопии изоляторов. Госзадание действует уже второй год. Эта часть работ касается непосредственно фундаментальной части наших разработок. Большинство наших разработок – прикладные.
– Какова концепция и цели лаборатории?
– Основная цель – накопление компетенций в области компьютерного зрения. Ряд кафедр уже затрагивали тему компьютерного зрения в своих разработках. Но сотрудничество с промышленными партнерами по тематике компьютерного зрения является приоритетным направлением именно для нашей лаборатории.
Цель создания лаборатории машинного зрения роботизированных систем в индустрии – набрать необходимые компетенции по машинному зрению и обучить студентов, которые могли бы выполнять задачи в рамках ВКР или в рамках практики. При этом задачи, решаемые в лаборатории, должны быть интересны производителям оборудования, заинтересованным во внедрении элементов машинного зрения в свой производственный процесс.
– Как можно доступно объяснить обывателю, что такое компьютерное зрение?
– Компьютерное зрение – это подраздел искусственного интеллекта, та область машинного обучения, которая отвечает за обработку фото и видеосигнала, распознавание визуальных образов. Мы пытаемся объяснить компьютеру, что именно нужно сделать, исходя из картинки. Мы можем получить этот контент с помощью камер обычного зрения, например, телефонных либо камер специализированного зрения (тепловизоры, видеосканеры, лазерные сканеры и так далее). Все это – вводная информация для компьютерного зрения или, применительно к промышленным задачам, машинного зрения. Мы на основе этой информации пытаемся объяснить компьютеру задачу и получить ответ, который мы от него требуем. Грубо говоря, взять видеоинформацию, обработать её и получить ответ, который мы искали. Причем мы стремимся настроить наши программные продукты так, чтобы в дальнейшем они работали в автоматическом режиме. Таким образом, человек будет принимать в этом минимальное участие.
– Расскажите подробнее о проектах лаборатории. На какой стадии находится каждый из них?
– К примеру, взаимодействие с производителем высоковольтных изоляторов АО «ЮМЭК». Мы изготавливаем демонстрационные стенды обнаружения дефектов в объектах из прозрачных аморфных материалов. Эту научную задачу мы выполняем в рамках госзадания. И параллельно мы делаем для ЮМЭК прототип, который позволяет нам выявлять дефекты в прозрачных изоляторах на высоковольтных линиях из закаленного стекла. На данный момент мы увезли на ЮМЭК наш стендовый образец, который сейчас собирает данные в виде изображений изоляторов с дефектами, присутствующими в них. Данные необходимы для того, чтобы потом научить нейронную сеть автоматически выявлять дефекты в изоляторах.
Также мы ведем научные изыскания: каким образом мы еще можем выявлять эти дефекты, не только на основе обычного зрения, но еще используя, например, Фурье-образы.
В рамках сотрудничества с ЮМЭК мы подали заявку на регистрацию программы «Программный комплекс технического зрения для определения дефектов в стеклянных изоляторах», заявка сейчас в работе. Кроме того, с 2023 года мы занимаемся разработкой алгоритмов технического зрения для дефектоскопии керамических изоляторов. Проект выполняла дипломница Ксения Симонова с кафедры «Прикладная математика и программирование». Она создала приложение, которое позволяет по изображению выявлять дефекты в керамических изоляторах.
– Проект «Разработка алгоритма автоматического управления купольными камерами на основе наблюдаемого изображения» перекликается с проектом «Экомонитор», выполняемым в рамках третьего стратегического проекта «Экосреда постиндустриальной агломерации». В рамках программы «Приоритет–2030» мы приобрели купольные камеры и учимся с ними работать. Камеры предназначены для отслеживания интенсивности выбросов из дымовых труб. Наша часть в проекте: управление камерой и фиксация выбросов. В рамках проекта «Экомонитор» была создана система расчетов загрязнений. На главном корпусе ЮУрГУ стоит тепловизор. Мы в проекте сделали систему управления плюс систему распознавания источников. Магистрант, а теперь сотрудник УНИД Иван Гончаров занимается разработкой алгоритма автоматического управления купольными камерами на основе наблюдаемого изображения.
– Тему «Разработка демонстратора технологии дефектоскопии слоя окраса» мы разрабатываем совместно с ЧКПЗ в рамках НИОКР. В рамках проекта мы выполняем прикладные научные исследования по теме «Разработка автоматизированной системы контроля покрытия, нанесенного на внутреннюю камеру корпусов». В проекте используются оптические визуальные средства контроля. Разрабатываемая нами программа позволит выявлять непрокрашенные области на конкретных изделиях и формировать сигналы о дефекте окраса.
.jpg)
– Какие еще значимые научные результаты этого года вы хотели бы прокомментировать?
– Отдельного внимания заслуживает программа для 3D-осмотра аварийного жилья. Магистрант кафедры «Прикладная математика и программирование», специальности 010402 «Прикладная математика и информатика» Максим Золотухин в рамках общего проекта «Интеллектуальное производство» на основе технологий виртуальной реальности разработал уникальную программу для 3D-осмотра аварийного жилья. Программа адресована службам ЖКХ и предназначена для осмотра помещений с целью присвоения статуса «аварийное».
На текущий момент прорабатывается взаимодействие с фабрикой «Чебаркульская птица». В лаборатории разрабатывается программа, в задачи которой входит отслеживание движущихся объектов и доступа посторонних в отслеживаемые зоны предприятия. По периметру предприятия установлены камеры, с которых будет собираться необходимая для анализа информация. Более подробная информация об этих двух проектах в отдельных релизах на сайте ЮУрГУ.
– Успех лаборатории во многом зависит от качества оборудования. Какое оборудование используется в проекте?
– Мы занимаемся, прежде всего, анализом данных. Это не только анализ данных по фото и видео. В рамках программы «Приоритет-2030» у нас закуплены камеры и высокоскоростные компьютеры для обработки больших объемов информации и обучения нейросетей, которые являются ядром программ для обработки информации. Также в рамках «Приоритета» закуплены тепловизор, камера для фиксации ультрафиолетового излучения, генераторы, сверхбыстрая камера, которая снимает множество кадров в секунду. Этим оборудованием пользуются не только сотрудники лаборатории! Оно закуплено для междисциплинарных проектов.
– Как складывается взаимодействие лаборатории с кафедрами и подразделениями вуза?
– Задачи, связанные с компьютерным зрением, возникают в разных областях науки. С разными подразделениями вуза мы взаимодействуем в рамках ВКР. Например, сейчас мы ведем совместный проект с лабораторией роста кристаллов. У них есть аналоговое оборудование. Мы на основе технического зрения разрабатываем систему для перевода аналогового сигнала (цифр на дисплее), в цифровой вид. Камера снимает показания, компьютер распознает эти показания и записывает в файл. Также мы планируем активно сотрудничать с кафедрой автомобильного транспорта. Они разрабатывают колесные беспилотные автомобили, и им в перспективе понадобится техническое зрение, чтобы машина могла видеть дорогу, распознавать препятствия и учитывать их при построении маршрута. В этом мы готовы помочь.
Много идей для сотрудничества у Передовой инженерной школы двигателестроения и специальной техники «Сердце Урала». В теме, которую развивает ПИШ, компьютерное зрение идет как отдельная составляющая. Многие виды работ, которые они планируют выполнять, можно автоматизировать с помощью компьютерного зрения.
Этим летом мы начали сотрудничество с институтом спорта туризма и сервиса. Сейчас прорабатывается ряд проектов. Наиболее интересным пока видится спортивная аналитика. Мы работаем над системой отслеживания участников хоккейных матчей. На текущий момент по видеозаписи мы можем отслеживать каждого игрока и рефери по отдельности и считать их параметры: местоположение, скорость и ускорение в конкретный момент времени, пройденный за матч путь, а также ряд других параметров. Проектом уже заинтересовались в управлении судейства ФХР, мы ведем переговоры по возможности установке камер в ДС «Юность» для сбора данных и отработки технологии.
– Как в лаборатории организована работа со студентами?
– И в бакалавриате, и в магистратуре у нас есть курс «Компьютерное зрение». Этот курс веду я. Те компетенции, которые мы набираем в рамках лаборатории, и те задачи, которые у нас встречаются здесь, я предполагаю выносить в курс и уже целенаправленно обучать студентов. Разумеется, среди перспективных студентов я надеюсь найти тех, у кого горят глаза и кому действительно интересно развитие темы компьютерного зрения. В дальнейшем мы в лаборатории намерены предлагать им сотрудничество.
Уже во время учебы мы знакомим студентов с реальными производственными задачами по компьютерному зрению. Все это задачи, возникающие в рамках работы в лаборатории. Типовых эфемерных задач можно напридумывать сколько угодно, но это не станет стимулом для самостоятельного развития студентов.
– Кто входит в команду лаборатории?
– В составе команды проекта девять человек. Здесь и студенты кафедры «Прикладная математика и программирование», и люди с кафедры «Электронные вычислительные машины» – мы их привлекли для работы с электроникой, есть электроэнергетики. Планируем привлекать больше людей, чтобы решать задачи, возникающие в процессе работы.
– Когда компьютерное зрение полностью заменит человека на производстве?
– Вряд ли на производстве можно полноценно заменить человека… Но если задача довольно-таки простая и нудная, то техническое зрение сможет ее выполнять. А людей можно будет перевести на более ответственную и сложную работу, которая техническому зрению пока не по силам.
Проект реализуется в рамках программы «Приоритет–2030» национального проекта «Наука и Университеты».