Вашему вниманию – гостевая колонка. Гость - Антон Савельев, ведущий специалист по компьютерному зрению, Visor Group, рассказывает о конкретике внедрения систем машинного зрения на промышленных предприятиях. 

Когда производство решает заменить выборочный визуальный контроль сплошным, первым делом обычно обсуждают нейросеть. На практике результат чаще определяют три более приземлённые вещи: какая камера и где она стоит, как освещено изделие и в какой момент делается снимок. Если они выбраны неправильно, никакая модель не исправит кадр, на котором дефекта не видно.
 
Свет и блики
 
Если изделие на время съёмки останавливается, зачастую хватает постоянного света. На движущейся линии чаще ставят импульсную подсветку, синхронизированную с триггером камеры: короткая экспозиция убирает эффект смазывания картинки, а яркий импульс перебивает цеховое освещение, которое меняется в течение дня.
 
С полированным металлом главное средство - рассеянный свет: купольный осветитель или «туннель» вокруг детали, чтобы на зеркальной поверхности не было отражения ярких точек. Для царапин на таких поверхностях иногда лучше работает свет под очень малым углом: ровная поверхность остаётся тёмной, а дефект светится. Поляризационные фильтры хорошо помогают на плёнке, пластике и окрашенных деталях, а на полированном металле кадр с ними часто получается слишком тёмным. В любом случае схему света подбирают на образцах годных и бракованных деталей до закупки, это дешевле, чем исправлять потом программой.

 

три схемы съёмки для раковин и пор, трещин и сколов, геометрии

 

Свет под конкретный дефект
 
На участке контроля литья, где мы делали сплошной осмотр отливок, разные дефекты потребовали разной съёмки. Раковины и поры видны при направленном свете и высоком разрешении: свет под углом даёт тень в углублении. Трещины и сколы ищут на кадре без бликов, иногда с макросъёмкой. Для проверки геометрии нужна фиксированная точка съёмки и равномерное освещение, иначе отклонение размера путается с игрой теней. Поэтому список дефектов с примерами годного и брака стоит собрать до выбора оборудования: от него зависят и камера, и свет. 

Защита объектива
 
Объектив на линии почти никогда не оставляют открытым – иначе, как правило, в условиях производства он бы вскоре покрылся загрязнениями. Камеру помещают в кожух с защитным стеклом, и чистят это стекло по регламенту. Там, где в воздухе пыль, масляный туман или брызги, на стекло добавляют обдув воздухом, что позволяет в разы увеличить интервал времени между чистками.
 
Второе, что я считаю обязательным: система сама следит за качеством кадра. В сцене выбирают неподвижный участок, например край конвейера или метку на кожухе, и постоянно меряют его резкость и яркость. Когда они уходят за порог, оператору и службе обслуживания приходит сигнал «почистить оптику». Иначе грязь проявляется как медленный рост пропусков брака, и замечают её через недели. Кто и как часто чистит стекло, мы записываем в ТЗ вместе с цифрами точности.  
 
Разрешение и мелкие дефекты
 
Самый частый вопрос на старте — увидит ли камера дефект размером в доли миллиметра. Ответ даёт простой расчёт: сколько пикселей придётся на дефект при выбранном поле зрения. Если меньше нескольких пикселей, нужна другая оптика или съёмка участка крупнее. В проекте по литью мелкие дефекты ниже разрешения оптики потребовали отдельного подбора камеры, и это выяснилось на пилоте, а не после закупки.

 

пример расчёта, сколько пикселей приходится на дефект

 

Триггер: когда делать снимок
 
На движущейся линии важно, в какой момент изделие оказывается в кадре. Обычно снимок запускает сигнал датчика или контроллера конвейера, это не непрерывный поток видео: так изделие всегда в одной позиции, и кадры можно сравнивать между собой. Там, где изделие собирают вручную, как на участке упаковки, момент проверки привязывают к операции: например, коробка проверяется до того, как её закроют.

Решение и архив
 
Последнее, о чём стоит договориться заранее, — что система делает с результатом. В проекте по литью решение по каждой отливке сохраняется вместе с кадром, а бракованные изделия уходят на отбраковку. Архив кадров нужен не только для разбора спорных случаев с ОТК: по нему видно, где система ошибается и что поправить в съёмке.

 

от датчика на конвейере до решения, архива и отбраковки, плюс случай ручной сборки 

 

Проверять на своих изделиях
 
На пилоте подсчёта пачек в коробке для производителя снеков первая проверка дала 0 верно посчитанных коробок из 26: модель, обученная на чужих фотографиях, не справилась с тем, как пачки укладывают на этой линии. После доработки под реальную укладку проверка на роликах, которые модель при настройке не видела, дала 28 из 28, а на 56 коробках, поданных как видеопоток, - 52 верных итога. Вывод простой: демонстрация на чужих данных ничего не говорит о работе на вашей линии, а честный замер делается на ваших записях. 

 

 
Единственно верного ответа на вопрос – сколько нужно примеров для дообучения модели не существует, всё зависит от того, насколько разнообразен дефект и насколько стабильна съёмка. При жёсткой точке съёмки и ровном свете модели хватает заметно меньше примеров, чем на «живой» сцене, где меняются ракурс и фон. Узкое место почти всегда одно: редкие дефекты. Сбор примеров с такими дефектами занимает больше времени, чем само обучение, поэтому архив кадров с линии мы начинаем вести с первого дня пилота. 

➪ Подробнее о том, как устроены проекты машинного зрения на производстве: на сайте компании 

✓ подписаться на tg-канал PROrobots | зеркало - в Макс