mechelМеханизация и электрификация сельского хозяйстваMechanization and Electrification of Agriculture2222-8837Научно-практический центр Национальной академии наук Беларуси по механизации сельского хозяйстваmechel-818Research ArticleСтатьиСОЗДАНИЕ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ С ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТЬЮ ДЛЯ СОРТИРОВКИ ЯБЛОКCREATION OF A VISION SYSTEM WITH AN ARTIFICIAL NEURAL NETWORK FOR SORTING APPLESЮринА. Н.YurynA. N.

г. Минск

Minsk

anton-jurin@rambler.ruРУП «НПЦ НАН Беларуси по механизации сельского хозяйства»RUE “SPC NAS of Belarus for Agricultural Mechanization”20240708202415797107Copyright © Юрин А.Н., 20242024Юрин А.Н.Yuryn A.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://mechel.belal.by/jour/article/view/818

В данной статье рассмотрен процесс создания обучающей выборки для обучения искусственной нейронной сети (в дальнейшем – ИНС) системы технического зрения. Обучение ИНС проводилось на основе аннотированных изображений реальных яблок, содержащих описание различных дефектов в виде отдельных полигонов посредством программы LabelMe. На изображении плода размечалось само яблоко и его помологические особенности, такие как цветоложе, плодоножка и лист, а также 10 различных дефектов плодов, каждому из которых присваивалось соответствующее название: сетка, нажим, порез, гниль, парша, градобоина и т. д. Полученные размеченные изображения плодов с дефектами сформировали эталонную обучающую выборку для ИНС. Проверка эффективности работы ИНС осуществлялась путем оценки правильности распознавания изображений плодов при сравнивании их с эталонными изображениями. Обучение ИНС каждому из дефектов яблок останавливалось при достижении 95 % вероятности правильной оценки дефекта. ИНС, обученная на созданной обучающей выборке, использована в системе технического зрения технологической линии ЛСП-4, обеспечивающей сортировку яблок на три товарных сорта по размеру и дефектам от механических повреждений, болезней и вредителей. Точность сортировки по размеру составила 75,4 %, а по наличию дефектов – 73,1 %.

This article describes the process of creating a training sample for training an artificial neural network (hereinafter referred to asANN) of a vision system.ANN training was carried out on the basis of annotated images of real apples containing a description of various defects in the form of separate polygons using the LabelMe program. On the image of the fruit, the apple itself and its pomological features, such as receptacle, peduncle and leaf, were marked, as well as 10 different fruit defects, each of which was given an appropriate name: mesh, pressure, cut, rot, scab, hailstone, etc. The resulting labeled images of fetuses with defects formed a reference training set for the ANN. The performance of the ANN was tested by evaluating the correctness of recognition of fetal images when comparing them with reference images. The training of the ANN for each of the defects in apples was stopped when the 95% probability of the correct assessment of the defect was reached. The ANN trained on the created training sample was used in the vision system of the LSP-4 production line, which provides sorting of apples into three commercial varieties by size and defects from mechanical damage, diseases and pests. The accuracy of sorting by size was 75.4 %, and by the presence of defects – 73.1 %.

классификацияискусственные нейронные сетидефектлистплодоножкачашелистикпаршаградобоинанажимгнильраспознаваниеclassificationartificial neural networksdefectleafstalksepalscabhailstonepressurerotrecognitionРабота выполнялась в рамках задания 5 «Разработать и освоить производство технологической линии сортировки и фасовки яблок» подпрограммы «Белсельхозмеханизация-2025» государственной научно-технической программы «Инновационные агропромышленные и продовольственные технологии» 2021–2025 гг.ReferencesСмирнов, И. Г. Интеллектуальные технологии и роботизированные машины для возделывания садовых культур / И. Г. Смирнов, Д. О. Хорт, А. И. Кутырев // Сельскохозяйственные машины и технологии. – 2021. – Т. 15, № 4. – С. 35–41.Смирнов, И. Г. Интеллектуальные технологии и роботизированные машины для возделывания садовых культур / И. Г. Смирнов, Д. О. Хорт, А. И. Кутырев // Сельскохозяйственные машины и технологии. – 2021. – Т. 15, № 4. – С. 35–41.Роботизированный комплекс для сортировки яблок / П. В. Балабанов [и др.] // Цифровизация агропромышленного комплекса : материалы Междунар. науч.-практ. конф., Тамбов, 21–23 окт. 2020 г. / Тамбов. гос. техн. ун-т. – Тамбов, 2020. – Т. 1. – С. 44–47.Роботизированный комплекс для сортировки яблок / П. В. Балабанов [и др.] // Цифровизация агропромышленного комплекса : материалы Междунар. науч.-практ. конф., Тамбов, 21–23 окт. 2020 г. / Тамбов. гос. техн. ун-т. – Тамбов, 2020. – Т. 1. – С. 44–47.Rethinking the Inception Architecture for Computer Vision [Electronic resource] / C. Szegedy [et al.] // Cornel University Library. – Mode of access: https://arxiv.org/pdf/1512.00567.pdf. – Date of access: 15.05.2018.Rethinking the Inception Architecture for Computer Vision [Electronic resource] / C. Szegedy [et al.] // Cornel University Library. – Mode of access: https://arxiv.org/pdf/1512.00567.pdf. – Date of access: 15.05.2018.ImageNet [Electronic resource] // Stanford Vision Lab, Stanford University, Princeton University. – Mode of access: http://www.image-net.org. – Date of access: 05.04.2018.ImageNet [Electronic resource] // Stanford Vision Lab, Stanford University, Princeton University. – Mode of access: http://www.image-net.org. – Date of access: 05.04.2018.Yuzhen, Lu. Development of a multispectral Structured Illumination Reflectance Imaging (SIRI)system and its application to bruise detection of apples [Разработка мультиспектральной системы визуализации отраженного изображения (SIRI) и ее применение для обнаружения повреждений яблок. (США)] / Lu Yuzhen, Lu Renfu // Transactions of the ASABE / Amer. soc. of agriculture and biol. engineering. – St. Joseph (Mich.), 2017. – Vol. 60, № 4. – P. 1379–1389.Yuzhen, Lu. Development of a multispectral Structured Illumination Reflectance Imaging (SIRI)system and its application to bruise detection of apples [Разработка мультиспектральной системы визуализации отраженного изображения (SIRI) и ее применение для обнаружения повреждений яблок. (США)] / Lu Yuzhen, Lu Renfu // Transactions of the ASABE / Amer. soc. of agriculture and biol. engineering. – St. Joseph (Mich.), 2017. – Vol. 60, № 4. – P. 1379–1389.Казакевич, П. П. Система технического зрения распознавания дефектов яблок: обоснование, разработка, испытание / П. П. Казакевич, А. Н. Юрин, Г. А. Прокопович // Вес. Нац. акад. навук Беларусі. Сер. аграр. навук. – 2021. – Т. 59, № 4. – С. 488–500. https://doi.org/10.29235/1817-7204-2021-59-4-488-500.Казакевич, П. П. Система технического зрения распознавания дефектов яблок: обоснование, разработка, испытание / П. П. Казакевич, А. Н. Юрин, Г. А. Прокопович // Вес. Нац. акад. навук Беларусі. Сер. аграр. навук. – 2021. – Т. 59, № 4. – С. 488–500. https://doi.org/10.29235/1817-7204-2021-59-4-488-500.Юрин, А. Н. Инновационные технологические процессы и технические комплексы для интенсивного садоводства Беларуси / А. Н. Юрин. – Минск : Беларуская навука, 2022. – 208 c.Юрин, А. Н. Инновационные технологические процессы и технические комплексы для интенсивного садоводства Беларуси / А. Н. Юрин. – Минск : Беларуская навука, 2022. – 208 c.Разработка алгоритмов системы распознавания ягод земляники садовой при роботизированном сборе / Д. О. Хорт [и др.] // Электротехнологии и электрооборудование в АПК / Федер. науч. агроинженер. центр ВИМ. – 2020. – № 1 (38). – С. 133–141.Разработка алгоритмов системы распознавания ягод земляники садовой при роботизированном сборе / Д. О. Хорт [и др.] // Электротехнологии и электрооборудование в АПК / Федер. науч. агроинженер. центр ВИМ. – 2020. – № 1 (38). – С. 133–141.Жиркова, А. А. Автоматизированная система гиперспектрального контроля дефектов яблок / А. А. Жиркова, П. В. Балабанов, А. Г. Дивин // Современная наука: теория, методология, практика : материалы Междунар. науч.-практ. конф., Тамбов, 13–14 апр. 2021 г. / Тамбов. гос. техн. ун-т. – Тамбов, 2021. – С. 291–296.Жиркова, А. А. Автоматизированная система гиперспектрального контроля дефектов яблок / А. А. Жиркова, П. В. Балабанов, А. Г. Дивин // Современная наука: теория, методология, практика : материалы Междунар. науч.-практ. конф., Тамбов, 13–14 апр. 2021 г. / Тамбов. гос. техн. ун-т. – Тамбов, 2021. – С. 291–296.Нейронная сеть для распознавания плодов и ягод садовых культур : прЭВМ RU 2020660182 / Д. О. Хорт, А. И. Кутырёв, Р. А. Филиппов, Р. В. Вершинин, И. Г. Смирнов. – Опубл. 28.08.2020.Нейронная сеть для распознавания плодов и ягод садовых культур : прЭВМ RU 2020660182 / Д. О. Хорт, А. И. Кутырёв, Р. А. Филиппов, Р. В. Вершинин, И. Г. Смирнов. – Опубл. 28.08.2020.Разработка навесной системы для управления пропашным культиватором в автоматическом режиме / В. В. Азаренко [и др.] // Вес. Нац. акад. навук Беларусі. Сер. аграр. навук. – 2021. – Т. 59, № 2. – С. 232–242. https://doi.org/10.29235/1817-7204-2021-59-2-232-242.Разработка навесной системы для управления пропашным культиватором в автоматическом режиме / В. В. Азаренко [и др.] // Вес. Нац. акад. навук Беларусі. Сер. аграр. навук. – 2021. – Т. 59, № 2. – С. 232–242. https://doi.org/10.29235/1817-7204-2021-59-2-232-242.База данных спектральных изображений болезней и повреждений злаковых культур, плодов и клубней картофеля : БД RU 2021620285 / А. С. Дорохов, А. Г. Аксенов, Д. О. Хорт, А. И. Кутырёв, А. В. Тетерев, А. В. Сибирёв, М. Н. Московский, Р. А. Филиппов, С. В. Семичев, М. А. Мосяков. – Опубл. 16.02.2021.База данных спектральных изображений болезней и повреждений злаковых культур, плодов и клубней картофеля : БД RU 2021620285 / А. С. Дорохов, А. Г. Аксенов, Д. О. Хорт, А. И. Кутырёв, А. В. Тетерев, А. В. Сибирёв, М. Н. Московский, Р. А. Филиппов, С. В. Семичев, М. А. Мосяков. – Опубл. 16.02.2021.Training deep face recognition systems with synthetic data [Electronic resource] / A. Kortylewski [et al.] // Cornell University Library. – Mode of access: https://arxiv.org/pdf/1802.05891.pdf. – Date of access: 16.04.2018.Training deep face recognition systems with synthetic data [Electronic resource] / A. Kortylewski [et al.] // Cornell University Library. – Mode of access: https://arxiv.org/pdf/1802.05891.pdf. – Date of access: 16.04.2018.PyQt5 PyPI [Электронный ресурс]. – Режим доступа: https://pypi.org/project/PyQt5. – Дата доступа: 27.03.2021.PyQt5 PyPI [Электронный ресурс]. – Режим доступа: https://pypi.org/project/PyQt5. – Дата доступа: 27.03.2021.lxml – Processing XML and HTML with Python [Электронный ресурс]. – Режим доступа: https://lxml.de. – Дата доступа: 27.03.2021.lxml – Processing XML and HTML with Python [Электронный ресурс]. – Режим доступа: https://lxml.de. – Дата доступа: 27.03.2021.Tzutalin. LabelImg [Electronic resource] / Tzutalin. – Mode of access: https://github.com/tzutalin/labelImg. – Date of access: 18.06.2018.Tzutalin. LabelImg [Electronic resource] / Tzutalin. – Mode of access: https://github.com/tzutalin/labelImg. – Date of access: 18.06.2018.Huang, J. Speed/accuracy trade-offs for modern convolutional object detectors [Electronic resource] / J. Huang // Cornel University Library. – 2016. – Mode of access: https://arxiv.org/pdf/1611.10012.pdf. – Date of access: 04.06.2019.Huang, J. Speed/accuracy trade-offs for modern convolutional object detectors [Electronic resource] / J. Huang // Cornel University Library. – 2016. – Mode of access: https://arxiv.org/pdf/1611.10012.pdf. – Date of access: 04.06.2019.Ganganagowdar, N. V. An intelligent computer vision system for vegetables and fruits quality inspection using soft computing techniques [Интеллектуальная система компьютерного зрения для проверки качества и сортировки плодов и овощей на основе мягких вычислений (нейронная сеть с обратной связью и вероятностная нейронная сеть). Индия] / N. V. Ganganagowdar, A. V. Gundad // Agricultural Engineering International. – 2019. – Vol. 21, № 3. – P. 171–178.Ganganagowdar, N. V. An intelligent computer vision system for vegetables and fruits quality inspection using soft computing techniques [Интеллектуальная система компьютерного зрения для проверки качества и сортировки плодов и овощей на основе мягких вычислений (нейронная сеть с обратной связью и вероятностная нейронная сеть). Индия] / N. V. Ganganagowdar, A. V. Gundad // Agricultural Engineering International. – 2019. – Vol. 21, № 3. – P. 171–178.Снижение затрат труда применением системы технического зрения при сортировке яблок / А. Н. Юрин [и др.] // Механизация и электрификация сельского хозяйства: межведомственный тематический сборник / Нац. акад. наук Беларуси, Науч.-практ. центр НАН Беларуси по механизации сельского хозяйства»; ред.: П. П. Казакевич [и др.] ; рец.: В. В. Азаренко [и др.]. – Минск : Беларуская навука, 2022. – Вып. 55. – С.88–95.Снижение затрат труда применением системы технического зрения при сортировке яблок / А. Н. Юрин [и др.] // Механизация и электрификация сельского хозяйства: межведомственный тематический сборник / Нац. акад. наук Беларуси, Науч.-практ. центр НАН Беларуси по механизации сельского хозяйства»; ред.: П. П. Казакевич [и др.] ; рец.: В. В. Азаренко [и др.]. – Минск : Беларуская навука, 2022. – Вып. 55. – С.88–95.Организационно-технологические нормативы возделывания овощных, плодовых, ягодных культур и выращивания посевного материала: сборник отраслевых регламентов / В. Г. Гусаков [и др.]; НАН Беларуси, Ин-т системных исследований в АПК НАН Беларуси. – Минск : Беларуская навука, 2010. – 520 с.Организационно-технологические нормативы возделывания овощных, плодовых, ягодных культур и выращивания посевного материала: сборник отраслевых регламентов / В. Г. Гусаков [и др.]; НАН Беларуси, Ин-т системных исследований в АПК НАН Беларуси. – Минск : Беларуская навука, 2010. – 520 с.

The authors declare that there are no conflicts of interest present.