CREATION OF A VISION SYSTEM WITH AN ARTIFICIAL NEURAL NETWORK FOR SORTING APPLES
Abstract
This article describes the process of creating a training sample for training an artificial neural network (hereinafter referred to asANN) of a vision system.ANN training was carried out on the basis of annotated images of real apples containing a description of various defects in the form of separate polygons using the LabelMe program. On the image of the fruit, the apple itself and its pomological features, such as receptacle, peduncle and leaf, were marked, as well as 10 different fruit defects, each of which was given an appropriate name: mesh, pressure, cut, rot, scab, hailstone, etc. The resulting labeled images of fetuses with defects formed a reference training set for the ANN. The performance of the ANN was tested by evaluating the correctness of recognition of fetal images when comparing them with reference images. The training of the ANN for each of the defects in apples was stopped when the 95% probability of the correct assessment of the defect was reached. The ANN trained on the created training sample was used in the vision system of the LSP-4 production line, which provides sorting of apples into three commercial varieties by size and defects from mechanical damage, diseases and pests. The accuracy of sorting by size was 75.4 %, and by the presence of defects – 73.1 %.
Keywords
classification,
artificial neural networks,
defect,
leaf,
stalk,
sepal,
scab,
hailstone,
pressure,
rot,
recognition
References
1. Смирнов, И. Г. Интеллектуальные технологии и роботизированные машины для возделывания садовых культур / И. Г. Смирнов, Д. О. Хорт, А. И. Кутырев // Сельскохозяйственные машины и технологии. – 2021. – Т. 15, № 4. – С. 35–41.
2. Роботизированный комплекс для сортировки яблок / П. В. Балабанов [и др.] // Цифровизация агропромышленного комплекса : материалы Междунар. науч.-практ. конф., Тамбов, 21–23 окт. 2020 г. / Тамбов. гос. техн. ун-т. – Тамбов, 2020. – Т. 1. – С. 44–47.
3. Rethinking the Inception Architecture for Computer Vision [Electronic resource] / C. Szegedy [et al.] // Cornel University Library. – Mode of access: https://arxiv.org/pdf/1512.00567.pdf. – Date of access: 15.05.2018.
4. ImageNet [Electronic resource] // Stanford Vision Lab, Stanford University, Princeton University. – Mode of access: http://www.image-net.org. – Date of access: 05.04.2018.
5. Yuzhen, Lu. Development of a multispectral Structured Illumination Reflectance Imaging (SIRI)system and its application to bruise detection of apples [Разработка мультиспектральной системы визуализации отраженного изображения (SIRI) и ее применение для обнаружения повреждений яблок. (США)] / Lu Yuzhen, Lu Renfu // Transactions of the ASABE / Amer. soc. of agriculture and biol. engineering. – St. Joseph (Mich.), 2017. – Vol. 60, № 4. – P. 1379–1389.
6. Казакевич, П. П. Система технического зрения распознавания дефектов яблок: обоснование, разработка, испытание / П. П. Казакевич, А. Н. Юрин, Г. А. Прокопович // Вес. Нац. акад. навук Беларусі. Сер. аграр. навук. – 2021. – Т. 59, № 4. – С. 488–500. https://doi.org/10.29235/1817-7204-2021-59-4-488-500.
7. Юрин, А. Н. Инновационные технологические процессы и технические комплексы для интенсивного садоводства Беларуси / А. Н. Юрин. – Минск : Беларуская навука, 2022. – 208 c.
8. Разработка алгоритмов системы распознавания ягод земляники садовой при роботизированном сборе / Д. О. Хорт [и др.] // Электротехнологии и электрооборудование в АПК / Федер. науч. агроинженер. центр ВИМ. – 2020. – № 1 (38). – С. 133–141.
9. Жиркова, А. А. Автоматизированная система гиперспектрального контроля дефектов яблок / А. А. Жиркова, П. В. Балабанов, А. Г. Дивин // Современная наука: теория, методология, практика : материалы Междунар. науч.-практ. конф., Тамбов, 13–14 апр. 2021 г. / Тамбов. гос. техн. ун-т. – Тамбов, 2021. – С. 291–296.
10. Нейронная сеть для распознавания плодов и ягод садовых культур : прЭВМ RU 2020660182 / Д. О. Хорт, А. И. Кутырёв, Р. А. Филиппов, Р. В. Вершинин, И. Г. Смирнов. – Опубл. 28.08.2020.
11. Разработка навесной системы для управления пропашным культиватором в автоматическом режиме / В. В. Азаренко [и др.] // Вес. Нац. акад. навук Беларусі. Сер. аграр. навук. – 2021. – Т. 59, № 2. – С. 232–242. https://doi.org/10.29235/1817-7204-2021-59-2-232-242.
12. База данных спектральных изображений болезней и повреждений злаковых культур, плодов и клубней картофеля : БД RU 2021620285 / А. С. Дорохов, А. Г. Аксенов, Д. О. Хорт, А. И. Кутырёв, А. В. Тетерев, А. В. Сибирёв, М. Н. Московский, Р. А. Филиппов, С. В. Семичев, М. А. Мосяков. – Опубл. 16.02.2021.
13. Training deep face recognition systems with synthetic data [Electronic resource] / A. Kortylewski [et al.] // Cornell University Library. – Mode of access: https://arxiv.org/pdf/1802.05891.pdf. – Date of access: 16.04.2018.
14. PyQt5 PyPI [Электронный ресурс]. – Режим доступа: https://pypi.org/project/PyQt5. – Дата доступа: 27.03.2021.
15. lxml – Processing XML and HTML with Python [Электронный ресурс]. – Режим доступа: https://lxml.de. – Дата доступа: 27.03.2021.
16. Tzutalin. LabelImg [Electronic resource] / Tzutalin. – Mode of access: https://github.com/tzutalin/labelImg. – Date of access: 18.06.2018.
17. Huang, J. Speed/accuracy trade-offs for modern convolutional object detectors [Electronic resource] / J. Huang // Cornel University Library. – 2016. – Mode of access: https://arxiv.org/pdf/1611.10012.pdf. – Date of access: 04.06.2019.
18. Ganganagowdar, N. V. An intelligent computer vision system for vegetables and fruits quality inspection using soft computing techniques [Интеллектуальная система компьютерного зрения для проверки качества и сортировки плодов и овощей на основе мягких вычислений (нейронная сеть с обратной связью и вероятностная нейронная сеть). Индия] / N. V. Ganganagowdar, A. V. Gundad // Agricultural Engineering International. – 2019. – Vol. 21, № 3. – P. 171–178.
19. Снижение затрат труда применением системы технического зрения при сортировке яблок / А. Н. Юрин [и др.] // Механизация и электрификация сельского хозяйства: межведомственный тематический сборник / Нац. акад. наук Беларуси, Науч.-практ. центр НАН Беларуси по механизации сельского хозяйства»; ред.: П. П. Казакевич [и др.] ; рец.: В. В. Азаренко [и др.]. – Минск : Беларуская навука, 2022. – Вып. 55. – С.88–95.
20. Организационно-технологические нормативы возделывания овощных, плодовых, ягодных культур и выращивания посевного материала: сборник отраслевых регламентов / В. Г. Гусаков [и др.]; НАН Беларуси, Ин-т системных исследований в АПК НАН Беларуси. – Минск : Беларуская навука, 2010. – 520 с.
Review
For citations:
Yuryn A.N. CREATION OF A VISION SYSTEM WITH AN ARTIFICIAL NEURAL NETWORK FOR SORTING APPLES. Mechanization and Electrification of Agriculture. 2024;1(57):97-107. (In Russ.)
Views: 64
Email this article 