| Abstract | U ovom diplomskom radu predstavljen je prikupljeni podatkovni skup BRANCH koji
sadrži RGB-D slike stabala voćki prije i poslije rezidbe. Predstavljen je i algoritam koji iz više dubinskih
slika stabla rekonstruira 3D model stabla u obliku oblaka točaka. Također, opisana je i neuronska mreža
temeljena na PointNet++ arhitekturi. Algoritam za rekonstrukciju 3D modela podrazumijeva odabir
oblaka točaka za rekonstrukciju, uklanjanje pozadinskog šuma i preklapanje oblaka točaka pomoću
RANSAC i ICP algoritama. RANSAC se koristi za inicijalnu globalnu registraciju, a ICP za dodatno
poravnavanje točaka. Evaluacija algoritma za rekonstrukciju 3D modela obavljena je na sintetičkom
modelu. Korištene su metrike Intersection over Union - IoU i chamfer distance. Rezultat metrike IoU, za
vrijednost praga od 1 cm, je 63.39%, a za vrijednost od 5 cm, rezultat je 94.66%. Metrika chamfer
distance predstavlja prosječnu udaljenost između sparenih točaka skupa i ona iznosi 2.897 cm.
Uspješnost izvedbe algoritma rekonstrukcije modela na BRANCH podatkovnom skupu iznosi 74.29%.
Preklapanjem rekonstruiranih oblaka točaka drveća prije i nakon rezidbe dobivene su oznake točaka koje
pripadaju orezanim granama. Ove oznake, zajedno s oblacima točaka drveća prije rezidbe koriste se kao
ulaz za učenje neuronske mreže. Neuronska mreža je temeljena na PointNet++ arhitekturi, na
specifičnom modelu za segmentaciju dijelova objekta. Model mreže, program za učitavanje
podatkovnog skupa i proces treniranja mreže su prilagođeni za potrebe diplomskog rada. Mreža je
trenirana na skupu za učenje, a testirana na podatkovnom skupu za testiranje na kojem postiže točnost
od 90.08%. Također na cijelom testnom skupu postiže preciznost 69.76%, odziv 67.85% i F1 68.79%.
Upotreba kvalitetnijih senzora za prikupljanje slika sa što manje gubitka informacija te optimizacija
algoritama za rekonstrukciju i klasifikaciju prijedlozi su za poboljšanje predložene metode za detekciju
grana za rezidbu. |
| Abstract (english) | In this thesis, the collected dataset BRANCH is presented, which contains RGB-D images of fruit
trees before and after pruning. Additionally, an algorithm is introduced that reconstructs a 3D model of
a tree from multiple depth images in the form of a point cloud. The thesis also describes a neural
network based on the PointNet++ architecture. The algorithm for 3D model reconstruction involves
selecting point clouds for reconstruction, removing background noise, and aligning point clouds using
the RANSAC and ICP algorithms. RANSAC is employed for initial global registration, while ICP is used for
further alignment of points. The evaluation of the reconstruction algorithm was performed on a
synthetic model. The metrics used were Intersection over Union (IoU) and chamfer distance. The IoU
result, with a threshold value of 1 cm, is 63.39%, and for a threshold of 5 cm, the result is 94.66%. The
chamfer distance represents the average distance between paired points in the set, which is 2.897 cm.
The algorithm's performance on the BRANCH dataset achieved 74.29%. By overlapping the
reconstructed point clouds of trees before and after pruning, point labels corresponding to pruned
branches were obtained. These labels, along with the point clouds of trees before pruning, are used as
input for training the neural network. The neural network is based on the PointNet++ architecture,
specifically tailored for object part segmentation. The network model, dataset loading program, and
training process were adapted for the purposes of this thesis. The network was trained on the training
set and tested on the test set, where it achieved an accuracy of 90.08%. Additionally, on the entire test
set, it achieved a precision of 69.76%, recall of 67.85%, and an F1 score of 68.79%. The use of higherquality sensors for image collection with minimal information loss, as well as the optimization of
reconstruction and classification algorithms, are suggested for improving the proposed method for
branch pruning detection. |
