prikaz prve stranice dokumenta Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju
  Preuzmi
PDF 1.46 MB
diplomski rad
Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju
2024. urn:nbn:hr:200:596709
Zahirović, Bruno
Sveučilište Josipa Jurja Strossmayera u Osijeku
Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek
Zavod za računalno inženjerstvo i automatiku
Katedra za automatiku i robotiku

Citirajte ovaj rad

Zahirović, B. (2024). Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju (Diplomski rad). Osijek: Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović, Bruno. "Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju." Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek, 2024. https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović, Bruno. "Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju." Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek, 2024. https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović, B. (2024). 'Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju', Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek, citirano: 04.10.2024., https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović B. Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju [Diplomski rad]. Osijek: Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek; 2024 [pristupljeno 04.10.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:200:596709

B. Zahirović, "Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju", Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek, Osijek, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:200:596709

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:200:596709
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovUčenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju
Naslov (engleski)Training a mobile agent in simulation using reinforcement learning and application in real world
AutorBruno Zahirović
MentorPetra Pejić (mentor)
MentorMatej Džijan (sumentor)
Član povjerenstvaPetra Pejić (predsjednik povjerenstva)
Član povjerenstvaRatko Grbić (član povjerenstva)
Član povjerenstvaRobert Cupec (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište Josipa Jurja Strossmayera u Osijeku
Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek
(Zavod za računalno inženjerstvo i automatiku)
(Katedra za automatiku i robotiku)
Osijek
Datum i država obrane2024-09-12, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Umjetna inteligencija
Sažetak
U ovom diplomskom radu provedeno je treniranje agenta koji upravlja četveronožnim mobilnim robotom pomoću metode podržanog učenja, odnosno još specifičnije, PPO algoritmom. Odabrani četveronožni robot je robot tvrtke Petoi zvani Nybble. Agent je u obliku neuronske mreže prebačen na mikroupravljač čime je agentu omogućeno upravljanje 3D ispisanom verzijom robota. Agent ima mogućnost upravljanja osam nožnih zglobova robota i treniranjem je naučeno da ih pomiče na način da se robot kreće unaprijed. Za treniranje agenta korišteni su alati Isaac Sim i Isaac Gym tvrtke Nvidia, dok je za prevođenje neuronske mreže na mikroupravljač korišteno razvojno okruženje STM32Cube IDE tvrtke STMicroelectronics koristeći dodatak X-CUBE-AI. Spomenuto razvojno okruženje korišteno je i za razvijanje programskog koda u svrhu prilagođavanja ulaza i izlaza neuronske mreže te za pisanje programskog koda za upravljanje servo motorima robota, napisano u C programskom jeziku. Zbog ograničenja hardvera agent ulazne podatke potrebne za inferenciju neuronske mreže ne skuplja iz stvarnog okoliša, već su ulazni podaci prikupljeni iz simulacijskog okruženja i pohranjeni unutar memorije mikroupravljača. Rezultatima je pokazano kako je prijenos naučenog iz simulacije u stvarni svijet moguć čak i s jeftinim hardverom te iako rezultati nisu optimalni velikim dijelom je to krivnja samog hardvera.
Sažetak (engleski)
This master's thesis addresses the problem of training an agent to control a quadruped robot using a machine learning method called reinforcement learning, and more specifically the PPO algorithm. The chosen quadruped robot model is Nybble by the Petoi company. After successful training, the agent was transferred onto a microcontroller in the form of a neural network to have the ability to control a 3D printed version of Nybble. The agent has the ability to control Nybble's eight leg joints and with training it learned how to move them in such a way to achieve forward movement. The agent was trained using the Isaac Sim and Isaac Gym tools by Nvidia, and the STM32Cube IDE by STMicroelectronics was used to translate the agent neural network to the microcontroller using the XCUBE- AI addon. The IDE was also used to develop the source code responsible for adapting the inputs and outputs of the neural network, as well as to write the drivers to control the Nybble's servo motors, all written in C programming language. Because of the hardware limitations, the agent doesn't collect actual environment data necessary for neural network inference while on the real-world model. The data has been previously collected in the simulation and stored into the microcontroller's internal memory. The results show that the simulation to reality transfer is possible even with cheap hardware, and even though the results aren't optimal, most of it can be blamed on the hardware itself.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:200:596709
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: sveučilišni/a magistar/magistra inženjer/inženjerka računarstva (univ. mag. ing. comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2024-09-19 07:28:13