od czasu do czasu przeglądam to forum i jestem naprawdę pod wrażeniem wielu konstrukcji, stąd też trochę stresuję się publikując tutaj swój wątek ;) Jestem początkującym adeptem Mindstormsów i wiem, że moje modele doskonałe nie są, z drugiej strony od kogo mam się uczyć jak nie od Was? :)
Ale do rzeczy: mój projekt powiązany jest z tematem pracy magisterskiej i ma odpowiedzieć na pytanie na ile sensowne jest wykorzystywanie 'cudów' takich jak sensor Microsoft Kinect w sterowaniu urządzeniami. Dla tych, którzy nie wiedzą czym to urządzenie jest to krótkie wyjaśnienie: posiada ono standardową kamerę RGB która stanowi źródło wyszukiwania i śledzenia człowieka oraz kamerę podczerwieni zwracającą informację o odległości punktów od czujnika. W ten sposób na wyjściu otrzymuje pozycje w przestrzeni 3D poszczególnych 'punktów' ludzkiego ciała (głowa, ramiona, dłonie itp.).
Poniższy schemat ilustruje elementy projektu i sposób ich komunikacji
Jak widać centralnym punktem jest tutaj komputer, który analizuje dane dostarczone z sensora Kinect i wysyła odpowiednie komendy do kostki NXT. Software, który tym zarządza napisany jest w C# w ramach platformy Microsoft Robotics Developer Studio 4 (MRDS).
Jako efekt pierwszego spotkania z Lego Mindstorms, Kinectem i MRDS powstał lekko zmodyfikowany Shooterbot. Obsługiwał proste gesty jazdy w przód, tył, lewo, prawo oraz oddanie strzału. Dodatkowo zamontowałem smartfona z Androidem i programem IP WebCam, który przesyłał obraz do komputera.
[youtube]http://www.youtube.com/watch?v=UekDfhyWWcI[/youtube]
Jak widać na filmie popełniłem parę błędów w programie, przez co wycelowanie i oddanie strzału było trochę kłopotliwe... ;)
Stwierdziłem jednak, że to za mało i fajnie by było pójść za ciosem i wykonać coś bardziej skomplikowanego. Nie mam pojęcia dlaczego akurat wybrałem koparkę, ale wydaje mi się, że jest to dobra konstrukcja do porównania 'klasycznego' sposobu kontrolowania (w tym konkretnym przykładzie za pomocą pada od Xbxoa) i tzw. NUI (czyli Kinectem). Tak więc po podłączeniu dwóch NXT, 6 serwomotorów (w tym jeden z PowerFunctions) i 4 czujników dotyku i zużyciu niemalże wszystkich klocków z obu zestawów powstało to dziwne monstrum :)
pełna galeria
Dopiero po zbudowaniu zdałem sobie sprawę ile rzeczy źle zrobiłem i w sumie należałoby to zacząć od nowa - niestety miałem nieprzekraczalny deadline na oddanie pożyczonego zestawu stąd też koparka musiała zostać w takim stanie.
Możliwości koparki były większe niż Shooterbota stąd też i gestów jest więcej. Jedno z założeń przy ich projektowaniu to wykonanie jednej operacji na raz - odbyłem kilka prób pomijając je i przyznam, że słabo mi wychodziło wykonywanie możliwych czynności :) Gestem z którego jestem najbardziej zadowolony to otwieranie i zamykanie chwytaka poprzez wykrywanie czy dłoń jest otwarta czy zamknięta - zajęło mi to cały jeden dzień :D
Poniżej film przedstawiający koparkę (i mnie ;) ) w akcji:
[youtube]http://www.youtube.com/watch?v=FTBBlt9uk1A[/youtube]
przy liczbie 3 prób średni czas przeniesienia kół oscylował wokół 7 min i 30 sek. Wykonanie tego samego zadania z pomocą pada ok. 5 min. Sam byłem tymi czasami zdziwiony, ale w międzyczasie czy to gubiłem koło czy przesunąłem resztę i pospadały... :)
Nie wiem co jeszcze istotnego powinienem o projektach napisać. Będę wdzięczny za każdą uwagę, już poza pracą dyplomową chciałbym zbudować nową wersję 'inteligentnej koparki' tj. wykrywanie obiektu do przeniesienia przed nią i wspomaganie podjechania do niego oraz jego chwycenia - być może moc EV3 pozwoli na podpięcie kamerki i analizowanie obrazu np. przez OpenCV :)
Kod źródłowy projektu hostuję na BitBucket:
https://bitbucket.org/skyknight/kinectrobot
Mimo, że na co dzień używam platformy .Net i języka C#, to chwilę mi zajęło zrozumienie platformy MSRDS, niemniej teraz naprawdę dostrzegam jej potencjał :) Gdyby ktoś potrzebował pomocy to w ramach swojej (jeszcze) skromnej wiedzy na jej temat z przyjemnością się nią podzielę :)
pozdrawiam
