ربات تمیز کردن و تعمیر و نگهداری پله ای استترو عمیق

تمیز کردن پله یک کار مهم و وقت گیر برای نگهداری آپارتمان های چند طبقه و ساختمانهای تجاری است. بسیاری از روبات های تمیز کننده خودمختار تجاری در بازار نگهداری ساختمان وجود دارد ، اما تعداد کمی از آنها برای تمیز کردن پله ها طراحی شده اند. یک چالش مهم برای خودکارسازی روبات های تمیز کردن پله شامل طراحی سیستم های ادراک محیطی (EPS) است که به ربات در تعیین و پیمایش راه پله ها کمک می کند. این سیستم همچنین موانع و بقایای ناوبری ایمن و تمیز کردن کارآمد را هنگام صعود از پله ها تشخیص می دهد. این کار یک چارچوب عملیاتی را با استفاده از EPS مبتنی بر بینایی برای ربات تعمیر و نگهداری مجدد ماژولار ، به نام Stetro پیشنهاد می کند. سیستم پیشنهادی از یک مدل تشخیص شیء در زمان واقعی SSD برای تشخیص پله ها ، موانع و زباله ها استفاده می کند. علاوه بر این ، این مدل با استفاده از یک Mobilenet و SVM ، تشخیص کاذب پله ها را با همجوشی اطلاعات عمق فیلتر می کند. این سیستم از یک الگوریتم تشخیص کانتور برای بومی سازی مرحله اول طرح پله و عمق خوشه بندی برای موانع مانع و زباله استفاده می کند. این چارچوب با استفاده از سخت افزار Jetson Nano از NVIDIA روی روبات استرو مستقر شده و با راه پله های چند طبقه آزمایش شده است. نتایج تجربی نشان می دهد که کل چارچوب به طور متوسط 310 میلی ثانیه برای اجرای آن طول می کشد و به دقت 94. 32 ٪ برای کارهای تشخیص پله و دقت 93. 81 ٪ برای موانع و کارهای تشخیص زباله در حین کار واقعی ربات دست می یابد.

1. معرفی

با ظهور قرن بیست و یکم ، روبات های خودمختار به بخشی جدایی ناپذیر از ماشین های هوشمند برای انجام کارهای مختلف از جمله بازرسی ، تولید ، حمل انبار و نگهداری (تمیز کردن ، گرد و غبار و نقاشی و غیره) تبدیل شده اند. در میان آنها ، روبات های تمیز کننده خودمختار در بسیاری از فعالیت های روزانه و همچنین در برنامه های اتوماسیون صنعتی نقش اساسی دارند [1،2]. این روبات ها به دلیل تقاضای زیاد در کارهای خانگی ، بیمارستان ها و صنایع به نیاز روز تبدیل شده اند. بسیاری از روبات های تمیز کننده خودمختار تجاری در بازار وجود دارد. با این حال ، این روبات ها برای عملیات تک طبقه طراحی شده اند و مکانیسم آنها نمی تواند از ناوبری پله برای رسیدن به طبقه بعدی پشتیبانی کند. آنها همچنین قادر به تمیز کردن مراحل پله ها نیستند [3]. معماری های روباتیک صعود کننده پله های مختلفی برای کاربردهای مختلف ارائه شده است. اینها شامل صندلی های چرخدار کوهنوردی پله [4،5،6] ، عملیات نجات در فاجعه [7،8] و برنامه های امنیتی [9] است. در حالی که بسیاری از برنامه های کاربردی وجود دارد ، کارهای بسیار کمی در مورد طراحی روبات های تمیز کننده با قابلیت کوهنوردی پله گزارش شده است. تاکاهیزا و همکاران.[10،11] یک ربات تمیز کننده خودمختار مناسب برای هر دو سطح مسطح و راه پله ها را پیشنهاد کرد. در این کار ، یک پا به شکل L برای صعود از پله طراحی شده است. یک روبات تمیز کننده پله ای مبتنی بر مکانیسم صعود عمودی توسط راجش و همکاران گزارش شده است.[12]در [3،13] ، نویسندگان یک روبات قابل تنظیم ماژولار را برای تمیز کردن پله ها پیشنهاد می کنند که در آن ربات به مکانیسم نقاله عمودی برای صعود از پله مجهز شده است. به طور کلی ، این روبات ها از مجموعه ای از سنسورهای مانند سنسورهای لیزر 2D و 1D لیزر [3،13] و ردیاب های حساس موقعیت (PSD) [10،11] استفاده می کنند تا محیط خود را تشخیص دهند. با این حال ، این سنسورها به دلیل محدود بودن توانایی در هنگام شناخت نوع شی ، فقط اطلاعات محدودی در مورد محیط زیست ارائه می دهند. علاوه بر این ، آنها قادر به تشخیص موانع یا آوار نیستند ، که برای عملکرد ایمن و تمیز کردن کارآمد بسیار مهم است.

درک محیط زیست مبتنی بر چشم انداز رایانه به طور گسترده ای برای سیستم عامل های مختلف روباتیک خودمختار مستقر شده است [14،15،16،17]. این روشها مقرون به صرفه هستند و قادر به کار در طیف گسترده ای از سناریوها هستند. به جای تکنیک های سنتی مبتنی بر چشم انداز رایانه ، درک محیط زیست مبتنی بر یادگیری (به عنوان مثال ، یادگیری عمیق) یک الگوی جدید است. لایه های شبکه عصبی یادگیری عمیق می توانند ویژگی هایی را برای تشخیص و تعیین اشیاء با دقت بالا بیاموزند و می توانند در کارهای مختلف بینایی مانند ادراک محیط زیست در فضای باز برای وسایل نقلیه خودمختار استفاده شوند [18،19،20] ، تمیز کردن و نگهداری خط لوله دید روبات [2 ،21،22،23،24] ، وظایف تشخیص و نقشه برداری Robot Mobile Place [25،26،27،28]. در حالی که این الگوریتم های یادگیری عمیق و پیشرفته برای طراحی ادراک محیط به نتایج چشمگیری رسیده اند ، برخی از کاستی ها مانند تشخیص کاذب وجود دارد که می تواند به دلیل اشیاء با ویژگی های مشابه باشد. این می تواند منجر به ناسازگاری در برنامه های روباتیک در زمان واقعی شود. یک رویکرد برای حل این مسئله با استفاده از داده های اضافی مانند اطلاعات عمق است.

اخیراً ، بسیاری از آثار با فیوژن مبتنی بر عمق گزارش شده است تا بر تشخیص کاذب اشیاء غلبه کرده و دقت طبقه بندی مدل را بهبود بخشد [29،30،31،32،33]. در [31،32] نویسندگان یک روش تشخیص شیء مبتنی بر RGB-D را پیشنهاد می کنند و نحوه استفاده از اطلاعات عمق را برای افزایش موثر کیفیت تشخیص توصیف می کنند. در این پیاده سازی ها ، اولین کانال چهارم را به طور مستقیم به عمق اضافه می کند ، و سپس به همان اندازه تمام کانال ها را در یک شبکه تقویت می کند [31]. دیگری به طور جداگانه عمق و رنگ (RGB) را با استفاده از دو شبکه مستقل پردازش می کند [32]. Tanguy و همکاران.[33] برای افزایش عملکرد تشخیص چارچوب تشخیص شی yolov2 ، اطلاعات عمق و داده های RGB را ذوب کرده است. در اینجا ، نویسنده یک معماری لایه فیوژن را برای ترکیب شبکه های عمق و تشخیص RGB معرفی کرده است. حتی اگر بسیاری از آثار مزایای استفاده از تکنیک های یادگیری عمیق برای برنامه های تشخیص را مورد بررسی قرار داده اند ، هیچ یک از این آثار به سمت ادراک محیطی برای روبات های تمیز کردن پله ها هدف قرار نمی گیرند.

این کار یک چارچوب عملیاتی را ارائه می دهد که توسط سیستم ادراک زیست محیطی مبتنی بر یادگیری عمیق برای ماژولار ماژولار تنظیم مجدد پله های تمیز کننده پله استرو استرو ارائه می دهد [3،13]. سیستم ادراک محیط زیست به ربات در تصمیم گیری های سازنده ، مانند شناخت راه پله ها برای عملکرد کوهنوردی پله های خودمختار ، تشخیص مانع استاتیک و پویا برای ناوبری ایمن و تشخیص زباله ها برای تمیز کردن کارآمد کمک می کند.

جریان مقاله به شرح زیر سازماندهی شده است: معماری سکوی استرو در بخش 2 و بخش 3 به تفصیل شرح داده شده است که EPS پیشنهادی و طرح کوهنوردی پله های خودمختار را شرح می دهد. این به دنبال تنظیم آزمایشی و نتایج در بخش 4 است. سرانجام ، بخش 5 نتیجه گیری و کار آینده را شرح می دهد.

2. نمای کلی از استرو

Stetro یک ربات تمیز کردن و نگهداری مجدد ماژولار است که توسط آزمایشگاه Roar ما ساخته شده است. نمای کلی و نمای منفجر شده از استرو در شکل 1a ، b نشان داده شده است. بدن آن از سه مکعب تشکیل شده است. مکانیسم کشویی که در قسمت جلوی و پشتی مکعب مرکزی (دوم) با مکعب های اول و سوم به هم پیوسته است. هر مکعب یک بلوک عمودی با فضای توخالی است که شامل مدارهای کنترل ، محفظه جمع آوری زباله ها ، فن مکش و مکانیسم جارو است. مکانیسم کمربند نقاله عمودی ، همانطور که در شکل 2 نشان داده شده است ، ربات را قادر می سازد تا از پله ها صعود کند.

توضیحات سخت افزار و نرم افزار

معماری سخت افزار Stetro از ماژول سخت افزار Jetson Nano با دوربین RGB-D ، Arduino با واحد کنترل موتور DC و واحد سنسور تشکیل شده است ، همانطور که در شکل 3 نشان داده شده است.

در اینجا ، ماژول Jetson Nano به عنوان یک واحد کنترل مرکزی (CCU) عمل می کند که کل عملکرد ربات را کنترل می کند. این ماژول از CPU ARM A57 و 128 Core Maxwell GPU با حافظه 4 گیگابایتی برای استنباط یادگیری عمیق در زمان واقعی و اجرای در Ubuntu 18 تشکیل شده است. واحد پردازش از رابط ارتباطی روسری برای فعال کردن ارتباط بین گره های ROS استفاده می کند و سایر ماژول ها شامل درک محیط زیست هستندبلوک های کنترل واحد و آردوینو. این پل برای برقراری ارتباط داده های سنسور و اطلاعات مسیر بین میکروکنترلر Mega Arduino و واحد Jetson Nano استفاده می شود.

Arduino Mega Microcontroller کنترل حرکات و رابط سنسور پردازنده را انجام می دهد. این داده ها را از ماژول های مختلف سنسور جمع می کند و CCU را ارسال می کند. سیگنال کنترل به واحد موتور DC بر اساس اطلاعات مسیر دریافت شده با استفاده از ماژول داخلی PWM تولید می شود.

سنسورهای مختلف برای انجام وظایف خود پیکربندی و جابجایی یکپارچه شده اند (شکل 4A). از سنسورهای برآمدگی برای تشخیص رشته داخلی پله استفاده شد و شش سنسور دست انداز در هر دو طرف چپ و راست ربات مونتاژ شدند. برای تشخیص بالابر راه پله ، ما دو زمان سنسورهای فاصله پرواز (TOF) را که بر روی قسمت جلوی بلوک اول نصب شده است ، و دو سوئیچ محدودیت مکانیکی در جلوی بلوک های دوم و سوم مونتاژ می کنیم. علاوه بر این ، در پایین هر سه بلوک ، ما زمان سنسورهای فاصله پرواز (TOF) را برای تشخیص دونده پله در هر مرحله هنگام صعود فراهم می کنیم. جزئیات حرکتی و تمام جزئیات سنسور و پروتکل ارتباطی آن در جدول 1 آورده شده است.

شکل 4B مونتاژ واحد حرکتی را نشان می دهد. از سپرهای Adafruit Servo برای رانندگی چهار موتور سرتاسر گشتاور بالا استفاده می شود. از این چهار سرویس ، دو مورد از آنها سه بلوک را از طریق مکانیسم کمربند نقاله عمودی بالا می برند. از دو موتور باقیمانده سروو برای هدایت کنترل جهت جهت یکپارچه های مجهز به بلوک های اول و سوم استفاده می شود. علاوه بر این ، واحد رانندگی همچنین شش موتور DC را هدایت می کند: چهار موتور DC Gear Worm و دو موتور Pololu. از این موتورها برای هدایت چرخ های جهت گیری Omni استفاده می شود ، که برای حرکت به سمت ربات در جهت های مسطح استفاده می شدند. این موتورها با 12 ولت کار می کنند و به طور متوسط 800 میلی آمپر جریان از منبع تغذیه مصرف می کنند.

از چهار جارو برای انجام کار تمیز کردن استفاده می شود و بر روی ماژول های 1 و 3 نصب شده و توسط 12 ولت DC با موتور دنده 100 دور در دقیقه حرکت می شود. جاروهای جانبی به سمت داخل می چرخند تا ذرات گرد و غبار را بگیرند و به سمت دهان مکش فشار بیاورند. سپس واحد مکش به اتاق جمع آوری جمع می شود.

3. چارچوب پیشنهادی

کار قبلی اصول طراحی پشت پلت فرم sTetro را به همراه یک مکانیزم بالا رفتن مبتنی بر حسگر پیشنهاد می کند [3،13]. این کار عملکرد sTetro را با ترکیب سیستم ادراک محیطی مبتنی بر یادگیری عمیق، که برای استقرار چارچوب بالا رفتن از پله های مستقل استفاده می شود، افزایش می دهد. شکل 5 بلوک دیاگرام عملکردی طرح پیشنهادی را نشان می دهد. این شامل سیستم ادراک محیطی و چارچوب بالا رفتن از پله مستقل است. شرح مفصلی از این دو در زیر آورده شده است.

3. 1. سیستم ادراک محیطی (EPS)

سیستم ادراک محیطی نقش مهمی را برای فعال کردن سیستم های کنترل مستقل در ربات ایفا می کند. این سیستم وظیفه دارد اشیاء موجود در محیط را تشخیص دهد. سیستم EPS از حسگر دید RGB-D، ماژول تشخیص شی مبتنی بر SSD MobileNet و واحد تصحیح خطا مبتنی بر عمق تشکیل شده است. EPS چالش های کلیدی ربات نظافت پله ها از جمله تشخیص پله ها، زباله ها (مانند نشت مایع)، موانع استاتیک و دینامیکی موجود روی پله ها (مانند گلدان های گل، انسان) را که ممکن است مسیر ربات را در هنگام بالا رفتن مسدود کند، برطرف می کند. در مطالعه حاضر، از داده های حسگر بینایی برای شناسایی گلدان انسان و گیاه روی راه پله از طریق یک الگوریتم یادگیری عمیق استفاده شد. با توجه به موقعیت مانع، جهت ناوبری ربات توسط CCU کنترل می شود.

3. 1. 1. تشخیص شی

چارچوب تشخیص شی SSD-MobileNet v2 [34،35] برای فعال کردن تشخیص اشیاء در زمان واقعی استفاده می شود. در اینجا Mobilenet V2 شبکه پایه به نام استخراج کننده ویژگی و SSD محلی ساز شی است. شکل 6 نمایش شماتیک چارچوب تشخیص شی SSD-MobileNetv2 را نشان می دهد. استخراج کننده ویژگی MobileNet ویژگی های سطح بالا را از جریان تصویر گرفته شده استخراج می کند و یک نقشه ویژگی ایجاد می کند که ویژگی های مهم مورد نیاز برای کارهای طبقه بندی یا تشخیص را توصیف می کند. مدل تشخیص، SSD از نقشه ویژگی استفاده می کند و کلاس یک شی و مکان آن را با استفاده از یک جعبه مرزی تشخیص می دهد. این چارچوب برای شناسایی راه پله ها، زباله ها و موانع موجود در راه پله مانند انسان ها و گلدان های گل/گیاه آموزش دیده است.

Mobilenet V2 یک استخراج کننده از ویژگی های سبک است ، مناسب برای استفاده در برنامه های تشخیص شیء در زمان واقعی و کاربردهای کم مصرف دستگاه های تعبیه شده. معماری آن از چندین لایه تنگنا باقیمانده تشکیل شده است. این لایه ها از لایه های حلقوی عمق 3 × 3 استفاده می کنند ، که در مقایسه با لایه های حلقوی استاندارد کارآمدتر هستند. آنها همچنین به جای آن از پیچش 1 1 1 استفاده می کنند. این معماری همچنین از لایه های Relu6 استفاده می کند ، که لایه های Relu با حد بالایی از 6 هستند. حد بالایی مانع از مقیاس خروجی ها به یک مقدار بسیار بزرگ می شود و از این طریق هزینه محاسبه را نیز کاهش می دهد. علاوه بر این ، این مدل به دلیل ارتباط باقیمانده بر روی معماری های غیر مقیم ، دقت بهتری برای معماری می دهد.

SSD یک محلی ساز شی است که در بالای استخراج کننده ویژگی Mobilenet V2 قرار دارد. این شبکه از خروجی چند لایه آخر (نقشه ویژگی) از استخراج کننده ویژگی برای پیش بینی مکان و کلاس اشیاء استفاده می کند. در معماری SSD ، ورودی از طریق لایه های مختلف حلقوی در اندازه های مختلف منتقل می شود. این لایه ها به تدریج از طریق شبکه کاهش می یابد. هدف از این لایه ها این است که شبکه بتواند اشیاء با شکل ها و اندازه های مختلف را تشخیص دهد. مجموعه ای ثابت از پیش بینی ها از هر یک از این لایه های حلقوی گرفته شده و در پایان ادغام می شود. علاوه بر این ، با انتخاب مجموعه ثابت اشکال ، هزینه محاسباتی مدل کاهش می یابد. این مدل مکانها و اعتماد به نفس اشیاء مختلف را در تصویر خروجی می کند.

از دست دادن هر پیش بینی به عنوان ترکیبی از از دست دادن اعتماد به نفس l c o n f i d e n c e و از دست دادن مکان l l o c a t i o n (معادله (1)) محاسبه می شود. خطا در پیش بینی کلاس و اعتماد به نفس به عنوان از دست دادن اعتماد به نفس خوانده می شود و از دست دادن مکان به عنوان فاصله مربع بین مختصات پیش بینی محاسبه می شود. پارامتر α هم ضررها را متعادل می کند و هم تأثیر را در ضرر کلی کاهش می دهد. الگوریتم نزول شیب مربع میانگین ریشه [36] برای بهینه سازی ضرر استفاده می شود. این الگوریتم با استفاده از گرادیان از دست دادن L ، G T و شیب شیب V T (معادلات (2) - (4)) وزنهای W T را در هر زمان t محاسبه می کند. از Hyperparameters β ، η برای تعادل برآورد حرکت و شیب استفاده می شود و ϵ حداقل مقدار نزدیک به صفر برای جلوگیری از خطاهای تقسیم به صفر است.