Journal of Geomatics Science and Technology

fa تلفیق یادگیری عمیق و اصول فتوگرامتری برای شناسایی و دسته‌بندی هندسی چاله‌ها در یک سیستم تصویرمبنای زمینی Integration of deep learning and photogrammetry principles for the identification and geometric classification of potholes in a terrestrial image-based system فتوگرامتری و سنجش از دور Photo&RS پژوهشي Research <div style="text-align: justify;">با افزایش تردد، سلامت جاده‌ها پراهمیت‌تر شده است و با پیشرفت هوش مصنوعی و الگوریتم‌های رباتیک، می‌توان بهتر و دقیق‌تر به پایش سلامت آن‌ها پرداخت. در این مقاله،  هدف شناسایی و دسته‌بندی هندسی چاله‌ها با گوشی همراه است و به دلیل اینکه گوشی همراه دارای یک دوربین و فاقد طول خط پایه‌ می‌باشد، مقادیر به‌صورت نسبی محاسبه شدند. نوآوری این تحقیق بر این است که از شبکه عصبی  YOLO برای شناسایی چاله‌ها به همراه تعیین موقعیت مختصات دوبعدی تصویری آن‌ها و از الگوریتم ORB SLAM 3 به‌منظور تعیین موقعیت و وضعیت دوربین فیلم‌برداری استفاده شد. برای تعیین موقعیت سه‌بعدی چاله‌ها، ابتدا فیلم مسیر موردنظر همراه با زمان اخذ داده در هرلحظه توسط نرم‌افزار VIRec نصب‌شده بر روی گوشی ذخیره گردید و به‌عنوان ورودی به الگوریتم ORB SLAM 3 داده شد. موقعیت و وضعیت دوربین در هر فریم توسط این الگوریتم به دست آمد و منجر به ایجاد ماتریس نگاشت برای هر فریم از فیلم شد. جهت شناسایی چاله‌ها نیز، شبکه عصبی YOLO V8m، مدل دنبال کننده با دقت 92 % پس از آموزش با داده‌های مربوط به سطح خیابان‌های شهری کشورهای مختلف مورداستفاده قرار گرفت. پس از شناسایی نیز، چاله‌ها با بیضی برازش داده‌شده بر آن‌ها در فریم&lrm;های مختلف دنبال شدند تا مختصات تصویری آن‌ها در موقعیت‌های مختلف فیلم به دست آید. درنهایت با استفاده از موقعیت‌ و وضعیت دوربین‌ حاصل از الگوریتم  ORB SLAM 3 و موقعیت تصویری دوبعدی چاله‌های حاصل از YOLO، مثلث‌بندی و سرشکنی دسته اشعه صورت گرفت و مختصات دو سوی محور بزرگ و کوچک هر بیضی به‌صورت نسبی تخمین زده شد. جهت ارزیابی دقت نقاط تبدیل‌شده از پارامتر خطای نگاشت مجدد استفاده گردید که بیانگر میزان خطای زیر 1 تا 5/3 پیکسل بوده است. به‌منظور بررسی بیشتر نتایج ازنظر کمّی، به مقایسه مساحت‌های نسبی پرداخته شد. در ابتدا مساحت نرمال‌شده حاصل از نقاط تبدیل‌شده هر یک از چاله‌ها محاسبه‌ گردید و با مساحت‌ متناظر نرمال‌شده خود که توسط گیرنده مولتی فرکانس G1 Plus Sout با دقت 012/0 متر در اختیار بود مقایسه شدند. نتایج گویای اختلاف 2 تا 5 درصدی بین چاله‌های محاسبه‌شده با واقعیت زمینی بوده است. </div> <div> With the increase in traffic, road health has become more critical. Advances in artificial intelligence and robotic algorithms now enable more precise and effective monitoring of road conditions. This study aims to detect and geometrically classify potholes using a mobile phone. Since a mobile phone is equipped with a single camera and lacks a baseline length, the measurements were calculated relatively. The key innovation of this research lies in utilizing the YOLO neural network for pothole detection, along with determining their two-dimensional image coordinates, while the ORB SLAM 3 algorithm was employed to estimate the position and orientation of the camera. To determine the three-dimensional location of potholes, a video of the target route was recorded using the VIRec software installed on the mobile phone, capturing data acquisition timestamps at each moment. This video was then processed as input to the ORB SLAM 3 algorithm, which extracted the camera’s position and orientation for each frame, resulting in the creation of a projection matrix for every frame in the video. For pothole detection, the YOLO V8m neural network was used in conjunction with a tracking model that achieved 92% accuracy after being trained on datasets from urban streets across various countries. Once detected, the potholes were tracked across different frames by fitting ellipses to them, allowing their image coordinates to be obtained at different points in the video. Finally, using the camera’s position and orientation from the ORB SLAM 3 algorithm and the two-dimensional image coordinates of the potholes obtained from YOLO, triangulation and bundle adjustment were performed. This process enabled the relative estimation of the endpoints of the major and minor axes of each fitted ellipse. To evaluate the accuracy of the transformed points, the reprojection error parameter was used, indicating an error range of 1 to 3.5 pixels. For further quantitative analysis, relative areas were compared. Initially, the normalized area derived from the transformed points of each pothole was calculated and compared with its corresponding normalized area, obtained using the G1 Plus Sout multi-frequency receiver with an accuracy of 0.012 meters. The results showed a discrepancy of 2% to 5% between the computed pothole areas and the actual ground truth </div> مثلث‌بندی, چاله, یادگیری عمیق, رباتیک YOLO,Visual SLAM , Visual Odometry 59 78 http://jgst.issgeac.ir/browse.php?a_code=A-10-1115-1&slc_lang=fa&sid=1 mehdi amirdehi مهدی امیردهی m.amirdehi@email.kntu.ac.ir 100319475328460010732 100319475328460010732 No kntu university دانشگاه خواجه نصیرالدین طوسی ali hosseini naveh علی حسینی نوه hosseininaveh@kntu.ac.ir 100319475328460010733 100319475328460010733 Yes kntu university دانشگاه خواجه نصیرالدین طوسی