fa ارائه یک روش ترکیبی به منظور استخراج و ردیابی عوارض متحرک در فریم تصاویر ویدئویی جلونگر مادون قرمز فتوگرامتری و سنجش از دور Photo&RS پژوهشي Research استخراج و ردیابی عوارض در تصاویر ویدئویی به‌عنوان یک موضوع کلیدی در مباحث بینایی کامپیوتری محسوب می‌گردد، و می‌تواند به‌عنوان چشم‌انداز کارهای سطوح پایین‌تر برای رسیدن به سطوح بالاتر استفاده گردد. در سال‌های اخیر، روش‌های گوناگونی به منظور استخراج و تشخیص عوارض در فریم تصاویر مادون قرمز به‌خصوص در زمینه‌های پایش، نظارت و امنیت پدیده‌ها پیشنهاد شده است. با این وجود، استخراج و ردیابی عوارض متحرک در فریم تصاویر ویدئویی مادون قرمز می‌تواند ناشی از تصویر نمودن فضای سه‌بعدی در فضای دوبعدی، نویز در تصاویر، حرکت‌های پیچیده عوارض، عوارض غیر صلب، پنهان بودن بخشی از عوارض، پیچیدگی اشکال عوارض، تغییرات روشنایی محیط و نیاز به پردازش‌های آنی پیچیده گردد. از آنجائیکه روش‌های موجود در این زمینه بسیار پیچیده و زمان‌بر می‌باشند، در این تحقیق روشی نوین در زمینه ردیابی عوارض متحرک به منظور افزایش قابلیت‌اعتماد، سرعت و دقت در استخراج و ردیابی عوارض متحرک از فریم تصاویر ویدئویی مادون قرمز ارائه شده است. به همین منظور ابتدا با استفاده از الگوریتم‌های تناظریابی عارضه‌مبنا حرکت ایجاد شده توسط جابجایی سکو حذف می‌گردد. سپس با استفاده از الگوریتم تفاوت فریم‌های جمع‌شونده، عوارض متحرک استخراج و در نهایت با استفاده از الگوریتمی مبتنی بر قیود هندسی و رادیومتریکی نظیر مدل کینماتیک سرعت ثابت، تقاطع هیستوگرام‌ها، متوسط درجات خاکستری و سایز عوارض، عوارض استخراج شده فریم به فریم ردیابی می‌شوند. به منظور ارزیابی روش ارائه شده، عوارض متحرک در مجموعه داده‌های دارای پیچیدگی‌های مختلف و با شرایط متفاوت استخراج و ردیابی گردید. همچنین توانایی روش ارائه شده توسط متریک‌های مختلفی نظیر HR، FAR، MODP و MOTP ارزیابی گردید. نتایج حاصل بیانگر توانایی روش ارائه شده به منظور استخراج و ردیابی عوارض متحرک مختلف نظیر عابر و خودرو می‌باشد. Object detection and tracking in image sequences is a key topic in photogrammetry and computer vision and can be viewed as a lower level vision tasks to achieve higher level event understanding. Images from different kind of sensors generally have different pixel characteristics due to the phenomenological differences between the image formation process of the sensors. In recent years, some approaches have already been proposed to detect and recognize moving objects in thermal Infra-Red (IR) image sequences, especially in the field of monitoring, security and surveillance. Nevertheless, tracking of multiple moving objects in forward looking thermal IR image sequences can be complex due to loss of information caused by projection of the 3D world on a 2D image, noise in images, complex object motion, non-rigid or articulated nature of objects, partial and full object occlusions, complex object shapes, scene illumination changes, and simultaneous changing of the situation of objects and sensor. This paper presents a novel method that overcomes most of the shortcomings of the existing detection and tracking algorithms in forward looking thermal IR image sequences. In this context, the Speeded-Up Robust Features (SURF) detector, Nearest Neighbor (NN), and RANdom SAmple Consensus (RANSAC) have been used to eliminate motion induced by the motion of the platform. Next, the Accumulative Frame Difference (AFD) has been used to detect moving objects from the ego-motion compensated input sequences. Also, an outlier removal algorithm based on Mean Gray Area (MGA), compactness, and eccentricity has been applied to detect and remove non-moving objects induced by errors in alignment, parallax, and etc. Finally, a tracking algorithm based on a constant velocity motion model, and various cues for object correspondence has been applied to perform tracking moving objects using their motion histories. The potential of the proposed method was evaluated through comprehensive experimental tests conducted on a wide variety of datasets. We compare the performance of our detection and tracking setup against different evaluation metrics, namely Hit Rate (HR), False Alarm Rate (FAR), Multi Object Detection Precision (MODP), and Multi Object Tracking Precision (MOTP) for a subset of ten sequences from our datasets. Inspecting the results, the proposed method has the potential to track moving of different pedestrians and cars objects with different motion characteristics effectively and efficiently. تصاویر مادون قرمز, استخراج عوارض, تفاوت فریم‌های جمع‌شونده, ردیابی عوارض, مدل کینماتیک سرعت‌ثابت, تقاطع هیستوگرام‌ها Thermal IR, Object Detection, Object Tracking, Image Sequences 59 72 http://jgst.issgeac.ir/browse.php?a_code=A-10-25-88&slc_lang=fa&sid=1 A. Abootalebi احمد ابوطالبی abootalebi@ut.ac.ir 10031947532846001485 10031947532846001485 Yes گروه مهندسی نقشه‌برداری - پردیس دانشکده‌های فنی - دانشگاه تهران F. Samadzadegan فرهاد صمدزادگان samadz@ut.ac.ir 10031947532846001486 10031947532846001486 No گروه مهندسی نقشه‌برداری - پردیس دانشکده‌های فنی - دانشگاه تهران Gh. Abdi قاسم عبدی ghasem.abdi@ut.ac.ir 10031947532846001487 10031947532846001487 No گروه مهندسی نقشه‌برداری - پردیس دانشکده‌های فنی - دانشگاه تهران