بينايي سه بعدي با استفاده از نور ساختار يافته با الگوي رنگي

دسته بندي : فنی و مهندسی » برق، الکترونیک، مخابرات
هدف از اين پروژه استخراج پروفايل سه بعدي اجسام به استفاده از روش نور ساختار يافته ااست.
با توجه به بررسي هاي انجام شده نور ساختار يافته داراي مزاياي ويژه اي مي باشد . براي مثال سيستمهاي مبتني بر اُپتيک معمولا داراي هزينه پايين تري هستند . همچنين سيستم هاي بينايي استرﻳو ( شامل دو دوربين ) يا استريو فتو گرامتري براي سنجش برد کوتاه داراي کاربردهاي زيادي مي باشد . اما اين سيستم در اندازه گيري فواصل کوتاه داراي نواقص و مشکلات مربوط به خود است . اين مطلب باعث شده روشهاي نور ساختار يافته در فواصل کوتاه بيشتر مورد توجه قرار گيرد . وجود کدينگ در نور ساختار يافته و کاربرد آن در تناظر يابي باعث بالاتر رفتن ضريب اطمينان مي شود . براي راه اندازي اين سيستم نياز به يک پروژکتور LCD و يک دوربين تصوير برداري است که با توجه به الگو از آن مي توان براي بازسازي اجسام متحرک نيز استفاده کرد . در اين ميان نقش اساسي را الگوريتم و نرم افزار نوشته شده براي پردازش ها و اندازه گيريها برعهده دارد . مراحل کاري اين سيستم در فلوچارت به صورت کلي آورده شده است .
اين سيستم داراي کاربردهاي فراواني در استخراج مدل سه بعدي اجسامي از قبيل آثار هنري ، ايجاد مدل کامپيوتري از عروسکها و مجسمه ها در کاربردهاي انيميشن سازي دارد . همچنين داراي کاربردهاي قابل تطبيق، در سيستم هاي پزشکي و برخي مسائل صنعتي مانند مهندسي معکوس نيز مي باشد .
عنوان صفحه


چکيده . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

فصل اول : تئوري نور ساختار يافته و کاربردهاي بينايي سه بعدي
1-1- مقدمه . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1-2- روشهاي غير فعال بينايي سه بعدي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1-2-1- روش استريوفتوگرامتري . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1-3- روشهاي فعال بينايي سه بعدي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1-3-1- بکار گيري سنسور تماسي دربينايي سه بعدي . . . . . . . . . . . . . . . . . . . 21
1-3-2- بکار گيري سنسور غير تماسي دربينايي سه بعدي . . . . . . . . . . . . . . . . 22
1-3-2-1- روش ارسال امواج . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1-3-2-2- روش هاي انعکاسي. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1-3-2-2-1- رهيافتهاي غير اپتيکي در روشهاي انعکاسي . . . . . . . . . . . . . . . . . 23
1-3-2-2-2- رهيافتهاي اپتيکي در روشهاي انعکاسي . . . . . . . . . . . . . . . . . . . 23
1-3-2-2-2-1 رادار تصوير برداري. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

1-3-2-2-2-2- روشهاي اينترفرومتريک . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1-3-2-2-2-3- استخراج عمق از طريق تمرکز بر روش فعال . . . . . . . . . . . . . . 27
1-3-2-2-2-4- استريوي فعال . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1-3-2-2-2-5- راستراستريوفتوگرامتري . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1-3-2-2-2-6- سيستم مجتمع تصوير برداري . . . . . . . . . . . . . . . . . . . . . . . . 29
1-3-2-2-2-7- تکنيک نور ساختار يافته . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1-4- مقايسه روشها وتکنيکها و کاربردهاي آنها . . . . . . . . . . . . . . . . . . . . . . . . . 32
1-5- نتيجه گيري . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35  


  عنوان صفحه


فصل دوم : روشهاي مختلف کدينگ الگو
2-1- مقدمه . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2-2- روشهاي طبقه بندي کدينگ الگوهاي نوري . . . . . . . . . . . . . . . . . . . . . . 38
2-2-1- الگوهاي نوري از ديدگاه درجات رنگي . . . . . . . . . . . . . . . . . . . . . . . . 39
2-2-2- الگوهاي نوري از ديدگاه منطق کدينگ. . . . . . . . . . . . . . . . . . . . . . . . 40
2-2-2-1- روشهاي مبتني بر الگوهاي چند زمانه (کدينگ زماني) . . . . . . . . . . 42
2-2-2-1-1- کدينگهاي باينري. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2-2-2-1-2- کدينگ با استفاده از مفهوم n-ary. . . . . . . . . . . . . . . . . . . . . . 44
2-2-2-1-3- کدينگ با استفاده از مفهوم انتقال مکاني. . . . . . . . . . . . . . . . . . 45
2-2-2-1-4- کدينگ با استفاده از همسايگي. . . . . . . . . . . . . . . . . . . . . . . . . 46
2-2-2-2- روشهاي مبتني بر همسايگيهاي مکاني(کدينگ مکاني) . . . . . . . . . 48
2-2-2-2-1- کدينگهاي غير متعارف (ابتکاري) . . . . . . . . . . . . . . . . . . . . . . . 48
2-2-2-2-2- کدينگ بر اساس دنباله De_Bruijn . . . . . . . . . . . . . . . . . . . . 50
2-2-2-2-3- کدينگ بر اساس منطق M-Arrays. . . . . . . . . . . . . . . . . . . . . 52
2-2-2-3- کدينگ مستقيم . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2-3- نتيجه گيري. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

عنوان صفحه

فصل سوم :پياده سازي کدينگ و پردازش تصوير
3-1- مقدمه . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3-2- توليد کلمه هاي رمز با استفاده از دنباله De_Bruijn. . . . . . . . . . . . . . . . 59
3-3- تابش الگو و عکسبرداري. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3-4- پردازش تصوير . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3-4-1- دوسطحي سازي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3-4-2- تشخيص لبه ها و اسکلت بندي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3-4-3- نازک سازي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3-4-4 نقاط تقاطع . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3-4-5- شناسايي خطوط . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3-5- نتيجه گيري . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 


  عنوان صفحه

فصل چهارم :
شناسايي رنگ و حل مسئله تطابق و بازسازي سه بعدي
4-1- مقدمه . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4-2- شبکه عصبي و شناسايي رنگ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4-2-1- مسئله تغيير رنگ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4-3- طراحي شبکه عصبي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4-4- مسئله تطابق . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4-5- بازسازي سه بعدي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4-6- بررسي خطاهاي موجود. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4-6-1- تغيير رنگ و خروجي غير قطعي شبکه. . . . . . . . . . . . . . . . . . . . . . . . 103
4-6-2- ناپيوستگي هاي تصوير رنگي. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4-6-3-خطاي همپوشاني . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4-7- نتيجه گيري . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105


  عنوان صفحه


فصل پنجم : نتيجه گيري و پيشنهادات
5-1 مقدمه . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5-2- انتخاب روش و پياده سازي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5-3- پيشنهادات . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

پيوست الف : نرم افزار تهيه شده . . . . . . . . . . . . . . . . . . . . . . . . . 111
پيوست ب : مثلث بندي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
مراجع . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

 
  عنوان صفحه
 

شکل 1-1) ساختار سيستم استريوفتوگرامتري. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
شکل 1-2) روشهاي استخراج پروفايل سه بعدي. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
شکل 1-3) تصوير برداري از سطوح مختلف توسط رادار . . . . . . . . . . . . . . . . . . . . . . . . 24
جدول 1-1 : تاخير زماني امواج صوتي و نوري . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
شکل 1-4 : a ) مويره سايه b ) مويره تصوير. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
شکل 1-5 : دستگاه اندازه گيري سه بعدي بر اساس روش مويره. . . . . . . . . . . . . . . . . . . . . . 27
شکل 1-6 : ساختار سيستم راستر استريو فتوگرامتري. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
شکل 1-7 : ساختار يک سيستم مجتمع تصوير برداري. . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
شکل 1-8 : ساختار سيستم نور ساختاريافته. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
شکل 1-9 :تصوير نورساختار يافته موازي . اين تصوير با تاباندن يک الگو با خطوط عمودي موازي بر روي صورت ساخته شده است . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
جدول 1-2 :مقايسه روشها و کاربرد آنها . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
شکل2-1 : طبقه بندي روشهاي کدينگ در نورساختاريافته. . . . . . . . . . . . . . . . . . . . . . . . . . 41
شکل2-2 : پرده هاي نوري و نحوه بکارگيري يک الگوي چند زمانه . . . . . . . . . . . . . . . . . . . 43
شکل2-3 : نمونه بازسازي تصوير مجسمه اسب و نقاط دست انسان به وسيله الگوي چند زمانه و روش Postdamer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 43
شکل2-4 : نمونه الگوهاي طراحي شده با روش n-ary . . . . . . . . . . . . . . . . . . . . . . . . . . 44
شکل2-5 : نمونه بازسازي تصوير مجسمه اسب و نقاط دست انسان به وسيله الگوي چند زمانه و تکنيک n-ary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
شکل2-6 : نماي پيک تصوير و انتقال مکاني آن . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
شکل2-7 : a) الگوي شامل خطوط بريده با اندازه خطوط به عنوان مشخصه مهم b) الگوي تشکيل شده از خطوط افقي با سه سطح خاکستري . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
شکل2-8 : الگوي طراحي شده با دنباله De-Bruijn. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
شکل 2-9 : a) طراحي الگوي مرانو b)الگوي کامل شده مرانو. . . . . . . . . . . . . . . . . . . . . . . . . 53
شکل 2-10 : نمونه بازسازي تصوير مجسمه اسب و نقاط دست انسان به وسيله تکنيک M-Array
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
شکل 2-11 : الگوي طراحي شده توسط گريفين. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
شکل 2-12 : الگوي خاکستري در رمز نگاري مستقيم . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
شکل 3-1 : گراف مربوط به B(2,3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
شکل 3-2 : نرم افزار نوشته شده براي توليد الگو و کد . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 شکل 3-3 : نمونه الگوي طراحي شده . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
شکل 3-4 :تابش نور و شرايط عکس برداري . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
شکل 3-5 : فلوچارت مراحل تناظر يابي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
شکل 3-6 : عمل دوسطحي سازي در نرم افزار نوشته شده . . . . . . . . . . . . . . . . . . . . . . . . 70
شکل 3-7 : نمونه عمل دوسطحي سازي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
شکل 3-8 : نمونه خطاي ايجاد شده در استفاده از الگوريتم سبل . . . . . . . . . . . . . . . . . . . . 71
شکل 3-9 : نمونه نا پيوستگي ايجاد شده در استفاده از الگوريتم اسکلت بندي ساده . . . . . . . 72
شکل 3-10 : تصوير خروجي مرحله شناسايي لبه ها در نرم افزار نوشته شده . . . . . . . . . . . . . 73
شکل 3-11 : تصوير خروجي مرحله شناسايي لبه ها پس از اعمال ماسک (خطوط پيوسته هستند) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
شکل 3-12 :نمونه تصوير خروجي مرحله نازک سازي. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
شکل 3-13 :ماسکهاي استفاده شده براي کشف نقاط تقاطع . . . . . . . . . . . . . . . . . . . . . . . . 76
شکل3-14 : دسته نقاط يافت شده به عنوان نقاط تقاطع . . . . . . . . . . . . . . . . . . . . . . . . . . 77
شکل 3-15 : نقاط تقاطع نهايي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
شکل 3-16 : شکل رنگي نشان دهنده اثر همپوشاني خطوط . . . . . . . . . . . . . . . . . . . . . . . 78
شکل 3-17 : برچسب گذاري تصوير اسکلت بندي شده . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
شکل 3-18 : بخشي از فايل خروجي شناسايي خطوط. . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
شکل 4-1 : مقادير کانالهاي رنگي در تصوير گرفته شده از جسم . . . . . . . . . . . . . . . . . . . . . 88
شکل 4-2 :نرم افزار نوشته شده براي بدست آوردن نقاط نمونه از تصوير و مقادير کانالهاي رنگي متناظر نقاط از تصوير گرفته شده از جسم . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
شکل 4-3 : شبکه عصبي طراحي شده . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
شکل 4-4 : نمودار خطاي آموزش شبکه براي تصوير الگو . . . . . . . . . . . . . . . . . . . . . . . . . . 91
شکل 4-5 : نمودار خطاي آموزش شبکه براي تصوير الگوي تابيده شده روي شي . . . . . . . . 91
جدول 4-1 : قسمتي از اطلاعات خروجي شبکه پس از عمل گرد سازي . . . . . . . . . . . . . . . . 93
شکل 4-6 : فلوچارت مراحل تناظر يابي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
جدول 4-2 : قسمتي از جدول امتياز دهي به تصوير نقاط الگو و تصوير جسم. . . . . . . . . . . . 96
جدول 4-3 : قسمتي از جدول نقاط تناظر داده شده و اختلاف مختصات آنها . . . . . . . . . . . . 98
شکل 4-7 : تصوير يک جعبه تحت تابش . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
شکل 4-8 : شکل سه بعدي جعبه از روي برايند اختلاف مختصات دو نقطه . (محور عمودي ). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
شکل 4-9 : تصوير يک ماوس تحت تابش . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
شکل 4-10 : شکل سه بعدي جعبه از روي برايند اختلاف مختصات دو نقطه (محور عمودي ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
شکل 4-11 : تصوير يک گلدان تحت تابش . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
شکل 4-12 : شکل سه بعدي گلدان از روي برايند اختلاف مختصات دو نقطه .(بدست آمدن شکل تقريبي نيم استوانه ). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
شکل الف -1 : محيط برنامه نويسي C# و راه حل به همراه پروژه هاي توليد الگو و پردازش تصوير و توليد نقاط نمونه براي ورودي شبکه عصبي . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
شکل الف -2 : تصوير يک جعبه رنگ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
شکل الف -3 : تصوير فرم مربوط به ايجاد الگو در برنامه نوشته شده . . . . . . . . . . . . . . . . . 116
شکل الف -4 : يک الگوي مناسب توليدي توسط برنامه . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
شکل الف -5 : نمايي از فرم برنامه تهيه شده . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
شکل الف -6 : نمايي از برنامه پردازش تصوير در حال کار. . . . . . . . . . . . . . . . . . . . . . . . . . 119
شکل الف-7 : نمايي از برنامه در حال فعال بودن نمودار هيستوگرام و انجام عمل اکولايز کردن120
شکل ب-1 :دو دستگاه مختصات الگو و تصوير در سيستم نوري نور ساختاريافته. . . . . . . . . . 123 .
شکل ب-2 : هندسه ساده سيستم نوري نور ساختاريافته. . . . . . . . . . . . . . . . . . . . . . . . . 124
شکل ب-3 : هندسه مربوط به دوربين و پروژکتور . H نقطه اي از جسم است که توسط پروژکتور روشن شده است . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
شکل ب-4 : مدل pinhole پروژکتور براي محاسبه پهناي خطوط . . . . . . . . . . . . . . . . 129