بینایی سه بعدی با استفاده از نور ساختار یافته با الگوی رنگی

پروژه بینایی سه بعدی با استفاده از نور ساختار یافته با الگوی رنگی مربوطه به صورت فایل ورد word و قابل ویرایش می باشد و دارای ۱۳۵ صفحه است .

چکیده :

هدف از این پروژه استخراج پروفایل سه بعدی اجسام به استفاده از روش نور ساختار یافته ااست.

با توجه به بررسی های انجام شده نور ساختار یافته دارای مزایای ویژه ای می باشد . برای مثال سیستمهای مبتنی بر اُپتیک معمولا دارای هزینه پایین تری هستند . همچنین سیستم های بینایی استرﻳو ( شامل دو دوربین ) یا استریو فتو گرامتری برای سنجش برد کوتاه دارای کاربردهای زیادی می باشد . اما این سیستم در اندازه گیری فواصل کوتاه دارای نواقص و مشکلات مربوط به خود است . این مطلب باعث شده روشهای نور ساختار یافته در فواصل کوتاه بیشتر مورد توجه قرار گیرد . وجود کدینگ در نور ساختار یافته و کاربرد آن در تناظر یابی باعث بالاتر رفتن ضریب اطمینان می شود . برای راه اندازی این سیستم نیاز به یک پروژکتور LCD و یک دوربین تصویر برداری است که با توجه به الگو از آن می توان برای بازسازی اجسام متحرک نیز استفاده کرد . در این میان نقش اساسی را الگوریتم و نرم افزار نوشته شده برای پردازش ها و اندازه گیریها برعهده دارد . مراحل کاری این سیستم در فلوچارت به صورت کلی آورده شده است .

این سیستم دارای کاربردهای فراوانی در استخراج مدل سه بعدی اجسامی از قبیل آثار هنری ، ایجاد مدل کامپیوتری از عروسکها و مجسمه ها در کاربردهای انیمیشن سازی دارد . همچنین دارای کاربردهای قابل تطبیق، در سیستم های پزشکی و برخی مسائل صنعتی مانند مهندسی معکوس نیز می باشد .

مقدمه :

نظر به گستردگی روز افزون استفاده از سیستم های هوشمند لزوم بکار گیری سیستم های بینایی اتوماتیک و یا نیمه اتوماتیک به منظور بدست آوردن ابعاد جسم بر کسی پوشیده نیست . در همین راستا در صنایع نیز در ایستگاههای بازرسی و کنترل کیفیت جهت بررسی دقیقتر میزان تطابق قطعه ی درحال تولید با قطعه مورد نظر ، از سیستم های بینایی استفاده می شود . بدین وسیله علاوه بر مشخص شدن مورد خطا ، محل دقیق آن و میزان خرابی نیز مشخص می شود .

از جمله موارد کاربرد دیگر سیستم بینایی می توان به علوم نظامی ، پزشکی ، باستانشناسی ، راه و ساختمان و زمین شناسی و هدایت ربات اشاره کرد که روز به روز استفاده از سیستم های بینایی در آنها افزایش می یابد . سیستم های بینایی معمولی ، تنها به گرفتن یک تصویر دو بعدی از جسم اکتفا می کنند و قادر به تشخیص فاصله و یا ارتفاع و عمق نیستند . به همین دلیل و برای داشتن اطلاعات بیشتر از جسم ، محققان تلاش خود را بر روی بدست آوردن اطلاعات از بعد سوم (محور Z) متمرکز کردند .

در راستای این تلاشها رهیافتهای متفاوتی جهت اسکن سه بعدی یک جسم ارائه شد . در این میان اسکنرهای تماسی مبتنی بر سنسورهای تماسی مکانیکی و اسکنرهای غیر تماسی مبتنی بر تکنولژی اپتیکی از جمله راه کارهایی هستند که محققان در پیش رو دارند . و در این میان راه کارهای اپتیکی به دلیل انعطاف پذیر بودن و هزینه قابل قبول ترجیح داده می شوند . ضمن اینکه در خیلی از موارد از دقت و قدرت بالاتری در مقایسه با تکنولژی تماسی برخوردار هستند .

در تحقیق انجام شده پس از بررسی انواع روشهای اپتیکی برای استخراج پروفایل سه بعدی ، یک سیستم نوری بر مبنای نور ساختاریافته کدینگ شده پس از بررسی روشهای کار شده در این زمینه ، پیاده سازی می شود .

فصل اول به بررسی روشهای متفاوت استخراج مدل سه بعدی اشیاء می پردازد. علاوه بر آن کاربردهای مختلف بینایی سه بعدی ارائه می شود . در فصل دوم تکنیکهای مختلف کدینگ الگو در نور ساختاریافته بررسی می شود . در فصل سوم که آغازی برای پیاده سازی است با طراحی یک نوع کدینگ به طراحی یک الگو پرداخته می شود و پردازشهای لازم اولیه در تصاویر برای کشف رمزها توضیح داده می شوند . فصل چهارم با توضیح استفاده از شبکه عصبی برای تعیین کد رنگهای بدست آمده در ادامه به حل مسئله تطابق می پردازد و در نهایت یک بازسازی سه بعدی اولیه از جسم ارائه می دهد . در نهایت در فصل پنجم به جمع بندی فصول گذشته پرداخته شده و پیشنهاداتی برای ادامه کار داده خواهند شد . در صفحه بعدی فلوچارتی از مراحل کلی کار آورده شده که به طور کلی نمایانگر مراحل کاری می باشد .

تئوری نور ساختار یافته و کاربردهای بینایی سه بعدی

روشهای مختلفی برای استخراج پروفایل سه بعدی اجسام وجود دارند . این روشها را می توان از لحاظ نحوه کار به دو دسته کلی غیرفعال و فعال تقسیم بندی کرد .بر خلاف روشهای غیرفعال که بر هم کنش و تغییری روی شکل انجام نمی دهند ، روشهای فعال یا با موضوع ارتباط تماسی بر قرار می کنند و یا بعضی از انواع خاص نور را روی آن تصویر می کنند ( روش نور ساختار یافته).

بینایی سه بعدی همواره از موضوعات اساسی و مهم در بینایی ماشین بوده است . این اهمیت به دلیل کاربردهای بسیار مهم و متنوع آن است . کاربردهای مختلف این شاخه بینایی ماشین در اندازه گیری ابعاد یک جسم ، مهندسی معکوس ، کنترل کیفیت محصولات خروجی کارخانه ، شناسایی اشیاء[۱] ، تهیه نقشه سه بعدی ، انیمیشن کامپیوتری ، کاربردهای پزشکی و بسیاری کاربردهای دیگر است .

با توجه به کاربردهای مختلف اندازه گیری سه بعدی ، همواره سیستمهای مختلفی با توجه به نیازهای گوناگون پیاده سازی شده اند . اما در این میان استریو فتو گرامتری از مهمترین و عمده ترین روشها بوده است که در بسیاری از اوقات در بینایی سه بعدی به کار گرفته شده است . اما در دهه های اخیر استفاده از نور ساختار یافته رواج پیدا کرده است . در این فصل به مروری بر روشهای اسکن سه بعدی و کاربردها و اهمیت بازسازی شکل سه بعدی جسم می پردازیم .

۱-۲-روشهای غیر فعال استخرج پروفایل سه بعدی

استفاده از روشهای غیر فعال در بینایی سه بعدی از مدتها بر روی چندین تصویر دیجیتالی معمول بوده است . از جمله این روشها می توان به مثلث بندی دوتایی برای تصاویر جفت ، سایه اندازی[۲] و حرکت یا بافت[۳] اشاره کرد .

در ادامه روش بینایی استریو که یکی از پرکاربردترین روشهای غیر فعال است ، توضیح داده می شود . سپس به تشریح روشهای فعال می پردازیم .

۱-۲-۱-روش استریو فتوگرامتری

درسیستم استریوفتوگرامتری یا بینایی سه بعدی از دو دوربین برای بدست آوردن اطلاعات سه بعدی استفاده می شود . این سیستم شبیه بینایی دو چشمی است که در بینایی انسان استفاده می شود . این سیستم در شکل ۱-۱ نشان داده شده است . مهمترین مسئله در این روش ، مسئله تطابق است . در این فرایند برای اطمینان از تمرکز دو دوربین در یک نقطه بایستی بین دو دوربین تطابق پیدا کرد .این کار را می توان با استفاده از اطلاعات موجود در باره موضوع و یا استفاده از نقاط مبنا نظیر دیودهای منتشر کننده نور در میدان دوربینها انجام داد . برای مثال فرض کنید دو دوربین بر روی نقطه P تمرکز کرده با شند ، با داشتن فاصله بین دو دوربین D و فاصله کانونی دوربینها می توان L1 و L2 را محاسبه کرد .

[۱] Object recognition

[2] Optical flow & factorization method

[3] Shape from Shading,Motion, Texture



چکیده ۲
فصل اول : تئوری نور ساختار یافته و کاربردهای بینایی سه بعدی
۱-۱- مقدمه ۱۷
۱-۲- روشهای غیر فعال بینایی سه بعدی ۱۸
۱-۲-۱- روش استریوفتوگرامتری ۱۸
۱-۳- روشهای فعال بینایی سه بعدی ۱۹
۱-۳-۱- بکار گیری سنسور تماسی دربینایی سه بعدی ۲۱
۱-۳-۲- بکار گیری سنسور غیر تماسی دربینایی سه بعدی ۲۲
۱-۳-۲-۱- روش ارسال امواج ۲۲
۱-۳-۲-۲- روش های انعکاسی ۲۳
۱-۳-۲-۲-۱- رهیافتهای غیر اپتیکی در روشهای انعکاسی ۲۳
۱-۳-۲-۲-۲- رهیافتهای اپتیکی در روشهای انعکاسی ۲۳
۱-۳-۲-۲-۲-۱ رادار تصویر برداری۲۴
۱-۳-۲-۲-۲-۲- روشهای اینترفرومتریک ۲۶
۱-۳-۲-۲-۲-۳- استخراج عمق از طریق تمرکز بر روش فعال ۲۷
۱-۳-۲-۲-۲-۴- استریوی فعال ۲۸
۱-۳-۲-۲-۲-۵- راستراستریوفتوگرامتری ۲۸
۱-۳-۲-۲-۲-۶- سیستم مجتمع تصویر برداری ۲۹
۱-۳-۲-۲-۲-۷- تکنیک نور ساختار یافته ۳۰
۱-۴- مقایسه روشها وتکنیکها و کاربردهای آنها ۳۲
۱-۵- نتیجه گیری۳۵
فصل دوم : روشهای مختلف کدینگ الگو
۲-۱- مقدمه ۳۷
۲-۲- روشهای طبقه بندی کدینگ الگوهای نوری ۳۸
۲-۲-۱- الگوهای نوری از دیدگاه درجات رنگی ۳۹
۲-۲-۲- الگوهای نوری از دیدگاه منطق کدینگ ۴۰
۲-۲-۲-۱- روشهای مبتنی بر الگوهای چند زمانه (کدینگ زمانی) ۴۲
۲-۲-۲-۱-۱- کدینگهای باینری ۴۲
۲-۲-۲-۱-۲- کدینگ با استفاده از مفهوم n-ary 44
2-2-2-1-3- کدینگ با استفاده از مفهوم انتقال مکانی ۴۵
۲-۲-۲-۱-۴- کدینگ با استفاده از همسایگی ۴۶
۲-۲-۲-۲- روشهای مبتنی بر همسایگیهای مکانی(کدینگ مکانی) ۴۸
۲-۲-۲-۲-۱- کدینگهای غیر متعارف (ابتکاری) ۴۸
۲-۲-۲-۲-۲- کدینگ بر اساس دنباله De_Bruijn 50
2-2-2-2-3- کدینگ بر اساس منطق M-Arrays52
2-2-2-3- کدینگ مستقیم ۵۴
۲-۳- نتیجه گیری۵۵
فصل سوم :پیاده سازی کدینگ و پردازش تصویر
۳-۱- مقدمه ۵۷
۳-۲- تولید کلمه های رمز با استفاده از دنباله De_Bruijn 59
3-3- تابش الگو و عکسبرداری ۶۵
۳-۴- پردازش تصویر ۶۶
۳-۴-۱- دوسطحی سازی ۶۸
۳-۴-۲- تشخیص لبه ها و اسکلت بندی ۷۰
۳-۴-۳- نازک سازی ۷۴
۳-۴-۴ نقاط تقاطع ۷۵
۳-۴-۵- شناسایی خطوط ۷۸
۳-۵- نتیجه گیری ۸۲
فصل چهارم :
شناسایی رنگ و حل مسئله تطابق و بازسازی سه بعدی
۴-۱- مقدمه ۸۴
۴-۲- شبکه عصبی و شناسایی رنگ ۸۶
۴-۲-۱- مسئله تغییر رنگ ۸۷
۴-۳- طراحی شبکه عصبی ۸۸
۴-۴- مسئله تطابق۹۳
۴-۵- بازسازی سه بعدی ۹۹
۴-۶- بررسی خطاهای موجود ۱۰۳
۴-۶-۱- تغییر رنگ و خروجی غیر قطعی شبکه ۱۰۳
۴-۶-۲- ناپیوستگی های تصویر رنگی ۱۰۳
۴-۶-۳-خطای همپوشانی ۱۰۴
۴-۷- نتیجه گیری۱۰۵
فصل پنجم : نتیجه گیری و پیشنهادات
۵-۱ مقدمه ۱۰۷
۵-۲- انتخاب روش و پیاده سازی ۱۰۸
۵-۳- پیشنهادات ۱۰۸
پیوست الف : نرم افزار تهیه شده ۱۱۱
پیوست ب : مثلث بندی ۱۲۲
مراجع ۱۳۰
شکل ۱-۱) ساختار سیستم استریوفتوگرامتری ۱۹
شکل ۱-۲) روشهای استخراج پروفایل سه بعدی ۲۰
شکل ۱-۳) تصویر برداری از سطوح مختلف توسط رادار ۲۴
جدول ۱-۱ : تاخیر زمانی امواج صوتی و نوری ۲۵
شکل ۱-۴ : a ) مویره سایه b ) مویره تصویر ۲۶
شکل ۱-۵ : دستگاه اندازه گیری سه بعدی بر اساس روش مویره۲۷
شکل ۱-۶ : ساختار سیستم راستر استریو فتوگرامتری ۲۹
شکل ۱-۷ : ساختار یک سیستم مجتمع تصویر برداری ۳۰
شکل ۱-۸ : ساختار سیستم نور ساختاریافته ۳۱
شکل ۱-۹ :تصویر نورساختار یافته موازی این تصویر با تاباندن یک الگو با خطوط عمودی موازی بر روی صورت ساخته شده است ۳۲
جدول ۱-۲ :مقایسه روشها و کاربرد آنها ۳۳
شکل۲-۱ : طبقه بندی روشهای کدینگ در نورساختاریافته ۴۱
شکل۲-۲ : پرده های نوری و نحوه بکارگیری یک الگوی چند زمانه ۴۳
شکل۲-۳ : نمونه بازسازی تصویر مجسمه اسب و نقاط دست انسان به وسیله الگوی چند زمانه و روش Postdamer 43
شکل۲-۴ : نمونه الگوهای طراحی شده با روش n-ary 44
شکل۲-۵ : نمونه بازسازی تصویر مجسمه اسب و نقاط دست انسان به وسیله الگوی چند زمانه و تکنیک n-ary 44
شکل۲-۶ : نمای پیک تصویر و انتقال مکانی آن ۴۷
شکل۲-۷ : a) الگوی شامل خطوط بریده با اندازه خطوط به عنوان مشخصه مهم b) الگوی تشکیل شده از خطوط افقی با سه سطح خاکستری ۵۰
شکل۲-۸ : الگوی طراحی شده با دنباله De-Bruijn 51
شکل ۲-۹ : a) طراحی الگوی مرانو b)الگوی کامل شده مرانو ۵۳
شکل ۲-۱۰ : نمونه بازسازی تصویر مجسمه اسب و نقاط دست انسان به وسیله تکنیک M-Array 52
شکل ۲-۱۱ : الگوی طراحی شده توسط گریفین ۵۴
شکل ۲-۱۲ : الگوی خاکستری در رمز نگاری مستقیم ۵۵
شکل ۳-۱ : گراف مربوط به B(2,3) 60
شکل ۳-۲ : نرم افزار نوشته شده برای تولید الگو و کد ۶۳ شکل ۳-۳ : نمونه الگوی طراحی شده ۶۴
شکل ۳-۴ :تابش نور و شرایط عکس برداری ۶۵
شکل ۳-۵ : فلوچارت مراحل تناظر یابی ۶۸
شکل ۳-۶ : عمل دوسطحی سازی در نرم افزار نوشته شده ۷۰
شکل ۳-۷ : نمونه عمل دوسطحی سازی ۷۰
شکل ۳-۸ : نمونه خطای ایجاد شده در استفاده از الگوریتم سبل ۷۱
شکل ۳-۹ : نمونه نا پیوستگی ایجاد شده در استفاده از الگوریتم اسکلت بندی ساده ۷۲
شکل ۳-۱۰ : تصویر خروجی مرحله شناسایی لبه ها در نرم افزار نوشته شده ۷۳
شکل ۳-۱۱ : تصویر خروجی مرحله شناسایی لبه ها پس از اعمال ماسک (خطوط پیوسته هستند) ۷۳
شکل ۳-۱۲ :نمونه تصویر خروجی مرحله نازک سازی ۷۴
شکل ۳-۱۳ :ماسکهای استفاده شده برای کشف نقاط تقاطع ۷۶
شکل۳-۱۴ : دسته نقاط یافت شده به عنوان نقاط تقاطع ۷۷
شکل ۳-۱۵ : نقاط تقاطع نهایی ۷۷
شکل ۳-۱۶ : شکل رنگی نشان دهنده اثر همپوشانی خطوط ۷۸
شکل ۳-۱۷ : برچسب گذاری تصویر اسکلت بندی شده ۷۹
شکل ۳-۱۸ : بخشی از فایل خروجی شناسایی خطوط ۸۰
شکل ۴-۱ : مقادیر کانالهای رنگی در تصویر گرفته شده از جسم ۸۸
شکل ۴-۲ :نرم افزار نوشته شده برای بدست آوردن نقاط نمونه از تصویر و مقادیر کانالهای رنگی متناظر نقاط از تصویر گرفته شده از جسم ۸۹
شکل ۴-۳ : شبکه عصبی طراحی شده ۹۰
شکل ۴-۴ : نمودار خطای آموزش شبکه برای تصویر الگو ۹۱
شکل ۴-۵ : نمودار خطای آموزش شبکه برای تصویر الگوی تابیده شده روی شی۹۱
جدول ۴-۱ : قسمتی از اطلاعات خروجی شبکه پس از عمل گرد سازی ۹۳
شکل ۴-۶ : فلوچارت مراحل تناظر یابی ۹۵
جدول ۴-۲ : قسمتی از جدول امتیاز دهی به تصویر نقاط الگو و تصویر جسم ۹۶
جدول ۴-۳ : قسمتی از جدول نقاط تناظر داده شده و اختلاف مختصات آنها ۹۸
شکل ۴-۷ : تصویر یک جعبه تحت تابش ۹۹
شکل ۴-۸ : شکل سه بعدی جعبه از روی برایند اختلاف مختصات دو نقطه (محور عمودی ) ۱۰۰
شکل ۴-۹ : تصویر یک ماوس تحت تابش ۱۰۱
شکل ۴-۱۰ : شکل سه بعدی جعبه از روی برایند اختلاف مختصات دو نقطه (محور عمودی ) ۱۰۱
شکل ۴-۱۱ : تصویر یک گلدان تحت تابش ۱۰۲
شکل ۴-۱۲ : شکل سه بعدی گلدان از روی برایند اختلاف مختصات دو نقطه (بدست آمدن شکل تقریبی نیم استوانه ) ۱۰۲
شکل الف -۱ : محیط برنامه نویسی C# و راه حل به همراه پروژه های تولید الگو و پردازش تصویر و تولید نقاط نمونه برای ورودی شبکه عصبی ۱۱۳
شکل الف -۲ : تصویر یک جعبه رنگ ۱۱۵
شکل الف -۳ : تصویر فرم مربوط به ایجاد الگو در برنامه نوشته شده ۱۱۶
شکل الف -۴ : یک الگوی مناسب تولیدی توسط برنامه ۱۱۷
شکل الف -۵ : نمایی از فرم برنامه تهیه شده ۱۱۸
شکل الف -۶ : نمایی از برنامه پردازش تصویر در حال کار ۱۱۹
شکل الف-۷ : نمایی از برنامه در حال فعال بودن نمودار هیستوگرام و انجام عمل اکولایز کردن۱۲۰
شکل ب-۱ :دو دستگاه مختصات الگو و تصویر در سیستم نوری نور ساختاریافته ۱۲۳
شکل ب-۲ : هندسه ساده سیستم نوری نور ساختاریافته ۱۲۴
شکل ب-۳ : هندسه مربوط به دوربین و پروژکتور H نقطه ای از جسم است که توسط پروژکتور روشن شده است۱۲۶
شکل ب-۴ : مدل pinhole پروژکتور برای محاسبه پهنای خطوط ۱۲۹