تشخیص هرزنامه وب به کمک تکنیک های داده کاوی
نوع فایل: word (قابل ویرایش)
تعداد صفحات : 100 صفحه
چکیده:
امروزه هرزنامه ها یکی از مشکلات اصلی موتورهای جستجو هستند، به این دلیل که کیفیت نتایج جستجو را نامطلوب می سازند. در طول سالهای اخیر پیشرفتهای بسیاری در تشخیص صفحات جعلی وجود داشته است اما در پاسخ تکنیک های هرزنامه جدید نیز پدیدار شده اند. لازم است برای پیشی گرفتن به این حملات، تکنیکهای ضد هرزنامه بهبود یابد.
یک مساله عادی که ما با آن در این زمینه مواجه می شویم این است که خیلی از اسناد رتبه بالایی را توسط موتور جستجو بدست آورده اند در حالی که سزاوار آن نبوده اند. با توجه به گسترش روزافزون وب و همچنین ظهور تکنیک های جدید هرزنامه توسط هرزنامه نویسان، هدف از این پایان نامه بررسی روش های مبتنی بر داده کاوی جهت شناسایی هرچه بهتر صفحات هرزنامه از غیرهرزنامه است.
الگوریتم ها و نرم افزارهای داده کاوی از جمله ابزارهای مورد استفاده در این پژوهش هستند. از مجموعه داده استاندارد UK2007 و نرم افزار وکا جهت ارائه مدلهایی بهینه استفاده شده است و سعی بر ارائه مدلهایی است که ضمن کاهش ویژگی های مورد استفاده جهت شناسایی صفحات هرزنامه از غیرهرزنامه کارایی مطلوبی را نیز ارائه دهد.
کلید واژه:هرزنامه-تکنیک های داده کاوی
فهرست مطالب:
چکیده ۱
فصل اول:مقدمه۲
۱-۱ پیش گفتار ۳
1-2 بیان مسئله ۳
۱-۳ اهمیت و ضرورت انجام تحقیق ۴
ساختار پایان نامه ۵
فصل دوم:وب و هرزنامه های وب۶
۲-۱ وب جهان گستر 7
۲-۱-۱ وب به عنوان گراف۸
۲-۱-۲ گراف وب در صفحه و سطح میزبان۸
۲-۱-۳ اتصال۹
۲-۲ موتورهای جستجو۱۰
۲-۲-۱ معماری موتورهای جستجوی وب۱۱
۲-۲-۲ سرویس دهنده پرس و جوی موتور جستجو۱۳
۲-۳ رتبه بندی ۱۳
۲-۳-۱ رتبه بندی مبتنی بر محتوا۱۳
۲-۳-۲ الگوریتم های مبتنی بر لینک۱۵
۲-۴ هرزنامه وب۱۹
۲-۴-۱ هرزنامه محتوا۲۰
۲-۴-۲ هرزنامه لینک ۲۲
۲-۴-۳ تکنیک های مخفی ۲۷
۲-۵ یادگیری ماشین ۲۹
۲-۵-۱ NaΪVe Bayes 30
۲-۵-۲ درخت تصمیم 31
۲-۵-۳ ماشین بردار پشتیبان۳۳
۲-۶ ترکیب طبقه بندی کننده ها۳۵
۲-۶-۱ Bagging 35
۲-۶-۲ Boosting 36
۲-۷ روش های ارزیابی 37
۲-۷-۱ ارزیابی متقاطع ۳۸
۲-۷-۲ دقت و فراخوانی۳۸
۲-۷-۳ منحنی ROC 39
۲-۸ جمع بندی۴۰
فصل سوم: پیشینه تحقیق 41
۳-۱ مجموعه داده های مورد استفاده توسط محققین ۴۲
۳-۱-۱ UK2006 42
۳-۱-۲ UK2007 43
۳-۱-۳ مجموعه داده جمع آوری شده با استفاده از جستجوی MSN 44
۳-۱-۴ DC2010 44
۳-۲ مطالعات مبتنی بر محتوا۴۷
۳-۳ روش های مبتنی بر لینک۵۱
۳-۳-۱ الگوریتم های مبتنی بر انتشار برچسب ها ۵۱
۳-۳-۲ رتبه بندی تابعی 55
۳-۳-۳ الگوریتم های هرس لینک و وزن دهی دوباره۵۶
۳-۳-۴ الگوریتم های مبتنی بر پالایش برچسب ها ۵۷
۳-۴ روش های مبتی بر لینک و محتوا ۵۸
۳-۴-۱ مطالعات مبتنی بر کاهش ویژگی ۵۷
۳-۴-۲ مطالعات مبتنی بر ترکیب طبقه بندی کننده ها۵۹
۳-۴-۳ مطالعات مبتنی بر تست اهمیت ویژگی های متفاوت در تشخیص هرزنامه 63
۳-۴-۴ مطالعات مبتنی بر پیکربندی وب ۷۱
۳-۴-۵ تشخیص هرزنامه از طریق آنالیز مدلهای زبانی۷۶
۳-۴-۶ تاثیر زبان صفحه بر ویژگی های تشخیص هرزنامه وب۷۹
۳-۴-۷ رویکرد ترکیب ویژگی های مبتنی بر محتوا و لینک برای صفحات عربی ۸۲
۳-۵ جمع بندی ۸۳
فصل چهارم: پیاده سازی ایده پیشنهادی ۸۵
۴-۱ مقدمه۸۶
۴-۲ ویژگی های مجموعه داده انتخابی ۸۷
۴-۳ پیش پردازش ۹۲
۴-۳-۱ پیش پردازش مجموعه داده UK2007 93
۴-۳-۲ کاهش ویژگی ها با اعمال الگوریتم های داده کاوی۹۳
۴-۴ داده کاوی و ارزیابی مدل ها ۹۶
4-4-1 نتایج الگوریتم ها با اعمال روش های کاهش ویژگی 102
۴-۴-۲ مقایسه مقدار F_measure بدست آمده از الگوریتم ها با اعمال بر روی ویژگی های بدست آمده از الگوریتم های کاهش ویژگی۱۰۹
۴-۵ تفسیر نتایج۱۱۰
۴-۶ جمع بندی ۱۱۴
فصل پنجم: نتیجه گیری و کارهای آتی ۱۱۵
۵-۱ نتیجه گیری ۱۱۶
۵-۲ کارهای آتی- ۱۱۷
منابع۱۱۸
