دانشکده فنی مهندسی علوم پایه
گروه کامپیوتر
پروژه پایانی کارشناسی ناپیوسته کامپیوتر- نرم افزار
تحت عنوان : Data Mining
چکیده:
در دو دهه قبل تواناییهای فنی بشر برای تولید و جمعآوری دادهها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسبوکار، علوم، خدمات دولتی و پیشرفت در وسائل جمعآوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهوارهای، در این تغییرات نقش مهمی دارند.
بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در دادههای ذخیره شده، نیاز مبرم وجود تکنولوژیهای جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند. دادهکاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی دادهکاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی میکنند، که این دانش به صورت ضمنی در پایگاه دادههای عظیم، انبارهداده[1] و دیگر مخازن بزرگ اطلاعات، ذخیره شده است.
به لحاظ اینکه در چند سال اخیر مبحث دادهکاوی و اکتشاف دانش موضوع بسیاری از مقالات و کنفرانسها قرار گرفته و نرمافزارهای آن در بازار به شدت مورد توجه قرار گرفته، از اینرو در مقاله سعی بر آن شده تا گذری بر آن داشته باشیم.
در این مقاله درفصل مروری بر دادهکاوی خواهیم داشت . که به طور عمده به تاریخچه ، تعاریف، کاربردها وارتباط آن با انبار داده و OLAP خواهیم پرداخت. در پایان فصل مراحل فرایند کشف دانش از پایگاه دادهها را ذکر کردیم که دادهکاوی یکی از مراحل آن است.
در فصل 2 یکی از شیوههای دادهکاوی که از سبد خرید گرفته شده است توضیح داده شده است . در این فصل به شرح قوانین ارتباطی خواهیم پرداخت که در آن بعد از دستهبندی الگوریتمها ، الگوریتم Apriori ( که یک الگوریتم پایه در این زمینه است ) و الگوریتم FP-Growth ( یک الگوریتم جدید میباشد) را با شرح یک مثال توضیح میدهیم و در آخر آن دو را با هم مقایسه میکنیم .
در فصل 3 مباحث وبکاوی و متنکاوی را که در بسیاری از مراجع جزء کاربردهای دادهکاوی به حساب میآید شرح داده خواهد شد.
فهرست مطالبعنوان صفحهفهرست اشکال ……………………………………………………………………………………………………………………………..10فهرست جداول …………………………………………………………………………………………………………………………….11فصل1: مقدمهای بر دادهکاوی ………………………………………………………………….131-1 تعریف دادهکاوی …………………………………………………………………………………………………………………..152-1 تاریخچه دادهکاوی ………………………………………………………………………………………………………………..163-1 چه چیزی سبب پیدایش دادهکاوی شده است؟ …………………………………………………………………………….174-1 اجزای سیستم دادهکاوی ………………………………………………………………………………………………………….195-1 جایگاه دادهکاوی در میان علوم مختلف ……………………………………………………………………………………..216-1 قابلیتهای دادهکاوی …………………………………………………………………………………………………………………227-1 چرا به دادهکاوی نیاز داریم؟ …………………………………………………………………………………………………….238-1 دادهکاوی چه کارهایی نمیتواند انجام دهد؟ ………………………………………………………………………………259-1 کاربردهای دادهکاوی ……………………………………………………………………………………………………………..251-9-1 کاربردهای پیشبینیکننده ………………………………………………………………………………………272-9-1 کاربردهای توصیفکننده ……………………………………………………………………………………….2710-1 ابزارهای تجاری دادهکاوی …………………………………………………………………………………………………….2811-1 دادهکاوی و انباردادهها ………………………………………………………………………………………………………….291-11-1 تعاریف انبارداده ………………………………………………………………………………………………….292-11-1 چهار خصوصیت اصلی انبارداده ……………………………………………………………………………..303-11-1 موارد تفاوت انبارداده و پایگاه داده …………………………………………………………………………3112-1 دادهکاوی و OLAP ……………………………………………………………………………………………………………331-12-1 OLAP ……………………………………………………………………………………………………………332-12-1 انواع OLAP …………………………………………………………………………………………………….3413-1 مراحل فرایند کشف دانش از پایگاه دادهها ……………………………………………………………………………….341-13-1 انبارش دادهها ……………………………………………………………………………………………………..352-13-1 انتخاب دادهها ……………………………………………………………………………………………………..363-13-1 پاکسازی- پیشپردازش- آمادهسازی ……………………………………………………………………..364-13-1 تبدیل دادهها ……………………………………………………………………………………………………….365-13-1 کاوش در دادهها (Data Mining) ………………………………………………………………………376-13-1 تفسیر نتیجه …………………………………………………………………………………………………………38فصل 2: قوانین ارتباطی …………………………………………………………………391-2 قوانین ارتباطی ……………………………………………………………………………………………………………………….402-2 اصول پایه ……………………………………………………………………………………………………………………………..411-2-2 شرح مشکل جدی …………………………………………………………………………………………………412-2-2 پیمایش فضای جستجو ……………………………………………………………………………………………433-2-2 مشخص کردن درجه حمایت مجموعه اقلام ……………………………………………………………….453-2 الگوریتمهای عمومی ………………………………………………………………………………………………………………451-3-2 دستهبندی …………………………………………………………………………………………………………….452-3-2 BFS و شمارش رویدادها ………………………………………………………………………………………463-3-2 BFS و دونیمسازی TID-list ……………………………………………………………………………….474-3-2 DFS و شمارش رویداد …………………………………………………………………………………………475-3-2 DFS و دو نیمسازی TID-list ………………………………………………………………………………484-2 الگوریتم Apriori ………………………………………………………………………………………………………………..481-4-2 مفاهیم کلیدی ………………………………………………………………………………………………………482-4-2 پیادهسازی الگوریتم Apriori ………………………………………………………………………………..493-4-2 معایب Apriori و رفع آنها …………………………………………………………………………………….545-2 الگوریتم رشد الگوی تکرارشونده …………………………………………………………………………………………….551-5-2 چرا رشد الگوی تکرار سریع است؟ ………………………………………………………………………….586-2 مقایسه دو الگوریتم Apriori و FP-growth …………………………………………………………………………..597-2 تحلیل ارتباطات ……………………………………………………………………………………………………………………..63فصل 3: وبکاوی و متنکاوی ………………………………………………………..651-3 وبکاوی ……………………………………………………………………………………………………………………………..661-1-3 الگوریتمهای هیتس و لاگسام …………………………………………………………………………………..692-1-3 کاوش الگوهای پیمایش مسیر ………………………………………………………………………………….762-3 متنکاوی ……………………………………………………………………………………………………………………………..801-2-3 کاربردهای متنکاوی ……………………………………………………………………………………………..821-1-2-3 جستجو و بازیابی ………………………………………………………………………………….832-1-2-3 گروهبندی و طبقهبندی …………………………………………………………………………..833-1-2-3 خلاصهسازی ……………………………………………………………………………………….844-1-2-3 روابط میان مفاهیم …………………………………………………………………………………845-1-2-3 یافتن و تحلیل گرایشات …………………………………………………………………………846-1-2-3 برچسب زدن نحوی (pos) …………………………………………………………………….857-1-2-3 ایجاد Thesaurus و آنتولوژی به صورت اتوماتیک …………………………………..852-2-3 فرایند متنکاوی …………………………………………………………………………………………………….863-2-3 روشهای متنکاوی …………………………………………………………………………………………………87مراجع ………………………………………………………………………………………..89
فهرست اشکالعنوان صفحه1-1 مراحل فرایند کشف دانش ……………………………………………………………………………………………………….172-1 سیر تکاملی صنعت پایگاه داده ………………………………………………………………………………………………….193-1 معماری یک نمونه سیستم دادهکاوی ………………………………………………………………………………………….204-1 نرخ رشد اطلاعات …………………………………………………………………………………………………………………245-1 کاربرد پیشبینی کننده …………………………………………………………………………………………………………….276-1 دادهها از انباردادهها استخراج میگردند ……………………………………………………………………………………..327-1 دادهها از از چند پایگاه داده استخراج میگردند …………………………………………………………………………..321-2 شبکه‌ای برای …………………………………………………………………………………………………..432-2 درخت …………………………………………………………………………………………………………..443-2 دستهبندی الگوریتمها ………………………………………………………………………………………………………………464-2 پایان الگوریتم Apriori …………………………………………………………………………………………………………525-2 درخت الگوی تکرار ………………………………………………………………………………………………………………576-2 اندازهگیری کارکرد درجه حمایت برای پایگاه داده D1 40K ……………………………………………………..617-2 اندازهگیری Apriori با درجه حمایت/تراکنش ………………………………………………………………………….628-2 اندازهگیری FP-growth با درجه حمایت/تراکنش ……………………………………………………………………621-3 مقداردهی اولیه الگوریتم HITS ………………………………………………………………………………………………722-3 مثالی از الگوهای پیمایش ………………………………………………………………………………………………………..803-3 فرایند متنکاوی …………………………………………………………………………………………………………………….864-3 مثال یافتن روابط …………………………………………………………………………………………………………………….88
فهرست جداولعنوان صفحه1-2 کاوش FP-tree با ایجاد پایگاههای الگوشرطی ………………………………………………………………………….582-2 پارامترها ……………………………………………………………………………………………………………………………….593-2 نتایج برای فاکتور درجه حمایت 5% …………………………………………………………………………………………..604-2 نتایج برای D1 150K با درجه حمایت …………………………………………………………………………………….611-3 تراکنشهای توصیف شده توسط مجموعهای از URLها ……………………………………………………………..752-3 نمایش URLها به عنوان بردارهایی از فعالیت گروه تراکنش …………………………………………………………753-3 یک SOM مرسوم که توسط توصیف URLها تولید شده است ……………………………………………………76
[1] Data warehouses
متن کامل را می توانید دانلود کنید چون فقط تکه هایی از متن این پایان نامه در این صفحه درج شده است(به طور نمونه)
ولی در فایل دانلودی متن کامل پایان نامه
همراه با تمام ضمائم با فرمت ورد که قابل ویرایش و کپی کردن می باشند
موجود است
دانلود پایان نامه DATA MING