در سال گذشته با جدول داده ها و خواندن آن تا حدودی آشنا شدیم و دیدیم که می توان با جمع آوری اطلاعات و قرار دادن آن ها در جدول ، سریع تر و آسان تر به آن ها دست پیدا کرد.
مناسب برای دانش آموزان، دبیران و اولیا
برای دانلود کل پاورپوینت از لینک زیر استفاده کنید:
عنوان:پیش پردازش داده های نا متوازن با استفاده از ماشین بردار پشتیبان
تعداد صفحات :115
چکیده:
برای دست یابی به نتایج مطلوب در داده کاوی نیاز به پیش پردازش داده ها داریم.پیش پردازش داده ها یکی از اجزای مهم در فرایند کشف دانش است.روش های بسیاری برای پیش پردازش داده وجود دارد که میتوان از آنها استفاده کرد.اما این روش ها برای داده های نامتوازن مناسب نیستند. اصطلاح “مجموعه داده نامتوازن” عموما به مجموعه داده‌ای گفته میشود که در آن تعداد نمونه‌هایی که نمایانگر یک کلاس هستند از نمونه‌های دیگر در کلاس‌های متفاوت کمتر است مشکل عدم توازن کلاس در بسیاری از برنامه های کاربردی جهان واقعی به رسمیت شناخته شده است و موضوع تحقیقات یادگیری مبتنی بر ماشین قرار گرفته است از این رو اخیراً مشکل نامتوازن بودن کلاسها مورد توجه محققان در زمینه ی داده کاوی قرار گرفته است.آنها به دنبال کشف روش هایی بودند که با اعمال بر روی داده های نامتوازن به نتایج مطلوبی دست یابند.
در این پروژه روش های گوناگون پیش پردازش داده های نامتوازن مورد بحث قرار گرفته و الگوریتم جدیدی برای بهبود نتایج طبقه بندی ارائه میشود، به گونه ای که کارایی و دقت آن مورد توجه باشد.
فصل اول: مقدمه و کلیات تحقیق
1-1- مقدمه
کشف دانش و داده کاوی یک حوزه جدید میان رشته ای و در حال رشد است که حوزه های مختلفی همچون پایگاه داده، آمار، یادگیری ماشین و سایر زمینه های مرتبط را با هم تلفیق کرده تا اطلاعات و دانش ارزشمند نهفته در حجم بزرگی از داده ها را استخراج کند.هدف کشف دانش و داده کاوی یافتن الگوها در پایگاه داده است که در میان حجم عظیمی از داده ها مخفی هستند]1[ .کشف دانش شامل مراحل متعددی است که در این تحقیق به مرحله پیش پردازش توجه میکنیم.
مرحله آماده سازی داده ها مهم ترین و زمانبرترین مرحله در پروژه های داده کاوی است.از آنجا که داده ها در این پروژه ها ورودی پروژه هستند هر قدر این ورودی دقیق تر باشد، خروجی کار دقیق تر خواهد بود.یعنی ما از پدیده “ورودی نامناسب، خروجی نامناسب ” دور میشویم]1[.داده های خام معمولا دچار مشکلاتی مانند نویز، داده پرت، تغییرات در نمونه برداری هستند و استفاده از آنها به همین صورت موجب تضعیف نتایج مورد انتظار میشود.بنابراین باید از روشی برای بهبود نتایج استفاده کرد.پیش پردازش داده ها جهت بهبود کیفیت داده های واقعی برای داده کاوی لازم است.بنابراین پردازش اولیه ای مورد نیاز است تا مقادیر مفقوده، انحرافات و مسائلی از این دست را در داده های اولیه بیابد. پیش پردازش داده ها شامل همه تبدیلاتی است که بر روی داده های خام صورت میگیرد وآنها را به صورتی در میآورد که برای پردازشهای بعدی نظیر استفاده در دسته بندی و خوشه بندی، ساده تر و موثرتر میسازد.
در حال حاضر سازمانها نیاز دارند تا بتوانند داده ها را به صورت کاراتر دسته بندی کنند و از تحلیل نتایج آن برای بهبود روند پیشرفت کسب و کار استفاده نمایند.ممکن است که داده های در دسترس ، داده هایی مبهم و مغشوش باشند و یا کلاس های داده نامتوازن باشند. بنابراین نیاز به پیش پردازش دقیق داده ها رو به افزایش است. برای پاسخ به این نیاز رو به افزایش ، افراد همواره سعی در ارائه روش های نوین و موثرتری دارند.
1-2بیان مساله
هرچند که روشهای مختلفی برای پیش پردازش داده ها موجود است ولی عملکرد و دقت این روش ها متفاوت است و تلاش در جهت ارائه روشی کارامد امری ضروری است.با توجه به اهمیت داده ها در جهان کنونی و افزایش حجم داده ها مساله پیش پردازش مناسب داده ها، بخصوص داده های نامتوازن یک چالش به نظر میرسد.اغلب روش های موجود در پیش پردازش داده های ناتوازن به سمت کلاس اکثریت تمایل دارند و این امر باعث می شود که داده های کلاس اقلیت به صورت نویز در نظر گرفته شود.
همانطور که پیش از این نیز گفته شد برای دست یابی به نتایج مطلوب در داده کاوی نیاز به پیش پردازش داده ها داریم.میتوان ادعا کرد که اگر مرحله آماده سازی داده ها به خوبی صورت نپذیرد، نتایجی بدست میآید که نمیتواند مورد استفاده قرار گیرد و ممکن است که هزینه و زمان به کار رفته برای دست یابی به نتیجه موثر هدر رود و نتایج حاصل به دلیل عدم پیش پردازش مناسب داده غیر قابل استفاده و نادرست باشد.
اخیراً مشکل نامتوازن بودن کلاسها مورد توجه محققان در زمینه ی داده کاوی قرار گرفته است. در موارد متعددی کلاسی که از نقطه نظر دامنه ی کاربردی اهمیت زیادی دارد(کلاس اصلی) شامل تعداد حالات کمتری نسبت به کلاسی است که کلاس اکثریت میباشد. این مجموعه ی داده ها نامتوازن نامیده میشود. رویکرد سنتی داده کاوی توانایی خوبی برای پیش بینی نمونه های اقلیت که مورد توجه است ندارند. متأسفانه در اکثر موارد داده های واقعی دارای این خصوصیت هستند. به عنوان مثال در تشخیص بیماریهای نادر، حملات شبکه، متنکاوی و … معمولاً توزیع دادهها نامتوازن می باشد.
در واقع مساله این است که چگونه میتوان داده های نامتوازن را به گونه ای پیش پردازش کرد که در خوشه های مناسب و درست طبقه بندی شوند.بنابراین مساله این تحقیق ارائه روشی جهت پیش پردازش داده های نا متوازن است به گونه ای که کارایی و دقت آن در مقایسه با روش های دیگر بیشتر باشد.
در روش ارائه شده در این تحقیق برای ارتقای روش ماشین بردار پشتیبان از تکنیک حداقل مربعات با متر اقلیدسی استفاده نمودیم.این روش بهبود یافته را M-SVM مینامیم.بنابراین مساله را بدین شکل طرح می نماییم، چگونه میتوان در روش پیش پردازش داده های نامتوازن به دقت بالاتری دست یافت و از پیش پردازش صحیح داده برای دست یابی به نتایج صحیح در حوزه کاربردی استفاده نمود.از انجا که داده های متفاوتی وجود دارد ما پیش پردازش بر روی مجموعه داده های نامتوازن را انتحاب کردیم.
3-1- اهداف تحقیق
هدف از این تحقیق ارائه راهکاری به منظور افزایش دقت متعادل سازی داده و غلبه بر مشکل عدم توازن کلاس است.سعی کرده ایم تا متعادل سازی داده که در مرحله پیش پردازش داده صورت میگیرد باعث بهبود نتایج طبقه بندی نمونه ها شود.بدین منظور اثربخشی و کارایی روش ارائه شده با سایر روش های موجود مورد مقایسه و ارزیابی قرار میگیرد.امید است که نتایج الگوریتم نهایی امیدوار کننده باشد و نشان دهنده پیشرفت الگوریتم باشد.این تحقیق بر اساس نیاز به دسته بندی دقیق داده ها و استفاده از تحلیل نتایج داده ها در بهبود شرایط مرجع مورد استفاده کننده داده ها شکل گرفته است.
فهرست مطالب:
فصل اول مقدمه و کلیات تحقیق
1-1مقدمه
1-2بیان مساله
1-3 اهداف تحقیق
1-4 پرسش های اصلی تحقیق
1-5فرضیه های تحقیق
1-6 نوآوری تحقیق
1-7 تعریف واژگان کلیدی
1-8 ساختار پروژه
فصل دوم ادبیات و پیشینه تحقیق
2-1 مقدمه
2-2 مفاهیم داده کاوی
2-2-1 تعاریف داده کاوی
2-2-2 فرایند کشف دانش
2-2-3 حوزه ها و عملکردهای داده کاوی
2-3 کاربردهای داده کاوی و کشف دانش
2-4 چالش هایی برای KDD
2-5 پیش پردازش و آماده سازی داده ها
2-5-1اجزای اصلی پیش پردازش داده ها
2-5-1-1 پاکسازی داده ها
2-5-1-2یکپارچه سازی داده ها
2-5-1-3 تبدیل داده ها
2-5-1-3-1هموار سازی
2-5-1-3-2 تجمیع
2-5-1-3-3 تعمیم
2-5-1-3-4 ساخت ویژگی
2-5-1-3-5 نرمال سازی
2-5-1-4 کاهش داده ها
2-5-1-4-1 تجمیع مکعبی داده
2-5-1-4-2 انتخاب زیر مجموعه مشخصه ها
2-5-1-4-3 کاهش تعدد نقاط
2-5-1-5 تصویر کردن برای کاهش بعد
2-6 روش های ارزیابی دسته بندی
2-6-1 ارزیابی صحت روشهای دسته بندی
2-7 تکنیک حداقل مربعات
2-7-1 تقریب کمترین مربعات گسسته چند جمله ای
2-8 ماشین بردار پشتیبان
2-8-1مقدمه
2-8-2دلایل استفاده از SVM
2-8-3 کاربردهای SVM
2-8-4 مزایا و معایب SVM
2-8-5 تعاریف کلی
2-8-5-1تابع تصمیم مسائل دو کلاسی
2-8-5-2 تعیین تابع تصمیم(ابر صفحه جداکننده)
2-8-5-3 بعد VC
2-8-5-4حداقل سازی ریسک تجربی
2-8-5-5حداقل سازی ریسک ساختاری
2-8-6 ماشین بردار پشتیبان طبقه بندی کننده خطی با داده های جدا شدنی به طور خطی
2-8-7ماشین بردار پشتیبان طبقه بندی کننده خطی با داده های جدا نشدنی به طور خطی
2-8-8 ماشین بردار پشتیبان غیر خطی
2-8-9 انواع کرنل ها
2-8-9-1 کرنل چند جمله ای
2-8-9-2 کرنل های شبکه عصبی
2-8-9-3 کرنل های گوسی
2-9 تکنیک های پیش پردازش نامتوازن
2-9-1 ماشین بردار پشتیبان و مشکل عدم توازن کلاس
2-9-1-1 عیب مشکل بهینه سازی با ناحیه مرزی نرم
2-9-1-2 نسبت بردار پشتیبان نامتوازن
2-9-2 روشهای یادگیری عدم توازن خارجی برای SVM (روشهای پیش پردازش داده)
2-9-2-1 روشهای نمونه برداری دوباره
2-9-2-1-1زیر نمونه برداری
2-9-2-1-2بیش نمونه برداری
2-9-2-1-3 SCM
2-9-2-1-4 نمونه برداری پیشرفته
2-9-2-1-5 تکنیک بیش نمونه برداری اقلیت مصنوعی
2-9-2-1-6 نزدیک ترین همسایه فشرده(CNN)
2-9-2-1-7 نزدیک ترین همسایه تغییر یافته(ENN)
2-9-2-1-8 Tomek-Link
2-9-2-2 روشهای یادگیری جمعی
2-9-2-2-1الگوریتم آموزشی Bagging
2-9-2-2-2 الگوریتم آموزشی Boosting
2-9-3 روشهای یادگیری عدم تعادل داخلی برای ماشین بردار پشتیبان
2-9-3-1 هزینه خطای متفاوت
2-9-3-2 یادگیری یک کلاس
2-9-3-3zSVM
2-9-3-4 روشهای اصلاح کرنل
2-9-3-5 یادگیری فعال
2-9-3-6 روش های ترکیبی
فصل سوم:روش تحقیق
3-1مقدمه
3-2 ماشین بردار پشتیبان فازی برای یادگیری عدم توازن کلاس
3-2-1 روش SVMFuzzy
3-2-2متد FSVM-CIL
3-3 ماشین بردار پشتیبان حداقل مربعات (LS-SVM)
3-4 الگوریتم پیشنهادی
فصل چهارم: محاسبات و یافته های تحقیق
4-1 مقدمه
4-2 مجموعه داده ها
4-3 نتایج کارایی روش های مختلف بر روی مجموعه داده ها
فصل پنجم:نتیجه گیری و پیشنهادات
5-1 جمع بندی و نتیجه گیری
5-2 کارهای آتی
منابع و مآخذ
چکیده انگلیسی
فایل بصورت پاورپوینت در 53 صفحه می باشد
نوع مطلب: مقاله کنفرانس
زبان مطلب: فارسی
قالب مطلب: پی دی اف (PDF)
تعداد صفحات: 11
سال انتشار: آبان ماه 1393
محل انتشار: کنفرانس بین المللی پژوهش های کاربردی در فناوری اطلاعات، کامپیوتر و مخابرات
چکیده
با ظهور پدیده Big Data در دهه گذشته، یک کلاس از سیستمهای مدیریت دادهها به نام NoSQL پدید آمده و در حال حاضر به شدت گسترش پیدا کرده است. از ویژگیهای اصلی آنها این است که این سیستمها مدل داده رابطهای و زبان SQL را رها کرده، از خواص ACID تراکنشها بهصورت کامل پشتیبانی نکرده و اغلب از معماری توزیعشده استفاده میکنند. در نتیجه این سیستمها در بعضی کاربردها عملکرد بهتری نسبت به پایگاههای داده وابسته به زبان SQL دارند. علاوه بر این، این سیستمها قابلیت مقیاسپذیری بالایی در شرایط افزایش بار کاری و حجم بالای دادهها دارند که این موضوع مخصوصاً برای برنامه های تحت وب اهمیت زیادی دارد. در بخش اول این مقاله سعی داریم به شناخت بیشتر محدودیتهای پایگاههای داده رابطهای سنتی در مواجه با دادههای حجیم، بپردازیم. سپس با مفاهیم و ویژگیهای اصلی سیستمهای NoSQL آشنا شده و انواع این سیستمها و زمینههای کاربرد آنها را مشخص خواهیم کرد. در انتها به جمعبندی مطالب و پیشنهادهایی برای استفاده بهینه از این سیستمها در کاربردهای پیش رو میپردازیم.
واژگان کلیدی: NoSQL Database ، Not Relational Database ، Big Data
فهرست مطالب
چکیده
مقدمه
محدودیتهای پایگاه داده رابطه ای و پیدایش جنبش NoSQL
مفاهیم اصلی سیستمهای NoSQL
معماری اشتراک-هیچ چیز ( Shared-Nothing Architecture )
درختان Hash و Hash کردن همگام ( Hash Trees and Consistent Hashing )
REST API ، Protobuf و Apache Thrift
JSON و BSON
خواص BASE
نگاشت کاهش (MapReduce)
قاعده CAP
مروری بر انواع سیستمهای NoSQL
بانک اطلاعاتی کلید- مقدار ( Key-Value Database )
بانک اطلاعاتی مبتنی بر ستون ( Table-type/Column Database )
بانک اطلاعات سند گرا ( Document Database )
بانک اطلاعاتی گراف محور ( Graph Databases )
جمع بندی و پیشنهادها
مراجع
کلمات کلیدی:
مقاله در زمینه داده های بزرگ، مقاله درباره داده های بزرگ، مقاله در زمینه Big Data، مقاله درباره Big Data، مقاله داده های بزرگ، مقاله داده های عظیم، مقاله بیگ دیتا، مقاله داده های کلان، مقاله کلان داده ها، امنیت در داده های بزرگ، دیتابیس در داده های بزرگ، پایگاه داده ابری، مقاله NoSQL، چالش های امنیتی داده های عظیم، ابر دیتابیس، پایگاه داده ها در محاسبات ابری، سمینار داده های بزرگ، سمینار محاسبات ابری، سمینار کارشناسی ارشد، گزارش سمینار ارشد، پایان نامه رایانش ابری، پایان نامه امنیت محاسبات ابری، مقاله فارسی امنیت رایانش ابری، مقاله فارسی امنیت محاسبات ابری، مقاله جدید رایانش ابری، شبکه های اجتماعی، شبکه اجتماعی، مقاله شبکه های اجتماعی، مقاله جدید امنیت محاسبات ابری، مقاله 94 محاسبات ابری، مقاله 94 رایانش ابری، معماری رایانش ابری سازمان، معماری محاسبات ابری، مدل مرجع امنیتی رایانش ابری، رایانش ابری خصوصی، مقاله 2015 کامپیوتر، مقاله 2015 رشته کامپیوتر، مقاله انگلیسی 2015، مقاله رشته کامپیوتر، امنیت رایانش ابری، امنیت محاسبات ابری، امنیت در رایانش ابری، امنیت در محاسبات ابری، محاسبات ابری موبایل، رایانش ابری موبایل، چالش های امنیتی رایانش ابری، چالش های امنیتی محاسبات ابری، امنیت رایانش ابری موبایل، چالش های امنیتی رایانش ابری سیار، چارچوب امنیت در ابر، چهارچوب امنیت در رایانش ابری، مقاله رایانش ابری، مقاله محاسبات ابری، مقاله جدید کامپیوتر، زمانبندی رایانش ابری، کلود، شبیه سازی رایانش ابری، مقاله 2015 ترجمه شده، مقاله انگلیسی ترجمه شده، مقاله کامپیوتر ترجمه شده، مقاله رایانش ابری ترجمه شده، مقاله ترجمه شده جدید رایانش ابری، مقاله ترجمه شده جدید محاسبات ابری، مقاله با ترجمه، مقاله ISI با ترجمه، اختصاص ماشین های مجازی، الگوریتم های زمانبندی ابری، vm ، ، مجازی سازی، 2015 Article, ISI Article, Big Data Security Challenges, in cloud computing, Cloud Database
پس از خرید از درگاه امن بانکی لینک دانلود در اختیار شما قرار میگیرد و همچنین به آدرس ایمیل شما فرستاده میشود.
تماس با ما برای راهنمایی، درخواست مقالات و پایان نامه ها و یا ترجمه تخصصی با آدرس ایمیل:
IRTopArticle@gmail.com
شماره تماس ما در نرم افزار واتس آپ:
+98 921 764 6825
شماره تماس ما در نرم افزار تلگرام:
+98 921 764 6825
شناسه ما در تلگرام:
توجه: اگر کارت بانکی شما رمز دوم ندارد، در خرید الکترونیکی به مشکل برخورد کردید و یا به هر دلیلی تمایل به پرداخت الکترونیکی ندارید با ما تماس بگیرید تا راههای دیگری برای پرداخت به شما پیشنهاد کنیم.
لینک پرداخت و دانلود *پایین مطلب*
فرمت فایل:Word (قابل ویرایش و آماده پرینت)
تعداد صفحه46
«مدیریت پایگاه داده هوشمند»
یک دید کلی از آن چه برای نگه داری یک پایگاه داده و اجرای موثر آن لازم است ...
خیلی مشکل است که در این روزها بتوانیم راهنمای مناسبی برای این کار بیابیم و یکی از مشکل ترین موقعیت های کاری که یافتن فرد مناسب برای آن سخت است، مدیر بانک اطلاعاتی (DBA) است. استخدام یک فرد مناسب برای مدیریت بانک اطلاعاتی مشکل است، زیرا مهارت های لازم برای یک DBA خوب شرایط و مقررات زیادی دارد. به دست آوردن این مهارت ها مشکل است و در شرایط سخت، مجموعه مهارت‌های لازم برای DBA دائماً تغییر می کند.
برای مدیریت موثر یک بانک اطلاعاتی گسترده، DBA باید هم از دلایل تجاری ذخیره داده ها در پایگاه داده باخبر باشد و هم از جزئیات تکنیکی چگونگی ساختارهای داده و نحوه ذخیره‌سازی آن ها.
DBA باید اهداف تجاری داده ها را بداند تا مطمئن شود که از آن ها به طور مناسب استفاده می شود زمانی که در کار به آنها نیازمندیم در دسترس هستند. استفاده مناسب شامل قوانین امنیت داده ها، تعریف اختیارات کاربران و اطمینان از جامعیت داده ها می شود. دسترس پذیری شامل تنظیمات پایگاه داده، طراحی کاربردی و تنظیم و نظارت بر کارایی میباشد.
که این ها مفاهیم سخت و پیچیده ای هستند. در حقیقت، همه کتاب ها به هر یک از این موضوعات پرداخته اند.
وظایف مدیر بانک اطلاعاتی (DBA)
وظایف تخصصی DBA بیشمارند. این وظایف قلمروی مقررات IT را از مدل سازی منطقی به پیاده سازی فیزیکی گسترش می دهند. لیستی که در ادامه آمده اغلب وظایف مدیران بانک های اطلاعاتی را شرح می دهد:
6. تنظیم و مدیریت کارایی: برای اطمینان از دسترسی موثر به پایگاه داده، یک سیستم نظارت و مانیتورینگ مناسب، لازم است. DBA باید بتواند از محیط مانیتورینگ استفاده کند، آمارهای که این سیستم ارائه می کند را تفسیر نماید و برای بهینه سازی کارایی، تغییرات لازم را به ساختارهای داده، SQL منطق برنامه ها، زیر سیستم های DBMS ا