فی فوو

مرجع دانلود فایل ,تحقیق , پروژه , پایان نامه , فایل فلش گوشی

فی فوو

مرجع دانلود فایل ,تحقیق , پروژه , پایان نامه , فایل فلش گوشی

دانلود مقاله Data Warehouse برای سازمانها

اختصاصی از فی فوو دانلود مقاله Data Warehouse برای سازمانها دانلود با لینک مستقیم و پر سرعت .

 

 

 

در حالی که عمر کوتاهی از استفاده از Database بعنوان بستری برای داده ها جهت انجام آنالیزهای پیچیده می گذرد، ولی نیاز به اینگونه عملیات از دیرزمانی احساس می شده و ابزار Database نیز در اینمورد از ارجحیت خاصی برخوردار گردیده اند. پاسخ به سؤالاتی نظیر What – If ، شبیه سازمانهای عملیات مهم مانند معرفی یک محصول جدید، یا تعیین پر سودترین محصولات، همگی از نیازهای اصلی کسب و کار بشمار آمده و ایجاد Data warehouse به کمک کامپیوتر جهت حل اینگونه مسایل کمک بسیار بزرگی کرده است.
در واقع کامپیوتر جهت حل مسایل پیچیده آنالیز داده ها، از سالهای 1950 مورد استفاده بوده اند و اساساً ماهیت مسایلی که توسط Data warehouse حل می شود، در این پنچ دهه تفاوتی نکرده است. انجام عملیات مختلف بر روی اعداد برای بدست آوردن نتایج گوناگون، عملیات Aggregation روی داده های هر مجموعه و آنالیز واریانس داده ها، جدید بشمار نمی آیند.
Expert Systems & Decision Support Systems
چنانچه به مسیر تحول داده ها توجه شود، الگوی واضحی از طرز استفاده آنها در Data Warehouse های حتی پیچیده دیده می شود. عامل مهمی که در این مسیر بسیار تغییر یافته است سرعت می باشد، سرعتی که با آن برای سؤالات پاسخی ایجاد می گردد. از سالهای 1975 تا 1990 برای مدیران برنامه ریزی استراتژیک، ساعتهای طولانی منتظر ماندن برای دریافت پاسخ امری عادی بشمار می آمد. امروزه Warehouse های Decision Support امکان ایجاد پاسخ برای انواع Query (پرس و جوها) را حتی برای کاربر نهایی در کمترین زمان ممکن (کسری از ثانیه) دارا می باشد. بنا به ماهیت سوالات مطروحه در صنعت امروز و حساسیت پاسخگویی، نیاز به سرعت در پاسخگویی بسیار احساس می شود.
با ایجاد یک شبیه سازی و یا طرح What – If از سوی کاربر Data Warehouse ، غالباً پاسخ به یک سؤال منجر به طرح سوالات دیگر خواهد شد و عامل زمان در این امر نقش مؤثری دارا می باشد.
Expert Systems & Data Warehouse
Expert System در دنیای کامپیوتر واژه ای است که برای هر برنامه حاوی عبارت IF مورد استفاده قرار می گیرد. بطور کلی یک سیستم خبره با Expert System پروسس ساخته یافته تصمیم گیری در ذهن بشر را مدل داده و آنرا به شرایط دنیای واقعی می رساند.
هر پروسس Decision Making قوانین یا Rule هایی در Interface engine دارند. Interface Engine جهت بکار انداختن اجزای جمع آوری اطلاعات یک سیستم که نهایتاً به راه حل مساله خواهند رسید، مورد استفاده می باشد. در واقع سیستم خبره تصمیمی برای کاربر می گیرد، در حالی که سیستم Decision Making تصمیمی را بهمراه کاربر می گیرد. سیستم خبره هیچ امکاناتی برای دخالت انسان در پروسس تصمیم گیری فراهم نمی کند. بسیاری تصمیم گیریهای واقعی در دنیای مدیریت نیازی به دخالت انسانی ندارد و Data Warehous قادر به تأمین پاسخ بدون دخالت کاربر می باشد. یعنی با وجود Data Warehouse کامپیوتر قادر به تولید گزارشات روزانه مورد نیاز بطور اتوماتیک می باشد. هم چنین یک سیستم DSS ، داده ها را طوری aggregate اولیه می نماید که مدیریت قادر به نگرشی کلی و نتیجه گیری می گردد. در DSS ها، هر قدر میزان aggregate در داده ها بالاتر بوده، قدرت تصمیم گیری و پیش بینی انسان بیشتر است.
Decision Support Systems & Data Warehouse
معمولاً Dss ها بعنوان نوعی از Data Warehouse هایی مطرح گشته که با حل مسایل نیمه ساختار یافته سرو کار دارد. بعبارتی دیگر مساله هر دو جز ساختار یافته و نیافته را دارا بوده و جز ساختار نیافته نیاز به دخالت انسانی داشته و ارتباط انسان با DSS را ایجاب می نماید.
اجزای ساختار یافته یک DSS ، قوانین تصمیم گیری یا Decision Rules ذخیره شده بعنوان سیستم پردازش مسایل می باشند و جز دیگر به انسان واگذار می شود. مثالهایی از مسایل نیمه ساختار یافته : انتخاب یک سایت برای کارخانه، و یا انتخاب سبد سهام (Stock Portfolio ).
در تکنولوژی Decision Support بسیاری عملیات نیاز به دخالت انسانی دارد مثل انتخاب سایت که اجزا ساختار یافته و نیافته را با هم دارد. عوامل و قوانینی براحتی قابل اندازه گیری بوده و در سیستم Database نگهداری می شوند و این به کاربر سیستم امکان ایجاد سناریوی What – If را می دهد. با اینحال وجود اجزای ساختار یافته، ساختار یافتگی کلی پروسس تصمیم گیری را تضمین نمی نماید.
یک سیستم DSS این مشخصات را دارد :
• یک مسأله اتفاق نیافتاده برای حل موجود است.
• دادن ورودی توسط انسان لازم است.
• مدلی برای تست فرضیات Hypothesis test موجود است.
• انجام Query های خاص امکانپذیر است (در پی انجام درخواستهای مکرر در سیستم از Database ، هر پاسخ Query منجر به Query دیگری خواهد شد، چون منظور از این Query ها ایجاد Query بدون شکلی خاص برای اطلاعات موجود جهت تصمیم گیری است، زمانهای پاسخگویی بسیار با اهمیت اند)
• ممکن است بیش از یک پاسخ قابل قبول بوجود بیاید.
• منابع خارجی از داده ها نیز مورد استفاده قرار می گیرند.
همچنین DSS ها به کاربران امکان ایجاد سناریوی What – If را میدهند. اینها اساساً ابزارهای مدل دهنده ای هستند که به کاربر امکان تعریف محیط و شبیه سازی رفتار آن محیط در صورت بروز تغییرات را میدهند.
انواع خروجی های سیستم Decision Support عبارتند از :
• (Management Information System) MIS ، شامل پیش بینی ها و گزارشات استاندارد
• تست فرضیات (Hypothesis Tests ) ، شامل تمامی سوالات متوالی که هر پاسخ منجر به طرح سوالات بعدی می شود.
• ساخت مدل، ایجاد مدل و تأیید رفتار آن در برابر داده های historical در Data Warehouse مدلهای پیش بینی کننده، جهت پیش بینی رفتارها بر اساس عوامل historical مورد استفاده قرار می گیرند.
• کشف جریانهای ناشناخته، مثلاً علت فروش بالای یک محصول در منطقه ای خاص. ابزار داده کاوی Data Minig پاسخگوی اینگونه سوالات، حتی در حالاتی که سوالی خاص مطرح نشده باشد، می باشد.
DSS ها به کاربر امکان کنترل پروسس تصمیم گیری را داده، قوانین تصمیم گیری شخص وی را با دخالت فکری او بکار می گیرند. با این وجود امکان بکارگیری هوش مصنوعی Artificial Intelligence جهت مدیریت قسمت انسانی قضیه، قابل بررسی است.
Life Cycle در Data warehouse
بطور کلی تمامی پروژه ها شامل پنج مرحله اصلی می باشند :
امکان سنجی (Feasibility Study) ، آنالیز (Analysis Stage) ، طراحی (System Design) ، پیاده سازی (Implementation) ، نگهداری (Ongoing Maintenance).
پروژه های Data Warehouse نیز از این قاعده مستثنی نبوده، ولی اهداف و نتایج هر فاز کمی متفاوت می باشند :
• فاز اول، امکان سنجی : یک آنالیز سود و زیان بوده که هزینه و سودهای واقعی را برای Data Warehouse قابل اندازه گیری و محاسبه می نماید. در این مرحله سود و زیانهای احتمالی که فعلاً وجود خارجی ندارند، نیز مطرح خواهند شد. هدف این مرحله تصمیم گیری برای اجرای پروژه Data Warehouse می باشد. فعالیت ها شامل آنالیز امکانات اقتصادی و تکنولوژیکی، با تمرکز بر روی شناسایی تمامی هزینه ها و سودهای ممکن در پروژه Data Warehouse می باشد.
• فاز دوم، آنالیز سیستم : یک تشریح منطقی از منابع داده ها برای Warehouse ، آنالیز استخراج داده ها، آنالیز اصلاح داده ها و بالا آوردن داده ها می باشد. برخلاف سیستمهای سنتی در آنالیز Data Warehouse شدیداً محور بر روی داده ها بوده و با تعریف Interface سیستم سروکاری ندارد. در مقایسه با پیاده سازی، فاز آنالیز نیاز به میزان کمتری از تخصص دارد و این بدلیل بی صبری مدیران و ظهور Case Tools های جدید می باشد. معماری انعطاف پذیر، تغییر ساختار Data base را در صورت حذف مواردی از داده ها در طول فاز آنالیز، بسیار راحت کرده است.
• فاز سوم، طراحی سیستم : پیاده سازی فیزیکی مدل منطقی داده ها بوده که در فاز آنالیز سیستم توسعه یافته است و شامل طراحی Warehouse ، مشخصات برای ابراز استخراج داده ها، پروسس های بالا آوردن داده ها و متدهای دست یابی به Warehouse است. در این مقطع مستندات منطقی به ساختار فیزیکی تغییر شکل می یابند. برای طراحی Database ، ایجاد مدل Entity / Relation ، و تعیین تکنیکهای مناسب ذخیره سازی داده ها و استفاده از ایندکسهای مناسب ایجادب می گردد.
• فاز چهارم ، پیاده سازی : در این فاز Warehouse ساخته شده و نرم افزار نیز نوشته و تست شده است. میزان تخصصی که در این فاز لازم بوده باندازه مجموع تمامی فازهای دیگر است. برای این فاز زمان نسبتاً طولانی صرف شده ، زیرا عوامل ناشناخته ای در این مرحله شناسایی شده و سیستم مطابق با تغییرات بوجود آمده بایستی هماهنگ شود. این مرحله طولانی ترین مرحله در ایجاد سیستم Data Warehouse می باشد. قوانین و تکنیکهایی برای حصول اطمینان از حداکثر بودن میزان کارآیی وجود دارد.
• فاز پنجم ، نگهداری : فاز نهایی Warehouse می باشد . این مرحله شامل بالا آوردن ثابت و پیوسته داده های جدید و مشخص کردن نیازهای تغییر پذیر آنالیز برای کاربر نهایی می باشد.
چنانچه تیم توسعه، عملیات آنالیز و طراحی را بخوبی انجام داده و سیستم جدید را برنامه نویسی کرده باشند، تیم برنامه نویسی نبایستی بلافاصله پس از اتمام برنامه نویسی ارتباط خود را قطع نماید. هزینه سیستم، رشد خود را حتی پس از تحویل این کار ادامه خواهد داد و این به ماهیت دینامیکی سیستم و نیازهایش مربوط می شود. غالباً در برنامه های دراز مدت سیستمهای نه چندان مطابق با شرایط روز تحویل کاربران داده می شود زیرا نیازها و شرایط در طول مدت زمان پروژه تغییر می یابند.
همانگونه که اشاره شد فازهای آنالیز و طراحی بسیار متمرکز بر روی داده ها می باشند تا بر روی پروسس ها. در مراحل اولیه توسعه یک Warehouse ، طراحان بیشتر به جمع آوری داده ها از منابع سنتی متمرکز بوده تا به روشی که کاربر نهایی از داده ها استفاده می کند.
مراحل پیشرفت در استفاده از یک Data Warehouse :
• آنالیز اولیه : محاسبه متوسط و مجموع بعنوان مثال
• آنالیزها ارتباطات : کاربر نهایی مدلهایی برای ارتباط دادن واقعیتهای موجود در ابعاد داده ها بوجود می آورد. این مرحله شروع آنالیز Stocjastic داده ها می باشد.
• آنالیز داده های گوناگون : کاربر نهایی شروع به برقراری ارتباطهایی بین گروههای متشکل از واقعیتهای بهم مربوط می نماید که اینها در هنگام استفاده از عملیات آماری تجزیه ای شکلی پیچیده می یابند.
• پیش بینی : کاربر نهایی شروع به استفاده از Package های SPSS و SAS جهت پیش گویی هایی از طریق Data Warehouse می نماید.
• مدل سازی : کاربر نهایی واقف به این نکته که قادر به تست فرضیاتش در Data Warehouse می باشد ، شده و شروع به طرح سناریوهای ساده What – If می کند.
• شبیه سازی : کاربر شروع به ساخت مدلهای پیچیده شبیه سازی گردیده و این مقطعی است که ارتباطهای ناشناخته بین داده ها، کشف می گردند.
• داده کاوی : کاربر شروع به استخراج نتایج Aggregate شده از Warehouse می نماید، و آنها را به برنامه های شبکه عصبی (Neutral Network) جهت کشف ارتباطهای غیر اجباری unobtrusive وارد مینماید. طی این مراحل ممکن است حتی سالها بطول بیانجامد. Interface های چند مسیره n – way برای warehouse پیش بینی می شود تا کاربر امکان انجام aggregate متقاطع را با هر دو مورد داده ای که انتخاب بنماید، داشته باشد.
امکان سنجی (بررسی امکانات ) :
مرحله ای است که در پروژه Data Warehouse با کمترین میزان تلاش و تخصص. آنالیز هزینه و سود برای سیستم مورد نظر سریعاً توسط چند آنالیست واجد شرایط قابل انجام است. ولی کوتاه بودن این دوره، ارزش آنرا زیر سوال نمی برد. تمامی سیستمهای کامپیوتری بایستی در مقایسه با هزینه ها سود قابل ملاحظه ای را بهمراه داشته باشند و در این مرحله، مقدار برگشت برای این پروژه تعیین می شود. اینکار با ارزیابی امکانات انجام می شود و شامل دو قسمت است :
- آنالیز امکانات تکنولوژیکی : آیا با تکنولوژی موجود به راه حل خواهیم رسید؟
- آنالیز امکانات اقتصادی : آیا برگشت سرمایه، انجام این پروژه را توجیه می نماید؟ این ملاحظات شامل هزینه های امر توسعه، سودهایی که پروژه بهمراه خواهد داشت، و ROI است.
- هزینه های توسعه : شامل هزینه های نرم افزار و سخت افزار و جهت ایجاد Data Warehouse، ولی برآورد هزینه های احتمالی و بالقوه این کار نیز با اهمیت است، استفاده از تکنولوژی های جدید نیز ریسکهایی بهمراه دارد. مدیران علاقمند به قابل اندازه گیری کردن و محاسبه هزینه اینگونه ریسکها هستند، ولی غالباً هزینه ریسکها در برآورد هزینه های پروژه آورده نمی شود زیرا قابل اندازه گیری دقیق نیستند و در طول مراحل توسعه Warehouse واقع می گردند، یعنی در زمانی که به منابع انسانی و فنی بیشتری احتیاج هست تا مسایلی را که در طول پیاده سازی بروز می نماید قابل حل سازد.
منافع Warehouse
راحت تر از هزینه قابل برآورد می باشند و بدو مقوله بالقوه و بالفعل تقسیم می شوند. سود بالفعل براحتی و دقیق قابل اندازه گیری است و برابر مقدار هزینه ای که بدلیل استفاده از Warehouse برای روشهای سنتی، صرفه جویی شده است. سود بالقوه وجود دارد ولی فعلاً قابل اندازه گیری نیست و وقتی به سود واقعی تبدیل میگردد بحالت بالفعل می رسد. مثالهایی از آن: کارآیی کارگران، میزان اطلاعات موجود، میزان قاطعیت مدیریت و دسترسی سریع به اطلاعات و تحویل بموقع کالا و مواد – کیفیت بالای اطلاعات و محصولات – توان باقی ماندن در صحنه رقابت بازار
محاسبه ROI برای Data Warehouse
متدی در امور مالی است که مورد استفاده سازمان جهت تعیین پروژه های قابل انجام می باشد. بزبان ساده تر ROI زمان برگشت سرمایه برای یک پروژه می باشد. آنالیز ROI با بررسی قسمتهای سازمانی که بایستی توسط پیاده سازی Data Warehouse متحول گردد، شروع می شود.
متدهای زیاد دیگری هم وجود دارد نظیر متد Net Present Value ، متد Internal Rate Of Return و متد Pay back Period . ROI به تصمیم گیریهای سرمایه گذاری Data Warehouse محدود نمیشود و جهت تصمیم گیریهای سازمان از جنبه مالی مورد استفاده قرار می گیرد.
موارد قابل ملاحظه در ROI مربوط به Data Warehouse :
بازگشت سریع : ROI متوسط برای Data Warehouse بسیار بالاتر از متوسط صنعت می باشد. سازمانهای با محیط پیچیده از نظر ساختار و مشتریان، بیشترین سود را در این زمینه می برند. بیش از 60 درصد پروژه های Data Warehouse ، زمان برگشت کمتر از 2 سال دارند.
تنوع زیاد در ROI : گوناگونی ROI در بین سازمانها از 3 تا 1800 درصد بوده است. مقادیرپایین ROI مربوط به پروژه های بسیار گران DWH بوده که پیاده سازی و توسعه آنها چندین سال طول کشیده و استفاده بسیار کمی از این سیستمها شده است.
میزان بالاتر ROI برای Data Mart ها : Database های بزرگتر از 200G ، ROI کوچکتری نسبت به Data Warehouse های کوچکتر داشته و این مربوط به کار اضافی لازم جهت یکپارچه ساختن و نگهداری منابع داده های غیر مشابه می باشد.
تفاوت در سیستمهای کاربرد (Applications) : تفاوتهای در ROI های DWH ، بر اساس نوع سازمان استفاده کننده DWH وجود دارد. DWH های تهیه شده جهت پشتیبانی مهندسی و عملیات، بالاترین ROI را داشته اند، زیرا سازمانهای تولیدی اولین استفاده کنندگان DWH بوده اند.
هر قدر میزان هوشمندی Query های تهیه شده بیشتر باشد، میزان ROI بیشتر است.
مشخصات یک Data Warehouse موفق
* توجیه منطقی برای انجام پروژه در سازمان : جهت پروژه بایستی سودهای قابل اندازه گیری تعریف شده باشند (مثل افزایش فروش) . Warehouse ها گران بوده و پروژه بایستی قادر به اندازه گیری سود بدست آمده باشد.
• آموزش مناسب کارکنان : Warehouse شامل تکنولوژی های جدید است مثل MPP، SMP ، MDDB ، و کارکنان بایستی جهت کار با این ابزار راحت باشند.
• اطمینان از کیفیت و یکپارچگی اطلاعات : Warehouse با داده های Historical که از منابع مختلف استخراج شده اند سرو کار داشته ، پس جهت ایجاد مدیریت Metadata ، که تعاریف داده های مشترک و تغییرات در تعاریف داده ها را ثبت نماید، بایستی پیش بینی ها و دقت لازم مبذول گردد.
• برقراری و تضمین حفظ امنیت برای داده ها
• چشم انداز کوچکتر برای DWH در ابتدای کار : بسیاری پروژه ها بدلیل داشتن Scope بسیار وسیع در ابتدا، شکست خورده اند. یک پروژه موفق، کار اولیه اش را بعنوان Prototype در نظر گرفته و از آن نقطه شروع به رشد می نماید.
• در گیر کردن کاربر نهایی در این امر : سیستم بایستی قابل انعطاف جهت تغییرات خواسته های کاربر نهایی باشد و کاربر نهایی بایستی واقف به معماری SWH جهت آگاهی از محدودیت های آن باشد.
• برنامه ریزی درست برای زیر ساخت : یک زیر ساخت جدید بایستی جهت ایجاد ارتباطات بین منافع داده ها، طراحی گردد. کامپیوترهای موازی بایستی پیش بینی و نصب گردیده و کارکنان آموزش مناسب ببینند.
• انجام مدل کردن مناسب د اده ها و تست استرس : برای کارکرد سیستم در یک سطح قابل قبول انجام می پذیرد. مدلی که برای سیستم 10GB خوب کارکرده، الزاماً برای 100GB مناسب کار نمی کند.
• انتخاب درست ابزار (Tools) : بسیاری پروژه ها بدلیل ناهماهنگی ابزار با یکدیگر شکست می خورند و بسیاری فروشندگان در مورد تبلیغات محصولاتشان گزافه گویی می کنند.
برآورد کلی
دلایل اصلی برای پیاده سازی Data Warehouse در سازمان :
• امکان اجرای گزارش گیری و پرس و جو (Query) بر روی دیسک و سروری جدا از دیسک و سرور سیستمهای پردازش Transactional . زیرا عملیات گزارش گیری و پرس و جو به میزان بسیار زیادتری نسبت به سیستمهای پردازش Transactional به منابع محدود دیسک و سرور نیاز داشته و بنابراین اجرای این عملیات در محیط سیستمهای پردازش Transactional ، موجب کاهش شدید کارآیی سیستمهای پردازش Transactional می گردد.
• استفاده از تکنولوژی های مربوط به سرور و نیز مدلهای داده ای (Data Model) که موجب افزایش سرعت عملیات گزارش گیری و پرس و جو گردیده ولی برای سیستمهای پردازش Transactional ، مناسب نمی باشند و موجب کاهش سرعت و کارآیی آنها و افزایش میزان پیچیدگی محیط می شود.
• ایجاد محیطی با حداقل میزان دانش فنی در مورد تکنولوژی Database ها جهت انجام گزارش گیری و پرس و جوهایی که موجب سرعت بخشیدن به نوشتن و نگهداری گزارشات، و پرس و جوها توسط پرسنل فنی می گردد.
• گاه یک Data warehouse برای ایجاد گزارشات و پرس و جوهای ساده توسط کارکنان معمول و غیر فنی، نصب می گردد. افراد IS مهارتهای خاصی در نوشتن و نگهداری گزارشات و پرس و جوهای سریع از داده های DWH دارند و معمولاً کارکنان غیر فنی به افراد IS متکی اند.
• ایجاد محیطی از داده های اصلاح شده حاصل از محیطهای پردازش Transactional که قابل گزارش گیری بوده و الزاماً نیاز به اصلاح محیط سیستمهای پردازش Transaction نمی باشد. DWH امکاناتی برای اصلاح و تصفیه داده های حاصل از سیستمهای پردازش Transaction فراهم آورده که اینکار بدون اعمال تغییراتی روی خود این سیستمها انجام پذیر است. حتی در بسیاری سیستمهای DWH امکان بازگردانیدن موارد اصلاح شده به محیطهای پردازش Transactional موجود می باشد.
• تسهیل در انجام گزارش گیری و پرس و جو از داده های حاصل از چندین سیستم پردازش Transaction و یا منابع خارجی. برای سالهای طولانی، شرکتها برای عمل گزارش گیری و پرس وجو از چندین سیستم پردازش Transaction ، ناچار به ایجاد برنامه های استخراج داده ها بوده و Logic های Sort / Merge را جهت انجام اینکار انجام می دادند، تا داده های استخراج شده، ترکیب شده و از داده های Sort/Merge گزارش تهیه گردد. این عملیات در صورت وجود داده های بسیار زیاد آنهم در حالتی که به اصلاح و تصفیه نیز نیاز دارند، مشکل و حتی غیر ممکن است.
• ایجاد مخزنی از داده های سیستم های پردازش Transaction که شامل داده های مربوط به طیف وسیعتری از زمان می باشند که نگهداری اینگونه داده ها برای سیستم پردازش Transaction بدلیل حجم زیاد مناسب نیست. داده های قدیمی تر از سیستم پردازش Transaction حذف می گردند تا زمان پاسخگویی سیستم بهتر قابل کنترل باشد. در DWH داده های جدید و قدیمی حذف شده از سیستم پردازش Transaction برای عملیات گزارش گیری و پرس و جو موجود می باشند.
• جلوگیری از افرادی که با داده های سیستم پردازش Transaction جهت گزارش گیری و پرس و جو سروکار دارند از دسترسی به Database های اینگونه سیستمها و نیز Logic های مربوط به نگهداری این Database ها. این امکان جهت ایجاد امنیت پیش بینی گردیده و قسمتهایی که تنها اجازه گزارش گیری و پرس و جو را به کارکنان و افراد می دهند، DWH را سیستمی جالب می یابند.
مشکلات سیستم DWH
• سیستم DWH داده های historical بوجود آمده از پردازش Transaction داخلی را نگهداری می کند که این تنها قسمت کوچکی از مجموعه داده های موجود برای مدیریت یک سازمان است و اغلب این قسمت کوچک ارزش زیادی ندارد. گاهاً کاربر نهایی علاقه زیادی به داده های قدیمی سیستمهای پردازش Transaction ایی غیر از داده های مورد استفاده در گزارشات تولید شده در محیط سیستمهای پردازش Transaction هستند، ندارد و این عدم علاقه را شرایط سازمان یا بازار ایجاب می نماید. پس با وجود این شرایط، اساس Historical مناسبی برای انجام مقایسه شرایط فعلی و قدیمی نمی ماند، و حتی در بعضی شرایط نیاز به بازبینی و مقایسه عمیق داده های Historical وجود ندارد.
• سیستمهای DWH ممکن است موجب پیچیدگی شدید در پروسس های سازمان و کسب و کار گردد. با وجود لزوم عمل مهندسی مجدد در سازمانها، تأثیر پروسسهای پیچیده بوجود آمده بر روی روند عملیات سازمان قابل چشم پوشی نیست.
• چنانچه سازمان نیاز به گزارشات از داده های تنها یک سیستم پردازش Transaction در هر زمان داشته و یا تمامی داده های Historical مورد نیاز در سیستم پردازش Transaction موجود هست و یا داده های سیستم اصلاح شده و بدون خطا هستند، و یا امکانات سخت افزاری قادر به انجام عملیات گزارش گیری و پرس و جو در محیط سیستم پردازش Transaction است و یا ساختار داده ها نسبتاً ساده هستند و یا سازمان علاقه به ابزار گزارش گیری و پرس و جوی پیچیده ندارد، DWH برای سازمان مناسب نیست.
• زمان طولانی که باید برای آماده سازی سازمان جهت پیاده سازی و استفاده از DWH صرف گردد. برای سازمان راه چگونگی تغییر روشهای کاری ممکن است بسیار طولانی باشد و این برای تمایل سازمان مبنی بر نتیجه گیری های سریع، خارج از صبر و حوصله است.
• DWH می تواند به محیطی از داده های فاقد ارزش سازمانی مناسب تبدیل شود. سازمان به نامحدود بودن فرصتها جهت افزودن داده به DWH پی می برد. DWH ها هم عمری خاص خود را دارند. متأسفانه افزودن داده بدون ارزیابی ارزش سازمانی آن می تواند ارزش سازمانی DWH را کاهش داده و هزینه های نگهداری DWH را افزایش بخشد.
• در برخی سازمانها ابزار گزارش گیری و پرس و جوی مجهز برای کاربر نهایی مورد نیاز نیست . این مربوط به سازمانهایی است که اعتقاد بر بازگشت سریع سرمایه ROI از طریق نوشتن برنامه های پرس و جو و گزارش گیری توسط کاربران را دارند و این به محدودیت های فرهنگی سازمان برگشته که امکان برای افراد جهت پرسش سوالات خودشان را نمی دهند. البته پیچیدگی ساختار و روند جریان کارهای سازمان، ارزش بسیار کمی برای این گزارشات ساده بجای می گذارد.
• بسیاری کاربردهای استراتژیک DWH زمان عمر کوتاهی دارند و توسعه دهندگان مجبور به سرهم بندی سریع یک سیستم نامطبوع می شوند که این برخلاف میل آنان می باشند. اهمیت فرهنگ را نمی توان نادیده گرفت و این به سازماندهی IS نیز برمی گردد. اگر اهمیت DWH را در انجام کارهای استراتژیک میدانید (که ممکن است همین حالا توسط کاربران و یا صفحه های گسترده بزرگ و پیچیده انجام پذیرد) در سازمان این سوال مطرح است که آیا فرهنگ IS اجازه اینگونه کارکردن را میدهد.
• کمبود افرادی که با مراحل Life Cycle پروژ] DWH آشنایی و تجربه کافی دارند، و این شامل کارکنان و مشاورین می شود زمان لازم برای بدست آوردن تجارب با ارزش در این کار نسبتاً طولانی است.
• سیستمهای DWH نیاز به نگهداری زیاد داشته که غالب سازمانها قادر به تأمین آن نیستند. موفق ترین سیستمهای DWH آنهایی بوده اند که بنحو احسن نگهداری می شده و افراد سازمان بایستی با نیازهای نگهداری سیستم DWH هماهنگ باشند.
• اغلب هزینه استخراج داده ها، تصفیه و اصلاح آن و تحویل بشکل دلخواه کاربر نهایی و در یک زمان معقول، بالاتر از حد انتظار می باشد.
عوامل ریسک در پروژه DWH
• نیاز به عملیات مهندسی مجدد در سازمان
• لزوم تأیید و حمایت کافی مدیریت سازمان
• لزوم همکاری پرسنل سازمان
• کمبود متخصص IT
• لزوم بررسی و تجدید زیر ساخت IT
• لزوم ایجاد هماهنگی تکنولوژیکی DWH با تکنولوژی سخت افزار، نرم افزار و شبکه
• احتمال وابستگی شدید به فروشنده محصول و مشاوران بکار گرفته شده برای پروژه
• لزوم ایجاد ظرفیت کافی و امکانات سخت افزاری مناسب جهت ذخیره سازی
• در صورت عدم استفاده از ERP، وجود ناهماهنگی بین داده های سیستم پردازش Transational از نظر ساختار، واحدهای اندازه گیری، نامگذاری ، و ... و نیز وجود داده های اصلاح نشده.

استفاده از الگوریتم های فازی و GIS برای مکان یابی تجهیزات شهری
(مطالعة موردی : محل دفن زبالة شهر بابلسر)

 

سرآغاز
رشد روز افزون جمعیت شهری ایران به همراه ایجاد مراکز جمعیتی جدید، فقدان، یا سیاستگذاری و ارزیابی عملکردها و فعالیت های گوناگون شهری بر اساس برنامة جامع و کلان ملی (آمایش سرزمین) و تداوم تخلیه انواع زواید و فاضلاب ها به محیط زیست از جمله عوامل بحران زایی است که محیط زیست طبیعی و کیفیت بهداشت و سلامتی انسان، بویژه شهرنشینان را در معرض خطرها و زیان های گوناگون قرار داده است (عبدلی، 1379) . این واقعیت که نظام مدیریت مواد زاید شهری ایران در شرایط به نسبت بحرانی و به دور از وضعیت مطلوب قرار دارد بر کسی پوشیده نیست. مسئله مذکور هنگامی پیچیده و بغرنج می شود که آثار منفی و زیانبار آن در ارتباط با سایر نظام های موجود شهری و از جمله نظام زیست محیطی آنها مورد بررسی قرار گیرد، یکی از مهم ترین مراحل مطالعاتی به موازات طراحی مدفون زباله، عوامل مکان یابی و یافتن محل مناسب دفن زباله است

 

فرمت این مقاله به صورت Word و با قابلیت ویرایش میباشد

تعداد صفحات این مقاله   40 صفحه

پس از پرداخت ، میتوانید مقاله را به صورت انلاین دانلود کنید


دانلود با لینک مستقیم


دانلود مقاله Data Warehouse برای سازمانها

پایان نامه در مورد DATA

اختصاصی از فی فوو پایان نامه در مورد DATA دانلود با لینک مستقیم و پر سرعت .

پایان نامه در مورد DATA


پایان نامه در مورد DATA

لینک پرداخت و دانلود *پایین مطلب*

 

فرمت فایل:Word (قابل ویرایش و آماده پرینت)

  

تعداد صفحه10

 

فهرست مطالب

مفهوم داده کاوی

 

فرآیند داده‌کاوی

 

داده‌کاوی و مدیریت دانش

 

کاربرد داده‌کاوی در آموزش عالی

 

 

 

از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT)  هر دو سال یکبار حجم داده ها، دو برابر شد. همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها و آمارشناسان با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافته اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند و امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه- های موجود  است. حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث    به وجود آمدن انبارهای ( توده های ) عظیمی از داده ها شده است به طوری که ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است (چنان که در عصر حاضر گفته می شود « اطلاعات طلاست» ).

 

هم اکنون در هر کشور، سازمان ها، شرکت ها و . . . برای امور بازرگانی، پرسنلی، آموزشی، آماری و . . . پایگاه داده ها ایجاد یا خریداری شده است، به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران و . . . جهت تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و . . . می تواند مفید باشد. داده کاوی[1] یا استخراج و کشف سریع و دقیق اطلاعات با ارزش و پنهان از این پایگاه داده ها از جمله اموری است که هر کشور، سازمان و شرکتی به منظور توسعه علمی، فنی و اقتصادی خود به آن نیاز دارد.

 

در کشور ما نیز سازمان ها، شرکت ها و مؤسسات دولتی و خصوصی به طور فزاینده ولی آهسته در حال ایجاد یا خرید نرم افزارهای پایگاه داده ها و مکانیزه کردن سیستم های اطلاعات خود هستند، همچنین با توجه به فصول دهم و یازدهم قانون برنامه سوم توسعه در خصوص داد و ستدهای الکترونیکی و همچنین تأکید بر برخورداری کشور از فن آوری های جدید اطلاعات برای دستیابی آسان به اطلاعات داخلی و خارجی، دولت مکلف شده است امکانات لازم برای دستیابی آسان به اطلاعات، زمینه سازی برای اتصال کشور به شبکه های جهانی و ایجاد زیر ساخت های ارتباطی و شاهراه های اطلاعاتی فراهم کند. واضح است این امر باعث ایجاد پایگاه های عظیم داده ها شده و ضرورت استفاده از  داده کاوی  را بیش از پیش نمایان می سازد.

 

سابقه داده کاوی

 

داده کاوی و کشف دانش در پایگاه داده ها از جمله موضوع هایی هستند که همزمان با ایجاد و استفاده از پایگاه داده ها در اوایل دهه 80 برای جستجوی دانش در داده ها شکل گرفت.

 


[1] - Data mining

 

 


دانلود با لینک مستقیم


پایان نامه در مورد DATA

دانلود پایان نامه DATA MING

اختصاصی از فی فوو دانلود پایان نامه DATA MING دانلود با لینک مستقیم و پر سرعت .

دانلود پایان نامه DATA MING


دانلود پایان نامه  DATA MING

 

 

دانشکده فنی مهندسی علوم پایه

گروه کامپیوتر

 

پروژه پایانی کارشناسی ناپیوسته کامپیوتر- نرم ­افزار

 

 

تحت عنوان : Data Mining

 

 

 

 

چکیده:

در دو دهه قبل توانایی­های فنی بشر برای تولید و جمع­آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب­و­کار، علوم، خدمات­ دولتی و پیشرفت در وسائل جمع­آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره­ای، در این تغییرات نقش مهمی دارند.

          بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی­های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند. داده­کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده­کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می­کنند، که این دانش به صورت ضمنی در پایگاه داده­های عظیم، انباره­داده[1] و دیگر مخازن بزرگ اطلاعات، ذخیره شده است.

            به لحاظ اینکه در چند سال اخیر مبحث داده­کاوی و اکتشاف دانش موضوع بسیاری از مقالات و کنفرانسها قرار گرفته و نرم­افزار­های آن در بازار به شدت مورد توجه قرار گرفته، از اینرو در مقاله سعی بر آن شده تا گذری بر آن داشته باشیم.

            در این مقاله درفصل مروری بر داده­کاوی خواهیم داشت . که به طور عمده به تاریخچه ، تعاریف، کاربردها وارتباط آن با انبار داده و OLAP خواهیم پرداخت. در پایان فصل مراحل فرایند کشف دانش از پایگاه داده­ها را ذکر کردیم که داده­کاوی یکی از مراحل آن است.

            در فصل 2 یکی از شیوه­های داده­کاوی که از سبد خرید گرفته شده­ است توضیح داده شده است . در این فصل به شرح قوانین ارتباطی خواهیم پرداخت که در آن بعد از دسته­بندی الگوریتمها ، الگوریتم Apriori ( که یک الگوریتم پایه در این زمینه است ) و الگوریتم FP-Growth ( یک الگوریتم جدید میباشد) را با شرح یک مثال توضیح می­دهیم و در آخر آن دو را با هم مقایسه می­کنیم .

            در فصل 3 مباحث وب­کاوی و متن­کاوی را که در بسیاری از مراجع جزء کاربردهای داده­کاوی به حساب می­آید شرح داده خواهد شد.

 

فهرست مطالبعنوان                                                                                                                                                                صفحهفهرست اشکال     ……………………………………………………………………………………………………………………………..10فهرست جداول     …………………………………………………………………………………………………………………………….11فصل1: مقدمه­ای بر داده­کاوی ………………………………………………………………….131-1 تعریف داده­کاوی     …………………………………………………………………………………………………………………..152-1 تاریخچه داده­کاوی     ………………………………………………………………………………………………………………..163-1 چه چیزی سبب پیدایش داده­کاوی شده است؟     …………………………………………………………………………….174-1 اجزای سیستم داده­کاوی     ………………………………………………………………………………………………………….195-1 جایگاه داده­کاوی در میان علوم مختلف     ……………………………………………………………………………………..216-1 قابلیتهای داده­کاوی     …………………………………………………………………………………………………………………227-1 چرا به داده­کاوی نیاز داریم؟     …………………………………………………………………………………………………….238-1 داده­کاوی چه کارهایی نمی­تواند انجام دهد؟     ………………………………………………………………………………259-1 کاربردهای داده­کاوی     ……………………………………………………………………………………………………………..251-9-1 کاربردهای پیش­بینی­کننده     ………………………………………………………………………………………272-9-1 کاربردهای توصیف­کننده     ……………………………………………………………………………………….2710-1 ابزارهای تجاری داده­کاوی     …………………………………………………………………………………………………….2811-1 داده­کاوی و انبار­داده­ها   ………………………………………………………………………………………………………….291-11-1 تعاریف انبار­داده     ………………………………………………………………………………………………….292-11-1 چهار خصوصیت اصلی انبار­داده     ……………………………………………………………………………..303-11-1 موارد تفاوت انبار­داده و پایگاه­ داده     …………………………………………………………………………3112-1 داده­کاوی و OLAP     ……………………………………………………………………………………………………………331-12-1 OLAP     ……………………………………………………………………………………………………………332-12-1 انواع OLAP     …………………………………………………………………………………………………….3413-1 مراحل فرایند کشف دانش از پایگاه داده­ها     ……………………………………………………………………………….341-13-1 انبارش داده­ها     ……………………………………………………………………………………………………..352-13-1 انتخاب داده­ها     ……………………………………………………………………………………………………..363-13-1 پاکسازی- پیش­پردازش- آماده­سازی     ……………………………………………………………………..364-13-1 تبدیل داده­ها   ……………………………………………………………………………………………………….365-13-1 کاوش در داده­ها (Data Mining)     ………………………………………………………………………376-13-1 تفسیر نتیجه   …………………………………………………………………………………………………………38فصل 2: قوانین ارتباطی   …………………………………………………………………391-2 قوانین ارتباطی   ……………………………………………………………………………………………………………………….402-2 اصول پایه     ……………………………………………………………………………………………………………………………..411-2-2 شرح مشکل جدی     …………………………………………………………………………………………………412-2-2 پیمایش فضای جستجو     ……………………………………………………………………………………………433-2-2 مشخص کردن درجه حمایت مجموعه اقلام     ……………………………………………………………….453-2 الگوریتمهای عمومی     ………………………………………………………………………………………………………………451-3-2 دسته­بندی     …………………………………………………………………………………………………………….452-3-2 BFS و شمارش رویداد­ها   ………………………………………………………………………………………463-3-2 BFS و دونیم­سازی TID-list     ……………………………………………………………………………….474-3-2 DFS و شمارش رویداد   …………………………………………………………………………………………475-3-2 DFS و دو نیم­سازی TID-list ………………………………………………………………………………484-2 الگوریتم Apriori   ………………………………………………………………………………………………………………..481-4-2 مفاهیم کلیدی     ………………………………………………………………………………………………………482-4-2 پیاده­سازی الگوریتم Apriori     ………………………………………………………………………………..493-4-2 معایب Apriori و رفع آنها     …………………………………………………………………………………….545-2 الگوریتم رشد الگوی تکرارشونده     …………………………………………………………………………………………….551-5-2 چرا رشد الگوی تکرار سریع است؟     ………………………………………………………………………….586-2 مقایسه دو الگوریتم Apriori و FP-growth     …………………………………………………………………………..597-2 تحلیل ارتباطات     ……………………………………………………………………………………………………………………..63فصل 3: وب­کاوی و متن­کاوی   ………………………………………………………..651-3 وب­کاوی     ……………………………………………………………………………………………………………………………..661-1-3 الگوریتمهای هیتس و لاگسام     …………………………………………………………………………………..692-1-3 کاوش الگوهای پیمایش مسیر     ………………………………………………………………………………….762-3 متن­کاوی     ……………………………………………………………………………………………………………………………..801-2-3 کاربردهای متن­کاوی     ……………………………………………………………………………………………..821-1-2-3 جستجو و بازیابی     ………………………………………………………………………………….832-1-2-3 گروه­بندی و طبقه­بندی     …………………………………………………………………………..833-1-2-3 خلاصه­سازی     ……………………………………………………………………………………….844-1-2-3 روابط میان مفاهیم     …………………………………………………………………………………845-1-2-3 یافتن و تحلیل گرایشات     …………………………………………………………………………846-1-2-3 برچسب زدن نحوی (pos)     …………………………………………………………………….857-1-2-3 ایجاد Thesaurus و آنتولوژی به صورت اتوماتیک     …………………………………..852-2-3 فرایند متن­کاوی   …………………………………………………………………………………………………….863-2-3 روشهای متن­کاوی     …………………………………………………………………………………………………87مراجع   ………………………………………………………………………………………..89

 

فهرست اشکالعنوان                                                                                                                                                              صفحه1-1 مراحل فرایند کشف دانش     ……………………………………………………………………………………………………….172-1 سیر تکاملی صنعت پایگاه داده   ………………………………………………………………………………………………….193-1 معماری یک نمونه سیستم داده­کاوی     ………………………………………………………………………………………….204-1 نرخ رشد اطلاعات     …………………………………………………………………………………………………………………245-1 کاربرد پیش­بینی کننده     …………………………………………………………………………………………………………….276-1 داده­ها از انبار­داده­ها استخراج می­گردند     ……………………………………………………………………………………..327-1 داده­ها از از چند پایگاه داده­ استخراج می­گردند   …………………………………………………………………………..321-2 شبکه‌ای برای    …………………………………………………………………………………………………..432-2 درخت    …………………………………………………………………………………………………………..443-2 دسته­بندی الگوریتمها     ………………………………………………………………………………………………………………464-2 پایان الگوریتم Apriori     …………………………………………………………………………………………………………525-2 درخت الگوی تکرار   ………………………………………………………………………………………………………………576-2 اندازه­گیری کارکرد درجه حمایت برای پایگاه داده D1 40K     ……………………………………………………..617-2 اندازه­گیری Apriori با درجه حمایت/تراکنش     ………………………………………………………………………….628-2 اندازه­گیری FP-growth با درجه حمایت/تراکنش     ……………………………………………………………………621-3 مقداردهی اولیه الگوریتم HITS     ………………………………………………………………………………………………722-3 مثالی از الگوهای پیمایش     ………………………………………………………………………………………………………..803-3 فرایند متن­کاوی     …………………………………………………………………………………………………………………….864-3 مثال یافتن روابط   …………………………………………………………………………………………………………………….88

 

 

 

 

 

 

 

 

 

 

فهرست جداولعنوان                                                                                                                                                                صفحه1-2 کاوش FP-tree با ایجاد پایگاه­های الگوشرطی     ………………………………………………………………………….582-2 پارامترها     ……………………………………………………………………………………………………………………………….593-2 نتایج برای فاکتور درجه حمایت 5%     …………………………………………………………………………………………..604-2 نتایج برای D1 150K با درجه حمایت     …………………………………………………………………………………….611-3 تراکنش­های توصیف شده توسط مجموعه­ای از URLها     ……………………………………………………………..752-3 نمایش URLها به عنوان بردارهایی از فعالیت گروه تراکنش     …………………………………………………………753-3 یک SOM مرسوم که توسط توصیف URLها تولید شده است     ……………………………………………………76

 

[1] Data warehouses

متن کامل را می توانید دانلود کنید چون فقط تکه هایی از متن این پایان نامه در این صفحه درج شده است(به طور نمونه)

ولی در فایل دانلودی متن کامل پایان نامه

همراه با تمام ضمائم با فرمت ورد که قابل ویرایش و کپی کردن می باشند

موجود است


دانلود با لینک مستقیم


دانلود پایان نامه DATA MING