
فایل اکسل داده های محصول ناخالص داخلی(بدون نفت )
به تفکیک استان ها از سال 1379 تا 1392
منبع : مرکز آمار ایران
محصول ناخالص داخلی(بدون نفت )
فایل اکسل داده های محصول ناخالص داخلی(بدون نفت )
به تفکیک استان ها از سال 1379 تا 1392
منبع : مرکز آمار ایران
نوع فایل: word
قابل ویرایش 150 صفحه
چکیده:
داده کاوی تلاش برای استخراج دانش انبوه داده های موجود است . داده کاوی به کمک مجموعه ای از روش های آماری و مدل سازی، می تواند الگوها و روابط پنهان موجود در پایگاه های داده را تشخیص دهد . تاکنون ابزارها و روش های مختلف برای پردازش اطلاعات ساخت یافته توسعه داده شده است که در نتیجه آنها ساخت پایگاه های اطلاعاتی و ایجاد انبارهای داده به سادگی صورت می گیرد . امروزه سازمان ها قادرند با هزینه کم اطلاعات وسیعی از وضعیت کسب و کار خود جمع و نگهداری کنند و این موجب شده است که استفاده از روش های داده کاوی، ارزش قابل توجهی را برای سازمان بدست آورد . رویکردهای موجود به مسأله داده کاوی متنوع است . در این گزارش نگاهی به آخرین دستاوردهای این زمینه علمی انداخته خواهد شد .
مقدمه:
بشر با پیشرفت فناوری رایانه ای در ثبت و ذخیره سازی داده ها و پردازش آن ها گامی بزرگ جهت کسب دانش برداشته است . در واقع نمایشی از واقعیت ها، معلومات، مفاهیم، رویدادها یا پدیده ها برای برقراری ارتباط، تفسیر یا پردازش، توسط انسان یا ماشین است . از طرف دیگر واژه ی اطلاعات، به معنی دانشی که از طریق خواندن، مشاهده و آموزش به دست می آید اطلاق می شود . در حقیقت می توان گفت اطلاعات داده هایی هستند که پس از جمع آوری پردازش شده اند و شکل مفهومی تولید کرده اند .
بین داده ها و اطلاعات همانند خبر و اطلاع رابطه وجود دارد . خبری که دریافت می شود، پس از ارزیابی به اطلاع تبدیل می شود . داده ها نیز پردازش می شوند تا اطلاعات را پدید آورند . به بیان دیگر اطلاع حاصل تکامل داده ها است . به این ترتیب بین داده ها و اطلاعات یک شکاف وجود دارد که اندازه این شکاف با حجم داده ها ارتباط مستقیم دارد . هر چه داده ها حجیم تر باشند، این شکاف بیشتر خواهد بود و هر چه داده ها کمتر و روش ها و ابزار پردازش داده ها کاراتر باشد، فاصله بین داده ها و اطلاعات کمتر است . امروزه افزایش سریع حجم پایگاه داده ها به شکلی است که توانایی انسان برای درک این داده ها بدون ابزارهای پر قدرت میسر نمی باشد . در این وضعیت، تصمیم گیری ها به جای تکیه بر اطلاعات بر درک مدیران و کاربران تکیه دارند، چرا که تصمیم گیرندگان ابزار قوی برای استخراج اطلاعات با ارزش را در دست ندارند . در واقع شرایط فعلی توصیف کننده ی حالتی است که ما از لحاظ داده غنی، اما از لحاظ اطلاعات ضعیف هستیم .
فهرست مطالب:
فصل اول
مقدمه ای بر داده کاوی
چکیده
1-1 مقدمه
1-2 تاریخچه ی داده کاوی
1-3 روش های گردآوری اطلاعات
1-4 داده کاوی چیست ؟
1-4-1 حلقه داده کاوی چیست ؟
1-4-1-1 شناسایی فرصت های تجاری
1-4-1-2 داده کاوی
1-4-1-2-1 مراحل داده کاوی
1-4-1-3 انجام اقدامات
1-4-1-4 اندازه گیری نتایج
1-1 آمار و داده کاوی
حجم داده ها
نوع داده ها
پردازش داده ها
وظایف معمول
اهداف تحقیق
1-6 داده کاوی چه کاری انجام می دهد ؟
1-6-1 عملیات داده کاوی
1-6-1-1 دسته بندی و پیشگویی
1-6-1-1-1 روش های دسته بندی
1-6-1-2 خوشه بندی
1-6-1-3 تحلیل روابط و وابستگی ها
1-6-1-4 پیش بینی
1-7 نرم افزارهای داده کاوی
1-8 پایگاه دادة تحلیلی (Data Warehouse)
1-8-1 تفاوت های پایگاه داده تحلیلی با پایگاه داده عملیاتی
1-8-2 ابزار های سطح پایین (Back-End) پایگاه داده تحلیلی
1-8-3 ابزارهای پرس و جو و تحلیل داده های ذخیره شده درdata warehouse و data mart
1-9 سرویس دهنده های پردازش تحلیلی بر خط
1-9-1 مزایا و معایب سرویس دهنده های OLAP
1-10 مکعب داده
1-11 جدول واقعیت
1-11-1 جدول ابعاد
1-12 داده کاوی در اوراکل
1-12-1 توابع داده کاو اوراکل
الگوریتم ها
1-13 گام های مدل سازی
جستجوگر مدل
1-14 داده کاوی در Clementine
1-14-1 معماری
1-14-2 متدلوژی clementine
الگوریتم ها
فصل دوم
مقدمه ای بر وب کاوی
2-1 مقدمه
2-2 رده بندی های وب کاوی
2-2-1 Web Content Mining
2-2-2 web usage mining
2-2-3 Web Structure Mining
2-3 فایل log :
2-3-1 انجام عمل پیش پردازش روی فایل های log
2-4 تشخیص کاربران : (user identification)
2-5 session identification
2-6 تشخیص الگو ها
2-7 تکنیک های آماری
2-8 قوانین ارتباطی
2-9 الگو های ترتیبی
2-10 خوشه بندی
2-11 مشکلات روش تحلیل گزارش های وبweb log analysis method ) )
2-12 نتیجه گیری
فصل سوم
الگوریتم های ژنتیک
3-1 مقدمه
3-2 زمینه های بیولوژیکی
3-3 فضای جستجو
3-4 مسائل NP
3-5 مفاهیم اولیه در الگوریتم ژنتیک
3-5-1 اصول پایه
3-5-2 شمای کلی الگوریتم ژنتیک
3-5-3 ساختار متداول الگوریتم ژنتیک
3-6 کد کردن
3-6-1 انواع کدینگ
3-6-2 روشهای کدینگ
3-6-3 مسائل مربوط به کدینگ
3-7 مرحله ارزیابی (evaluation)
3-8 عملگر تقاطع و جهش
3-9 رمز گشایی
3-10 کروموزوم
3-11 جمعیت
3-12 مقدار برازندگی
3-13 تعریف دیگر عملگر تقاطعی
3-14 تعریف دیگرعملگر جهشی
3-15 مراحل اجرای الگوریتم ژنتیک
3-16 حل یک مساله نمونه توسط الگوریتم ژنتیک
3-17 همگرایی الگوریتم ژنتیک
3-18 نتیجه گیری
فصل چهارم
کاربرد کلاسترینگ
4-1 مقدمه
4-2 مسئلة خوشه بندی توزیع شده
4-3 مشکلات روش متمرکز سازی داده ها
4-4 الگوریتم خوشه بندی K-Means
4-5 الگوریتم خوشه بندی توزیع شده DisK-Means
4-6 ساخت مدل محلی
4-7 ساخت مدل عمومی
4-8 یک روش جدید مبتنی بر رفتار کاربران جهت تخمین بار کاری وب سرورهای شبکه
4-9 کلاسترینگ داده های وب
4-10 کلاسترینگ های کاربر
4-10-1 الگوریتم های کلاسترینگ ها
4-10-1-1 کلاسترینگ مبتنی بر مدل
4-10-1-1-1 توصیف بار کاری سیستم های کامپیوتری
تکنیک های ایستا
آنالیز جزء اصلی
تکنیک های پویا
میانگین متحرک ( )
4-11 کارهای وابسته قبلی
4-12 مدل پیشنهادی
4-13 محیط پیاده سازی
4-14 نتایج ، آنالیز و ارزیابی مدل
4-15 نتیجه گیری
منابع و مراجع
فهرست اشکال:
شکل 1-1 مراحل داده کاوی
شکل 1-2 جایگاه پایگاه داده تحلیل
شکل 1-3-1 Data Warehouse process
شکل 1-3-2 Data Warehouse process
شکل 1-4 معماری چند لایه
شکل 1-5 نمونه ای از مکعب داده
شکل 1-6 مفهوم مکعب داده
شکل 1-7 داده کاوی در اوراکل
شکل 1-8 اوراکل یا سایز ابزار
شکل 1-9 مراحل متدولوژی Clementine
شکل 1-10 چرخه داده کاوی Clementine
شکل 3-1 نمونه ای از فضای جواب
شکل 3-2 کدینگ باینری
شکل 3-3 کدینگ جهشی
شکل 3-4 کدینگ ارزشی
شکل 3-5 کدینگ درختی
شکل 3-6 فضای کدینگ و فضای جواب
شکل 3-7 رابطه بین کروموزوم ها و جواب ها
شکل 3-8 انواع روابط بین فضای جواب و فضای کدینگ
شکل 3-9 مثال رمز گشایی
شکل 3-10 مثال جهش
شکل 3-11 نمایش یک کروموزوم n بیتی پایه عددی m
شکل 3-12 مثالی از جباجایی تک نقطه ای
شکل 3-13 تقاطع در کروموزومهای که از شکل کد شده چهار متغیر بوجود آمده است
شکل 3-14 تقاطعی دو نقطه ای
شکل 3-15 عمل تقاطعی یکنواخت
شکل 3-16 نمونه ای از عمل جهش
شکل 3-17 مراحل اجرای الگوریتم ژنتیک
شکل 3-18 چرخ دولت
شکل 3-19 نمایش کروموزوم معادل زوج (X,Y)
شکل 4-1 خوشه بندی توزیع شده
شکل 4-2 ثابت شدن فلش Cetroid
شکل 4-3 الگوریتم خوشه بندی توزیع شده Disk-Means
شکل 4-4 ساخت مدل محلی، ترکیب اطلاعات خوشه ها
شکل 4-5-1 ساخت مدل محلی، ترکیب اطلاعات خوشه ها
شکل 4-5-2 ساخت مدل محلی، ترکیب اطلاعات خوشه ها
شکل 4-5-3 ساخت مدل محلی، حالت کلی
شکل 4-6 حاللات مختلف قرار گرفتن چند خوشه کنار هم
شکل 4-7-1 ساخت مدل محلی، حالت دوم
شکل 4-7-2 ساخت مدل محلی، حالت دوم
شکل 4-8 نمونه هایی از CBMG های حاصل از درخواست های کاربران یکی از سیستم های مورد تست
در دانشگاه مشهد
شکل 4-9 هیستوگرام داده های باقیمانده لینک Presented Courset بعد از حذف داده های پرت
از یکی از سیستم های وب دانشگاه
شکل 4-10 نمودار P-PPlot داده های لینک Presented Courset
شکل 4-11 هیستوگرام داده های باقیمانده لینک Show Edueationallog بعد از حذف داده های پرت
فهرست جداول:
جدول 3-1 مثال های تقاطع تک نقطه ای
جدول 3-2 مثال های تقاطع دو نقطه ای
جدول 3-3 نمونه ای از عمل جهش
جدول 3-4 انتخاب کروموزومها با استفاده از چرخ رولت
جدول 3-5 نمایش جمعیت اولیه
جدول 3-6 نتایج عمل تقاطع
جدول 3-7 نتایج عمل جهش با Pm=0.2
جدول 3-8 کروموزوم با بیشترین مقدار برازندگی
جدول 4-1 جزئیات ترافیک تولید شده توسط برنامه شبیه ساز
منابع و مأخذ:
[1]. An Introduction to Data Mining: http://www.thearling.com/ , retrieved on Mar 2, 2007
[2]. Data Mining: Efficient Data Exploration and Modeling:
http://research.microsoft.com/dmx/DataMining/ , retrieved on Mar 2, 2007
[3]. Christine Gertisio and Alan Dussauchoy, "Knowledge Discovery from Industrial Data base", Journal of Intelligent Manufacturing, 15, 29-37, 2004
[4]. Berry, M. and Linoff, G. "Data Mining Techniques: For Marketing, Sales, and Customer Support" New York: John Wiley and Sons, 1997
[5]. Cornelia Gyorodi, Robert Gyorodi, Stefan Holban-"A Comparative Study of Association Rules Mining Algorithms" , SACI 2004, 1 st Romanian-Hungarian Joint Symposium on Applied Computational Intelligence , Timisoara, Romania, May 25-26, page. 213-222, 2004
[6]. Berson, A., Smith S., and Thearling K., "Building Data Mining Applications for CRM" Tata McGraw-Hill, New York, 2004
[7].Fayyad U., Piatetsky-Shapiro G., and Smyth p., "From Data Mining to Knowledge Discovery in Databases," American Association for Artificial Intelligence, 1996
[8]. An overview of data mining techniques: http://www.thearling.com/ , retrieved on Mar 2, 2007
[9]. All Data Mining Software: http://www.the-data-mine.com/bin/view/Software/AllDataMiningSoftware, retrieved on Mar 2, 2007
[10]. ARLITT, M. AND WILLIAMSON, C. 1996: Web Server Workload Characterization: The Search for Invariants. In Proc Of SIGMETRICS 96, (May 1996), 126—137
[11]. CALZAROSSA, M. AND SERAZZI, G. 1985: A Characterization of the Variation in Time of Workload Arrival Patterns. In IEEE Trans. On Computers 34, 2, 156-162
[12]. ELMS, C. 1980: Clustering –One method for Workload Characterization. In Processing of the International Conference on Computer Capacity Management, San Francisco, Calif . 1980
[13]. FU, K. 1974: Syntactic Methods in Pattern Recognition, Academic Press.
[14]. HARTIGAN, J. AND WONG, N. 1979: A K – means Clustering Algorithms. In Applied Statistics 28, 100-108
[15]. JAIN, A., MURTY, M., AND FLYNN, P. 1999: Data Clustering: A. Review. In ACM Computing Surveys 31, 3, (Sept. 1999), 264-323
[16]. www.bloor-research.com – email: info@bloor-research.com
[17]. http://research.microsoft.com/dmx/DataMining/,retrieved on Mar 2, 2007
[18]. http://www.thearling.com/, retrieved on Mar
[19]. Raymond Kosala, Hendrik Blockeel, ‘Web Mining Research: A Survey’ , Celestijnenlaan 200A, B3001 Heverlee, Belgium, ACM SIGKDD Explorations, July 2000.
[20]. R. Cooley, B.Mobasher and J.Srivastava, ‘Web Mining Information and Pattern Discovery on the World Wide Web’ , Information Gathering from Heterogeneous Distributed Environments, December 2001.
[21]. Jiawei Han Kevin, Chen-Chuan Chang, ‘Data Mining for Web Intelligence’, University of Illinois at Urbana Champaign , November 2002.
[22]. Amir H. Youssefi, David J. Duke, Mohammed J. Zaki, ‘Visual Web Mining ‘ , WWW2004, May 17–22, 2004, New York, New York, USA. ACM 1-58113-912-8/04/0005.
[23] web usage mining. . حسن نژاد، مستوره و سلطانی، سیما."متدی برای بهبود بخشیدن ساختار وب سایت"
[24] .رضا قنبری ؛ " آشنایی با الگوریتم ژنتیک " ؛ دانشگاه صنعتی شریف ( دانشکده ریاضی )؛ 1381
.[25] . "TSP پیام خان تیموری؛ " الگوریتم ژنتیک و حل مساله
[26] . قهرمانی، معصومه، حسینی سنو، سیدامین و دکتر کاهانی، محسن . "یک روش جدید مبتنی بر رفتار کاربران جهت تخمین بار کاری وب سرورهای شبکه" . اولین همایش فناوری اطلاعات، حال، آینده . دانشگاه آزاد اسلامی
لینک پرداخت و دانلود *پایین مطلب*
فرمت فایل:Word (قابل ویرایش و آماده پرینت)
تعداد صفحه68
داده کاوی عبارت از کاوش و تجزیه و تحلیل مقادیر زیادی از داده به منظور اکتشاف الگوهای جدید، معتبر، مفید و قابل درک در آن ها می باشد. هان و کمبر، داده کاوی را به عنوان فرایند کشف دانش جالب و مفید از حجم زیاد داده های ذخیره شده در پایگاه های داده، انباره های داده و دیگر بانک های داده توصیف کرده اند. توسعه تکنولوژی های ذخیره و بازیابی اطلاعات، وجود حجم زیاد داده اما اطلاعات و دانش کم، نیاز به تبدیل اطلاعات به دانش و لزوم خودکار یا حداقل نیمه خودکار بودن فرآیند تبدیل اطلاعات به دانش از جمله دلایل توسعه استفاده از داده کاوی می باشند [4].
توجه به این نکته حائز اهمیت است که داده کاوی مرحله ای از اکتشاف دانش است که خود به صورت فرآیند است. شکل 1 فرآیند اکتشاف دانش و موقعیت داده کاوی را در آن نمایش می دهد.
شکل 1 : فرایند اکتشاف دانش
همان طور که گفته شد، داده کاوی فرایند کشف دانش جالب و مفید از حجم زیاد داده های ذخیره شده در پایگاه های داده، انباره های داده و دیگر بانک های داده می باشد. بر اساس این دیدگاه، معماری یک سیستم داده کاوی ارائه شده است (شکل 2)
لینک پرداخت و دانلود *پایین مطلب*
فرمت فایل:Word (قابل ویرایش و آماده پرینت)
تعداد صفحه8
دی ماه 1385
چکیده :
در این مقاله یک مدل جدید را برا ی تعیین اندازه بهینه بلوک در سیستم صف بلوکی با یک کانال خدمت دهی و دریافت خدمت در حین رانندگی، معرفی می کنیم.
در یک سیستم بلوکی، صف انتظار به دو قسمت فعال و غیر فعال تقسیم بندی می شود. در قسمت غیر فعال از رانندگان خواسته می شود تا خالی شدن قسمت فعال صف، خودرو خود را خاموش کنند.
در این مدل، یک اندازه مشخص برای بلوک ( بعنوان مثال ماکزیمم تعداد خودرو در قسمت فعال صف ) پیشنهاد می شود که در آن میزان مصرف سوخت در کل سیستم مینیمم می شود.
در این مدل می توان تاثیر شدت رفت و آمد، تغییرات زمان سرویس و نسبت رانندگانی قبول کننده ( جهت خاموش کردن ماشین خود ) بر اندازه بهینه بلوک و مصرف سوخت در کل سیستم را تشخیص داد.
1- معرفی
ما یک استراتژی مدیریت صف با عنوان صف بندی بلوکی و خدمت گیری در حین رانندگی را برای کاهش مصرف سوخت در نظر می گیریم. مشتریان با وسیله نقلیه خود جهت دریافت خدمت از یک کانال خدمت دهی وارد سیستم می شوند. نظام خدمت دهی براساس روش FIFO می باشد.
صف به دو قسمت تقسیم بندی می شود: صف فعال (قسمت فعال صف) و صف غیرفعال(قسمت غیر فعال صف). ماکزیمم تعداد خودرو در قسمت فعال صف را اندازه بلوک گویند. از رانندگانی که در قسمت غیر فعال صف هستند خواسته می شود که موتور خودرو خود را خاموش کنند تا وقتی که قسمت فعال صف خالی شود. (بعضی از رانندگان ممکن است پیروی نکنند.) هنگامی که قسمت فعال صف خالی شد، وسائط نقلیه در قسمت غیرفعال صف تا جایی که مقدور است بسمت جلو حرکت می کنند و مجدداً از خودروهایی که در قسمت غیر فعال صف هستند خواسته می شود که اتومبیل خود را خاموش کنند.
Fricker و Tsay (1985) استدلال می کنندکه ورود مشتریان با خودرو جهت دریافت خدمت، سبب مصرف بیهوده سوخت و بدتر شدن کیفیت هوا می شود. آنها ترجیح می دهند که مشتریان، ماشین خود را پارک کنند و پیاده جهت دریافت سرویس مراجعه کنند.
مدل صف بندی بلوکی در عین حالی که راحتی مراجعان را حفظ کرده، میزان سوخت مصرفی و در نتیجه تاثیرهای مخرب بر محیط زیست را به حداقل می رساند.
Doughety (1997) مدل بهینه کردن اندازه بلوک را بمنظور کمینه کردن سوخت مصرفی با ایجاد توازن بین هزینه روشن کردن ماشینها در قسمت غیر فعال صف و هزینه کار کردن ماشینها در تمام زمانها، ارائه داد . این مدل مشابه مدل کلاسیک کنترل موجودی (EOQ) است که میزان بهینه سفارش را محاسبه می کند. او اندازه بلوک را بصورت زیر پیشنهاد کرد:
لینک پرداخت و دانلود *پایین مطلب*
فرمت فایل:Word (قابل ویرایش و آماده پرینت)
تعداد صفحه28
پایگاه داده چیست؟
دادِگان (پایگاه دادهها یا بانک اطلاعاتی) به مجموعهای از اطلاعات با ساختار منظم و سامانمند گفته میشود. این پایگاههای اطلاعاتی معمولاً در قالبی که برای دستگاهها و رایانهها قابل خواندن و قابل دسترسی باشند ذخیره میشوند. البته چنین شیوه ذخیرهسازی اطلاعات تنها روش موجود نیست و شیوههای دیگری مانند ذخیرهسازی ساده در پروندهها نیز استفاده میگردد. مسئلهای که ذخیرهسازی دادهها در دادگان را موثر میسازد وجود یک ساختار مفهومی است برای ذخیرهسازی و روابط بین دادهها است.
پایگاه داده در اصل مجموعهای سازمان یافته از اطلاعات است.این واژه از دانش رایانه سرچشمه میگیرد ،اما کاربر وسیع و عمومی نیز دارد، این وسعت به اندازهای است که مرکز اروپایی پایگاه داده (که تعاریف خردمندانهای برای پایگاه داده ایجاد میکند) شامل تعاریف غیر الکترونیکی برای پایگاه داده میباشد. در این نوشتار به کاربرد های تکنیکی برای این اصطلاح محدود میشود.
یک تعریف ممکن این است که: پایگاه داده مجموعهای از رکورد های ذخیره شده در رایانه با یک روش سیستماتیک (اصولی) مثل یک برنامه رایانهای است که میتواند به سوالات کاربر پاسخ دهد. برای ذخیره و بازیابی بهتر، هر رکورد معمولا به صورت مجموعهای از اجزای دادهای یا رویداد ها سازماندهی میگردد. بخش های بازیابی شده در هر پرسش به اطلاعاتی تبدیل میشود که برای اتخاذ یک تصمیم کاربرد دارد. برنامه رایانهای که برای مدیریت و پرسش و پاسخ بین پایگاههای دادهای استفاده میشود را مدیر سیستم پایگاه دادهای یا به اختصار (DBMS) مینامیم. خصوصیات و طراحی سیستم های پایگاه دادهای در علم اطلاعات مطالعه میشود.
مفهوم اصلی پایگاه داده این است که پایگاه داده مجموعهای از رکورد ها یا تکه هایی از یک شناخت است.نوعا در یک پایگاه داده توصیف ساخت یافتهای برای موجودیت های نگه داری شده در پایگاه داده وجود دارد: این توصیف با یک الگو