پایان نامه وب کاوی در صنعت
62 صفحه در قالب word
چکیده
با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.
فهرست مطالب
فصل اول:مقدمه
فصل دوم:داده کاوی
2-1-1 چه چیزی سبب پیدایش داده کاوی شده است؟ 7
2- 3 جایگاه داده کاوی در میان علوم مختلف 12
2-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟ 14
2-5 داده کاوی و انبار داده ها 14
2-7 کاربرد یادگیری ماشین و آمار در داده کاوی 16
2-8 توصیف داده ها در داده کاوی 16
2-8-1 خلاصه سازی و به تصویر در آوردن داده ها 16
2-9 مدل های پیش بینی داده ها 18
2-10 مدل ها و الگوریتم های داده کاوی 19
2-10-3 Multivariate Adaptive Regression Splines(MARS) 24
2-10-5 K-nearest neibour and memory-based reansoning(MBR) 25
2-10-8 مدل افزودنی کلی (GAM) 28
2-12داده کاوی و مدیریت بهینه وب سایت ها 30
2-13داده‌کاوی و مدیریت دانش 31
فصل سوم: وب کاوی
3-3 وب کاوی و زمینه های تحقیقاتی مرتبط 34
3-3-2 وب کاوی و بازیابی اطلاعات 35
3-3-3 وب کاوی و استخراج اطلاعات 36
3-3-4 وب کاوی و یادگیری ماشین 37
3-6مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان 39
فصل چهارم: وب کاوی در صنعت
4-1-1وب کاوی در صنعت نفت، گاز و پتروشیمی 43
4-1-1-1 مهندسی مخازن/ اکتشاف 43
4-1-2 کاربرد های دانش داده کاوی در صنعت بیمه 45
4-1-3کاربردهای دانش داده کاوی در مدیریت شهری 46
4-1-4کاربردهای داده کاوی در صنعت بانکداری 47
مراجع و ماخذ لاتین و سایتهای اینترنتی 52
مقدمه
با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان ها مبدل گشته است. بنابراین روش ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش ها و تکنیک ها بیش از پیش احساس می شود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر می کنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 3/7 میلیون صفحه در روز افزایش مییابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریبا غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است. به طور کلی کاربران وب در استفاده از آن با مشکلات زیر روبرو هستند:
- یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار می باشد. روش های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده ها به کار می روند، قابل استفاده در وب نمی‌باشند وکاربران معمولا از موتورهای جستجو که مهمترین و رایج ترین ابزار براییافتن اطلاعات در وب می باشند، استفاده می کنند. این موتورها، یک پرس و جوی[1] مبتنی بر کلمات کلیدی از کاربر دریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که بر اساس میزان ارتباط با این پرس و جو مرتب شده اند، به وی ارائه می کنند. اما موتورهای جستجو دارای دو مشکل اصلی هستند. اولا دقت[2] موتورهای جستجو پایین است، چراکه این موتورها در پاسخ به یک پرس و جوی کاربر صدها یا هزاران سند را بازیابی می کنند، در حالی که بسیاری از اسناد بازیابی شده توسط آنها با نیاز اطلاعاتی کاربر مرتبط نمی باشند. دوما میزان فراخوان[3] این موتورها کم می باشد، به آن معنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند. چراکه حجم اسناد در وب بسیار زیاد است و موتورهای جستجو قادر به نگهداری اطلاعات کلیه اسناد وب، در پایگاه داده های خود نمی باشند.
- ایجاد دانش جدید با استفاده از اطلاعات موجود در وب: این مشکل در واقع بخشی از مشکل مطرح شده در قسمت قبل می باشد. در حال حاضر این سوال مطرح است که چگونه می توان داده های فراوان موجود در وب را به دانشی قابل استفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت بگیرد. همچنین چگونه می توان با استفاده از داده های وب به اطلاعات و دانشی جدید دست یافت.
- خصوصی سازی[4] اطلاعات: از آن جا که کاربران متفاوت هر یک درباره نوع و نحوه بازنمایی اطلاعات سلیقه خاصی دارند،این مسئله باید توسط تامین کنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این منظور با توجه به خواسته ها و تمایلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها باید سفارشی گردد.
تکنیک های وب کاوی[5]قادر به حل این مشکلات می باشند. دروب کاویبه صورت زیر تعریف شده است:
وب کاوی به کارگیری تکنیک های داده کاوی[6] برای کشف و استخراج خودکار اطلاعات از اسناد و سرویس های وب می باشد.
البته تکنیک های وب کاوی تنها ابزار موجود برای حل این مشکلات نیستند. بلکه تکنیک های مختلفی از سایر زمینه های تحقیقاتی همچون پایگاه داده ها، بازیابی اطلاعات، پردازش زبان طبیعی قابل استفاده در این زمینه می باشند. همچنین تکنینک های وب کاوی می توانند به صورت مستقیم یا غیر مستقیم برای حل این مشکلات به کار روند. منظور از رویکرد مستقیم آن است که کاربرد تکنیک های وب کاوی به صورت مستقیم مشکلات مطرح شده را حل می نماید. یک عامل گروه خبری که مرتبط بودن یک خبر به یک کاربر را تعیین می کند، مثالی از این رویکرد می باشد. اما در رویکرد غیر مستقیم، تکنیک های وب کاوی به عنوان بخشی از یک روش جامع تر که به حل این مشکلات می پردازد، مورد استفاده قرار می گیرند.
با توجه به گسترش روز افزون حجم اطلاعات در وب و ارتباط وب کاوی با تجارت الکترونیکی، وب کاوی به یک زمینه تحقیقاتی وسیع مبدل گشته است. طی این گزارش پس از بررسی مراحل وب کاوی،انواع آن معرفی می شوند. سپس ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها و مشکلات این زمینه تحقیقاتی اشاره می شود. در ادامه هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند. در پایان نیز به برخی از نمونه کاربردهای واقعی وب کاوی اشاره می شود.
ممکن است هنگام انتقال از فایل ورد به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل است
متن کامل را می توانید در ادامه دانلود نمائید
چون فقط تکه هایی از متن برای نمونه در این صفحه درج شده است ولی در فایل دانلودی متن کامل همراه با تمام ضمائم (پیوست ها) با فرمت ورد word که قابل ویرایش و کپی کردن می باشند موجود است
پایان نامه وب کاوی در صنعت
