دانلود سیستم ذخیره داده های ابری برای حمایت هم OLTP و هم OLAP word

ES2 : سیستم ذخیره داده های ابری برای حمایت هم OLTP  و هم olap :
خلاصه :
محاسبه  ابر ، یک الگوی انتقال را نشان می دهد که توسط افزایش تقاضای کاربردهای بر اساس وب برای معماری های سیستم کارآمد و قابل مقیاس بندی الاستیک اداره می شود و می تواند بطور کارآمد از فزاینده ی داده ها رو تحلیل داده ها به مقیاس بزرگشان حمایت کند. یک سیستم مدیریت داده های نمونه باید توسط کاربران مجزا به موقع به روز شود و همچنین فرایند تحلیل به مقیاس بزرگ ادواری و شاخص گذاری و خلاصه سازی داده ها صورت بگیرد. در حالی که این گونه عملیت امکان دارد در زمینه ای واحد برگزار شوند ، طرح و گسترش سیستمها تا حدودی بطور وابسته ، برای فرایند تحلیلی ادواری و تعاملی ، متحول شده اند. این گونه جداسازی در سطح سیستم ، منجر به مشکلاتی نظیر تازگی داده ها و تراکم زیاد ذخیره ی داده های جدی شده است . ایده آل این است که فرایند تحلیلی ویژه روی همان داده ها بطور مستقیم ، کارآمدتر باشد. به هر حال تا آنجا که ما می دانیم  این چنین راهکارهای در اجرای واقعی پذیرفته نشده است.
به تحریک چنین مشاهداتی ،epic را طراحی و اجرا کرده ایم که سکوی ابر فشرده – داده های آگاهی نیروی الاستیک برای پشتیبانی عملیات تحلیلی فشرده ی داده (olap) و هم تعامل های روی خط(oltp) است.
 در این مقاله ،ES2( سیستم ذخیره داده های الاستیک EPIC) را معرفی می کنیم که برای پشتیبانی هر دو قابلیت عملکرد در یک ذخیره ، طراحی می شود. ما معماری سیستم و کارکدهای هر جزء سیستم و نتیج تجربی را معرفی می کنیم که کارایی سیستم را نشان می دهند.

مقدمه :
با افزایش تعداد کاربردهای وب 2.0 ، مقادیر پرحجم انواع مختلف داده ها به مقیاسی پیش بینی نشده ، تولید می شوند . با توجه به این میزان رشد مداوم ، همراه با پیشرفت ارتباط برود باند(boardband)،ویرچوالیزیشن( پیاده سازی شبکه بر اساس سگمنهای شبکه مجازی) و سایر فن آوریهای ، مدل محاسبه ابر با ظرفیتش جهت فرهم کردن پویا برای محاسبه و ذخیره ، بعنوان یک گزینه ی ایده آل برای زیر ساختهای محاسبه ی داده ی فشرده و پایگاه داده ها بعنوان یک خدمت ، پدیدار شده است.
نیازبه فراهم کردن( تامین) ظرفیت هم از نظر ذخیره و هم محاسبه و برای پشتیبانی فرایند تعامل روی خط و فرایند تحلیلی روی خط در ابر ، مشکلات جدی را در معماری سرورهای داده های کارآمد و الاستیک پدیدآورده است.
 کاربردهای وب-سرویس فراهم شده توسط شرکت های اینترنتی نظیر ایمیلینگ ، خرید روی خط و شبکه سازی اجتماعی ، همگی بر اساس معاملات روی خط است  که بطور اساسی ، مشابه آنان در سیستمهای oltp ( فرایند معامله ی روی خط) است. به هر حال، در این گونه کاربردهای وب ، قابیلیت مقیاس بندی سیستم ، مدت پاسخ خدمت و دسترس پذیری خدمت ، خواهان اولویت بیشتر از ثبات داده های معاملاتی هستند که مهمترین نیاز سیستم های olpt سنتی است.
چندین سیستم مدیریت  داده ها برای میزبانی انواع کاربردهای وب ،طراحی و ساخته شده اند. از جمله  (1)bigtable  ،(2) Pnuts،
(3) دینامو و کاساندرا (4).
برای پشتیبانی بیشتر بهتر پژوهش و به شراکت گذاشتن داده ها ، فرایند تحلیلی ویژه به مقیاس بزرگ داده های گردآمده از آن خدمات وب ، بیش از پیش برای بهبود کیفیت و کارایی خدمات موجود و پشتیبانی ویژه های عملکرد جدید ارزشمند می شونده به علت حجم زیاد داده های وب ، راه حل های OLAP سنتی( مانند سیستمهای پایگاه داده های موازی) نمی توانند بطور فعال ، نیازها را تامین کنند. بنابراین هم شرکتهای تجاری و هم جوامع با منبع باز، سیستمهای فرایند سازی داده ها به مقیاس بزرگ راپیشنهاد کرده اند از جمله (5)Hadoop ، (6)Hive ، (8)Dryad از نظر پیشینه ، بارهای کارOLTP  و OLAP جداگانه توسط دو سیستم با معماری های مختلف ، بکار می روند (RDBMS) برای OLTPو سیستم ذخیره سازی داده ها داده ها برای OLAP بطور ادواری داده ها در RDBMS خلاصه دگرگون و بار (aka.etl) درون انبار می شوند. این جداسازی در سطح سیستم با انگیزه این واقعیت صورت گرفت که OLAP از نظر محاسباتی ، گران است و اجرایش روی سیستم جدا ، با منابع واحد عملکرد های OLTP مهم- پاسخ رقابت نمی کند و نتایج بر اساس تصویر لحظه ای بطور کلی برای تصمیم گیری ، کافی هستند.
اگرچه این سیستم در طرح سیستم ، انعطاف پذیری و کارایی پدید می آورد ، همچنین منجر به چند محدودیت ذاتی هم می شود مانند فقدان تازگی داده ها در OLAPوفور زاید ذخیره داده ها و سرمایه گذاری آغازین زیاد و هزینه ی مراقبت زیاد با زیر ساختهای ابر ، بنابراین داشتن یک سیستم یکپارچه با توانایی هر دو OLTP وOLAP با عملکرد عالی ، مطلوب و بموقع است. تعجبی ندارد که یک سیستم پایگاه داده های مقیم حافظه ی اصلی که هم OLTP وOLAP را اجرا می کند ، به تازگی ارائه شده است(9).
بر خلاف موقعیت توأم با بارهای کار OLTP و OLAP اختلاف بین میزبانی کاربرد وب2.0 و تحلیل داده های وب ، عمدتا طبق طرح است .
لایه ذخیره و لایه فرایندسازی به سستی با هم جفت می شوند . در نتیجه لایه فرایند سازی می تواند داده ها را در هر فرمتی حجیم بخواند و فرایند لازم را اجرا کند تا شاخصهای یا دیدگاهای مورد نیاز کاربردها، ایجاد شوند . بسامدی که در آن یک وظیفه ی تحلیلی یا فرایند سازی توده ، انجام می شود ، یک تصمیم حرفه ای است و تازگی داده هایش بر اساس نیاز ها ، تعیین می شود.
به هر حال اینچنین طرحی باعث می شود کاربردهای بششدت متکی به متا داده های بطور ادواری تولید شده باشند ( مثل شاخص  که بعلت فقدان پشتیبانی OLTP و مدیریت معامله است. بعلاوه بعلت طرح طبق گزینه این سیستمها از مکانیزه های شاخص گذاری پشتیبانی نمی کنند که فرایند پرس و جوی ویژه را تسهیل می کنند و بنابراین کاربردشان محدود است.
هدف پروژه EPIC(10) ، گسترش یک سکوی برای تهیه خدمات پایگاه داده های قابل مقیاس بندی روی ابر است.
در EPIC دو نوع نمونه بارهای کار یعنی OLTP و OLTP پشتیبانی می شوند تا بطور همزمان و متعامل ، یک سیستم ذخیره و فرایند سازی را اجرا کنند . در این مقاله بر طرح و کارکردهای ES2 ( سیستم ذخیره الاستیک EPIC) متمرکز   می شویم. خاطر نشان می کنیم که فرایند سازی پرس و جوهای OLTP  و OLAP روی واسطه دسترس داده های اولیه فراهم شده توسط ES2 پیاده می شوند.
به ویژه پرس و جوهای OLAP به واسطه ی اسکن های ترتیبی موازی در حالی فرایند سازی می شوند که پرس و جوهای OLTP توسط شاخص گذاری و بهینه سازی پرس و جوی موضعی ، اجرا می شوند. E3 ( موتور اجرای الاستیک Epic) عملیات پایگاه داده های قراردادی از قبیل الحاق در چند مقدمه را تجزیه خواهند کرد و انان را  قادر می سازد مراحل فیلتر و تصفیه را ممکن سازد. انگیزه این طرح این است که اگر چه بطور گسترده ، مدل محاسبه ی MAPREDUCE را پذیرفته ایم که با توازی سرخود و تلرانس خطا ، طراحی شده است ، از نمودار داده ها ، زبان پرس و جو ی بیانگر و بهینه سازی پرس و جوی برپایه هزینه ، پشتیبانی نمی کند . کل معماری سیستم EPIC و نحوه عملکرد جزئیاتش در (11) شرح می شوند.
ES2 اصولا برای عملیات روی یک مجموعه بزرگ از ماشین های ابزار فاقد شرکت ، طرح  می شود. و از نمودار های قسمت بندی داده های افقی و عمودی ، استفاده می کند. در این نمودار پیوندی  ، ستونها در یک نمودار جدول که اغلب با هم در بار کار پرس و جو در دسترس هستند ، بصورت یک گروه ستونی دسته بندی می شوند و در یک جدول فیزیکی مجزاء ذخیره می شوند. این راهبرد قسمت بندی ، فرایند سازی پرس و جوی های OLAP را تسهیل می کند که اغلب فقط یک مجموعه فرعی ستونها درون یک نمودار جدول منطقی دست می یابد. بعلاوه برای هر جدول فیزیکی مرتبط با گروه ستون ، یک نمودار قسمت بندی افقی به دقت بر اساس بار کار پایگاه داده ها طرح شده است ، در نتیجه معاملاتی که فضای پارتیشن های ( قسمت های ) متعددی می گیرند ، فقط در بدترین مورد لازم هستند .
ما همچنین به مشکل توأم با پرس و جوی های OLTP و OLAP گزینه های کم می پردازیم . اجرای کل اسکن های جدول برای بازیابی فقط محدودی سوابق با کیفیت ، کافی نیست. به هر حال ، اسکن کردن کل میز اجتناب ناپذیر است ، اگر گزارشهای پرس و جو ، حاوی ویژ گی هایی نباشد که نمودار پارتیشن بندی داده های افقی را در سیستم تعیین کنند. برای رفع این مشکل ، چند نوع شاخص ثانوی توزیع شده بر داده ها را در ES2 حفظ کنیم تا انواع مختلف پرس و جوهای تسهیل شوند.
برای مثال حاصل «هاش»(Hash حاصل جمع چند فیل ) توزیع شده ، پرس و جوهای متناسب – دقیق تک بعدی را پشتیبانی می کنند. شاخصهای شبه درخت÷B توزیع شده از پرس و جوهای دامنه تک بعدی پشتیبانی می کنند و شاخص های چند بعدی توزیع شده ، پرس و جوهای Knn و دامنه چند بعدی  را پشتیبانی می کنند. جایگذاری های P2P ، ساختارهای خوبی برای پشتیبانی می کنند.(12)
به هرحال نمی توانیم از عمده اجرا و حفظ جایگذاری های متعدد در مجموعه برای انواع مختلف شاخص های توزیع شده برآییم.
در نتیجه یک جهار چوب شاخص گذاری تعمیم یافته را گسترش داده ایم که یک جایگذاری پیش فرض( نمونه) مطلق را بر اساس مدل ترسیم«کیلی»(Cayley) فراهم می کند. بر اساس این چهارچوب ، ساختار و رفتارهای جایگذاری های مختلف می توانند طبق نمونه ، عادی و ترسیم شوند و به موجب آن ، جایگذاری با شاخص های جستجوی متعدد ، متحمل بار می شود.
بعلاوه همچنین یک نمودار شاخص بیت مپ(Bitmap) توزیع شده را جهت پشتیبانی ستون های شاخص گذاری شده ی بیشتر و دامنه گسترده پرس و جو را گسترش داده ایم. بر خلاف سیستمهای فایل توزیع شده ی موجود ، ES2 ، شاخص های اساسی را مانند در یک DBMS  قرارداده ، فراهم می کند.
بطور خلاصه ، ES2 را طرح می کنیم (یک سیستم ذخیره ی داده های ابر) تا از بارهای کار هم OLTP و هم OLAP پشتیبانی کنند. این سیستم ، واسطه ی دسترسی به داده ها را برای کابردهای لایه فوقانی ،  فراهم می کند.
برای سهولت فرایند کارآمد پرس و جوهای ویپه ، جزء شاخص گذاری توزیع شده ، پشتیبانی می کند و از اینرو داده های کارآمد را بازیابی می کند. برای معتبر سازی کارایی هر جزء آزمایشهای گسترده ای روی یک مجموعه امکانات انجام دادیم. نتایج فایده تهیه ی شاخص های توزیع شده و دسترسیها به داده ها را برای پرس و جوهای OLTP و OLAP تایید می کنند.