انبار داده در هوش تجاری

انبار داده در هوش تجاری : هوش تجاری چیست؟ اخیرا سیستم‌های هوش تجاری با اولویت بالایی در فهرست بسیاری از مدیران فناوری اطلاعات قرار گرفته است. یک سیستم هوش تجاری مجموعه یکپارچه ­ای از ابزارها، فن آوری‌ها و محصولات برنامه ریزی شده ای است که برای جمع آوری، هماهنگی، تحلیل و در دسترس قرار دادن داده­ ها استفاده می­شوند. بطور ساده می­توان گفت وظایف اصلی سیستم هوش تجاری شامل اکتشاف هوشمند، یکپارچه سازی، تجمیع و تحلیل چند بعدی داده­ های نشات گرفته از منابع مختلف اطلاعاتی است. در نتیجه امکان یکپارچه سازی داده‌های حجیم سازمان از منابع داده‌ای مختلف فراهم می‌شود . بنابراین برای تسهیل بهبود تصمیم گیری، اطلاعات با معنی می‌توانند در زمان و مکان مناسب، و به شکل مناسب برای کمک به افراد، بخش‌ها، گروه‌ها و یا حتی واحدهای بزرگتر ارائه شوند. یک سیستم هوش تجاری شامل اجزای هوش تجاری مختلفی است یکی از مهم­ترین این اجزا انباره داده است.

انبار داده در هوش تجاری

انبار داده در هوش تجاری: پس از شناخت و تحلیل سازمان، اولین قدم برای ساخت یک پروژه‌ی هوش تجاری ایجاد انبار داده است. یک انبار داده مهم­ترین مخزن داده­ های موجود برای توسعه معماری هوش تجاری و سیستم­ های پشتیبانی از تصمیم است. انبار داده در واقع مخزنی مرکزی و یکپارچه برای جمع آوری انواع داده­ های متنوع سازمان از کسب و کارهای مختلف است که به مرور زمان جمع آوری شده ­اند. بر اساس نیاز باید اطلاعات را از منابع مختلف استخراج و جمع آوری، پالایش و در یک پایگاه داده ذخیره کنیم. به عملیات استخراج، پالایش و بارگذاری، ETL گفته می‌شود.

امروزه ابزارهای زیادی برای انجام یکی از فرآیند هوش تجاری بنام فرآیند ETL وجود دارد که تا حدود زیادی دقت و سرعت انجام این عملیات را بالا برده است. اصطلاح انبارداری داده، مجموعه فعالیت­ های مرتبط به هم را در طراحی، پیاده سازی و استفاده از انبار داده نشان می­دهد. یک انباره داده در واقع دیتابیسی می­باشد که برای پشتیبانی از طیف گسترده­ای از تصمیم سازی ­ها در یک سازمان خاص طراحی شده است. این داده ­ها معمولا بصورت ساختار یافته و بروز شده جهت پاسخ به درخواست­ های سریع و آنلاین و مختصر برای مدیریت فراهم می­شوند.

انباره داده دارای مقادیر زیادی از داده ­ها که در طول زمان جمع آوری شد­ه ­اند، می­باشند. می­توان گفت انبار داده یک پایگاه اطلاعاتی است که برای درخواست ­ها و آنالیز طراحی شده است و نه به منظور پردازش تراکنش­ ها که معمولا در بردارنده اطلاعاتی است که به مرور زمان و در نتیجه تراکنش ­ها جمع آوری شده ­اند ولی می­توانند شامل اطلاعاتی از سایر منابع نیز باشند. با این کار، حجم کاری آنالیز داده­ ها از تراکنش­ ها جدا می­شود و سازمان را قادر می­سازد تا داده ها را از چندین منبع مختلف تلفیق کند.

انواع انبار داده در هوش تجاری

انواع انبار داده در هوش تجاری : می­توان سه دسته اصلی داده در انبار داده را شناسایی کرد: داده­ های داخلی ، داده ­های خارجی و داده­ های شخصی.

داده ­های داخلی از انواع انبار داده

داده ­های داخلی از انواع انبار داده بیشتر در پایگاه ­­های داده ذخیره می ­شوند، که به آن­ها سیستم­ های معاملاتی یا سیستم­های عملیاتی می­گویند، که ستون فقرات یک سیستم اطلاعاتی سازمانی است. داده ­های داخلی از طریق برنامه­ های معاملاتی جمع می­شوند که به طور معمول بر عملکرد یک شرکت نظارت می­کنند، مانند مدیریت، حسابداری، تولید و تدارکات. این مجموعه از برنامه­ های نرم افزاری معاملاتی، برنامه ریزی منابع سازمانی(ERP) نامیده می­ شود. داده­ های ذخیره شده در سیستم­ های عملیاتی معمولاً با نهادهای اصلی درگیر در فرآیندهای شرکت، یعنی مشتریان، محصولات، فروش، کارمندان و تأمین کنندگان سروکار دارند.

داده ­های خارجی از انواع انبار داده

داده ­های خارجی از انواع انبار داده : منابع مختلفی از داده­ های خارجی وجود دارد که ممکن است برای گسترش حجم اطلاعات ذخیره شده در پایگاه ­های داخلی استفاده شود. به عنوان مثال، برخی از آژانس ­ها داده ­های مربوط به فروش، سهم بازار و پیش بینی روند آینده برای صنایع خاص تجاری و همچنین شاخص ­های اقتصادی و مالی را جمع آوری و در دسترس قرار می ­دهند. آژانس­ های دیگر نظرسنجی بازار داده و نظرات مصرف کننده را که از طریق پرسش نامه جمع آوری شده است، ارائه می­دهند. یک منبع قابل توجه دیگر از داده های خارجی توسط سیستم­ های اطلاعات جغرافیایی ارائه می­شود، که نمایانگر مجموعه ­ای از برنامه ­ها برای به دست آوردن، سازماندهی، ذخیره و ارائه داده ­ها است. از این رو، این داده­ ها اجازه می­دهد تا تجزیه و تحلیل­ های خاص موضوع بر روی داده ­های مرتبط با عناصر جغرافیایی انجام شود و نتایج به صورت گرافیکی تجسم شود.

داده ­های شخصی از انواع انبار داده

داده ­های شخصی از انواع انبار داده : تصمیم گیرندگان که تجزیه و تحلیل هوش تجاری را انجام می­دهند، همچنین به اطلاعات و ارزیابی­ های شخصی ذخیره شده در صفحه­ های کاری یا پایگاه ­های محلی واقع در رایانه ­های خود اعتماد می­کنند. بازیابی چنین اطلاعاتی و ادغام آن با داده ­های ساخت یافته از منابع داخلی و خارجی یکی از اهداف سیستم­ های مدیریت دانش است.

سایر خصوصیات انبار داده

سایر خصوصیات انبار داده : یک انباره داده علاوه بر یک پایگاه داده، در بردارنده راه حل ­هایی جهت استخراج، انتقال، تغییر شکل، بارگذاری، موتور پردازش تحلیلی آنلاین (OLAP) ، ابزار تجزیه و تحلیل مشتری و سایر برنامه ­های کاربردی است که روند جمع آوری داده ­ها و تحویل آن به کاربران تجاری را مدیریت می­کند. از برنامه ­های نرم افزاری که در قلب سیستم­ های عملیاتی هستند به عنوان پردازش معاملات آنلاین (OLTP) یاد می­شود. از طرف دیگر، کل مجموعه ابزارهایی که هدف آنها تجزیه و تحلیل هوش تجاری و پشتیبانی از فرآیندهای تصمیم گیری است، با نام پردازش تحلیلی آنلاین (OLAP) انجام می­شوند. بنابراین می­توانیم فرض کنیم که عملکرد یک انبار داده ارائه داده ­های ورودی به برنامه های OLAP است. OLAP در واقع نرم افزاری برای دستکاری داده های چند بعدی از منابع مختلف است. داده ها اغلب در یک انباره داده ذخیره می­شوند. نرم افزار OLAP  به کاربر در ایجاد درخواست ها، نماها و گزارشات کمک می­کنند.

مزایای انبار داده

برخی از مزایای انبار داده بالقوه قرار دادن داده ­ها در یک انبار داده عبارتند از:

1. بهبود زمان گزارش برای دسترسی به داده ها و گزارش دهی. (جهت مطالعه بیشتر در مورد گزارش دهی در هوش تجاری Reporting کلیک کنید) با استفاده از سیستم ­های هوش تجاری و داشبوردهای هوش تجاری موجود به راحتی می­توان این اطلاعات را استخراج کرد و از پرداخت هزینه­ های گزاف چه مالی و چه زمانی جلوگیری کرد.
2. استاندارد سازی اطلاعات در سراسر سازمان. دیتاها در هر بخش با پروتکل­ های مربوط به خود ذخیره می­شوند وبه صورت یک دست نیستند .در صورت استفاده از انباره داده­ های موجود در سیستم­ های هوش تجاری می­توان تمامی اطلاعات سازمان را به صورت یک دست ذخیره کرد. و این امر گزارش دهی را بسیار راحت می­کند.
3. ادغام داده ­ها از منابع مختلف برای ایجاد یک منبع اطلاعاتی جامع. در بسیاری از موارد، سیستم­ های پشتیبانی تصمیم باید به اطلاعات منشأ گرفته از چندین منبع داده، توزیع شده در نقاط مختلف سازمان یا ناشی از منابع خارجی دسترسی داشته باشند. برای ارتقا و تسهیل دسترسی به اطلاعات، به یک انبار داده که منابع چندگانه و اغلب ناهمگن را ادغام می­کند، نیاز است. ادغام داده ­ها ممکن است با استفاده از تکنیک­ های مختلف حاصل شود – به عنوان مثال، با استفاده از روش رمزگذاری یکنواخت­، تبدیل به واحدهای اندازه گیری استاندارد و دستیابی به همگنی معنایی اطلاعات صورت گیرد.
4. به اشتراک گذاری اطلاعات و اجازه دادن به دیگران برای دسترسی و تجزیه وتحلیل داده ­ها. یکپارچه سازی اطلاعات دسترسی به اطلاعات را بسیار ساده کرده است و این امکان را افراد مختلف می­دهد که از این اطلاعات استفاده کنند.
5. تشویق و بهبود تصمیم گیری مبتنی بر واقعیت. با استفاده از داده ­های استخراج شده می­توان از قابلیت­ های هوش تجاری برای استخراج الگو و روندهای نهفته در داده­ ها استفاده کرد و مدیران و کارکنان را در اتخاذ تصمیم ­های درست مبتنی بر واقعیت و بدور از هرگونه حدس و گمان یاری کرد.
6. کیفیت: داده ­های منتقل شده از سیستم ­های عملیاتی به انبار داده، مورد بررسی و تصحیح قرار می­گیرد تا آنجا که ممکن است اطلاعاتی مطمئن و بدون خطا بدست آورد. کیفیت داده نقشی حیاتی در استقرار موفق سیستم هوش تجاری ایفا می‌کند. هدف اولیه سیستم هوش تجاری یکپارچه کردن سیلوهای داده برای تجزیه و تحلیل پیشرفته است تا بهبود فرآیند تصمیم گیری. اغلب داده‌های مرتبط زیادی در پشت سیستم جمع می‌شوند اما تا زمان استفاده در سیستم هوش تجاری کشف نمی شوند. بنابراین کیفیت داده در منبع، بر روی کیفیت گزارشات مدیریت اثر می‌گذارد که آن هم به نوبه خود نتایج تصمیمات را تحت تاثیر قرار می­دهد. اطلاعات شرکت تنها زمانی می‌توانند بطور کامل و کارا در عرصه تجاری گسترده مورد استفاده قرار بگیرند که یکپارچگی و کیفیت آنها تائید شود. و باید توجه داشت که بدون داده های با کیفیت، هوش تجاری هوشمند نیست.
7. قابل توسعه بودن: داده ­های ذخیره شده در سیستم ­های معاملاتی در یک بازه زمانی محدود در گذشته به دلیل محدودیت در ظرفیت حافظه، این داده ­ها به طور منظم از سیستم­ های OLTP برداشته می­شوند و برای همیشه در دستگاه ­های ذخیره ، مانند DVD یا ابزارهایی مانند آن بایگانی می­شدند. این مشکل به دلیل توانایی انبارهای داده در نگهداری اطلاعات تاریخی برای استفاده­ی سیستم­ های هوش تجاری و مدل­ های پیش بینی رفع شده زیرا برای اینکه بتوانند روندها را درک کنند و الگوهای مکرر را تشخیص دهند باید به داده­ های موجود موجود دسترسی داشته باشند.

معماری انبار داده

معماری انبار داده متشکل از سه لایه می­باشد که در هربخش وظایفی صورت می­گیرد که در ادامه به بررسی آن می­پردازیم.

لایه پایینی از معماری انبار داده

لایه پایینی از معماری انبار داده : سرور معماری انبار داده، شامل سرور پایگاه داده رابطه‌ای است که از ابزارهای  Back-End و دیگر ابزارهای کاربردی برای انتقال اطلاعات از منابع مختلف داده‌ای مانند پایگاه داده‌های تراکنشی و غیره، به لایه پایینی استفاده می‌شود. این ابزارهای کاربردی و ابزارهای  Back-End عملکردهای پاک سازی داده، بارگذاری و بروزرسانی داده ­ها را انجام می‌دهند.

 لایه میانی از معماری انبار داده

 لایه میانی از معماری انبار داده : لایه‌ی میانی یک سرور OLAP را در اختیار می‌گیرد که به وسیله‌ی آن داده‌ها را به یک ساختار مناسب‌تر تبدیل می‌کند تا بتوان به درخواست­ های پیچیده بر روی داده‌ها و تحلیل آن‌ها دسترسی داشت.

لایه بالایی از معماری انبار داده

لایه بالایی از معماری انبار داده : لایه بالایی، لایه client یا front-end است. این لایه، ابزارهایی را برای استفاده در زمینه‌های تجزیه و تحلیل داده، پرس وجو (کوئری) گزارش‌گیری و داده کاوی فراهم می‌آورد. نمودار زیر نشان دهنده معماری سه لایه‌ای انبار داده است.

مرکز داده‌ ها یا دیتا مارت (Data Mart)

انبار داده ­ها حجم عظیمی از اطلاعات را در واحد­های منطقی کوچکتری به نام مرکز داده نگهداری می­کند مرکز داده ­ها نمونه­ های کوچکی از انبارداده ­ها بوده و همانند آنها حاوی کپی­ هایی ثابت از داده­ هایی هستند که در موارد خاص استفاده می­شوند.

تفاوت انبار داده و پایگاه داده

تفاوت انبار داده و پایگاه داده : وظیفه اصلی سیستم‌های پایگاه داده، پشتیبانی از تراکنش‌های آن‌لاین و پردازش پرس و جو است. این سیستم‌ها، سیستم پردازش تراکنش آن‌لاین (OLTP) نامیده می‌شوند و بیشتر عملیات روزمره یک سازمان را پوشش می‌‌دهند. از سوی دیگر انبار داده که به عنوان نوع خاصی از پایگاه ­های داده معرفی می­شود به کاربران یا knowledge workers خدماتی در نقش تحلیل‌گر داده و تصمیم گیرنده ارائه می‌دهند. چنین سیستم‌هایی قادر هستند داده‌ها را در قالب‌های گوناگون برای هماهنگی با نیازهای مختلف کاربران، سازماندهی کرده و ارائه دهند. این سیستم‌ها با نام سیستم‌های پردازش تحلیلی آن‌لاین نیز  (OLAP) شناخته‌ می‌شوند.

از لحاظ مدل‌های داده‌ای؛ پایگاه‌های داده برای مدل OLTP بهینه سازی شده که بر اساس مدل داده رابطه‌ای امکان پردازش تعداد زیادی تراکنش همروند، که اغلب حاوی رکورد‌های اندکی هستند را دارد. اما در انبارهای داده که برای پردازش تحلیلی آن‌لاین طراحی شده‌اند امکان پردازش تعداد کمی‌ پرس و جو پیچیده بر روی تعداد بسیار زیادی رکورد داده فراهم می‌شود.

از لحاظ عملیات قابل اجرا بر روی آن‌ها؛ عملیاتی که بر روی پایگاه دادها صورت می‌‌گیرد، عموماً شامل عملیات ‌به هنگام سازی است در حالی که عمل خواندن از انبار، عمده عملیات قابل اجرا بر روی انبار داده را تشکیل می‌دهد.

از لحاظ مقدار داده‌ها؛ مقدار داده‌های یک پایگاه داده در حدود چند مگابایت تا چند گیگابایت است در حالی که این مقدار در انبار داده در حدود چند گیگابایت تا چند ترابایت است.

جمع­ بندی انبار داده در هوش تجاری

جمع­ بندی انبار داده در هوش تجاری : برای استفاده از ابزارهای هوشمندی کسب و کار به انبارداده نیاز داریم. انبار داده، داده‌ها را از یک یا چند منبع جمع آوری کرده و آن‌ها را به گروه‌ها‌ی اطلاعاتی تبدیل می‌کند، سپس داده‌ها را به همراه اطلاعات زمان و تاریخ برای پشتیبانی بهتر از تصمیم گیری‌ها ذخیره می‌کند. به طور کلی اطلاعات از سیستم‌های عملیاتی متعدد جمع آوری، پاک‌سازی و به یک بانک‌اطلاعاتی انتقال داده می‌شود. این بانک اطلاعاتی، اطلاعات حاصل را برای استفاده از ابزارهای هوش تجاری جهت تحلیل و گزارش گیری کاربران نهایی فراهم می‌کند و در نتیجه به کاربران اجازه تحلیل‌ و ایجاد پرس و جوهای گوناگون بر روی داده‌ها را می‌دهد که پیش از این هیچ ارتباطی با هم نداشتند. اطلاعات ذخیره شده در انبارداده­­ ها در جهت آنالیز کردن شرایط موجود در سیستم­ های عملیاتی مورد استفاده قرار می­گیرد. فلسفه بکارگیری انبارداده در سازمان این است که اطلاعات مورد نیاز مدیران از درون داده ­های سیستم­ های عملیاتی موجود استخراج گردد. معمولا انبار داده به دلیل وجود حجم انبوهی از داده ­ها، کندتر از سیستم­ های عملیاتی است و از طرفی محیطی جهت تولید گزارشات تحلیلی و آماری برای مدیران و تصمیم گیرندگان سازمان‌ها فراهم می‌کند.