داده کاوی چیست

داده ­کاوی

داده کاوی چیست؟ ازمؤثرترین روش­های ایجاد تجارتی موفق و برندی قدرتمند بررسی داده­ های گذشته یک کسب و کار است. توسعه یک کسب‌وکار و ایجاد برندی محبوب، فرآیندی حساس و هدفمند است. برای کسب ویژگی ­هایی برای رقابت، جذب بیشتر سهم بازار و تولید محصولی منطبق با خواسته ­های مصرف­ کننده، واحدهای تولیدی سعی می­کنند برندهایی متمایز و منطبق با نیاز روز ایجاد کنند. تعداد قابل‌ توجهی از برندها و واحدهای تولیدی در مرحله ­ی توسعه محکوم به شکست هستند. واضح است که برای موفقیت برند و تولیدات منحصربه‌فرد نیاز به استراتژی­هایی دقیق به‌منظور پیش­بینی بازار و آینده محصولات است.

داده کاوی چیست

داده­ کاوی data mining فرایند تجزیه و تحلیل حجم عظیمی از داده­ ها برای کشف هوش تجاری است؛ این فرایند توسط شرکت­ها برای تبدیل داده ­های خام به اطلاعات مفید و همچنین شامل کاوش و تجزیه و تحلیل انبوهی از اطلاعات برای به دست آوردن الگوها و روندهای معنی ­دار، مورد استفاده قرار می­گیرد. کاوش در داده به شرکت­ها در حل مشکلات، کاهش خطرات و استفاده از فرصت­های جدید کمک می­کند. این شاخه از علم داده، نام خود را از شباهت­های جستجوی اطلاعات ارزشمند در یک پایگاه داده بزرگ با استخراج از کوه برای یافتن سنگ معدن گرفته است. برای یافتن ارزش­های پنهان، هر دو فرآیند نیاز به غربال کردن در حجم وسیع دارند.

داده­ کاوی فضای حاکم بر یک کسب و کار را شفاف می‌کند و مدیران و کاربران را در مسیر تصمیم ­گیری­ های واقع بینانه قرار می­دهد. تصمیم ­گیری واقع بینانه و از روی آگاهی و شناخت کامل سیستم، کلید از بین بردن تصمیمات احساسی و ناکامل است که منجر به از بین بردن بهره­ وری پایین و ضررهای ناشی از ناآگاهی است. داده­ کاوی بر اساس اطلاعات موجود از سال­های گذشته، فضای حاکم بر کسب و کار را بازخوانی می­کند و مشخص می­کند کدام تصمیمات منجر به سود شده است و کدام تصمیمات منجر به زیان کسب و کار شده است.

این فرایند می­تواند به سوالات تجاری پاسخ دهد که به طور سنتی برای حل و فصل دستی آنها بسیار وقت و دقت نیاز بوده است. با استفاده از طیف وسیعی از تکنیک­های آماری برای تجزیه و تحلیل داده ­ها به روش­های مختلف، کاربران می­توانند الگوها، روندها و روابطی را که ممکن است از دست بدهند شناسایی کنند. آنها می­توانند با استفاده از این یافته­ ها آنچه را که احتمالاً در آینده اتفاق می­افتد پیش­بینی کنند و برای تأثیرگذاری بر نتایج کسب و کار اقدام کنند.

مراحل انجام یک پروژه داده ­کاوی

یک پروژه داده­ کاوی شامل جمع­ آوری داده­ های مناسب برای پاسخ به نیازهای سیستم و آماده ­سازی داده ­ها برای تجزیه و تحلیل است. ابتدا سازمان­ها داده­ ها را جمع ­آوری کرده و در انبارهای داده خود بارگیری می­کنند. در مرحله بعدی، آنها داده­ ها را روی سرورهایی ذخیره و مدیریت می­کنند. کیفیت پایین داده­ ها منجر به نتایج ضعیفی خواهد شد، به همین دلیل متخصصان داده باید از کیفیت داده­ هایی که برای تجزیه و تحلیل استفاده می­کنند اطمینان حاصل کنند. تیم­ های مدیریتی و متخصصان فناوری اطلاعات به داده ­ها دسترسی پیدا می­کنند و نحوه تنظیم آنها را تعیین می­کنند.

متخصصان داده ­کاوی معمولاً با پیروی از یک فرآیند به نتایج به موقع و قابل اطمینان دست می­یابند:

متخصصان داده باید درک کاملی از پارامترهای پروژه، از جمله وضعیت فعلی تجارت، هدف اصلی پروژه و معیارهای موفقیت در پروژه داشته باشند و همچنین تعیین داده ­هایی که برای حل مسئله مورد نیاز خواهد بود و جمع ­آوری آنها از همه منابع موجود؛
آماده سازی داده ­ها در قالب مناسب برای پاسخ به مشکلات کیفیت داده مانند داده های مفقود شده یا تکراری،
مدل سازی داده­ های موجود، استفاده از الگوریتم­ها برای شناسایی الگوهای درون داده ­ها و ارزیابی مدل،
تعیین اینکه آیا نتایج ارائه شده توسط یک مدل معین چقدر به دستیابی به هدف تجاری کمک می­کند،
و در دسترس قرار دادن نتایج پروژه در اختیار مدیران که در این مرحله با استفاده از نرم افزارهای کاربردی، داده ­ها مرتب می­شود
در نهایت، داده ­ها را در یک قالب ساده­ سازی شده مانند نمودار یا جدول به اشتراک گذاشته می­شوند که این فرایند را در شکل زیر مشاهده می­کنید.

روش های داده کاوی

فعالیت­های داده­ کاوی را می­توان به چند دسته عمده تقسیم کرد، بسته به احتمال وجود یک متغیر هدف، می­توان اولین تمایز اساسی را بین فرآیندهای یادگیری با ناظر و یادگیری بدون ناظر ترسیم کرد. در زیر دو متد اصلی در انجام فرایندهای داده­ کاوی را بررسی می­کنیم.

یادگیری با ناظر:

یکی از روش های داده کاوی، یادگیری با ناظر است.  یادگیری الگوریتم های داده­ کاوی تحت نظارت می­توانند آنچه را که در گذشته آموخته شده است به منظور پیش­بینی رویدادهای آینده با استفاده از مثال­های برچسب گذاری شده برای داده­ های جدید اعمال کنند. با شروع فرایند تجزیه و تحلیل یک مجموعه داده‌ شناخته شده، الگوریتم، یک تابع برای پیش­ ­بینی مقادیر خروجی تولید می­کند. سیستم می­تواند اهداف هر ورودی جدید را پس از آموزش کافی فراهم کند. الگوریتم  همچنین می­تواند خروجی خود را با خروجی صحیحِ در نظر گرفته شده مقایسه کرده و به منظور تغییر مدل، خطای خود را پیدا کند. روش­هایی که در یادگیری با ناظر استفاده می­شوند خوشه ­بندی و رگرسیون است.

یادگیری بدون ناظر:

یکی از روش های داده کاوی، یادگیری بدون ناظر است. الگوریتم ­های داده­ کاوی بدون نظارت زمانی استفاده می­شود که اطلاعات مورد استفاده برای آموزش، طبقه بندی و برچسب گذاری نشده ­اند. در یادگیری بدون نظارت، سیستم یاد می­گیرد که چگونه می­توانند یک تابع را برای توصیف یک ساختار پنهان از داده­ های بدون برچسب داشته باشند. سیستم، خروجی درست را تشخیص نمی دهد، اما این داده ها را بررسی می کند و می تواند نتیجه گیری از مجموعه داده ها را برای توصیف ساختارهای پنهان از داده های بدون برچسب به کار بگیرد. به چنین نوع یادگیری، نظارت نشده گفته می‌شود. یادگیری نظارت نشده قابل تقسیم به مسائل خوشه‌بندی و انجمنی است.

بسیاری از داده های بکار رفته در علم داده کاوی در حوزه های مختلف متعلق به سری های زمانی است.

اصطلاحات داده کاوی

برخی از اصطلاحات رایج در داده­ کاوی عبارتند از:

• پاکسازی و آماده ­سازی داده ­ها (Pre-processing): مرحله ای که داده ­ها به فرم مناسب برای تجزیه و تحلیل و پردازش بیشتر تبدیل می­شوند، مانند شناسایی و حذف خطاها و داده ­های از دست رفته.
• یادگیری قاعده ارتباط (قوانین انجمنی – Association rules ): این ابزارها که به عنوان تجزیه و تحلیل سبد بازار نیز شناخته می­شوند، روابط بین متغیرهای مجموعه داده را جستجو می­کنند، مانند تعیین اینکه کدام محصولات معمولاً با هم خریداری می­شوند.
• خوشه بندی ( Clustering ) :فرآیند تقسیم یک مجموعه داده به مجموعه­ ای از زیرمجموعه­ های معنادار، به نام خوشه ­ها، برای کمک به کاربران در درک گروه ­بندی یا ساختار طبیعی داده­ ها.
• طبقه بندی (Classification) :این روش با هدف پیش بینی دقیق کلاس هدف، برای هر مورد در داده ها ، موارد موجود در یک مجموعه داده را به دسته ها یا کلاس های هدف اختصاص می دهد.
• تجزیه و تحلیل داده ­ها ( Data analysis ) : روند ارزیابی اطلاعات دیجیتال به عنوان هوش تجاری.
• انبار کردن داده­ ها (Data warehouse) : مجموعه بزرگی از داده های تجاری برای کمک به تصمیم گیری در سازمان استفاده می شود.
• یادگیری ماشین (Machine learning) :یک روش برنامه نویسی رایانه ­ای است که با استفاده از احتمالات آماری، قوانین ریاضی به کامپیوتر توانایی “یادگیری” را می­دهد بدون اینکه به طور صریح برنامه­ریزی شود.
• رگرسیون (Regression) :تکنیکی است که برای پیش بینی طیف وسیعی از مقادیر عددی، مانند فروش، دما یا قیمت سهام، براساس یک مجموعه داده خاص استفاده می­شود.

کاربرد داده­­ کاوی

کاربرد داده کاوی، داده ­کاوی در بسیاری از زمینه ­های تجاری و تحقیقاتی از جمله فروش و بازاریابی، تولید محصولات و همچنین  نظارت بر عملکرد واحدهای عملیاتی استفاده می­شود. هنگامی که در یک کسب و کار به درستی استفاده شود می­تواند موجب ایجاد مزیت­ های بی­شماری نسبت به رقبا شود، زیرا مدیران و کاربران مجموعه را قادر می­سازد اطلاعات بیشتری در مورد مشتری و شرایط کسب و کار بدست بیاورند، استراتژی­ یا راهبرد های بازاریابی موثر اتخاذ کرده، افزایش درآمد و کاهش هزینه ­ها را ایجاد کنند و این خود یک راهنمای کامل برای مدیران کسب و کار به سمت موفقیت است. تعدادی از کاربردهای داده کاوی در زیر بیان شده ­اند:

• تولید محصولات
• پیدا کردن بازار هدف برای کسب و کارها و جذب مشتری
• کشف الگو­های رفتاری خرید مشتری در فروشگاه­ها و کسب و کار­ها
• تحلیل سبد خرید (مثال،کشف روابط محصولاتی که یک مشتری با هم می­خرد)
• شناسایی مشتریان وفادار
• آنالیز دقیق نیاز­های مشتریان
• پیش­بینی فروش
• دسته بندی مشتریان بر اساس تفاوت­های موجود
• پیش­بینی الگو­های کلاه­برداری در بانکداری
• علم پزشکی ( در بخش های مختلف مثل تشخیص بیماری و شدت آن و …)
• علم اقتصاد ( پیش­بینی آینده کسب وکارها، مدیریت سرمایه و… )
• شناسایی مجرمان و ….
• تمرکز بر روی داده‌های بزرگ
• متن ­کاوی (داده کاوی می تواند برای طبقه بندی مقالات، کتاب­ها، اسناد، ایمیل­ها و صفحات وب در انواع متن­ها، که داده ­های غیرساختاری دارند اعمال می­شود. به عنوان مثال می­توان به موتورهای جستجوی وب برای طبقه­ بندی صفحات برای اهداف جست وجو اشاره کرد).
• تشخیص تصویر ( پردازش و طبقه­ بندی تصاویر دیجیتالی، هم از نظر تئوری و هم از نظر تعداد زیادی از برنامه هایی که ارائه می­دهد موضوعی هیجان انگیز است. تشخیص شخصیت­ها، مقایسه و شناسایی چهره انسان­ها، استفاده از فیلترهای تصحیح برای تهیه تجهیزات عکسبرداری و تشخیص رفتارهای مشکوک از طریق دوربین­های ویدئویی نظارتی بسیار مفید است).
• وب کاوی: ( برنامه ­های وب­ کاوی برای تجزیه و تحلیل سایت­های تجارت الکترونیکی، ارائه صفحاتی نزدیک به موارد جست و جوی کاربران اینترنت، ارزیابی اثر بخشی یک دوره آموزش الکترونیکی مفید باشند).

به‌طور کلی فرایند داده‌کاوی علاوه‌بر اینکه به سازمان کمک می‌کند داده‌های نامرتبط و بلااستفاده را از مجموعه‌ی خود حذف کنیم، از طرفی اطلاعات بسیار مفید و کاربردی را در اختیار سازمان قرار می‌دهد و همچنین به فرایندهای تصمیم‌گیری سرعت می‌بخشد.

به عنوان مثالی عملی از کاربرد داده ­کاوی در تجارت می­توان به استفاده­ ی فروشگاه­های مواد غذایی از روش­های داده­ کاوی برای افزایش فروش نام برد. بسیاری از فروشگاه­های بزرگ کارت وفاداری (loyalty card) به مشتریان ارائه می­دهند که به آنها امکان دسترسی به قیمت­های کمتری را فراهم می­کند. فروشگاه­ها این کارت­ها را ردیابی می­کند که چه کسی، چه زمانی و با چه قیمتی چگونه کالایی را خریداری می­کند. پس از تجزیه و تحلیل داده ­ها، فروشگاه­ها می­توانند از این داده ­ها برای ارائه پیشنهادهایی به مشتریان وفاوادار خود ارائه دهد و تصمیم بگیرند که چه مواردی را برای فروش قرار دهند یا چه زمانی آنها را با قیمت کامل بفروشند.

مزیت­ های داده­ کاوی

مزیت های داده کاوی: تجارت داده محور بودن دیگر یک گزینه نیست. موفقیت کسب و کار به این بستگی دارد که شما به چه سرعتی می­توانید دانش داده­ های بزرگ را کشف کرده و آنها را در تصمیمات و فرایندهای کسب و کار بگنجانید و اقدامات بهتری را در سراسر سازمان خود انجام دهید. با این وجود، داشتن داده­ های بسیار زیاد برای مدیریت، این کار با روش­های سنتی مشکلی بزرگ و طاقت فرسا است. داده ­کاوی به کسب و کارها این قدرت را می­دهد تا با درک گذشته و حال و پیش­بینی­ های دقیق در مورد پیشامدهای بعدی، آینده را بهینه کنند. به عنوان مثال، داده­ کاوی می­تواند به شما بگوید که بر اساس مشخصات مشتری گذشته، چه چشم اندازهایی احتمالاً برای سازمان سودآوری خواهد شد و احتمالاً کدام یک از راهبردهای خاص پاسخ می­دهند.

از طریق استفاده از تکنیک­های داده­ کاوی، تصمیمات می­توانند به جای­ واکنش­های غریزی بر اساس هوش تجاری گرفته شوند و نتایج سازگار را ارائه دهند که باعث می­شود مسیر پیشرفت کسب و کار را بیمه شود. از آنجایی که فناوری­های پردازش داده در مقیاس بزرگ مانند یادگیری ماشین و هوش مصنوعی به راحتی در دسترس قرار می­گیرند، سازمان­ها اکنون قادر به جستجوی ترابایت داده ها در عرض چند دقیقه یا چند ساعت به جای روزها یا هفته ها هستند و به آنها کمک می کند تا نوآوری و رشد سریع­تری داشته باشند.

معایب داده­ کاوی

معایب داده کاوی: داده ­کاوی با وجود مزایای بیشماری که برای کسب و کارها و کاربرانشان به همراه داشته نکات منفی و معایبی نیز با خود به ارمغان اورده است مانند:

• امنیت کاربران(حریم خصوصی) که می­تواند با دست­رسی به اطلاعات به خطر بیافتد.
• حجم اطلاعات بالا هزینه گزافی برای نگه داری و تجزیه و تحلیل دارد.
• اطلاعات نادرست می­تواند نتایج نادرستی به همراه داشته باشد.

نگاهی به آینده داده ­کاوی

با افزایش رقبا در دنیای تجارت و هزینه­ های سرسام­ آور کمپین­های تبلیغاتی و همچنین بمباران افراد با برندهای گوناگون و گزینه­های متفاوت، جذب یک مشتری و حفظ مشتری به یک دغدغه بسیار بزرگ برای سازمان­های تجاری تبدیل شده است؛ بنابراین کسب و کارها برای رسیدن به موفقیت و تبدیل شدن به یک برند ماندگار نیاز به تسلط بر مشتری و خواسته ­های او خواهند داشت که این امر با کاوش در داده­ هایی گذشته­ ی یک کسب و کار امکان­پذیر خواهد بود.

آینده برای داده ­کاوی و علم داده بسیار روشن است زیرا مقدار داده فقط افزایش می­یابد. تا سال­های آتی مدیران و کاربران سازمان­ها در جهان داده ­های دیجیتال با انباشتی از داده­ ها رو به رو خواهند شد که مدیریت این داده­ها برای سازمان بسیار حیاتی است که توسط علم داده امکان­پذیر خواهد بود. به دلیل پیشرفت در فناوری، فناوری­های استخراج اطلاعات ارزشمند از داده ­ها بسیار پیشرفت خواهد کرد. تا چند دهه قبل فقط سازمان­هایی مانند ناسا می­توانستند از ابر رایانه ­های خود برای تجزیه و تحلیل داده ­ها استفاده کنند هزینه ذخیره سازی و محاسبه داده ­ها بسیار زیاد بوده و در توان کمپانی­های کوچک نبود اما اکنون، شرکت­ها انواع کارهای مختلف را با یادگیری ماشین، هوش مصنوعی و یادگیری عمیق با هزینه­ های مناسب تر و حجم انبوهی از داده­ها در کوتاه­ترین زمان ممکن انجام می­دهند و این خود کمک بزرگی به تمامی کسب و کارهای کوچک و بزرگ در راستای رسیدن به موفقیت خواهد بود.

نویسنده: تیم پژوهش راهبرد