اهمیت و کاربرد داده کاوی چیست؟

 داده­ کاوی می­ تواند به کسب و کارها کمک کند تا در ارزیابی مهمی از شرکت به اطلاعات دقیق­ تر و ارزشمندتری دست یابد. دانشِ بدست ­آمده از طریق داده­ کاوی می ­تواند اطلاعات قابل استفاده ­ای در کسب و کار باشد تا بازاریابی را ارتقا دهد، گرایش­ های خرید را پیش ­بینی کند، کلاه­برداری را شناسایی کند، ایمیل­ ها را فیلتر کند، ریسک را مدیریت کند، فروش ­ها را افزایش دهد و روابط مشتری را بهبود ببخشد. با آسمونی همراه باشید تا با مفهوم داده کاوی بیشتر آشنا شوید.

از آنجایی که تکنیک ­های داده­ کاوی مستلزم مجموعه داده های بزرگ برای تولید نتایجِ قابل اعتماد است، پس آنها در زمان گذشته اکثراً توسط کسب و کارهای بزرگ مورد استفاده قرار گرفته ­اند. اما مزیت مجموعه داده ­های موجود که اکثراً بزرگ هستند (مانند پست­ های رسانه ­های اجتماعی، پیش­ بینی ­های آب و هوا، ترافیک) می­تواند داده ­کاوی را برای بیشتر کسب و کارهای کوچک بسیاری مثمرثمر سازد.

 این کسب و کارهای کوچک باید بتوانند چنین داده­ های بیرونی را با اطلاعات خود ترکیب کرده و آنها را با یکدیگر برای نگرش­ های ارزشمند، مورد کاوش قرار دهند. در همین زمان، ابزارهای داده­ کاوی هزینه کمتر و کاربرد راحت­ تری دارند، و همین امر باعث شده داده کاوی برای کسب و کارهای کوچک دسترسی بیشتری داشته باشد.

داده کاوی چیست؟

داده­ کاوی یک مجموعه ­ای از فناوری­ ها، فرایندها و رویکردهای آنالیزی است که برای کشف نگرش­ هایی در داده­ های کسب و کار با یکدیگر جمع شده ­اند تا بتوانند باعث تصمیم ­گیری بهتری شوند.

هر کسب و کاری به همراه داده­ کاوی می­ تواند به الگوها در عملکردهای اخیر مشتری پی ببرد، این امر برای تحلیلگر انسانی امکان­پذیر نیست. همچنین می­تواند گرایش ­های مشتری را در آینده حدس بزند. بعنوان مثال، در رابطه با پایگاه داده جدیدی از چشم ­اندازها، مدلی براساس مشتریان فعلی می ­تواند پیش ­بینی کند که کدام چشم ­انداز احتمال بیشتری دارد تا به مشتریان آینده تبدیل شود.

تاریخچه و تکامل داده کاوی چگونه بوده است؟

در گذشته، افراد برای یافتن الگوها داده ها را بطور دستی انجام می دادند. ایجاد فناوری اطلاعات دیجیتال و پایگاه داده در دهه 1950 آغاز شد. عبارت "داده کاوی" حدود سال 1990 برای جستجو به سمت فناوری ها و تکنیک های مذکور ایجاد شد. داده کاوی در حال توسعه و رشد است، و عمدتاً بخاطر ارزشِ تائیدشده­ی آن برای شرکت ها می باشد.

امروزه،انبارهای بزرگ داده با اطلاعاتِ جمع آوری شده از منابع مختلف با فرمت های متفاوت، با ظرفیت های ذخیره سازی بزرگ تر و کامپیوترهای سریع تر ترکیب شده و حتی به شرکت های کوچک هم امکان استفاده از مزایای داده کاوی را می دهد.

داده کاوی چگونه کار می­کند؟

داده ­کاوی از طریق مفهوم مدل­سازی پیش ­بینی­ گر (predictive modeling) کار می­کند. سازمانی را در نظر بگیرید که قصد دارد به نتیجه مخصوصی دست یابد. با آنالیزکردن پایگاه داده که نتیجه در آن مشخص است، تکنیک ­های داده کاوی بعنوان مثال می­ توانند یک مدل نرم­ افزاری بسازند که داده های جدید را برای پیش­بینی احتمال نتایج مشابه ایجاد کنند.

به مراحل زیر توجه کنید:

1. آغاز کار با داده ­های قدیمی

فرض کنید یک شرکت قصد دارد از بهترین چشم ­اندازهای مشتری در پایگاه داده بازاریابی جدید آگاهی پیدا کند. این کار توسط برسی مشتریان خود شروع می­شود.

2. آنالیز داده­ های قدیمی

نرم­ افزار با استفاده از ترکیبی از الگوریتم ­های آماری، هوش مصنوعی و یادگیری ماشین، داده­ های جمع­ آوری­ شده را مورد بازبینی قرار می­دهد و به دنبال الگوها و روابط در این داده ­ها می­گردد.

3. تعیین قوانین

هنگامی که الگوها و روابط تحت پوشش قرار نگیرند، نرم ­افزار نیز آنها را بعنوان قانون تعیین می­کند. یک قانون ممکن است همان مشتریانی با سنین 51 الی 65 سال باشد که در هفته دوبار خرید می­ کنند و سبد خرید خود را با خوراکی ­های تازه پر می­ کنند، درحالیکه مشتریانی با سنین 21 الی 50 سال تمایل دارند هفته­ ای یکبار خرید کرده و غذای بسته­ بندی ­شده تهیه کنند.

4. اعمال قانون

در اینجا، مدل داده­ کاوی برای پایگاه داده بازاریابی جدید اعمال می­ شود. اگر آن شرکت نیز تامین­ کننده غذای بسته­ بندی­ شده است، پس به دنبال افرادی با سنین 21 تا 50 سال می­گردد.

داده کاوی چه کارهایی انجام می دهد؟

داده­ کاوی نیز روابط و الگوهای پنهان در داده ­هایی را پیدا می­کند، که احتمالاً آنالیزورهای انسانی و سایر تکنیک­های آنالیزی به آنها دست نمی ­یابند. نگرش­ هایی که در این رابطه آشکار می­ شوند می­ توانند به تصمیم ­گیری بهتر یک کسب و کار، افزایش درآمد یا موثربودن آن کمک کنند.

اما لازم است تا درک کنیم که داده کاوی "الگوها" را پیدا می­کند، نه روابط معمولی را! نیاز یک سازمان به تحلیلگرانی که از کسب و کار سر در می­ آورند، داده ­ها را درک می­ کنند و از تکنیک­ ها و فرایندهای داده ­کاوی دانش کافی دارند، را از بین نمی­ برد.

اهمیت داده کاوی چیست؟

محصولات بسیاری دیجیتالی شده ­اند، مانند معاملات پرداختی و تبادلات مشتری. با وجود چنین اتفاقی، شرکت های زیادی پی برده ­اند که داده هایشان اغلب در انبار داده منتظر آنالیز ذخیره شده ­اند؛ همچنین این امر درباره محصولات و خدماتشان هم صدق می کند.

در چنین موقعیتی، داده کاوی با ارائه خدمت به یافتن نگرش های تجاری در تمام داده های برگرفته از معاملات تجاری دیجیتالی کمک می کند. مزایای این کار بی حد و مرز است. درک عملکردهای مشتری می تواند منجر به محصول، سرویس یا ایده های بازاریابی جدید شود. شناسایی این مورد می تواند از سرقت داده های مشتری جلوگیری به عمل آورد.

چه کسانی از داده کاوی استفاده می کنند؟

هر شرکتی که بتواند از داده کاوی استفاده کند، بجز آنهایی که مجموعه داده های بزرگشان به نتایج قابل اعتمادتری تبدیل خواهند شد.

الگوها و روابطی که از هزاران مشتری یافت شده اند، نسبت به کسانی که فقط با صدها یا کمتر از آن یافت شده اند، احتمال زیادی دارد تا عملکرد بعدی مشتری را پیش بینی کند.

و اما بازار نیز مانند مجموعه داده های بزرگ درحال گسترش است و تکنیک های داده کاوی با هزینه کمتر و دسترسی بیشتر، حتی برای کسانی که هیچ پیش زمینه ­ای از آنالیز داده ندارند، در اختیار قرار دارند.

بنابراین داده کاوی در صنایعی که مقدار زیادی داده ایجاد می کنند، مانند صنعت کارت اعتباری، سلامت یا کشف نفت و گاز، بطور سنتی مورد استفاده قرار گرفته است. همچنین در آموزش، مدیریت روابط مشتری و بازاریابی هم زمینه ای کسب کرده است.

 مفاهیم کلیدی داده کاوی شامل چه مواردی است؟

داده کاوی هم مانند سایر زمینه های دیگر از واژگان مخصوص خود برای اشاره به شناسایی مفاهیم مهم استفاده می کند. آگاهی از چنین مفاهیمی اهمیت دارد، تا مدیریت داده پیش برود و کاری که باید برای یک کسب و کار انجام شود را درک کند.

• پاکسازی داده (Data cleansing): همچنین بعنوان تمیزکاری داده (data scrubbing) شناخته می شود. به فرایند اصلاح خطاها و حذفیات در داده پیش از آنالیز آنها گفته می شود.
• مدل (Model): دانش کشف روابط بین داده ها، که اغلب بعنوان قانون بیان می شود.
• هدف (Target): قصد داده کاوی؛ بعنوان مثال، شناسایی مشتریان ارزشمند
• پیش بینی گرها (Predictors): داده های مرتبطی که منجر به هدف می شوند.
• مورد (Case): نمونه خاصی از داده، مانند اطلاعات یک مشتری خاص، که به مدل مرتبط است تا رابطه اش را با هدف شناسایی کند. بعنوان مثال، آیا این مشتری احتمال دارد برای تکرار فروش دوباره بازگردد؟
• آنالیز سبد بازار (Market basket analysis): پی بردن به رفتارهای خرید مشتریان بر اساس الگوهای خرید قبلی، اغلب کاربرد داده های جمع آوری شده از برنامه های وفاداری شرکت.
• یادگیری ماشین (Machine learning): الگوریتم هایی که از موارد معروف و شناخته شده برای کشف سایر موارد مشابه یا یکسان در مجموعه داده های بزرگ استفاده می کنند.

تکنیک های داده کاوی

تکنیک های متفاوتی بر اساس اهداف شرکت برای داده کاوی، به منظور ایجاد مدل هایی مورد استفاده قرار می گیرند که با خروجی های موردنظر تناسب دارند. این مدل ها می توانند برای شرح داده های اخیر، گرایشات بعدی پیش بینی یا کمک به  یافتن ناهنجاری های داده استفاده شوند.

1. مدل توصیفی: علم آنالیز توصیفی نیز الگوها و روابط را در داده های اخیر پیدا می کند.
2. مدل پیش­بینی­گر: برای پیش بینی خروجی ها استفاده می شود، مثلاً آیا متقاضی وام ریسک خوبی است؛ یا مثلاً برای پیش بینی های مالی مانند فروش های بعدی.
3. آنالیز داده پرت: برای یافتن ناهنجاری ها استفاده می شود. یعنی داده ای که با الگوها تناسب زیادی ندارد. آنالیز داده پرت برای شناسایی کلاهبرداری، شناسایی ورود شبکه و بررسی های جرایمی بسیار مثمرثمر است.

مزیت داده کاوی چیست؟

داده کاوی می تواند با یافتن الگوها و روابط در داده هایی که شرکت قبلا جمع آوری کرده و با ترکیب همان داده ها با منابع بیرونی، مزایای زیادی را برای شرکت به ارمغان بیاورد.

در اینجا فقط چند مورد از مزیت های احتمالی که داده کاوی می تواند برای یک کسب و کار ایجاد کند را ذکر می کنیم. نتایج داده کاوی اغلب در سیستم اطلاعاتی نرم افزار تجاری تثبیت می شود، که سنجش ها و شاخص های عملکرد کلیدی را گردآوری می کند و آنها را با علم بصریِ قابل درک ساده به نمایش می گذارد.

جنبه های حریم شخصی داده کاوی

هیچ سازمانی نباید از نوآوری داده کاوی شامل اطلاعات مشتری و کارمند بدون ملاحظات دقیق، موضوعات حریم شخصی و پرسش های اخلاقی که ممکن است ایجاد شود، کار خود را آغاز کند. الگوریتم های داده کاوی می توانند الگوها و روابطی را پیدا کنند که منجر به شناسایی افراد شوند، حتی در زمانی که توجه لازم طی فرایند جمع آوری داده پرداخته شده تا از حریم شخصی شان حفاظت شود.

بنابراین برنامه ریزی برای استفاده از داده کاوی که افراد مشمول آن هستند، باید شامل کارشناسان اخلاق و حریم شخصی باشد تا به پیشبرد کار آنها از ابتدای پروژه کمک کند.

فرایند داده کاوی به چه صورت است؟

تاکتیک های منتخب ممکن است بر اساس هدف تغییر پیدا کنند اما فرایند تجربی برای داده کاوی بصورت یکسان است:

1. تعیین هدف: آیا می خواهید درباره مشتریان خود آگاهی پیدا کنید؟ آیا می خواهید هزینه های تولیدی را حذف کنید؟ آیا می خواهید درآمد را افزایش دهید؟ آیا می خواهید کلاهبرداری را شناسایی کنید؟
2. جمع آوری داده: داده کاوی می تواند پاسخ تمام پرسش ها را بدهد، اما هر کدام مستلزم مجموعه متفاوتی از داده است. اغلب داده ها از پایگاه داده های چندگانه ای می آیند، مانند مشتریان و سفارشات.
3. پاکسازی داده: هنگامی که داده انتخاب شد، معمولاً باید پاکسازی، فرمت مجدد و اعتبارسنجی شود.
4. مطلع شدن از داده: آشنا شدن با داده توسط اجرای آنالیزهای آماری اصلی و ایجاد گراف های بصری و چارت ها. این همان جایی است که آنالیزورها باور دارند متغیرهایی که برای هدف از اهمیت بیشتری برخوردارند شناسایی می شوند و از فرضیه هایی که منجر به مدل می شوند آغاز می گردند.
5. ایجاد یک مدل: مدلسازی، مرحله ای است که فرایند کاوش بیشتر از همه تکرار می شود. تحلیلگر یک یا چند رویکرد فناوری را انتخاب می کند و یکی یا چند مورد را برای داده کاوی استفاده می کند. رویکردهای احتمالی برای پرسش های مختلف بهترین تناسب را دارند. خروجی این مرحله برای یافتن رویکرد فناوری داده کاوی می باشد که نتایج مفیدتری را ایجاد می کند. این امر ممکن است مستلزم تکرار سه مرحله قبل باشد زیرا چند مدل باید داده­ را به روش های خاصی فرمت کنند.
6. کدام تکنیک مفید است: نتایج را برای اعتبارسازی اینکه یافته ها صحیح هستند یا خیر مورد بررسی قرار دهید. اگر اینطور نبود، به مرحله شماره 5 بازگردید- بدین معنا که مدل را مجدد بسازید.
7. بکارگیری مدل: از بازرسی ها برای تکمیل هدف اصلی تجاری خود استفاده کنید.

مفاهیم فناوری داده کاوی

بیشتر داده کاوی از الگوریتم های شناخته­ شده ­ای استفاده می کند که داده ها را شاخه بندی، بخش بندی، مرتبط سازی و دسته بندی کنند. هر تکنیک، مدلی را می سازد که برای شرح داده های جاری یا پیش بینی خروجی ها برای موارد داده های جدید استفاده می شود.

• دسته بندی: تخصیص دادن داده ها برای طبقه بندی یا دسته های چندگانه. بعنوان مثال، متقاضی وام می تواند برای یک دسته­ با ریسک کم، متوسط یا زیاد اقدام کند. معمولاً این دسته بندی ها برای این مدل بر اساس آنالیزهای پیشین داده از قبل تعیین می شوند.
• شناسایی ناهنجاری: شکلی از دسته بندی که از ماشین یادگیری برای شناسایی داده هایی استفاده می کند که با دسته تناسب ندارد. بعنوان مثال، شناسایی ناهنجاری برای یافتن شارژهای کارت اعتباری جعلی استفاده می شود.
• شاخه­ بندی: گروه های داده های مشابه را شناسایی می کند. بعنوان مثال، شاخه بندی می تواند برای یافتن مشتریانی با عادات خرید یکسان به کار رود.
• تجمیع: احتمال رویدادهای چندگانه ای که با یکدیگر رخ می دهند را ایجاد می کند. کاربرد آن "آنالیز سبد بازار" است، یعنی هنگامی که دو یا چند آیتم بارها بایکدیگر خریداری می شوند را مشخص می کند.
• رگرسیون: هنگامی که کاربرد یک مجموعه داده ای که شناخته ­شده است، تکنیک های رگرسیون تلاش دارند تا یک مقدار را بر اساس نگرش های چندگانه پیش بینی کنند. بعنوان مثال، رگرسیون می تواند فروش ها را بر اساس تبلیغات پولی، حضوری و گفتاری، بازدیدهای وبسایت و سایر نگرش های مالی پیش بینی کند.
• شبکه های عصبی: شکلی از هوش مصنوعی که از مغز انسان برای یافتن روابط داده ها تقلید می کند. شبکه های عصبی دارای کاربردهای چندگانه ای هستند، مثلاً در پیش بینی رفتار مشتری.

موارد کاربرد داده کاوی و چند مثال

همانطور که سازمان های منحصر، حجم گسترده ای از داده ها را جمع آوری می کنند، مجموعه داده های عمومی تر بصورت قابل دسترس قرار می گیرند و کاربرد فناوری های داده کاوی آسان تر و کم هزینه تر شده است.

نمونه هایی از داده کاوی که فرایندها را ارتقا داده و مزایایی فراهم می کنند که می توانند در بخش های تجاری مختلف یافت شوند. با استنباط از چنین کاربردهایی به راحتی می توان تصور کرد که چگونه سازمان شما می تواند داده کاوی را به کار گیرد. در اینجا فقط چند نمونه از روش های بیشمار داده کاوی ذکر می شود:

• بانکداری
• خرده فروشی
• بیمه
• مغازه های خواروبار فروشی
• بخش های تولیدی
• مدیریت رابطه مشتری
• امنیت

آینده داده کاوی به چه صورت است؟

فناوری های بنیادین لازم برای داده کاوی (محاسبه سازی، پایگاه های داده، انبارهای داده، شبکه های عصبی، یادگیری ماشین و هوش مصنوعی) به قدرتمندتر شدن، کم­ هزینه ­تر شدن و تسهیل در استفاده، ادامه می دهند. بنابراین برای همه قابل دسترس هستند.

آینده احتمالی الگوریتم های داده کاوی شامل کاربرد بالقوه آن در هرچیزی از این کره خاکی است.

نرم افزار و ابزارهای داده کاوی

درگذشته، دانشمندان داده مجبور بودند از زبان های برنامه نویسی مانند R و Python در کاربردهای داده کاوی استفاده کنند. اما اکنون ابزارهایی وجود دارد که داده کاوی را تسهیل بخشیده و نرم افزار می تواند وظایف ضروری بیشتری انجام دهد و به شناسایی قوانین و سایر نگرش های داده های شما کمک کند.

یک تجارت می تواند با ترکیب داده های یک سازمان در انبار داده مجزا، به دیدگاه جامع تر و کلی تری از عملیات های خود دست یابد. هر کسب و کاری با گنجاندن داده های موردنیاز و کاویدن آنها با یکدیگر همراه با داده های داخلی، می تواند موقعیت های جدیدی را کشف کند.