داده های عظیم و فناوری های مرتبط با آن به یکی از داغ ترین مباحت روز دنیا تبدیل شده است . از یک طرف ، شرکت های زیادی اقدام به ارایه پلت فرم ها و ابزارهای متنوعی در این حوزه کرده اند و هر یک به دنبال کسب سهم بیشتری در این بازار جذاب و در عین حال جدید می باشند و از طرف دیگر ، سازمان ها و شرکت های متعددی حرکت به سمت استفاده از پلت فرم های داده های عظیم را با سرعت و با هدف خلق ارزش های جدید برای کسب و کار خود آغاز نموده اند ، ارزش هایی که عصاره آنها می تواند فاصله این گروه از سازمان ها را با سایر رقبا بیش از گذشته نماید . سرعت این تغییرات بگونه ای است که بین بازار عرضه و تقاضای کارشناسان این حوزه شکاف عمیقی ایجاد شده است . شکافی که پیش بینی می گردد در طی سالیان آتی به مراتب شدیدتر گردد . شاید به همین دلیل باشد که بسیاری از کارشناسان فناوری اطلاعات در اقصی نقاط جهان به دنبال ارتقاء سطح کیفی و کمی خود در حوزه داده های عظیم می باشند. با این امید که بتوانند از فرصت های شغلی بیشتر و بهتری استفاده نمایند .
Dice از جمله مراکزی است که وضعیت مشاغل ، مهارت های لازم و میزان دستمزد آنها را بطور دایم و به کمک انجام نظرسنجی های سالانه
ثبت می نماید و آنها را طی گزارشات مستندی در اختیار علاقه مندان قرار می هد . در یکی از جدیدترین گزارشات این مرکز( نظرسنجی مربوط به سال 2014 ) که در 22 ژانویه 2015 و در ارتباط با مشاغل مرتبط با فناوری منتشر شده است ، به وضعیت پردرآمدترین مشاغل در حوزه داده های عظیم اشاره شده است . مطالعه این گزارش خالی از لطف نیست و می تواند تا حدودی در جهت گیری علاقه مندان به سمت ایجاد مهارت در حوزه داده های عظیم موثر واقع شود.
'پلت فرم به عنوان سرویس' یا PaaS ، امکان ایجاد ، اجراء و مدیریت برنامه ها را در ابر بدون نیاز به ایجاد و یا نگهداری زیرساخت های اساسی برای مشتریان فراهم می نماید . رایانش ابری یک مقوله جدید در دنیای فناوری اطلاعات نیست و نکته تامل برانگیز آن ، استفاده از این فناوری در خصوص برنامه های داده های عظیم و استقرار این نوع برنامه ها در ابرهای PaaS است . متوسط حقوق یک کارشناس PaaS با مهارت لازم ، حدود 130،081 دلار در طی سال است . با توجه به عدم ثبت داده در سنوات قبل ، امکان مقایسه این میزان دستمزد با مدت مشابه سال قبل وجود ندارد .
Cassandra یک بانک اطلاعاتی NoSQL است که از آن به منظور ذخیره سازی حجم بسیار بالایی داده و در بین سرورهای متعدد استفاده می گردد . یکی از مهمترین مزایای این بانک اطلاعاتی ، قابلیت دردسترس بودن بالای آن با توجه به عدم وابستگی آن به یک نقطه خرابی است . کلاسترهای NoSQL را می توان بین چندین مرکز داده توزیع کرد . حقوق متوسط یک کارشناس حرفه ای Cassandra حدود 128،646 دلار است که این وضعیت در مقایسه باسال قبل 5 / 14 درصد رشد را نشان می دهد .
MapReduce یک فریمورک نرم افزاری است که به کمک آن پیاده کنندگان قادر به انجام محاسبات پیچیده به صورت موازی ، بر روی حجم انبوهی از داده غیرساختیافته و در یک کلاستر توزیعی شامل پردازنده ها و کامپیوترهای مستقل می باشند . کتابخانه های MapReduce توسط زبان های برنامه نویسی متعدد( معمولا جاوا ) و با سطوح مختلف بهینه سازی نوشته شده اند. منطق MapReduce ، شکستن حجم بالای محاسبات پیچیده به چندین فعالیت و نسبت دهی این فعالیت ها به گره های worker/slave ، هماهنگی و ادغام نتایج است . یک برنامه MapReduce از رویه ای با نام Map و رویه ای با نام Reduce تشکیل شده است . وظیفه رویه Map ، انجام فیلترینگ و مرتب سازی ( نظیر مرتب سازی لیست دانشجویان بر اساس نام در صف ها ) و وظیفه رویه Reduce انجام خلاصه سازی عملیات ( نظیر شمارش تعداد دانشجویان در هر صف ) است . در واقع ، MapReduce یک مدل برنامه نویسی برای پردازش و تولید حجم بالایی از مجموعه های داده بر روی یک کلاستر است .رونق این فناوری مدیون بازار داده های عظیم است . متوسط حقوق یک کارشناس حرفه ای MapReduce حدود 315 ، 127 دلار است که نسبت به سال گذشته 3 /11 درصد رشد را نشان می دهد .
Cloudera ، یک مجموعه نرم افزاری است که نرم افزارهای مبتنی بر Hadoop را ارایه می نماید. این شرکت درسال 2008 تاسیس و دفتر مرکزی آن در کالیفرنیای امریکا است . ایده ایجاد این شرکت از راه اندازی یک وبلاگ توسط سه مهندس شرکت گوگل ، فیسبوک و یاهو در سال 2004 مطرح شده بود . این شرکت از اولین شرکت هایی است که توانسته بود راه حل های مبتنی بر Hadoop را ارایه نماید. ایده هاب داده سازمانی (EDH ) توسط این شرکت مطرح شده است . یکی از مهمترین محصولات این شرکت ارایه نسخه ای از Apache Hadoop با هدف پوشش پروژه های داده های عظیم در سطح سازمانی است. درآمد این شرکت در اوایل سال 2014 معادل 900 میلیون دلار گزارش شده است . متوسط حقوق یک کارشناس حرفه ای Cloudera حدود 816 ، 126 دلار است که نسبت به سال گذشته
میلادی 20 درصد رشد را نشان می دهد .
HBase یک بانک اطلاعاتی توزیع شده ، غیررابطه ای و کد باز است که با زبان جاوا نوشته شده است و به عنوان بخشی از یک پروژه Apache Hadoop محسوب می گردد . بانک اطلاعاتی فوق، امکان دستیابی به حجم بسیار بالایی از داده را با سرعت مناسب فراهم می کند . در واقع ، HBase بر اساس مفهوم BigTable شرکت گوگل ایجاد شده است و بر روی Hadoop و HDFS و در یک مدل توزیع شده اجراء می گردد . این بانک اطلاعاتی توزیعی column-oriented ، قادر به حمایت از میلیاردها سطر و میلیون ها ستون است . متوسط حقوق یک کارشناس حرفه ای HBase حدود 369 ، 126 دلار است که نسبت به سال گذشته میلادی 20 درصد رشد را نشان می دهد.
Apache Pig یک فریمورک نرم افزاری است که یک محیط زمان اجراء برای اجرای MapReduce Jobs در یک کلاستر Hadoop را از طریق یک زبان سطح بالای اسکریپت نویسی با نام Pig Latin فراهم می نماید. در واقع ، Pig یک زبان سطح بالای برنامه نویسی بر روی یک کلاستر Hadoop است . دستورات و یا query نوشته شده توسط Pig Latin به یک و یا چندین MapReduce Jobs ترجمه شده و در ادامه بر روی یک کلاستر Hadoop اجراء می شوند . Apache Pig می تواند تقریبا بر روی هر نوع داده کار کند . Hadoop ، پوسته ای با نام Grunt Shell برای اجرای دستورات Pig را ارایه می نماید . متوسط درآمد یک کارشناس حرفه ای Pig حدود 563 ، 124 دلار است که نسبت به سال گذشته میلادی 7 /13 درصد رشد را نشان می دهد.
ABAP ( برگرفته شده از Advanced Business Application Programming ) توسط SAP ایجاد شده است و با تعداد زیادی از برنامه های SAP کار می کند . اخیرا ، SAP با کنار هم قراردادن ABAP و SAP HANA ویژگی های متعددی را در اختیار متقاضیان قرار داده است . تقاضا برای مهارت های ABAP همچنان زیاد است . حقوق متوسط یک کارشناس حرفه ای ABAP در حدود 262 ، 124 دلار است و نسبت به سال گذشته میلادی 2 / 24 درصد رشد را نشان می دهد.
Chef یک ابزار مدیریت پیکربندی است که با زبان های Ruby و Erlang نوشته شده است و امکان مدیریت سرویس دهندگان را آسان تر می نماید . Chef می تواند با سیستم های ابری عمومی نظیر Rackspace,Amazon EC2 , Google Cloud Platform ,OpenStack و Microsoft Azure یکپارچه گردد . متوسط حقوق یک کارشناس حرفه ای Chef در حدود 458 ، 123 دلار است . با توجه به عدم ثبت داده در سنوات قبل ، امکان مقایسه این میزان دستمزد با مدت مشابه سال قبل وجود ندارد .
Apache Flume ، امکان جمع آوری ، تجمیع و جابجایی حجم بسیار بالایی از داده های لاگ را فراهم می نماید . Flume دارای یک معماری ساده و انعطاف پذیر مبتنی بر جریان داده است که از آن جهت انتقال داده درون یک کلاستر Hadoop استفاده می گردد . متوسط حقوق یک کارشناس واقعی Flume در حدود 186 ، 123 دلار است .با توجه به عدم ثبت داده در سنوات قبل ، امکان مقایسه این میزان دستمزد با مدت مشابه سال قبل وجود ندارد .
Hadoop توسط بنیاد آپاچی (Apache foundation) به عنوان یک فریمورک نرم افزاری کد باز و به منظور پردازش حجم بالائی از مجموعه داده های غیرمتجانس در یک مدل توزیعی (از طریق MapReduce) و در بین کلاستری از سخت افزارهای متداول و بر روی یک فریمورک ذخیره سازی (HDFS) ایجاد شده است. Hadoop از یک مدل برنامه نویسی ساده استفاده می کند. ماحصل کار ، ارایه یک سیستم ذخیره سازی اشتراکی و سیستم تجزیه و تحلیل است . Hadoop ، امکان پردازش توزیعی حجم عظیمی داده بین کلاستری از کامپیوترها را با استفاده از مدل های ساده برنامه نویسی فراهم می کند. طراحی Hadoop بگونه ای است که امکان بکارگیری آن بر روی محیط های تک سرویس دهنده تا هزاران سرویس دهنده وجود دارد ، سرویس دهندگانی که هر یک دارای توان پردازش و فضای ذخیره سازی محلی مختص به خود هستند . تعداد
مشتریان ارایه دهندگان راه حل های مبتنی بر Hadoop نظیر Cloudera ، Hortonworks و MapR به سرعت افزایش یافته است . پیامد این وضعیت، نیاز شدید به کارشناسان Hadoop در سراسر جهان است . متوسط حقوق یک کارشناس حرفه ای Hadoop در حدود 313 ، 121 دلار است که نسبت به سال گذشته میلادی رشدی معادل 6 / 11 درصد را نشان می دهد .