ایمنی

تجزیه و تحلیل مقادیر زیادی از داده ها. داده های بزرگ: تجزیه و تحلیل و راه حل ها

فقط تنبل داده های بزرگ صحبت نمی کند، اما آنچه که آن است و چگونه کار می کند - بعید است. بیایید با ساده ترین اصطلاحات شروع کنیم. در روسیه، داده های بزرگ ابزارهای مختلف، رویکردها و روش های پردازش داده های ساختاری و بدون ساختار به منظور استفاده از آنها برای وظایف و اهداف خاص است.

داده های بدون ساختار اطلاعاتی است که یک ساختار پیش تعیین شده ندارد یا در یک نظم خاص سازماندهی نشده است.

اصطلاح "داده های بزرگ"، سردبیر ماهیت مجله Clifford Lynch را در سال 2008 در یک موضوع ویژه اختصاص داده شده به رشد انفجاری حجم اطلاعات جهانی معرفی کرد. اگر چه، البته، داده های بزرگ خود را قبل از آن وجود داشت. به گفته کارشناسان، دسته داده های بزرگ شامل بسیاری از جریان داده ها بیش از 100 گیگابایت در روز است.

همچنین ببینید:

امروزه، تحت این اصطلاح ساده، تنها دو کلمه پنهان هستند - ذخیره سازی و پردازش داده ها.

داده های بزرگ - کلمات ساده

در دنیای مدرن، داده های بزرگ یک پدیده اجتماعی و اقتصادی است که با این واقعیت همراه است که قابلیت های تکنولوژیکی جدید به نظر می رسد مقدار زیادی داده را تجزیه و تحلیل کند.

همچنین ببینید:

برای سهولت درک، یک سوپرمارکت را تصور کنید که در آن تمام کالاها در نظم معمول قرار نمی گیرند. نان در کنار میوه، رب گوجه فرنگی در نزدیکی پیتزا یخ زده، مایع برای احتراق در مقابل قفسه با تامپون، که در آن، در میان دیگر، آووکادو، توفو و یا قارچ شیعیان است. داده های بزرگ همه چیز را در جای خود قرار داده و به شما کمک می کند تا شیر آجیل را پیدا کنید، هزینه های هزینه و انقضا را بیابید، و همچنین - که علاوه بر شما، چنین شیر را خریداری می کند و چگونه بهتر از شیر گاو است.

کنت سیتر: داده های بزرگ - بهترین داده ها

فناوری اطلاعات بزرگ.

حجم داده های بزرگ پردازش می شود به طوری که فرد می تواند نتایج خاص و ضروری را برای آنها برای استفاده بیشتر موثر خود دریافت کند.

همچنین ببینید:

در واقع، داده های بزرگ یک راه حل برای مشکلات و جایگزینی برای سیستم های مدیریت داده های سنتی است.

روش های تکنیک ها و روش های تجزیه و تحلیل برای داده های بزرگ توسط McKinsey:

داده کاوی؛
crowdsourcing؛
مخلوط کردن و ادغام داده ها؛
فراگیری ماشین؛
شبکه های عصبی مصنوعی؛
تشخیص الگو؛
پیش بینی تجزیه و تحلیل؛
شبیه سازی؛
تجزیه و تحلیل فضایی؛
تحلیل آماری؛
تجسم داده های تحلیلی.

مقیاس پذیری افقی، که پردازش داده ها را فراهم می کند - اصل اساسی پردازش داده های بزرگ. داده ها به گره های محاسباتی توزیع می شوند و پردازش بدون تخریب بهره وری رخ می دهد. McKinsey شامل سیستم های کنترل ارتباطی و هوش کسب و کار در زمینه کاربرد کاربردی بود.

فن آوری ها:

nosql؛
MapReduce؛
hadoop؛
راه حل های سخت افزاری

همچنین ببینید:

برای داده های بزرگ، ویژگی های تعریف سنتی تولید شده توسط متا گروه هنوز در سال 2001، که نامیده می شود " سه V.»:

جلد. - مقدار حجم فیزیکی.
سرعت - نرخ رشد و نیاز به پردازش داده های سریع برای به دست آوردن نتایج.
تنوع. - توانایی به طور همزمان انواع مختلف داده ها را پردازش می کند.

داده های بزرگ: برنامه و ویژگی های

حجم اطلاعات دیجیتال غیرمستقیم و به سرعت نمی تواند با ابزارهای سنتی درمان شود. تجزیه و تحلیل داده ها به شما اجازه می دهد تا الگوهای خاص و غیر قابل توجه را ببینید که یک فرد نمیتواند ببیند. این به شما این امکان را می دهد که تمام حوزه های زندگی ما را بهینه سازی کنید - از دولت به تولید و ارتباطات مخابراتی.

به عنوان مثال، برخی از شرکت ها چند سال پیش از مشتریان خود از تقلب دفاع کرده اند و مراقبت از پول مشتری، نگرانی برای پول خودشان است.

سوزان اتلیگر: چگونه با داده های بزرگ مقابله کنیم؟

راه حل های مبتنی بر داده های بزرگ: Sberbank، Beeline و سایر شرکت ها

بیلین مقدار زیادی از داده های مشترک را دارد که آنها نه تنها برای کار با آنها کار می کنند، بلکه همچنین برای ایجاد محصولات تحلیلی مانند مشاوره خارجی یا تجزیه و تحلیل IPTV نیز استفاده می کنند. Beeline مشتریان پایه و محافظت شده را از تقلب نقدی و ویروس ها محافظت می کند، با استفاده از HDFS و Apache Spark، و برای پردازش داده ها - Rapidminer و پایتون.

همچنین ببینید:

یا به یاد SBERBANK با پرونده قدیمی خود به نام SAFI. این یک سیستم است که عکس ها را تجزیه و تحلیل می کند تا مشتریان بانک را شناسایی کند و از تقلب جلوگیری کند. این سیستم در سال 2014 معرفی شد، سیستم بر اساس مقایسه عکس های پایه است که به دلیل دیدگاه کامپیوتری از وب کم ها در قفسه ها آمده است. اساس سیستم یک پلت فرم بیومتریک است. با توجه به این، موارد تقلب 10 بار کاهش یافت.

داده های بزرگ در جهان

تا سال 2020، طبق پیش بینی ها، بشریت 40-44 zettabites از اطلاعات را تشکیل می دهد. و تا سال 2025 10 بار رشد خواهد کرد، گزارش داده های سن 2025، که توسط تحلیلگران IDC تهیه شد. این گزارش یادآور می شود که شرکت های خود بیشترین اطلاعات را تولید خواهند کرد و نه مصرف کنندگان عادی.

تحلیلگران تحقیق بر این باورند که داده ها تبدیل به یک دارایی حیاتی خواهند شد و امنیت یک پایه بحرانی در زندگی است. همچنین نویسندگان این کار مطمئن هستند که تکنولوژی چشم انداز اقتصادی را تغییر خواهد داد و کاربر معمولی با دستگاه های متصل شده حدود 4800 بار در روز ارتباط برقرار خواهد کرد.

بازار داده های بزرگ در روسیه

در سال 2017، درآمد جهانی در بازار بزرگ داده ها باید به 150.8 میلیارد دلار برسد که 12.4 درصد بیشتر از سال گذشته است. در مقیاس جهانی بازار روسیه خدمات داده های بزرگ و فن آوری هنوز بسیار کوچک هستند. در سال 2014، شرکت آمریکایی IDC آن را به 340 میلیون دلار رساند. در روسیه، تکنولوژی در بخش بانکی، انرژی، تدارکات، بخش دولتی، مخابرات و صنعت استفاده می شود.

همچنین ببینید:

در مورد بازار داده ها، تنها در روسیه آغاز می شود. در داخل اکوسیستم RTB، ارائه دهندگان داده ها صاحبان مدیریت داده ها (DMP) و تبادل اطلاعات (تبادل اطلاعات) هستند. اپراتورهای مخابراتی در حالت خلبان با بانک های اطلاعاتی مصرف کننده در وام گیرندگان بالقوه تقسیم می شوند.

به طور معمول، داده های بزرگ از سه منبع می آید:

اینترنت (شبکه های اجتماعی، انجمن ها، وبلاگ ها، رسانه ها و سایر سایت ها)؛
آرشیو شرکتی اسناد؛
علائم سنسورها، دستگاه ها و سایر دستگاه ها.

داده های بزرگ در بانک ها

علاوه بر سیستم شرح داده شده در بالا، در استراتژی Sberbank برای 2014-2018. در مورد اهمیت تجزیه و تحلیل داده های SuperMaissions برای خدمات مشتری کیفیت، مدیریت ریسک و بهینه سازی هزینه گفته شده است. در حال حاضر بانک از داده های بزرگ برای کنترل خطرات، مبارزه با تقلب، تقسیم بندی و هزینه های اعتباری اعتباری، مدیریت پرسنل، پیش بینی صف در دفاتر، محاسبه پاداش برای کارکنان و سایر وظایف استفاده می کند.

VTB24 دارای داده های بزرگی برای تقسیم بندی و مدیریت خروج مشتری، تشکیل صورتهای مالی، تجزیه و تحلیل بازخورد در شبکه های اجتماعی و انجمن ها است. برای انجام این کار، او Teradata، SAS Guary Analytics و SAS بازاریابی راه حل های بهینه ساز را اعمال می کند.

آیا این شوخی معروف را می شناسید؟ داده های بزرگ مانند جنسیت تا 18 سالگی است:

هر کس در مورد آن فکر می کند؛
هر کس در مورد آن گفته است؛
هر کس فکر می کند که دوستانشان این کار را انجام می دهند؛
تقریبا هیچ کس آن را انجام نمی دهد؛
کسی که آن را بد می کند؛
هر کس فکر می کند که دفعه بعد بهتر می شود؛
هیچ کس اقدامات امنیتی را نمی گیرد؛
هر کس شرم آور به اعتراف به او چیزی نمی داند؛
اگر کسی چیزی را انجام می دهد، همیشه از این سر و صدای زیادی وجود دارد.

اما بیایید فکر کنیم که همیشه کنجکاوی عادی با هر سر و صدا در نزدیکی وجود خواهد داشت: چه نوع پنیر بور وجود دارد چیزی واقعا مهم است؟ اگر کوتاه - بله، وجود دارد. جزئیات زیر. ما برای شما شگفت انگیز ترین و جالب ترین برنامه های کاربردی از فن آوری های داده های بزرگ را انتخاب کردیم. این تحقیق بازار کوچک در مورد نمونه های قابل فهم با یک واقعیت ساده مواجه می شود: آینده ای رخ نمی دهد، بدون نیاز به "منتظر یک سال دیگر نیست و سحر و جادو تبدیل به یک واقعیت خواهد شد". نه، آن را در حال حاضر آمده است، اما هنوز هم به چشم غیر قابل تشخیص است و بنابراین Cape تکینگی نیز نقطه شناخته شده از بازار کار را بسیار سوزان نمی کند. برو

1 چگونه فن آوری های داده های بزرگ اعمال می شود که در آن آنها را آغاز می کنند

شرکت های بزرگ فناوری اطلاعات جایی هستند که علم داده ها به وجود آمده است، بنابراین آشپزخانه داخلی آنها در این منطقه جالب تر است. کمپین Google، نقشه کاهش پارادایم ،، تنها هدف آن آموزش برنامه نویسان خود را برای فن آوری های یادگیری ماشین. و به این ترتیب مزیت رقابتی خود را نادیده می گیرد: پس از دریافت دانش جدید، کارکنان روش های جدیدی را در این پروژه های گوگل معرفی می کنند، جایی که آنها دائما کار می کنند. تصور کنید که چگونه لیستی از مناطقی که کمپین می تواند انقلاب را ایجاد کند، تصور کنید. یک مثال: شبکه های عصبی استفاده می شود.

شرکت و معرفی ماشین یادگیری به تمام محصولات خود را. مزیت آن - حضور یک اکوسیستم بزرگ، که شامل تمام دستگاه های دیجیتال مورد استفاده در زندگی روزمره است. این اجازه می دهد تا اپل برای رسیدن به سطح غیرممکن باشد: کمپین دارای اطلاعات زیادی در مورد کاربران به عنوان دیگر است. در عین حال، سیاست حفظ حریم خصوصی بسیار سخت است: شرکت همواره از این واقعیت است که از اطلاعات مشتری برای اهداف تبلیغاتی استفاده نمی کند. بر این اساس، اطلاعات کاربر رمزگذاری شده است به طوری که وکلای اپل و یا حتی FBI با سفارش نمی تواند آن را بخواند. شما یک بررسی بزرگ از پیشرفت های اپل در زمینه AI پیدا خواهید کرد.

2 داده های بزرگ در 4 چرخ

ماشین مدرن - درایو اطلاعات: تمام داده ها را در راننده، محیط زیست، دستگاه های متصل و در مورد خودتان تجمع می دهد. در حال حاضر به زودی یک وسیله نقلیه که به شبکه متصل است مانند آن که تا 25 گیگابایت داده در هر ساعت تولید می شود.

Telematics حمل و نقل توسط خودروسازان در طول سال استفاده می شود، اما در حال حاضر یک روش پیچیده تر جمع آوری داده ها لابی است که به طور کامل از داده های بزرگ استفاده می کند. و این بدان معنی است که در حال حاضر فن آوری ها می توانند به راننده در مورد شرایط جاده بد را با فعال کردن سیستم ترمز ضد قفل و غرق شدن اطلاع دهند.

نگرانی های دیگر، از جمله BMW، از تکنولوژی داده های بزرگ در رابطه با اطلاعات جمع آوری شده از نمونه های آزمایش شده ساخته شده به "حافظه حافظه" و شکایت های مشتری برای تعیین نقاط ضعف مدل در مرحله اولیه تولید، استفاده کنید. در حال حاضر به جای ارزیابی داده های دستی، که ماه ها طول می کشد، یک الگوریتم مدرن اعمال می شود. خطاها و هزینه های حذف آنها کاهش می یابد، که به شما امکان می دهد تا فرایندهای کاری را برای تجزیه و تحلیل اطلاعات در BMW افزایش دهید.

براساس برآوردهای متخصص، تا سال 2019، گردش مالی بازار متصل به یک شبکه واحد از خودروها به 130 میلیارد دلار برسد. این تعجب آور نیست اگر شما با توجه به سرعت ادغام توسط خودروسازان فن آوری هایی که بخشی جدایی ناپذیر از آن هستند، وسیله نقلیه.

با استفاده از داده های بزرگ کمک می کند تا خودرو امن تر و کاربردی تر شود. بنابراین، تویوتا با تعبیه ماژول های ارتباطات اطلاعاتی (DCM). این ابزار مورد استفاده برای فرآیندهای داده های بزرگ و تجزیه و تحلیل داده های جمع آوری شده توسط DCM به منظور افزایش مزایای بیشتر.

3 استفاده از داده های بزرگ در پزشکی

پیاده سازی فناوری های داده های بزرگ در حوزه پزشکی اجازه می دهد تا پزشکان با دقت بررسی بیماری را بررسی کنند و یک دوره موثر درمان را برای یک مورد خاص انتخاب کنند. با تشکر از تجزیه و تحلیل اطلاعات، کارکنان بهداشتی برای پیش بینی عود ها ساده تر می شوند و اقدامات پیشگیرانه را انجام می دهند. در نتیجه - تشخیص دقیق تر و روش های درمان بهبود یافته است.

تکنیک جدید باعث شد تا از سوی دیگر به مشکلات بیماران مراجعه شود، که منجر به باز شدن منابع ناشناخته ای که قبلا ناشناخته بود، منجر شد. به عنوان مثال، برخی از نژادها به صورت ژنتیکی بیشتر به بیماری های قلب، به جای نمایندگان گروه های قومی دیگر، به بیماری های دیگر منجر می شوند. اکنون که بیمار در مورد یک بیماری خاص شکایت می کند، پزشکان اطلاعات مربوط به نمایندگان نژاد خود را در نظر می گیرند، که در مورد همان مشکل شکایت می کنند. جمع آوری و تجزیه و تحلیل داده ها به شما اجازه می دهد تا در مورد بیماران بسیار بیشتر یاد بگیرید: از ترجیحات غذا و شیوه زندگی به ساختار ژنتیکی DNA و متابولیت های سلولی، بافت ها، ارگان ها. بنابراین، مرکز پزشکی ژنومی کودکان در کانزاس سیتی از بیماران استفاده می کند و جهش های کد ژنتیکی را که باعث سرطان می شود، تجزیه می کند. رویکرد فردی به هر بیمار، با توجه به DNA خود، اثربخشی درمان را بر روی سطح کیفی متفاوت افزایش خواهد داد.

با درک اینکه چگونه داده های بزرگ استفاده می شود، تغییر اول و بسیار مهم در حوزه پزشکی به شرح زیر است. هنگامی که بیمار تحت درمان قرار می گیرد، یک بیمارستان یا یکی دیگر از تسهیلات مراقبت های بهداشتی می تواند اطلاعات زیادی در مورد یک فرد دریافت کند. اطلاعات جمع آوری شده برای پیش بینی عود بیماری ها با درجه خاصی از دقت استفاده می شود. به عنوان مثال، اگر بیمار مبتلا به سکته مغزی شود، پزشکان اطلاعاتی در مورد زمان اختلالات مغزی را مطالعه می کنند، دوره متوسط \u200b\u200bبین سابقه های قبلی را تجزیه و تحلیل می کنند (در صورت چنین مواردی)، توجه خاصی به شرایط استرس زا و اعمال شدید جسمی در زندگی را بررسی می کنند از بیمار بر اساس این داده ها، بیمارستان ها یک برنامه مشخصی از اقدام را برای جلوگیری از احتمال سکته مغزی در آینده صادر می کنند.

دستگاه های پوشیدنی نقش خود را ایفا می کنند، که به شناسایی مشکلات بهداشتی کمک می کند، حتی اگر یک فرد نشانه ای از یک بیماری یا یک بیماری دیگر داشته باشد. به جای ارزیابی وضعیت بیمار توسط یک دوره معاینه طولانی، پزشک ممکن است نتیجه گیری بر اساس ردیاب تناسب اندام مونتاژ یا "هوشمند" را به دست آورد.

یکی از آخرین نمونه هاست. در حالی که بیمار به دلیل حمله جدیدی از تشنج ناشی از مصرف دارو از دست رفته، یک نظرسنجی را تصویب کرد، پزشکان متوجه شدند که یک مرد مشکل بسیار جدی سلامت دارد. این مشکل فیبریلاسیون دهلیزی بود. تشخیص به دلیل این واقعیت است که کارکنان بخش دسترسی به تلفن بیمار دریافت کردند، یعنی برنامه کاربردی با ردیاب تناسب اندام آن. داده های این برنامه به عنوان یک عامل کلیدی در تعیین تشخیص بود، زیرا در زمان معاینه، انحرافات قلب در زمان مرد وجود نداشت.

این فقط یکی از چند مورد است که نشان می دهد چرا از داده های بزرگ استفاده کنید در حوزه پزشکی امروز نقش مهمی ایفا می کند.

4 تجزیه و تحلیل داده ها در حال حاضر تبدیل به یک میله خرده فروشی شده است

درک درخواست های کاربر و هدف گیری یکی از بزرگترین و بسیار فهرست شده ترین مناطق برای استفاده از ابزارهای داده بزرگ است. داده های بزرگ کمک به تجزیه و تحلیل عادات مشتری به طوری که در آینده بهتر است برای درک درخواست های مصرف کننده. شرکت ها به دنبال گسترش مجموعه داده های سنتی با اطلاعات از شبکه های اجتماعی و سابقه جستجوی مرورگر به منظور تشکیل حداکثر تصویر کامل مشتری. گاهی اوقات سازمان های بزرگ به عنوان یک هدف جهانی، ایجاد مدل پیش بینی خود را انتخاب می کنند.

به عنوان مثال، فروشگاه های هدف با تجزیه و تحلیل داده های عمیق و سیستم پیش بینی خود، ممکن است با دقت بالا تعیین شود. هر مشتری توسط یک شناسه ثابت می شود، که به نوبه خود به کارت اعتباری، نام یا ایمیل متصل است. شناسه به عنوان یک نوع سبد خرید عمل می کند، جایی که اطلاعات در مورد همه چیزهایی که تا به حال به دست آورده است ذخیره می شود. متخصصان شبکه ثابت کرده اند که زنان در مقررات به طور فعال توسط ابزارهای غیر اخلاقی در مقابل سه ماهه دوم بارداری به دست می آیند و در طی 20 هفته اول بر روی افزودنی های کلسیم، روی و منیزیم ذکر شده است. بر اساس داده های دریافت شده هدف، کوپن ها را برای کالاهای کودکان به مشتریان می فرستد. تخفیف کالاها برای کودکان "کوپن" برای سایر محصولات "رقیق شده" به طوری که پیشنهادات برای خرید یک کابین یا پوشک به نظر نمی رسد بیش از حد وسواس.

حتی ادارات دولتی راهی برای استفاده از فن آوری های داده های بزرگ برای بهینه سازی کمپین های انتخاباتی پیدا کرده اند. برخی معتقدند که پیروزی B. اوباما در انتخابات ریاست جمهوری ایالات متحده در سال 2012 به دلیل کار عالی تحلیلگران تیمش است که با آرایه های داده های بزرگ در کلید راست برخورد می شود.

5 داده های بزرگ در مورد گارد قانون و نظم

در طول چند سال گذشته، ساختارهای اجرای قانون موفق به پیدا کردن چگونگی و زمان استفاده از داده های بزرگ شدند. یک واقعیت شناخته شده این است که آژانس امنیت ملی تکنولوژی داده های بزرگ را برای جلوگیری از اقدامات تروریستی اعمال می کند. گروه های دیگر از روش پیشرونده برای جلوگیری از جرایم کوچکتر استفاده می کنند.

اداره پلیس لس آنجلس اعمال می شود. این درگیر است که معمولا به عنوان حفاظت پیشگیرانه از اجرای قانون نامیده می شود. با استفاده از گزارش های جرم و جنایت برای یک دوره زمانی خاص، الگوریتم مناطقی را تعریف می کند که احتمال وقوع جرائم بزرگترین است. این سیستم چنین سایت هایی را در نقشه شهر در مربع های کوچک قرمز یاد می دهد و این داده ها بلافاصله به دستگاه های گشت زنی منتقل می شوند.

پلیس شیکاگو از تکنولوژی داده های بزرگ استفاده کنید یک روش کمی متفاوت است. نگهبانان اجرای قانون از شهر باد نیز هستند، اما هدف آن تخلیه "دایره خطر" است که شامل افرادی است که ممکن است قربانی یا عضو یک حمله مسلحانه باشند. به گفته روزنامه نیویورک تایمز، این الگوریتم یک فرد ارزیابی آسیب پذیری را بر اساس گذشته جنایتکارانه خود (دستگیری ها و مشارکت در تیراندازی، متعلق به گروه های جنایی) اختصاص می دهد. توسعهدهنده سیستم اطمینان می دهد که در حالی که سیستم مطالعات جنایتکار شخص را بررسی می کند، عوامل ثانویه مانند نژاد، جنسیت، قومیت و موقعیت انسان را در نظر نمی گیرد.

6 چگونه فن آوری های داده های بزرگ به توسعه شهرها کمک می کند

Joao Barros، مدیر کل Veniam، نشان دهنده نقشه ردیابی روترهای Wi-Fi در اتوبوس های شهر پورتو است

تجزیه و تحلیل داده ها نیز برای بهبود تعدادی از جنبه های فعالیت حیاتی شهرها و کشورها استفاده می شود. به عنوان مثال، دانستن دقیقا چگونگی و زمان استفاده از فن آوری های بزرگ داده ها، می توانید جریان های ترافیکی را بهینه سازی کنید. برای این منظور، حرکت اتومبیل های آنلاین به حساب می آید، رسانه های اجتماعی و داده های هواشناسی تجزیه و تحلیل می شوند. امروزه تعدادی از شهرها در مورد استفاده از تجزیه و تحلیل داده ها به منظور ترکیب زیرساخت های حمل و نقل با سایر انواع خدمات در یک کل، انجام دادند. این مفهوم یک شهر "هوشمند" است که در آن اتوبوس ها منتظر قطار دیر هستند و چراغ های راهنمایی می توانند پیش بینی راهپیمایی را برای به حداقل رساندن ترافیک را پیش بینی کنند.

بر اساس تکنولوژی داده های بزرگ در شهر لانگ بیچ، متر آب "هوشمند" عمل می کند که برای جلوگیری از آبیاری غیرقانونی استفاده می شود. پیش از این، آنها برای کاهش مصرف آب توسط خانوارهای خصوصی اعمال شدند (حداکثر نتیجه کاهش 80٪). صرفه جویی در آب شیرین - سوال همیشه این سوال است. به ویژه هنگامی که دولت خشکسالی شدید را تجربه کرده است، تا کنون ثابت شده است.

لیستی از کسانی که از داده های بزرگ استفاده می کنند، به نمایندگان وزارت حمل و نقل شهر لس آنجلس پیوستند. بر اساس داده های به دست آمده از سنسورهای دوربین های جاده ای، مقامات کنترل چراغ های راهنمایی را تولید می کنند که به نوبه خود به شما اجازه می دهد تا ترافیک را تنظیم کنید. تحت کنترل سیستم کامپیوتری حدود 4،500 هزار چراغ راهنمایی در سراسر شهر است. با توجه به اطلاعات رسمی، الگوریتم جدید به کاهش تراکم 16٪ کمک کرد.

7 پیشرفت موتور در بازاریابی و فروش

در بازاریابی، ابزار داده های بزرگ به شما اجازه می دهد تا فاش کنید، ارتقاء ایده هایی که در مرحله یک یا چند مرحله از چرخه فروش کارآمدتر است. با استفاده از تجزیه و تحلیل داده ها، تعیین می شود که چگونه سرمایه گذاری ها قادر به بهبود سیستم مدیریت ارتباط با مشتری هستند، کدام استراتژی باید برای افزایش فاکتور تبدیل و نحوه بهینه سازی چرخه زندگی مشتری انتخاب شود. در کسب و کار مربوط به فن آوری های ابر، الگوریتم های بزرگ داده ها برای پیدا کردن چگونگی به حداقل رساندن قیمت جذب مشتری و افزایش چرخه عمر آن استفاده می شود.

تمایز استراتژی های قیمت گذاری بسته به اینتربیستای مشتری، این احتمالا اصلی ترین چیزی است که داده های بزرگ در بازاریابی استفاده می شود. مک کینزی متوجه شد که حدود 75 درصد از درآمد حاصل از شرکت متوسط، محصولات پایه را تشکیل می دهند، 30 درصد از آنها قیمت های نادرست است. افزایش قیمت 1٪ منجر به افزایش سود عملیاتی به میزان 8.7٪ می شود.

گروه تحقیقاتی Forrester موفق به تعیین اینکه تجزیه و تحلیل داده ها اجازه می دهد تا بازاریابان به تمرکز بر نحوه روابط با مشتریان موفق تر تمرکز کنند. کاوش جهت توسعه مشتریان، متخصصان می توانند سطح وفاداری خود را برآورد کنند، و همچنین چرخه عمر را در زمینه یک شرکت خاص گسترش می دهند.

بهینه سازی استراتژی های فروش و مراحل ورود به بازارهای جدید با استفاده از Geoanalitics در صنعت بیوفرماسیتی نمایش داده می شود. به گفته McKinsey، شرکت هایی که در تولید داروها فعالیت می کنند، به طور متوسط \u200b\u200bاز 20 تا 30 درصد هزینه می کنند تا اداره و فروش را مدیریت کنند. اگر شرکت ها شروع به فعالیت بیشتری کنند از داده های بزرگ استفاده کنیدبرای تعیین سودآور ترین و سریع ترین بازارهای در حال رشد، هزینه ها بلافاصله کاهش می یابد.

تجزیه و تحلیل داده ها یک وسیله برای به دست آوردن دید کامل از جنبه های کلیدی کسب و کار خود است. افزایش درآمد، کاهش هزینه ها و کاهش سرمایه کاری این سه وظیفه است که کسب و کار مدرن در تلاش است تا با کمک ابزار تحلیلی حل شود.

در نهایت، 58٪ از مدیران بازاریابی اطمینان می دهند که پیاده سازی فناوری های داده های بزرگ را می توان در بهینه سازی موتور جستجو (SEO)، بازاریابی ایمیل و تلفن همراه بررسی کرد، جایی که تجزیه و تحلیل داده ها نقش مهمی در شکل گیری برنامه های بازاریابی دارد. و تنها 4 درصد کمتر پاسخ دهندگان اعتماد به نفس دارند که داده های بزرگ در طول سال های طولانی نقش مهمی در کلیه استراتژی های بازاریابی ایفا می کنند.

8 تجزیه و تحلیل داده ها در مقیاس سیاره

نه کمتر کنجکاو. ممکن است که یادگیری ماشین باشد که در نهایت تنها نیرویی است که قادر به حفظ تعادل شکننده است. موضوع نفوذ انسان بر گرم شدن کره زمین هنوز هم باعث اختلافات زیادی می شود، بنابراین تنها مدل های پیش بینی کننده قابل اعتماد بر اساس مقدار زیادی از داده ها ممکن است پاسخ دقیق را ارائه دهند. در نهایت، کاهش انتشار گازهای گلخانه ای به ما کمک خواهد کرد: ما کمتر انرژی را صرف خواهیم کرد.

در حال حاضر داده های بزرگ یک مفهوم انتزاعی نیست که ممکن است در عرض چند سال استفاده خود را پیدا کند. این یک مجموعه کاملا کارآمد از فن آوری هایی است که می تواند تقریبا در تمام حوزه های فعالیت های انسانی سود ببرد: از پزشکی و حفاظت از نظم عمومی به بازاریابی و فروش. گام ادغام فعال داده های بزرگ به زندگی روزمره ما آغاز شد و چه کسی می داند که نقش داده های بزرگ در چند سال چه خواهد بود؟

اطلاعات بزرگ.- انگلیسی "اطلاعات بزرگ". این اصطلاح به عنوان یک جایگزین برای DBMS ظاهر شد و یکی از روند اصلی زیرساخت های فناوری اطلاعات شد، زمانی که بسیاری از غول های صنعت - IBM، مایکروسافت، HP، اوراکل و دیگران شروع به استفاده از این مفهوم در استراتژی های خود کردند. در زیر اطلاعات بزرگ، آرایه ای از داده هایی را که نمی توان از طریق روش های سنتی پردازش کرد، بزرگ (صدها ترابایت) را درک کرد. گاهی اوقات - ابزار و روش های پردازش این داده ها.

نمونه هایی از منابع داده های بزرگ: رویدادهای RFID، ارتباطات در شبکه های اجتماعی، آمار هواشناسی، اطلاعات مربوط به محل مشترکین شبکه های تلفن همراه و داده ها از ضبط های صوتی / تصویری. بنابراین، "داده های بزرگ" به طور گسترده ای در تولید، مراقبت های بهداشتی، مدیریت عمومی، کسب و کار اینترنتی - به ویژه در هنگام تجزیه و تحلیل مخاطبان هدف استفاده می شود.

مشخصه

نشانه های داده های بزرگ به عنوان "سه V" تعریف می شود: حجم - حجم (واقعا بزرگ)؛ تنوع - ناهمگونی، تنظیم؛ سرعت - سرعت (نیاز به پردازش بسیار سریع).

داده های بزرگ اغلب غیر ساختاری است و الگوریتم های ویژه برای پردازش آنها مورد نیاز است. روش های تجزیه و تحلیل داده های بزرگ عبارتند از:

("داده کاوی") - مجموعه ای از رویکردها برای تشخیص دانش مفید پنهان که نمی تواند با روش های استاندارد به دست آید؛
Crowdsourcing (Crowd - "Crow"، Sourcing - استفاده به عنوان یک منبع) - راه حل وظایف قابل توجه با تلاش های کلی داوطلبان که در قرارداد اجباری اجباری و فعالیت های هماهنگ کننده روابط با استفاده از ابزار فناوری اطلاعات نیستند؛
فیوژن داده ها و ادغام ("مخلوط کردن و اجرای داده ها") - مجموعه ای از روش های اتصال چندگانه منابع به عنوان بخشی از تجزیه و تحلیل عمیق؛
یادگیری ماشین ("آموزش ماشین") - بخش تحقیقات هوش مصنوعی، که روش های استفاده از تجزیه و تحلیل آماری و به دست آوردن پیش بینی ها بر اساس مدل های اساسی را مطالعه می کند؛
تشخیص تصویر (به عنوان مثال، تشخیص چهره در منظره یاب دوربین یا دوربین فیلمبرداری)؛
تجزیه و تحلیل فضایی - استفاده از توپولوژی، هندسه و جغرافیا برای ساخت داده ها؛
تجسم داده ها خروجی اطلاعات تحلیلی در قالب تصاویر و نمودارها با استفاده از ابزارهای تعاملی و انیمیشن ها برای پیگیری نتایج و ساخت پایه برای نظارت بیشتر است.

ذخیره سازی و تجزیه و تحلیل اطلاعات بر روی تعداد زیادی از سرورهای با کارایی بالا انجام می شود. تکنولوژی کلیدی Hadoop، منبع باز است.

از آنجا که مقدار اطلاعات در طول زمان تنها افزایش می یابد، پیچیدگی به دست آوردن داده ها نیست، بلکه نحوه پردازش آنها با حداکثر سود. به طور کلی، فرایند کار با داده های بزرگ شامل: جمع آوری اطلاعات، ساختار آن، ایجاد بینش و زمینه، توسعه توصیه ها برای عمل است. حتی قبل از مرحله اول، مهم است که هدف از کار را به روشنی تعریف کنیم: دقیقا داده های مورد نیاز، به عنوان مثال، تعریف مخاطبان محصول هدف مورد نیاز است. در غیر این صورت، خطر ابتلا به اطلاعات زیادی وجود دارد بدون درک اینکه چگونه می توان به طور خاص استفاده کرد.

پیش بینی کرد که حجم کلی جهانی داده های ایجاد شده و تکرار شده در سال 2011 ممکن است به حدود 1.8 Satetta (1.8 تریلیون گیگابایت) برسد - حدود 9 برابر بیشتر از آنچه که در سال 2006 ایجاد شد.

تعریف پیچیده تر

با این وجود اطلاعات بزرگ`دعوت بیش از یک تجزیه و تحلیل از مقدار زیادی از اطلاعات. مشکل این نیست که سازمان ها مقدار زیادی از داده ها را ایجاد می کنند و در این واقعیت که اکثر آنها در یک فرمت ارائه شده اند، به ندرت مربوط به فرمت پایگاه داده ساخت یافته سنتی، این ها عبارتند از: این سیاهههای مربوط به وب، ضبط ویدئو، اسناد متنی، کد ماشین یا به عنوان مثال، داده های جغرافیایی. همه اینها در بسیاری از مخازن گوناگون ذخیره می شود، گاهی اوقات حتی خارج از سازمان. در نتیجه، شرکت ممکن است به مقدار زیادی از داده های خود دسترسی داشته باشد و نه ابزارهای مورد نیازبرای ایجاد روابط بین این داده ها و نتیجه گیری های قابل توجهی بر اساس آنها. در اینجا این واقعیت را اضافه کنید که داده ها در حال حاضر به طور فزاینده ای به روز می شود و اغلب وضعیتی را دریافت می کنید که در آن روش های سنتی برای تجزیه و تحلیل اطلاعات نمی توانند بر میزان زیادی داده های به طور مداوم به روز شده تاثیر بگذارند، که در نهایت تکنولوژی های جاده ای را باز می کند داده های بزرگ.

بهترین تعریف

در اصل، مفهوم داده های بزرگ این به معنای کار با اطلاعات حجم عظیمی و ترکیب های گوناگون است، اغلب به روز می شود و در منابع مختلف به منظور افزایش کارایی کار، ایجاد محصولات جدید و افزایش رقابت پذیری، کار می کند. شرکت مشاوره Forrester یک نسخه کوتاه را ارائه می دهد: ` اطلاعات بزرگ تکنیک ها و فن آوری های ترکیبی که معنای داده ها را در مورد محدودیت شدید عملیاتی حذف می کنند، ترکیب کنید.

تفاوت بین تجزیه و تحلیل کسب و کار و داده های بزرگ چقدر بزرگ است؟

کریگ باتی، مدیر اجرایی بازاریابی و مدیر فناوری های فوجیتسو استرالیا، نشان داد که تجزیه و تحلیل کسب و کار یک فرایند توصیفی برای تجزیه و تحلیل نتایج حاصل از کسب و کار در یک دوره زمانی خاص است، در عین حال به عنوان سرعت پردازش داده های بزرگ به شما اجازه می دهد تا تجزیه و تحلیل پیش بینی کنید، قادر به ارائه توصیه های کسب و کار برای آینده است. فن آوری داده های بزرگ همچنین به شما این امکان را می دهد که انواع داده های بیشتری را در مقایسه با ابزارهای تجزیه و تحلیل کسب و کار تجزیه و تحلیل کنید، که باعث می شود نه تنها در تأسیسات ذخیره سازی ساختاری تمرکز کنید.

Matt Slocum از O "Reilly Radar معتقد است که هر چند اطلاعات بزرگ و تحلیلگران کسب و کار هدف مشابهی دارند (جستجو برای پاسخ به این سوال)، آنها در سه جنبه از یکدیگر متفاوتند.

داده های بزرگ برای رسیدگی به مقادیر قابل توجهی از اطلاعات بیشتر از تحلیلگر کسب و کار طراحی شده اند و این البته مربوط به تعریف سنتی داده های بزرگ است.
داده های بزرگ برای پردازش سریعتر به دست آمده و تغییر اطلاعات در نظر گرفته شده است، که به معنی تحقیقات عمیق و تعامل است. در برخی موارد، نتایج به دست می آید سریعتر از صفحه وب بارگذاری می شود.
داده های بزرگ برای پردازش داده های بدون ساختار در نظر گرفته شده اند، که روش های استفاده از آن ما فقط پس از قادر به ایجاد مجموعه و ذخیره سازی خود شروع به مطالعه می کنیم، و ما نیاز به الگوریتم ها و امکان گفتگو برای تسهیل جستجو برای روند های موجود در این آرایه ها داریم.

با توجه به کتاب سفید کتابشناسی اوراکل معماری اطلاعات اوراکل: راهنمای معمار برای داده های بزرگ. (معماری اطلاعات اوراکل: راهنمای معماری به داده های بزرگ)، هنگام کار با داده های بزرگ، ما به اطلاعات در غیر این صورت به اطلاعات مربوط به انجام تجزیه و تحلیل کسب و کار.

کار با داده های بزرگ شبیه به فرایند اطلاعاتی معمول کسب و کار نیست، جایی که افزودن ساده از مقادیر شناخته شده نتیجه را به ارمغان می آورد: به عنوان مثال، نتیجه افزودن حساب های پرداخت شده در حال تبدیل شدن به یک حجم فروش در سال است. هنگام کار با داده های بزرگ، نتیجه در فرآیند تمیز کردن آنها توسط مدل سازی متوالی به دست می آید: اول فرضیه مطرح شده است، یک مدل آماری، بصری یا معنایی ساخته شده است، وفاداری به فرضیه ها، پایه آن را بررسی می کند و سپس بعدی مطرح شده است. این فرآیند نیاز به یک محقق یا تفسیر ارزش های بصری و یا جمع آوری پرسش های مبتنی بر دانش تعاملی، و یا توسعه الگوریتم های سازگار "آموزش دستگاه، قادر به به دست آوردن نتیجه مطلوب است. و طول عمر چنین الگوریتم می تواند کوتاه باشد.

روش های تجزیه و تحلیل داده های بزرگ

روش های مختلفی برای تجزیه و تحلیل آرایه های داده وجود دارد که بر اساس ابزارهای قرض گرفته شده از آمار و علوم رایانه (به عنوان مثال، یادگیری ماشین) است. این فهرست تظاهر نمی کند که کامل شود، اما این رویکردهای مورد نیاز در صنایع مختلف را نشان می دهد. در عین حال، باید درک کرد که محققان همچنان به ایجاد تکنیک های جدید و بهبود موجودات ادامه می دهند. علاوه بر این، برخی از این روش ها به طور انحصاری به داده های بزرگ اعمال نمی شوند و می توانند برای آرایه های کوچکتر (به عنوان مثال، آزمایش A / B، تحلیل رگرسیون) استفاده شوند. البته، آرایه های حجمی و متنوع تر تجزیه و تحلیل می شود، داده های دقیق تر و مرتبط تر می توانند در خروجی بدست آورند.

تست A / B. تکنیک که در آن نمونه شاهد به طور متناوب با دیگران مقایسه می شود. بنابراین، می توان ترکیب ترکیبی مطلوب شاخص ها را برای رسیدن به عنوان مثال، بهترین پاسخ مصرف کنندگان برای پیشنهاد بازاریابی، شناسایی می کند. اطلاعات بزرگ به شما اجازه می دهد تعداد زیادی از تکرارها را صرف کنید و در نتیجه نتیجه آماری قابل اعتماد دریافت کنید.

قانون انجمن یادگیری. مجموعه ای از تکنیک ها برای شناسایی روابط، I.E. قوانین انجمنی بین متغیرها در آرایه های داده های بزرگ. استفاده شده B. داده کاوی..

طبقه بندی. مجموعه ای از تکنیک هایی که به شما اجازه می دهد تا رفتار مصرف کنندگان را در یک بخش بازار خاص پیش بینی کنید (تصمیم گیری در مورد خرید، خروج، حجم مصرف، و غیره). استفاده شده B. داده کاوی..

آنالیز خوشه ای.. روش آماری طبقه بندی اشیاء توسط گروه ها با تشخیص ویژگی های معمول غیر شناخته شده. استفاده شده B. داده کاوی..

crowdsourcing. روش های جمع آوری داده ها از تعداد زیادی از منابع.

تلفیق داده ها و ادغام داده ها. مجموعه ای از تکنیک هایی که به شما اجازه می دهد تا نظرات کاربران شبکه های اجتماعی را تجزیه و تحلیل کنید و با نتایج فروش در زمان واقعی مقایسه کنید.

داده کاوی.. مجموعه ای از تکنیک هایی که به شما اجازه می دهد تا بیشترین حساسیت به محصول پیشرفته محصول یا خدمات مصرف کنندگان را تعیین کنید، ویژگی های موفقیت آمیز کارکنان را شناسایی کنید، پیش بینی یک مدل رفتاری مصرف کنندگان.

یادگیری گروه. در این روش، بسیاری از مدل های پیش بینی شده در هزینه ای که کیفیت پیش بینی ها ساخته شده اند، دخیل هستند.

الگوریتم های ژنتیک. در این تکنیک راه حل های ممکن آنها در فرم «کروموزوم» تشکیل می شوند که می توانند ترکیب شوند و متقابلا شوند. همانطور که در فرآیند تکامل طبیعی، فرد سازگار تر، زنده ماند.

فراگیری ماشین. جهت در علوم کامپیوتر (از لحاظ تاریخی، نام " هوش مصنوعی`)، که هدف ایجاد الگوریتم های خودآموزی را بر اساس تجزیه و تحلیل داده های تجربی دنبال می کند.

پردازش زبان طبیعی (nlp) مجموعه ای از تکنیک های علوم کامپیوتر و زبان شناسی برای شناخت زبان طبیعی یک فرد.

تجزیه و تحلیل شبکه. مجموعه ای از روش های تجزیه و تحلیل ارتباط بین گره ها در شبکه ها. با توجه به شبکه های اجتماعی به شما اجازه می دهد تا رابطه بین کاربران فردی، شرکت ها، جوامع و غیره را تجزیه و تحلیل کنید.

بهينه سازي. تنظیم روشهای عددی برای طراحی مجدد سیستم های پیچیده و فرآیندهای برای بهبود یک یا چند شاخص. به عنوان مثال، ترکیب بازار را به تصمیم گیری های استراتژیک کمک می کند حاکم محصول، انجام تجزیه و تحلیل سرمایه گذاری، و غیره.

تشخیص الگو. مجموعه ای از تکنیک های با عناصر خودآموزی برای پیش بینی یک مدل رفتاری مصرف کننده.

مدل سازی پیش بینی شده. روشهایی که به شما اجازه می دهند ایجاد کنید مدل ریاضی پیش از سناریوی احتمالی داده شده برای توسعه رویدادها. به عنوان مثال، تجزیه و تحلیل پایگاه داده CRM نشانه ها برای شرایط احتمالی که مشترکین به منظور تغییر ارائه دهنده ارائه می شود.

پسرفت. مجموعه ای از روش های آماری برای شناسایی الگوهای بین تغییر در متغیر وابسته و یک یا چند مستقل. این اغلب برای پیش بینی و پیش بینی استفاده می شود. مورد استفاده در داده کاوی.

تجزیه و تحلیل احساسات. روش های ارزیابی احساسات مصرف کننده بر اساس تکنیک های شناخت زبان انسانی است. آنها به شما اجازه می دهند از کل خارج شوند جریان اطلاعات پیام های مربوط به موضوع مورد علاقه (به عنوان مثال، توسط محصول مصرف کننده). بعد از برآورد قطبیت قضاوت (مثبت یا منفی)، درجه عاطفی، و غیره.

پردازش سیگنال.. از مهندسی رادیویی یک مجموعه ای از تکنیک هایی را که هدف تشخیص هدف را علیه پس زمینه سر و صدا و تحلیل بیشتر آن دنبال می کند، قرض گرفته است.

تجزیه فضایی. مجموعه ای از روش های آمار برای تجزیه و تحلیل داده های فضایی - توپولوژی زمین، مختصات جغرافیایی، هندسه اشیاء، قرض گرفته شده است. منبع داده های بزرگ در این مورد، سیستم های اطلاعات جغرافیایی اغلب انجام می شود (GIS).

تجزیه و تحلیل انقلاب (بر اساس زبان R برای تشک).

از علاقه خاصی به این لیست نشان دهنده Apache Hadoop - توسط منبع باز است که طی پنج سال گذشته به عنوان تحلیلگر داده ها توسط اکثر سهامداران مورد آزمایش قرار گرفته است. به محض این که یاهو کد Hadoop را با یک جامعه منبع باز باز کرد، یک جهت کامل برای ایجاد محصولات بر اساس Hadoop در صنعت فناوری اطلاعات ظاهر شد. تقریبا تمام ابزار مدرن تجزیه و تحلیل داده های بزرگ ابزارهای ادغام را با Hadoop ارائه دهید. توسعه دهندگان آنها به عنوان راه اندازی و شرکت های شناخته شده جهانی عمل می کنند.

راه حل های بازار برای مدیریت داده های بزرگ

سیستم عامل های بزرگ (BDP، پلت فرم داده بزرگ) به عنوان وسیله ای برای مبارزه با کارهای دیجیتال

توانایی تجزیه و تحلیل اطلاعات بزرگ، در تعجب به نام داده های بزرگ، به عنوان یک خوب و قطعا درک شده است. اما آیا واقعا؟ تجمع داده های شایع چیست؟ به احتمال زیاد به این واقعیت که روانشناسان داخلی در رابطه با انسان ذخیره سازی پاتولوژیک، Silhloromicia یا SideDromy Syndrome Plushkin نامیده می شوند. به زبان انگلیسی، اشتیاق شریرانه ای برای جمع آوری همه چیز در یک ردیف، به نام محرمانه است (از "Hoard English" - "سهام"). با توجه به طبقه بندی بیماری های روانی، کورودینگ برای اختلالات روانی محاسبه می شود. ذخیره سازی دیجیتال (ذخیره سازی دیجیتال) به دوران دیجیتال اضافه شده است، آنها ممکن است از هویت فردی و کل شرکت ها و سازمان ها رنج ببرند ().

بازار جهانی و روسیه

چشم انداز داده بزرگ - تامین کنندگان اصلی

علاقه به ابزار جمع آوری، پردازش، مدیریت و تجزیه و تحلیل داده های بزرگ همه شرکت های پیشرو فناوری اطلاعات را که کاملا طبیعی است، در معرض قرار می دهد. اول، آنها به طور مستقیم با این پدیده در کسب و کار خود، دوم، اطلاعات بزرگ فرصت های عالی برای توسعه نیش های جدید بازار را باز کنید و مشتریان جدید را جذب کنید.

بسیاری از راه اندازی ها در بازار ظاهر شد که کسب و کار را در پردازش آرایه های داده های بزرگ انجام می دهد. بعضی از آنها از زیرساخت های ابر به پایان رسیده توسط بازیکنان اصلی مانند آمازون استفاده می کنند.

تئوری و عملکرد داده های بزرگ در صنایع

تاریخ توسعه

2017

پیش بینی TMAXSoft: داده های بزرگ "موج" بعدی نیاز به ارتقاء DBMS دارند

شرکت ها شناخته شده اند که در مقدار انباشته شده از داده های انباشته شده خود را شامل می شود اطلاعات مهم درباره کسب و کار و مشتریان خود. اگر شرکت بتواند این اطلاعات را با موفقیت اعمال کند، در مقایسه با رقبای، مزیت قابل توجهی خواهد داشت و می تواند بهترین ها را از آنها، محصولات و خدمات ارائه دهد. با این حال، بسیاری از سازمان ها هنوز نمی توانند به طور موثر استفاده کنند اطلاعات بزرگ با توجه به این واقعیت که زیرساخت های آن به ارث برده شده آنها قادر به ارائه ظرفیت لازم برای سیستم های ذخیره سازی، فرایندهای تبادل اطلاعات، خدمات و برنامه های کاربردی لازم برای پردازش و تجزیه و تحلیل آرایه های بزرگ از داده های غیر ساختاری برای استخراج اطلاعات ارزشمند از آنها نشان داده شده در TMaxSoft نیست.

علاوه بر این، افزایش ظرفیت پردازنده لازم برای تجزیه و تحلیل حجم داده های به طور مداوم افزایش داده ها ممکن است نیاز به سرمایه گذاری های قابل توجهی در زیرساخت های فناوری اطلاعات قدیمی سازمان داشته باشد، و همچنین منابع پشتیبانی اضافی که می تواند برای توسعه برنامه های کاربردی و خدمات جدید مورد استفاده قرار گیرد.

در 5 فوریه 2015، کاخ سفید گزارشی منتشر کرد که در آن سوال مورد بحث قرار گرفت اطلاعات بزرگ»برای ایجاد قیمت های مختلف برای خریداران مختلف - تمرین به نام" تبعیض قیمت "یا" قیمت گذاری متمایز "(قیمت گذاری شخصی) شناخته می شود. این گزارش به نفع "داده های بزرگ" هر دو برای فروشندگان و خریداران، و نویسندگان آن به این نتیجه می رسند که بسیاری از مسائل مشکوک ناشی از ظهور داده های بزرگ و قیمت گذاری متمایز می تواند در چارچوب قوانین ضد تبعیض موجود حل شود قوانین حفاظت از حقوق مصرف کننده.

این گزارش خاطرنشان می کند که در این زمان تنها حقایق فردی وجود دارد که نشان می دهد چگونه شرکت ها از داده های بزرگ در زمینه بازاریابی فردی و قیمت گذاری متمایز استفاده می کنند. این اطلاعات نشان می دهد که فروشندگان از روش های قیمت گذاری استفاده می کنند که می توانند به سه دسته تقسیم شوند:

مطالعه منحنی تقاضا؛
راهنمایی (فرمان) و قیمت گذاری متمایز بر اساس داده های جمعیت شناختی؛ و
بازاریابی رفتاری هدف (هدفمند رفتاری - هدفمند رفتاری) و قیمت گذاری فردی.

مطالعه منحنی تقاضا: به منظور روشن شدن تقاضا و مطالعه رفتار مصرف کنندگان، بازاریابان اغلب آزمایشات را در این زمینه انجام می دهند که طی آن یکی از دو دسته قیمت ممکن به طور تصادفی توسط مشتریان منصوب می شود. "از لحاظ فنی، این آزمایش ها به شکل قیمت های متمایز است، زیرا نتیجه آنها قیمت های مختلفی برای مشتریان می شود، حتی اگر آنها" غیر تبعیض آمیز "باشند، به این معنا که همه مشتریان دارای احتمال" گرفتن "با قیمت بالاتر از یکسان هستند . "

فرمان): این عمل ارائه محصولات به مصرف کنندگان بر اساس متعلق به آنها به یک گروه دموگرافیک خاص است. بنابراین، وب سایت شرکت کامپیوتر می تواند همان لپ تاپ را با انواع مختلف مشتریان با قیمت های مختلف ارائه دهد، بر اساس اطلاعات گزارش شده توسط آنها (به عنوان مثال، بسته به این که آیا این کاربر نماینده سازمان های دولتی، موسسات علمی یا تجاری یا شخصی خصوصی) یا از موقعیت جغرافیایی آنها (به عنوان مثال، تعریف شده توسط آدرس IP کامپیوتر).

بازاریابی رفتاری رفتاری و قیمت گذاری فردی: در این موارد، اطلاعات شخصی خریداران برای تبلیغات هدفمند و قیمت های سفارشی برای محصولات خاص استفاده می شود. به عنوان مثال، تبلیغ کنندگان آنلاین از طریق شبکه های تبلیغاتی جمع آوری شده و از طریق کوکی های اشخاص ثالث در مورد فعالیت کاربران در اینترنت به منظور هدف ارسال مواد تبلیغاتی خود استفاده می کنند. چنین رویکردی، از یک طرف، مصرف کنندگان را قادر می سازد تا تبلیغات کالاها و خدمات را برای آنها دریافت کنند، اما ممکن است باعث نگرانی هایی از مصرف کنندگان شود که انواع خاصی از اطلاعات شخصی خود را نمی خواهند (مانند اطلاعات در مورد بازدید از سایت های مربوط به مسائل پزشکی و مالی) بدون رضایت آنها جمع آوری شد.

اگر چه بازاریابی رفتاری هدفمند گسترده است، شواهد نسبتا کمی از قیمت گذاری فردی در محیط آنلاین وجود دارد. این گزارش نشان می دهد که این ممکن است به دلیل این واقعیت است که روش های مربوطه هنوز توسعه یافته است یا با این واقعیت که شرکت ها عجله ندارند تا از قیمت های فردی استفاده کنند (یا ترجیح می دهند که در مورد آن ستایش کنند) - شاید، از ترس از واکنش منفی از مصرف کنندگان

نویسندگان این گزارش معتقدند که "برای مصرف کننده فردی، استفاده از داده های بزرگ بدون شک به دلیل بازگشت بالقوه و خطرات بالقوه است." به رسمیت شناختن اینکه هنگام استفاده از داده های بزرگ، مشکلات شفافیت و تبعیض ظاهر می شود، این گزارش در همان زمان ادعا می کند که قوانین ضد تبعیض و قوانین حفاظت از مصرف کنندگان کافی است تا آنها را حل کند. با این حال، این گزارش همچنین بر ضرورت "نظارت مستمر" در مواردی که شرکت ها استفاده می کنند تاکید می کند اطلاعات محرمانه به طور خاص، هر روشهایی که توسط یک چارچوب نظارتی موجود تحت پوشش قرار نمی گیرند.

این گزارش ادامه تلاش کاخ سفید برای مطالعه استفاده از "داده های بزرگ" و قیمت گذاری تبعیض آمیز در اینترنت و پیامدهای مربوط به مصرف کنندگان آمریکایی است. پیش از این گزارش شده است که قبلا گزارش شده است که گروه کاری کاخ سفید برای داده های بزرگ گزارش خود را در مورد این موضوع در ماه مه 2014 منتشر کرده است. کمیسیون فدرال برای تجارت (FTC) همچنین این مسائل را در طی سمینار در تبعیض در سپتامبر 2014 در سپتامبر 2014 به دلیل استفاده از داده های بزرگ در نظر گرفت.

2014

گارتنر اسطوره ها را درباره "داده های بزرگ"

در یادداشت تحلیلی پاییز سال 2014، گارتنر تعدادی از اسطوره های رایج در میان مدیران فناوری اطلاعات مربوط به داده های بزرگ را ذکر کرد و رد آنها داده شده است.

هر کس سیستم های پردازش داده های بزرگ را سریعتر از ما اجرا می کند

علاقه به فن آوری داده های بزرگتر ثبت شده است: 73٪ از سازمان های مورد بررسی توسط تحلیلگران Gartner در سال جاری در حال حاضر در پروژه های مربوطه سرمایه گذاری می کنند یا جمع آوری می شوند. اما اکثر این ابتکارات هنوز در مراحل اولیه قرار دارند و تنها 13 درصد از پاسخ دهندگان چنین راهکارهایی را اجرا کرده اند. سخت ترین چیز این است که تعیین کنید که چگونه درآمد حاصل از داده های بزرگ را استخراج کنید، تصمیم بگیرید که کجا شروع شود. بسیاری از سازمان ها در مرحله خلبان گیر کرده اند، زیرا آنها نمی توانند یک تکنولوژی جدید را به فرآیندهای کسب و کار خاص متصل کنند.

ما اطلاعات زیادی داریم که نیازی به نگرانی در مورد اشتباهات کوچک در آنها وجود ندارد

برخی از مدیران فناوری اطلاعات بر این باورند که نقص های کوچک در داده ها بر نتایج کلی تجزیه و تحلیل حجم عظیم تاثیر نمی گذارد. هنگامی که داده های زیادی وجود دارد، هر خطا به طور جداگانه کمتر بر نتیجه تاثیر می گذارد، تحلیلگران علامت گذاری می شود، بلکه بیشتر می شود. علاوه بر این، بسیاری از داده های تجزیه و تحلیل شده یک ساختار خارجی، ناشناخته یا منشا هستند، بنابراین احتمال خطاهای در حال رشد است. بنابراین، در دنیای داده های بزرگ، کیفیت بسیار مهم تر است.

فناوری داده های بزرگ نیاز به ادغام داده ها را لغو می کند

داده های بزرگ قول می دهند توانایی پردازش داده ها را در قالب اصلی با تشکیل خودکار مدار به عنوان خوانده شده. اعتقاد بر این است که این اجازه می دهد اطلاعات را از همان منابع با استفاده از چندین مدل داده تجزیه و تحلیل کند. بسیاری معتقدند که کاربران نهایی نیز اجازه می دهند تا هر مجموعه ای از داده ها را به صورت اختیاری تفسیر کنند. در واقع، اکثر کاربران اغلب به یک روش سنتی با طرح به پایان رسید، زمانی که داده ها بر اساس آن فرمت شده است، و توافق در سطح یکپارچگی وجود دارد و چگونه باید مربوط به اسکریپت استفاده باشد.

انبار داده ها برای استفاده از تجزیه و تحلیل پیچیده استفاده نمی شود

بسیاری از مدیران سیستم های مدیریت اطلاعات بر این باورند که هیچ وقت برای صرف زمان ایجاد یک انبار داده، با توجه به اینکه سیستم های تحلیلی پیچیده از انواع داده های جدید استفاده می کنند، احساس نمی کنند. در واقع، در بسیاری از سیستم های تجزیه و تحلیل پیچیده از اطلاعات از ذخیره سازی داده استفاده می کند. در موارد دیگر، انواع جدید داده ها باید علاوه بر آماده سازی در سیستم های پردازش داده های بزرگ آماده شوند؛ لازم است تصمیم گیری در مورد مناسب بودن داده ها، اصول تجمع و سطح لازم از کیفیت - چنین آماده سازی می تواند در خارج از مخزن رخ دهد.

دریاچه های داده برای تغییر امکانات ذخیره سازی داده ها می آیند

در واقع، تامین کنندگان مشتریان گمراه کننده هستند، موقعیت دریاچه های داده (دریاچه داده) را به عنوان جایگزینی امکانات ذخیره سازی یا عناصر حیاتی زیرساخت های تحلیلی قرار می دهند. فن آوری های اساسی دریاچه های داده ها از بلوغ و عرض جغرافیایی عملکرد ذاتی در امکانات ذخیره سازی وجود ندارد. بنابراین، رهبران مسئول مدیریت داده ها باید صبر کنند تا زمانی که دریاچه ها به همان سطح توسعه برسند، به گارتنر اعتقاد داشته باشند.

Accenture: 92٪ از سیستم اجرایی داده های بزرگ با نتیجه راضی هستند

در میان مزایای اصلی داده های بزرگ، پاسخ دهندگان به نام:

"جستجو برای منابع جدید درآمد" (56٪)،
"بهبود تجربه مشتری" (51٪)،
"محصولات و خدمات جدید" (50٪) و
"هجوم مشتریان جدید و حفظ وفاداری قدیمی تر" (47٪).

در معرفی فن آوری های جدید، بسیاری از شرکت ها با مشکلات سنتی مواجه شدند. برای یک بلوک 51٪، امنیت ایمنی، برای 47٪ بودجه، به مدت 41٪ - کمبود فریم های لازم و برای 35٪ - پیچیدگی در هنگام ادغام سیستم موجود. تقریبا تمام شرکت های مورد بررسی (حدود 91٪) در حال برنامه ریزی برای حل مشکل با کمبود پرسنل و استخدام متخصصان از داده های بزرگ هستند.

شرکت های خوش بینانه تکنولوژی های آینده داده های بزرگ را ارزیابی می کنند. 89٪ معتقدند که آنها کسب و کار را به اندازه اینترنت تغییر خواهند داد. 79٪ از پاسخ دهندگان اشاره کردند که شرکت هایی که از داده های بزرگ لذت نمی برند، مزیت رقابتی را از دست می دهند.

با این حال، پاسخ دهندگان به نظر می رسید که ارزش آن را به ارزش آن بزرگ است. 65 درصد از پاسخ دهندگان معتقدند که این ها "کارت های داده های بزرگ" هستند، 60٪ مطمئن هستند که "تجزیه و تحلیل پیشرفته و تجزیه و تحلیل" است، و 50٪ این است که این "داده های ابزار تجسم" است.

مادرید 14.7 میلیون یورو را در مدیریت داده های بزرگ صرف می کند

در ماه ژوئیه 2014، معلوم شد که مادرید از تکنولوژی داده های بزرگ برای مدیریت زیرساخت های شهری استفاده می کند. هزینه پروژه 14.7 میلیون یورو است، اساس راه حل های قابل اجرا، فن آوری های تجزیه و تحلیل و مدیریت داده های بزرگ خواهد بود. با کمک آنها، اداره شهری با هر ارائه دهنده خدمات کار می کند و به همین ترتیب بسته به سطح خدمات پرداخت می شود.

ما در مورد پیمانکاران دولت صحبت می کنیم که به دنبال دولت خیابان ها، نورپردازی، آبیاری، کاشت های سبز، تمیز کردن قلمرو و صادرات، و همچنین پردازش زباله ها است. در طول پروژه، 300 شاخص کلیدی از عملکرد خدمات شهری برای بازرسان مخصوص انتخاب شده، بر اساس آن 1،5 هزار چک و اندازه گیری های مختلف روزانه انجام می شود. علاوه بر این، شهر شروع به استفاده از یک پلت فرم تکنولوژیکی نوآورانه به نام مادرید Inteligente (نعناع) - هوشمند مادرید.

2013

کارشناسان: پیک مد در داده های بزرگ

هر کس بدون استثنا به فروشنده در بازار مدیریت داده ها در این زمان، فن آوری در حال توسعه فن آوری برای مدیریت داده های بزرگ است. این روند جدید تکنولوژیکی نیز به طور فعال توسط جامعه حرفه ای، هر دو توسعه دهندگان و تحلیلگران بخش و مصرف کنندگان بالقوه چنین راه حل ها مورد بحث قرار گرفته است.

همانطور که Datashift از ژانویه 2013 متوجه شد، موج بحث در اطراف " داده های بزرگ"بیش از تمام اندازه قابل تصور است. پس از تجزیه و تحلیل تعداد ذکر شده از داده های بزرگ در شبکه های اجتماعی، Datashift محاسبه شد که در سال 2012 این اصطلاح حدود 2 میلیارد بار در پست های ایجاد شده حدود 1 میلیون نویسندگان مختلف در سراسر جهان مورد استفاده قرار گرفت. این معادل 260 پست در ساعت است، با اوج مراجع به 3070 منابع در هر ساعت.

Gartner: هر دومین کارگردان آن آماده است تا پول زیادی را صرف پول برساند

پس از چند سال آزمایش با تکنولوژی های داده های بزرگ و پیاده سازی های اولیه در سال 2013، سازگاری چنین تصمیماتی به طور قابل توجهی افزایش خواهد یافت، پیش بینی شده در گارتنر. محققان با رهبران فناوری اطلاعات در سراسر جهان مصاحبه کردند و دریافتند که 42 درصد از پاسخ دهندگان در حال حاضر در تکنولوژی داده های بزرگ سرمایه گذاری کرده اند یا قصد دارند چنین سرمایه گذاری هایی را در سال آینده سرمایه گذاری کنند (داده ها برای ماه مارس 2013).

شرکت ها مجبور به صرف پول در تکنولوژی پردازش می شوند. داده های بزرگاز آنجا که چشم انداز اطلاعات به سرعت در حال تغییر است، خواستار رویکردهای جدید برای پردازش اطلاعات است. بسیاری از شرکت ها قبلا متوجه شده اند که آرایه های داده های بزرگ حیاتی هستند و با آنها کار می کنند و به شما امکان می دهد تا مزایایی را که در هنگام استفاده از منابع سنتی اطلاعات و روش های پردازش در دسترس نیست، به دست آورید. علاوه بر این، وظیفه دائمی به موضوع "داده های بزرگ" در رسانه ها علاقه به حرارت دادن به فن آوری های مربوطه است.

فرانک Buytendijk، معاون رئيس جمهور Gartner، حتی از شرکت خواستار خلق و خوی گرد و غبار، به عنوان برخی از آنها نگران هستند که آنها عقب مانده پشت رقبای در توسعه داده های بزرگ است.

او گفت: "لازم نیست نگرانی در مورد این فرصت برای پیاده سازی ایده ها بر اساس فناوری های" داده های بزرگ "در واقع بی پایان است."

به گفته Gartner، تا سال 2015، 20 درصد از شرکت های 1000 لیست جهانی، تمرکز استراتژیک بر روی "زیرساخت" را تمرکز خواهند کرد.

در پیش بینی ویژگی های جدید که با آنها تکنولوژی پردازش "داده های بزرگ" را به ارمغان می آورد، در حال حاضر بسیاری از سازمان ها روند جمع آوری و ذخیره انواع مختلف اطلاعات را سازماندهی می کنند.

برای سازمان های آموزشی و دولتی، و همچنین شرکت های صنعت، بزرگترین پتانسیل تحول کسب و کار در ترکیب داده های انباشته شده با داده های به اصطلاح تاریک (به معنای واقعی کلمه "داده های تاریک") قرار می گیرد پست الکترونیک، چند رسانه ای و دیگر محتوای مشابه. به گفته Gartner، این کسانی هستند که یاد می گیرند که چگونه داده ها را از منابع مختلف اطلاعات بیشتر اداره کنند.

نظرسنجی سیسکو: داده های بزرگ به افزایش بودجه IT کمک می کند

در طول مطالعه (بهار 2013)، به نام گزارش فناوری جهانی متصل به سیسکو، که در 18 کشور توسط یک شرکت مستقل تحلیلی InsightExpress انجام شد، 1800 دانشجوی کالج مصاحبه شدند و همان تعداد حرفه ای های جوان 18 تا 30 سال بود. این نظرسنجی برای پیدا کردن سطح آمادگی بخش های فناوری اطلاعات به اجرای پروژه انجام شد اطلاعات بزرگ. و ایده های مربوط به مسائل مربوط، نقص های تکنولوژیکی و ارزش استراتژیک چنین پروژه ها را دریافت کنید.

اکثر شرکت ها جمع آوری، می نویسد و داده ها را تجزیه و تحلیل می کنند. با این وجود، گزارش می گوید، بسیاری از شرکت ها در ارتباط با داده های بزرگ با تعدادی از مشکلات پیچیده کسب و کار و فناوری اطلاعات مواجه هستند. به عنوان مثال، 60 درصد از پاسخ دهندگان متوجه می شوند که راه حل های داده های بزرگ می تواند فرایندهای تصمیم گیری را بهبود بخشد و رقابت را افزایش دهد، اما تنها 28 درصد اعلام کرده اند که مزایای استراتژیک واقعی اطلاعات انباشته شده در حال حاضر به دست آمده است.

بیش از نیمی از پاسخ دهندگان مدیریت فناوری اطلاعات بر این باورند که پروژه های بزرگ داده ها به افزایش بودجه های فناوری اطلاعات در سازمان های خود کمک خواهد کرد، زیرا نیازهای بیشتری برای فن آوری ها، پرسنل و مهارت های حرفه ای افزایش خواهد یافت. در عین حال، بیش از نیمی از پاسخ دهندگان انتظار دارند که چنین پروژه هایی را برای افزایش بودجه های فناوری اطلاعات در شرکت های خود در سال 2012 افزایش دهند. 57 درصد اعتماد به نفس دارند که داده های بزرگ در طول سه سال آینده بودجه خود را افزایش می دهند.

81 درصد از پاسخ دهندگان گفتند که همه (یا حداقل برخی از آنها) پروژه های بزرگ داده ها نیاز به محاسبات ابری دارند. بنابراین، توزیع تکنولوژی ابر این ممکن است سرعت توزیع راه حل های بزرگ داده ها و مقادیر این راه حل های کسب و کار را تحت تاثیر قرار دهد.

شرکت ها بیشترین اطلاعات را جمع آوری و استفاده می کنند انواع متفاوتمانند ساختار یافته و غیر ساختاری. در اینجا از آنچه منابع داده های شرکت کنندگان بررسی دریافت می کنند (گزارش فناوری جهانی CISCO متصل شده):

تقریبا نیمی از (48 درصد) مدیران فناوری اطلاعات پیش بینی دو برابر شدن بار در شبکه خود را در طول دو سال آینده. (این به ویژه مشخصه چین است، جایی که 68 درصد از پاسخ دهندگان و آلمان به نقطه نظر پیوسته اند - 60 درصد). 23 درصد از پاسخ دهندگان در طول دو سال آینده سه برابر بار شبکه را بارگیری می کنند. در عین حال، تنها 40 درصد از پاسخ دهندگان آمادگی خود را به افزایش انفجاری ترافیک شبکه اعلام کردند.

27 درصد از پاسخ دهندگان به رسمیت شناختند که آنها به سیاست های IT بهتر و اقدامات امنیتی اطلاعات نیاز دارند.

21 درصد نیاز به گسترش پهنای باند دارد.

داده های بزرگ فرصت های جدیدی را باز می کند تا ادارات فناوری اطلاعات برای افزایش ارزش و ایجاد یک رابطه نزدیک با واحدهای تجاری، اجازه افزایش درآمد و تقویت موقعیت مالی شرکت را باز کند. پروژه های بزرگ داده ها آن را با یک شریک استراتژیک واحدهای تجاری تقسیم می کند.

با توجه به 73 درصد از پاسخ دهندگان، این بخش فناوری اطلاعات است که تبدیل به لوکوموتیو اصلی از اجرای استراتژی بزرگ داده ها خواهد شد. در عین حال، آنها پاسخ دهندگان را در نظر می گیرند، ادارات دیگر نیز به اجرای این استراتژی متصل خواهند شد. اول از همه، این مربوط به بخش های مالی (24 درصد از پاسخ دهندگان)، تحقیق (20 درصد)، عملیاتی (20 درصد)، مهندسی (19 درصد)، و همچنین بخش های بازاریابی (15 درصد) و فروش (14 درصد) .

گارتنر: برای مدیریت داده های بزرگ، میلیون ها شغل جدید مورد نیاز است.

هزینه های جهانی فناوری اطلاعات تا سال 2013 به 3.7 میلیارد دلار رسیده است که 3.8 درصد هزینه های بیشتری برای فناوری اطلاعات در سال 2012 دارد (پیش بینی در پایان سال 3.6 میلیارد دلار است). بخش داده های بزرگ گزارش گارتنر می گوید (داده های بزرگ) نرخ های بسیار بیشتری را توسعه خواهد داد.

تا سال 2015، 4.4 میلیون شغل در زمینه فناوری اطلاعات برای ارائه داده های بزرگ ایجاد خواهد شد، که 1.9 میلیون شغل در آن است. علاوه بر این، هر یک از این محل کار، ایجاد سه شغل اضافی در خارج از حوزه آن را شامل می شود، به طوری که تنها در ایالات متحده در چهار سال آینده، فرد برای حفظ اقتصاد اطلاعاتی کار خواهد کرد.

به گفته کارشناسان گارتنر، مشکل اصلی این است که در صنعت این استعدادهای کافی نیست: هر دو سیستم آموزشی خصوصی و دولتی، به عنوان مثال، در ایالات متحده قادر به عرضه صنعت با تعداد کافی از پرسنل واجد شرایط نیست. بنابراین از مشاغل جدید ذکر شده در فریم های فناوری اطلاعات تنها یکی از سه را تضمین می کند.

تحلیلگران معتقدند که نقش نقاشی پرسنل واجد شرایط باید به طور مستقیم به شرکت برسد، که به شدت به آنها نیاز دارد، زیرا این کارکنان آنها را به اقتصاد جدید اطلاعات آینده منتقل می کند.

2012

اولین شک و تردید برای "داده های بزرگ"

تحلیلگران شرکت های تخمک و گارتنر نشان می دهند که برای مد روز در سال 2012، مد روز است داده های بزرگ ممکن است زمان آزادی از توهمات باشد.

اصطلاح "داده های بزرگ"، در این زمان، به عنوان یک قاعده، میزان اطلاعاتی در حال رشد را در حالت عملیاتی از رسانه های اجتماعی، از شبکه های سنسورها و سایر منابع، و همچنین طیف وسیعی از ابزارهای مورد استفاده برای داده ها نشان می دهد پردازش و شناسایی کسب و کار مهم بر اساس آنها. - تراکم.

Tony Bayer، تحلیلگر Ovum گفت: "به دلیل هیپن (یا علیرغم آن) با توجه به ایده داده های بزرگ، تولید کنندگان در سال 2012 با امید زیادی به این گرایش نگاه کردند."

بایر گفت که DataAsift یک تجزیه و تحلیل گذشته نگر از ذکر اطلاعات بزرگ را انجام داد

ولکووا جولیا سرگئیونا، دانش آموز 4 ساله، دانشگاه مالی تحت حکومت فدراسیون روسیه، شاخه Kaluga، Kaluga [ایمیل محافظت شده]

داده های بزرگ در دنیای مدرن

حاشیه نویسی هنر به معرفی فن آوری های داده های بزرگ در جامعه مدرن ما اختصاص داده شده است. ویژگی های اصلی داده های بزرگ مورد بررسی قرار گرفت، برنامه های اصلی، مانند حوزه بانکداری، خرده فروشی، خصوصی و بخش دولتی، و حتی زندگی روزمره در نظر گرفته شده است. این مطالعه نقصان استفاده از فن آوری های داده های بزرگ را نشان داد. نیاز به توسعه مقررات هنجاری استفاده از داده های بزرگ تعیین شده است. واژه های خوش آمدید: داده های بزرگ، بانک ها، حوزه بانکی، خرده فروشی، بخش خصوصی، بخش عمومی.

به عنوان درجه تحقیقات بودجه، فن آوری های فناوری اطلاعات جهت های مختلف جامعه مدرن الزامات سازگاری خود از وظایف تعهد، افزایش می یابد، که مقدار زیادی داده را نشان می دهد. چنین اطلاعاتی وجود دارد که نمی تواند توسط روش های سنتی پردازش شود، از جمله داده های ساخت یافته، رسانه ها و اشیاء تصادفی. و اگر با تجزیه و تحلیل اولین فن آوری های موجود امروز، با تکنولوژی های موجود مقابله کنید، تجزیه و تحلیل دوم و سوم تقریبا غیر قابل تحمل است. مطالعات نشان می دهد که حجم زبان های رسانه ای، مانند نتایج نظارت تصویری، عکاسی هوایی، اطلاعات پزشکی دیجیتال و اشیاء تصادفی ذخیره شده در آرشیو های متعدد و ابرها، سال را از سال افزایش می دهد. مقدار داده ها به یک روند جهانی تبدیل شده است تعریف داده های بزرگ. مطالعه داده های بزرگ به آثار دانشمندان خارجی و روسی اختصاص داده شده است: جیمز Manyika، مایکل چوی، Toporkov V.V.، Buduzko V.I. ذخیره سازی قابل توجهی در مطالعه این تکنولوژی توسط شرکت های بزرگ جهان، مانند: McKinsey و شرکت، CNEWS Analytics، SAP، اوراکل، آی بی ام، مایکروسافت، تراداتا و بسیاری دیگر، ساخته شده است. پردازش و تجزیه و تحلیل داده ها و تجزیه و تحلیل داده ها و بر اساس داده های بزرگ، یک برنامه را به تجهیزات ایجاد می کند. طبق گزارش موسسه McKinsey: "داده های بزرگ یک مجموعه داده است، اندازه آن فراتر از قابلیت های پایگاه های داده های معمول است ابزارهای نرم افزاری برای ضبط، ذخیره سازی، مدیریت و تجزیه و تحلیل داده ها. " در اصل، مفهوم داده های بزرگ شامل کار با اطلاعات حجم عظیمی و ترکیب های مختلف به طور مداوم به روز شده و در منابع مختلف به منظور افزایش کارایی کار، ایجاد محصولات جدید و افزایش رقابت، به روز می شود. شرکت مشاوره Forrester یک متن کوتاه و نسبتا روشن را ارائه می دهد: "روش های داده های بزرگ داده ها و فن آوری هایی که معنای داده ها را بر حد شدید عملیاتی حذف می کنند". امروزه بزرگترین بخش داده ها با علائم زیر مشخص می شود: حجم حجم پایگاه داده انباشته مقدار زیادی از اطلاعات است. به سرعت، این ویژگی نشان می دهد که چگونه افزایش میزان انباشت داده ها (90٪ از اطلاعات در 2 سال گذشته جمع آوری شده است). Variesity-Diversity، I.E. امکان پردازش همزمان، ساختار یافته توسط اطلاعات واریانس غیر ساختاری. کارشناسان از میان بازاریابان دوست داشتند "V" خود را در اینجا اضافه کنند. KTOTO می گوید بیشتر در مورد قابلیت اطمینان (حقیقت)، دیگران اضافه می کنند که فناوری داده های بزرگ باید قطعا سود کسب و کار (ارزش). انتظار می رود تا سال 2020 مقدار انباشته اطلاعات در این سیاره هر دو سال دو برابر شود. فراوانی داده ها تمایل به استفاده از آنها را برای تجزیه و تحلیل و پیش بینی افزایش می دهد. حجم عظیم نیاز به فن آوری های مربوطه دارد. امروزه شرکت ها باید مقدار زیادی از داده ها را در حجم هایی که دشوار است، اداره کنند، این امر منجر به این واقعیت می شود که پایگاه های داده های سنتی نمی توانند چنین کاری را کنار بگذارند و این امر منجر به نیاز به اجرای تکنولوژی داده های بزرگ می شود. مشخصه مقایسهای داده های بزرگ و پایگاه های داده های سنتی از بین رفته است. مبنای تشکیل این جدول، مطالعات Buduzko V. I. و تبادل مسکو بود. جدول 1 ویژگی های مقایسه ای داده های بزرگ و داده های سنتی

پایگاه داده های سنتی بهره وری

یک یا چند منطقه موضوع با استفاده از تکنولوژی داده های عمومی گسترده استفاده می شود. از شناسایی ترجیحات مشتری قبل از تجزیه و تحلیل طلسم های ریسک. اطلاعات متناسب با ساختار داده های ساختاری به شدت ساختار یافته با ساختار مجزا و \\ یا ساختار ذخیره سازی نامشخص است. داده های ذخیره سازی و پردازش مدل پرورش داده ها. بنابراین، دامنه پایگاه های داده های سنتی تنها یک یا چند را پوشش می دهد با چنین مناطقی باید با داده های ساخت یافته موجود باشد. همانطور که برای داده های بزرگ، دامنه کاربرد آنها با آرایه های بزرگ اطلاعات با ساختار پیچیده گسترده است. بر اساس نتایج مطالعه CNEWS تجزیه و تحلیل، ارائه شده در شکل 1، بازار روسیه به چنین پدیده ای به عنوان داده های بزرگ می آید که نشان دهنده افزایش سطح بلوغ شرکت ها است. بسیاری از شرکت ها به دلیل حجم داده های پردازش شده خود به تکنولوژی داده های بزرگ منتقل می شوند، در حال حاضر بیش از 44٪ تولید حدود 100 ترابایت را تولید می کنند و در 13٪ این حجم داده ها 500 ترابایت را بیان می کنند.

عکس. 1. حجم اطلاعات پردازش شده در شرکت ها

چنین جلد ها را نمی توان با پایگاه های داده های سنتی پردازش کرد، بنابراین چنین شرکت هایی راه حل انتقال را به داده های بزرگ نمی بینند نه به سادگی به عنوان پردازش حجم های بزرگ، بلکه به عنوان افزایش رقابت، افزایش وفاداری خریدار به محصول خود و جذب آن های جدید. فعال ترین مشتریان این راه حل ها بانک ها، مخابرات و خرده فروشی هستند، نسبت درصد آنها در شکل 2 ارائه شده است. تعداد شرکت هایی که از داده های بزرگ در صنعت حمل و نقل و انرژی استفاده می کنند، صنعت قابل توجه است. اولین نمونه از استفاده از داده های بزرگ در بخش عمومی ظاهر شد.

شکل 2 ساختار بخش استفاده از داده های بزرگ

در مورد دولت غربی، تخمین های دیجیتال، اقتصاد دیجیتال از 3٪ تا 21 درصد از کشورهای تولید ناخالص داخلی بیست سال است. گوسفند روسیه هنوز نتایج قابل توجهی در کار با داده های بزرگ به دست نیاورده است. امروز در روسیه، چنین فن آوری ها بیشتر به شرکت های تجاری علاقه مند هستند: شبکه های تجاری، بانک ها، شرکت های مخابراتی. پذیرش جوامع جامعه روسیه، حجم اقتصاد دیجیتال VRF تنها 1 تریلیون است. مالش -Olline 1.5٪ dismount. با این وجود، URF پتانسیل بزرگی برای رشد اقتصاد دیجیتال است. علیرغم دوره کوچکی از وجود بخش داده های بزرگ، برآوردهای استفاده موثر از این فن آوری ها بر اساس نمونه های واقعی وجود دارد. بانک ها امروزه به طور متوسط \u200b\u200bحدود 3.8 داده های پتبیت به طور متوسط \u200b\u200bهستند، آنها از تکنولوژی داده های بزرگ برای دستیابی به وظایف خاصی استفاده می کنند: • کارت اعتباری با استفاده از کارت داده؛  قرار دادن داده های داده؛  داده های اعتباری؛ 44٪ 16٪ 7٪ 7٪ 7٪ 20٪ اطلاعات مشتری Bankektelecometlgossegorgiebie داده های جمع آوری؛  داده های ذخیره سازی مشتری. بانک ها ادعا می کنند که پس از شروع به لذت بردن از تکنولوژی داده های بزرگ، آنها توانستند مشتریان جدید را جذب کنند، بهتر است با مشتریان جدید و قدیمی و با مشتریان قدیمی ارتباط برقرار کنیم و وفاداری خود را حفظ کنیم. در سال 2015، CNEWS تجزیه و تحلیل تجزیه و تحلیل در دهه سی ساله بزرگترین بانک های روسیه در دارایی های تجمعی برای پیدا کردن فناوری اطلاعات بزرگ آنها و با چه اهداف. در مقایسه با بررسی سال 2014، تعداد بانک های TOP30، که در مورد استفاده از فن آوری های داده های عمومی گزارش شده است، افزایش یافته است، اما این تغییر به دلیل تغییر در 30 ترکیب برتر است. شکل 3 مقایسه مقایسه مقایسهای بررسی 2015 در مقایسه با سال 2014، به طور مساوی بررسی Kiryanovaya A.

شکل. 3. با استفاده از داده های بزرگ TOP30 بانک های روسی

بر اساس گزارش IBS، 80 درصد از بانک هایی که به طور مثبت پاسخ دادند، تجهیزات نرم افزاری دستگاه های بزرگ را برای ذخیره و پردازش داده ها اجرا کنید. این راه حل ها معمولا به عنوان یک مخزن تحلیلی یا تراکنش عمل می کنند، مزیت اصلی آن در هنگام کار با حجم داده های بزرگ، عملکرد خوبی است. با این حال، تمرین استفاده از داده های بزرگ در بانک های روسی در مرحله تبدیل شدن به آن است. دلیل چنین سازگاری آهسته در روسیه توسط حفره مشتریان به فن آوری های جدید نشان داده شده است. آنها احساس اعتماد به نفس نمی کنند که فناوری داده های بزرگ به حل مشکلات کامل کمک می کند. و این همان چیزی است که بازار آمریکا نگرانی دارد، بانک ها در حال حاضر داده های امتحان را جمع کرده اند، که می تواند با 275 میلیارد ورودی MP3 مقایسه شود. تعداد منابع از جایی که اطلاعات از کجا می آید، شما می توانید کلاسیک را برجسته کنید:  مشتریان مشتریان دفتر بانک؛ • مشتریان مشتری مشتری مشتری؛ • شبکه های اجتماعی مشتری؛ عملیات عملیات کارت اعتباری دیگر. تجزیه و تحلیل رفتار خریداران ، راه های طراحی اتاق بازرگانی، به درستی از کالاها، تهیه برنامه ریزی، و در نهایت، فروش را افزایش دهید. در داده های بزرگ، مکانیزم فروش خود را بر روی داده های بزرگ ساخته شده است: کاربران محصولات را بر اساس خرید های قبلی و ترجیحات شخصی خود ارائه می دهند، اطلاعاتی که در مورد آن جمع آوری می شود، به عنوان مثال، در شبکه های اجتماعی جمع آوری شده است. در هر دو مورد، تجزیه و تحلیل داده های بزرگ کمک می کند تا کاهش هزینه ها، افزایش وفاداری مشتری و پوشش مخاطبان بزرگ. به عنوان توسعه پتانسیل تجاری شرکت ها، پایگاه داده های سنتی متوقف می شود تا نیازهای کسب و کار رو به رشد را متوقف کند، به این دلیل که سیستم نمی تواند حسابداری مدیریت کافی را ارائه دهید. تبدیل به داده های بزرگ، فن آوری های جدید به شما اجازه می دهد تا بهینه سازی مدیریت حمل و نقل، دستیابی به ارتباط داده ها و کارایی پردازش آنها از پیامدهای تصمیمات مدیریت، به سرعت گزارش های مدیریت را تشکیل می دهند. مقدار کل داده های انباشته شده بیش از 100 Exbutte است، تنها با استفاده از فرایندهای داده های بزرگ، با استفاده از فرایندهای داده های بزرگ 2.5 پتبیت داده ها در ساعت. هنگام استفاده از فن آوری های داده های بزرگ، 60٪ افزایش سودآوری عملیاتی، و همچنین آمار Hadoop پس از اجرای داده های بزرگ، عملکرد تجزیه و تحلیل به درمان 120 الگوریتم افزایش می یابد و سود در 710٪ افزایش می یابد. اگر شما در نظر بگیرید توسط خرده فروشی روسیه، پس از آن در اینجا بزرگ است داده ها فقط شروع به افزایش حرکت، از آنجا که تخلیه پردازش اطلاعات بسیار متفاوت است. به عنوان مثال، 18 برابر کمتر از چین و کل گردش اطلاعات است که در دکمه های آنلاین تولید می شود 4.5 برابر کمتر از یک فروشگاه آمازون. در همان زمان، تعداد فروشگاه های آنلاین در روسیه، که از داده های بزرگ کمتر از 40 هزار استفاده می کنند، در حالی که اروپا، تعداد این مغازه ها بیش از 550 هزار نفر است. چه چیزی بازار خرده فروشی روسیه را به عنوان هنوز هم در حال توسعه و نه به طور کامل تشکیل می دهد. همانطور که برای زندگی روزمره ما، فن آوری داده های بزرگ در اینجا استفاده می شود، که در آن ما حتی حدود 1 میلیون آهنگ را هر روز فکر نمی کنم، و این حدود 1.5 تا 2 پتبیت، فرآیند Shazam، خدمات موسیقی، در سراسر جهان، و بر اساس این است سپس تولید کنندگان موسیقی پیش بینی محبوبیت هنرمند را پیش بینی می کنند. داده های بزرگ نیز برای رسیدگی به اطلاعات کارت اعتباری مانند MasterCard و Visa استفاده می شود. بنابراین، 65 میلیارد معاملات برای سال با کمک 1.9 میلیارد کارت در 32 میلیون شرکت بازرگانی MasterCard برای پیش بینی روند معاملاتی. هر روز، مردم در شبکه های اجتماعی در سراسر جهان، مانند توییتر و فیس بوک، در 19 ترابایت اطلاعات، نوشتند. آنها عکس ها را آپلود و پردازش می کنند، نوشتن، ارسال پیام ها و غیره. زیرساخت همچنین از تکنولوژی داده های بزرگ استفاده می کند، از تریللهای معادن و موشک ها. بنابراین، در لندن مترو هر روز، Turnstiles ثبت حدود 20 میلیون گذشت، به عنوان یک نتیجه از تجزیه و تحلیل انجام شده بر اساس فناوری های داده های بزرگ، 10 نوع از مرکز اپیکسته شناسایی شده است، که همچنین با توسعه بیشتر مورد توجه قرار گرفته است از مترو بدون شک، تنوع و مقدار داده های ناشی از انواع تعاملات، یک پایگاه قدرتمند کسب و کار برای ساخت و روشن کردن پیش بینی ها، شناسایی الگوهای، ارزیابی کارایی و غیره است. با این حال، در مجموع Assupports وجود دارد، که همچنین نیاز به صلاحیت به حساب می آیند. با وجود مزایای صریح و بالقوه استفاده از داده های بزرگ، استفاده از آنها دارای نقایص خود است، که عمدتا با مقدار زیادی اطلاعات، روش های مختلف دسترسی به آن مرتبط است و با ارائه منابع اغلب ناکافی. توابع امنیت اطلاعات در سازمان ها. مشکلات مربوط به استفاده از داده های عمومی در شکل 4 ارائه شده است.

شکل. 4. مشکلات استفاده از داده های بزرگ

همه این مشکلات منجر به این واقعیت می شود که بسیاری از شرکت ها دارای فناوری داده های بزرگ هستند، از زمانی که با اشخاص ثالث کار می کنند، خودشان مشکل افشای داخل را مطرح می کنند، که این شرکت نمی تواند با استفاده از منابع تنها فاش شود. بر اساس نظر من، مهمترین گام در مسیر معرفی کامل فن آوری بر اساس داده های بزرگ، باید یک جنبه قانونی باشد. در حال حاضر قوانینی وجود دارد که جمع آوری، استفاده، ذخیره سازی انواع خاصی از داده های شخصی را محدود می کند، اما آنها اطلاعات کامل را محدود نمی کنند، بنابراین قوانین ویژه باید برای آنها وجود داشته باشد. به منظور تطبیق به سرعت در حال تغییر و قوانین جدید، شرکت ها باید موجودی اولیه اقدامات قانونی قانونی مربوطه و به طور منظم برای به روز رسانی این لیست را انجام دهند. با این حال، علیرغم نقص های ذکر شده بالا، به عنوان تجربه نمایندگان غربی نشان می دهد، داده های بزرگ فناوری کمک می کند تا به طور موفقیت آمیز به عنوان تمرین کسب و کار مدرن و افزایش رقابت و اهداف مرتبط به طور مستقیم با زندگی مردم کمک کند. شرکت های روسی در حال حاضر در راه معرفی فن آوری های داده های بزرگ در هر دو در حوزه تولید و به طور عمومی، از آنجا که مقدار اطلاعات هر سال تقریبا دو افزایش می یابد. در طول زمان، بسیاری از مناطق زندگی ما تحت تاثیر داده های بزرگ تغییر خواهد کرد.

پیوندها به منابع 1.budzkov. I. سیستم های دسترسی بالا و داده های بزرگ // اطلاعات بزرگ در اقتصاد ملی 2013. ص. 1619.2. Corotkova T. "EMC Data Lake 2.0 - انتقال به تحلیلگر داده های بزرگ و یک اقتصاد دیجیتال" http: // bigdata .cnews.ru / news / line / 20151203_EMC_DATA_LAKE_20_POMOZHET_PEREJTI_K_Analitike.3.KYRIANOVA A. "داده های بزرگ تبدیل به یک جریان اصلی در بانک های روسی نیست" http://www.cnews.ru/news/top/bolshie_dannye_ne_stali_mejnstrimom 4.CNews "Infigure: داده های بزرگ به روسیه آمد "http: //bigdata.cnews.ru/articleshi/infografika_bolshie_dannye_prishli_v_rossiyu.5.cnews" Infographics: چگونه خرده فروشی از داده های بزرگ استفاده می کند "http://bigdata.cnews.ru/articles/infografika_kak_roznitsa_ispolzuet هیچ قانون خاصی وجود ندارد در جهان در ارتباط با داده های بزرگ داده ها باید به منظور حفظ منابع منبع داده های این شرکت ها باید مطمئن باشند که تمام نیازهای امنیتی داده ها تحت نظارت و پشتیبانی از پیاده سازی قدمت های بزرگ ممکن است این که آیا مدیریت اطلاعات قبلا محرمانه را ایجاد یا شناسایی کنید. حفظ نیازهای امنیتی داده ها برای امنیت برچسب داده ها نامیده می شود نامیده می شود risp6.cnews "infographics: bigdata technologies" http://bigdata.cnews.ru/articles/big_data_v_zhizni_cheloveka.7.cnews کلمات کلیدی: کدام می تواند داده های بزرگ در بانک ها "http://bigdata.cnews.ru/articles/infografika_chto_mogut_bolshie_dannye.8. مبادله Moskovskaya" تحلیلی SumaryBigdata "http://habrahabr.ru/company/moex/blog/256747/9. داده های بزرگ ( اطلاعات بزرگ). http://www.tadviser.ru/index.php/statimateschet_data_(big_data) .10. Bigdata-Electricity XXIVEK http://bit.samag.ru/archive/article/1463.11.mckinsey موسسه جهانی "BigData: مرز بعدی برای نوآوری، قابلیت بهره وری رقابت »(ژوئن 2011).