پردازش داده ها

پردازش داده ها

پردازش دیتا در پایان نامه

پردازش داده ها

پردازش داده ها: به مفهوم کلّی، پردازش موازی اطلاعات عبارت است از دریافت داده‌ها، ایجاد فرایند مقایسه و در نهایت تغییر یا عدم تغییر اطّلاعات موجود به صورتی دیگر. بدین ترتیب، هر آنچه که در جهان رخ می‌دهد، می‌تواند به نوعی پردازش اطّلاعات تلقی گردد.

داده کاوی چیست

داده عبارت است از هر شکل، نمودار، عدد، متن، عکس و… که پیام زیادی منتقل نمی‌کند، و برای استفاده از آن باید آن را پردازش کرد. برای مثال نتایج حاصل از یک آمارگیری، داده در نظر گرفته می‌شود چراکه اعداد حاصل از آمارگیری اطلاعات چندانی در اختیار قرار نمی‌دهد و باید آن را پردازش کرد تا شاخص‌های آماری و سایر اطلاعات مورد نیاز بتوانند ویژگی‌های جامعه را بیان کنند.

جهت مشاهده مطالب روش تحقیق در روانشناسی و علوم تربیتی کلیک کنید.

بانک اطلاعات

به نتایج پردازش داده، اطلاعات می‌گویند. کسب اطلاعات در واقع هدف از جمع‌آوری داده و پردازش آن می‌باشد تا بتوان با استفاده از آن به نتایج مطلوب دسترسی پیدا کرد. معمولاً اطلاعات برای مخاطب ارزش بسیار بیشتری دارد و می‌تواند مطالب بیشتری از آن دریافت کند. این تعاریف به‌طور نسبی مطرح می‌شوند و ممکن است داده یک سیستم، اطلاعات سیستم دیگر باشد و بالعکس.

 

پردازش داده چیست:

پردازش داده کامپیوتر، هر پردازشی است که داده را به اطلاعات یا دانش تبدیل می‌کند. پردازش معمولاً به صورت اتوماتیک است و بر روی کامپیوتر اجرا می‌شود. وقتی داده‌ها حاوی اطلاعات باشند سیستم‌های پردازش داده اغلب سیستم‌های اطلاعاتی نامیده می‌شوند تا بر کاربردی بودن آن‌ها تأکید شود. با این حال، این عبارات به‌طور کلی مترادف هستند و نمایش دهنده تبدیلات مشابه، سیستم‌های پردازش داده به‌طور متداول داده‌های خام را به اطلاعات تبدیل می‌کنند، و مشابهاً سیستم‌های اطلاعاتی داده‌های خام را به عنوان ورودی می‌گیرند تا اطلاعات را به عنوان خروجی تولید کنند.

به داده می‌توان به عنوان یک ماده خام نگاه کرد، که بعداً به اطلاعات تبدیل می‌شود. برای مثال یک کارخانه برای تولید محصول نهایی خود نیاز به مواد اولیه یا مواد خام خواهد داشت تا بتواند به محصول نهایی که مورد استفاده قرار خواهد گرفت برسد. در این بین متناسب با نوع ماده خام و محصول نهایی، فرآوری‌های مختلف و مراحل متفاوتی روی ماده خام انجام می‌شود. این مراحل مشابه مراحل ذکر شده برای پردازش داده‌است، یک سیستم اطلاعاتی ماده خام (داده اولیه) را می‌گیرد و پس انجام مراحل فرآوری و آماده‌سازی آن -که به آن پردازش گفته می‌شود.

بدون پردازش داده‌ها، شرکت‌ها دسترسی خود را به داده‌هایی محدود می‌کنند که می‌توانند مزیت رقابتی آن‌ها را ارتقا دهند و بینش‌های مهم تجاری را ارائه دهند. به همین دلیل برای همه شرکت‌ها بسیار مهم است که لزوم پردازش تمام داده‌های خود و نحوه انجام آن را درک کنند.

پردازش داده چیست؟

پردازش داده ها زمانی اتفاق می افتد که داده ها جمع آوری و به اطلاعات قابل استفاده تبدیل شوند. معمولاً توسط یک دانشمند داده یا تیمی از دانشمندان داده انجام می شود، مهم است که پردازش داده ها به درستی انجام شود تا بر محصول نهایی یا خروجی داده تأثیر منفی نگذارد.

پردازش داده‌ها با داده‌ها به شکل خام شروع می‌شود و آن‌ها را به قالبی قابل خواندن (نمودار، اسناد و غیره) تبدیل می‌کند و به آن شکل و زمینه لازم برای تفسیر توسط رایانه‌ها و استفاده توسط کارکنان در سراسر سازمان می‌دهد.

شش مرحله پردازش داده ها

1. جمع آوری داده ها

جمع آوری داده ها اولین گام در پردازش داده ها است. داده ها از منابع موجود، از جمله دریاچه های داده و انبارهای داده استخراج می شوند. مهم است که منابع داده های موجود قابل اعتماد و به خوبی ساخته شده باشند، بنابراین داده های جمع آوری شده (و بعداً به عنوان اطلاعات مورد استفاده قرار می گیرند) از بالاترین کیفیت ممکن برخوردار باشند.

2. آماده سازی داده ها

پس از جمع آوری داده ها، وارد مرحله آماده سازی داده ها می شود. آماده‌سازی داده‌ها، که اغلب به عنوان «پیش پردازش» از آن یاد می‌شود، مرحله‌ای است که در آن داده‌های خام برای مرحله بعدی پردازش داده‌ها پاکسازی و سازماندهی می‌شوند. در طول آماده سازی، داده های خام به سختی برای هر گونه خطا بررسی می شوند. هدف از این مرحله حذف داده های بد (داده های زائد، ناقص یا نادرست) و شروع به ایجاد داده های با کیفیت بالا برای بهترین هوش تجاری است.

3. ورودی داده

سپس داده‌های تمیز به مقصد وارد می‌شوند (شاید یک CRM مانند Salesforce یا یک انبار داده مانند Redshift)، و به زبانی ترجمه می‌شوند که قابل درک باشد. ورودی داده اولین مرحله ای است که در آن داده های خام به شکل اطلاعات قابل استفاده در می آیند.

4. پردازش

در این مرحله، داده های وارد شده به رایانه در مرحله قبل در واقع برای تفسیر پردازش می شوند. پردازش با استفاده از الگوریتم‌های یادگیری ماشین انجام می‌شود، اگرچه ممکن است این فرآیند بسته به منبع داده‌های در حال پردازش (دریاچه‌های داده، شبکه‌های اجتماعی، دستگاه‌های متصل و غیره) و کاربرد مورد نظر آن (بررسی الگوهای تبلیغاتی، تشخیص پزشکی از دستگاه‌های متصل، کمی متفاوت باشد. تعیین نیازهای مشتری و غیره).

5. خروجی/تفسیر داده ها

مرحله خروجی/تفسیر مرحله ای است که در نهایت داده ها برای دانشمندان غیر داده قابل استفاده است. ترجمه شده، قابل خواندن و اغلب به صورت نمودار، فیلم، تصویر، متن ساده و غیره است). اعضای شرکت یا مؤسسه اکنون می توانند شروع به ارائه داده ها برای پروژه های تجزیه و تحلیل داده خود کنند.

6. ذخیره سازی داده ها

مرحله نهایی پردازش داده ها ذخیره سازی است. پس از پردازش تمام داده ها، برای استفاده در آینده ذخیره می شود. در حالی که برخی از اطلاعات ممکن است فوراً مورد استفاده قرار گیرند، بسیاری از آنها بعداً به یک هدف عمل می کنند. بعلاوه، داده های ذخیره شده به درستی برای رعایت قوانین حفاظت از داده ها مانند GDPR ضروری است. هنگامی که داده ها به درستی ذخیره می شوند، در صورت نیاز می توانند به سرعت و به راحتی توسط اعضای سازمان در دسترس باشند.

آینده پردازش داده ها

آینده پردازش داده ها در فضای ابری نهفته است. فناوری ابری مبتنی بر راحتی روش‌های پردازش الکترونیکی فعلی است و سرعت و اثربخشی آن را تسریع می‌کند. داده‌های سریع‌تر و باکیفیت‌تر به معنای داده‌های بیشتر برای استفاده هر سازمان و بینش ارزشمندتر برای استخراج است.

با انتقال داده های بزرگ به فضای ابری، شرکت ها به مزایای بزرگی دست می یابند. فناوری‌های ابری کلان داده به شرکت‌ها این امکان را می‌دهند که همه پلتفرم‌های خود را در یک سیستم با قابلیت سازگاری با هم ترکیب کنند. همانطور که نرم افزار تغییر می کند و به روز می شود (همانطور که اغلب در دنیای داده های بزرگ انجام می شود)، فناوری ابری به طور یکپارچه جدید را با قدیمی ادغام می کند.

مزایای پردازش داده های ابری به هیچ وجه محدود به شرکت های بزرگ نیست. در واقع، شرکت های کوچک می توانند از مزایای عمده خود بهره ببرند. پلتفرم‌های ابری می‌توانند ارزان باشند و انعطاف‌پذیری را برای رشد و گسترش قابلیت‌ها با رشد شرکت ارائه دهند. این به شرکت ها این توانایی را می دهد که بدون برچسب قیمت سنگین مقیاس کنند.

از پردازش داده تا تجزیه و تحلیل

کلان داده ها نحوه تجارت همه ما را تغییر می دهند. امروزه، چابک ماندن و رقابتی ماندن به داشتن یک استراتژی پردازش داده روشن و مؤثر بستگی دارد. در حالی که شش مرحله پردازش داده ها تغییر نمی کند، ابر پیشرفت های عظیمی را در فناوری ایجاد کرده است که پیشرفته ترین، مقرون به صرفه ترین و سریع ترین روش های پردازش داده تا به امروز را ارائه می دهد.

 

جهت مشاهده مطالب روش تحقیق در روانشناسی و علوم تربیتی کلیک کنید.

تعاریف

در پردازش داده، داده‌ها کاراکترها و اعداد هستند که بیانگر اندازه‌ها از دیدگاه پدیده‌های قابل مشاهده‌اند. یک داده اولیه تنها یک اندازه از پدیده قابل مشاهده‌است. اطلاعات اندازه‌گیری شده سپس به صورت الگوریتمی مشتق می‌شود و به صورت منطقی نتیجه‌گیری شود یا به صورت آماری از چندین داده محاسبه شود (شواهد). اطلاعات، یا به صورت پاسخ به یک درخواست تعریف می‌شود یا پاسخ به یک محرک که می‌تواند درخواستهای بعدی را در پی داشته باشد.

برای مثال جمع‌آوری داده‌های لرزه‌نگاری به تغییر داده لرزه‌نگاری برای خنثی کردن اختلال، افزایش انتقال سیگنال به مکان مناسبی در فضا منجر می‌شود. مراحل پردازش به‌طور معمول آنالیز سرعت‌ها و فرکانس‌ها، تصحیح استاتیک، ساده‌سازی، انتقال نرمال، انتقال عمیق، پشته سازی، و نقل مکان را شامل می‌شود، که می‌تواند قبل یا بعد از پشته‌سازی صورت گیرد. پردازش لرزه‌نگاری تفسیر بهتر را تسهیل می‌کند چراکه ساختارهای زیر سطحی و بازتاب‌های هندسی مشهود ترند.

تعریف کلی

بطورکلی، اصطلاح پردازش داده می‌تواند هر پردازشی را که داده را از شکلی به شکلی دیگر تبدیل می‌کند دربرگیرد، اگرچه «تبدیل داده» می‌تواند اصطلاح منطقی تر و صحیح تری باشد. از این دیگاه، پردازش داده تبدیل داده به اطلاعات خواهد بود و همچنین تبدیل مجدد اطلاعات به داده. تفاوت اینجاست که تبدیل نیاز به درخواست نخواهد داشت. برای مثال، اطلاعات به صورت رشته‌ای از کاراکترها که یک جمله را تشکیل می‌دهند عبارتست از داده تبدیل شده (یا کد شده) بی‌معنی نزدیک به سخت‌افزار که اطلاعات معنی دار برای انسان را منتج می‌کند.

 

تحلیل داده

زمانی که محدوده‌ای که داده از آن استخراج شده علم یا مهندسی است، پردازش داده و سیستم‌های اطلاعاتی محدوده‌ای بسیار گسترده از اصطلاحات خواهند بود؛ اصطلاح آنالیز داده تخصصی تر معمولاً با تمرکز بیشتر روی مشتقات الگوریتمی بسیار تخصصی تر و دقیق تر و محاسبات پیچیده همراه خواهد بود که کمتر در محدوده محیط‌های کاری دیده می‌شود. در این زمینه بسته‌های آنالیز داده مانند DAP, gretl, PSPP بیشتر مورد استفاده قرار می‌گیرند.

 

پردازش

عملاً تمام پردازشهای طبیعی را می‌توان به عنوان مثال‌هایی از سیستم‌های پردازش داده دانست که اطلاعات «قابل مشاهده» به شکل فشار، نور و… هستند که به وسیلهٔ مشاهده‌کننده‌های انسان که سیگنال‌های الکتریکی را در سیستم اعصاب تبدیل می‌کنند و ما آن‌ها را به عنوان حس‌های خود مانند لامسه، صدا و تصویر می‌شناسیم. حتی تعامل سیستم‌های غیر زنده نیز به عنوان سیستم‌های پردازش داده ابتدایی این طریق ممکن است بیان شوند.

 

المان‌های پردازش داده

برای اینکه داده بتواند توسط کامپیوتر پردازش شود، باید ابتدا به شکلی تبدیل شود که توسط کامپیوتر قابل خواندن باشد. وقتی که داده به صورت دیجیتال است، فرآیندهای متفاوتی می‌تواند روی آن رخ دهد تا به اطلاعات مفید برسیم.

 

پردازش داده ها

حمایت از داده ها تحت کنوانسیون 108 و دستورالعمل حمایت از داده ها عمدتاً روی پردازش خودکار داده ها متمرکز است. اما وفق حقوق شورای اروپا، تعریف پردازش خودکار تبیین می کند که بعضی از مراحل استفاده دستی از داده های شخصی در اثناء عملیات خودکار لازم خواهند بود. به همین نحو، وفق حقوق اتحادیه اروپا، پردازش خودکار داده ها به این صورت تعریف می شود: «عملیات انجام شده روی داده های شخصی، که به صورت کامل یا جزئی با ابزار خودکار صورت گرفته باشد».

پردازش دستی داده ها هم به حمایت از داده ها نیاز دارد. حمایت از داده ها وفق حقوق اتحادیه اروپا به هیچ وجه به پردازش خودکار داده ها محدود نیست. از این رو، وفق حقوق اتحادیه اروپا، حمایت از داده ها بر پردازش داده های شخصی در سیستم دستی پرونده، یعنی پرونده کاغذی با ساختار طبقه بندی ویژه نیز اِعمال می شود. دلیل این توسعه حمایت آن است که:

پرونده های کاغذی را می توان طوری سازماندهی کرد که یافتن اطلاعات را سریع و آسان سازد.

ذخیره داده های شخصی در پرونده های کاغذی ساخت یافته و طبقه بندی شده فرار از محدودیت های وضع شده توسط قانون را برای پردازش خودکار داده ها مقدور می سازد.

 

پردازش داده ها

در حقوق شورای اروپا، کنوانسیون 108 عمدتاً احکام پردازش داده ها را برای پرونده های داده ای خودکار مقرر می کند. اما در عین حال امکان توسعه حمایت نسبت به پردازش دستی را در قانون داخلی منظور می کند. بسیاری از اعضای کنوانسیون 108 از این امکان استفاده کرده و به این منظور اطلاعیه هایی را به دبیر کل شورای اروپا ارائه کرده اند. توسعه حمایت از داده ها وفق چنین اطلاعیه ای باید مربوط به تمام انواع پردازش دستی داده ها بوده و نمی تواند محدود به پردازش در سیستم های دستی طبقه بندی شده باشد.

در خصوص ماهیت پردازش عملیات مشمول حقوق حمایت از داده ها، مفهوم پردازش وفق حقوق اتحادیه اروپا و شورای اروپا جامع است: «پردازش داده های شخصی … باید به معنای هر گونه عملیاتی … مانند جمع آوری، ثبت، سازماندهی، ذخیره، تطبیق یا تغییر، بازیابی، ارزیابی، استفاده، افشا از طریق انتقال، انتشار یا روش های دیگر دسترس پذیر کردن، تنظیم یا ترکیب، مسدود کردن، حذف یا معدوم کردن که روی داده های شخصی انجام می شوند، باشد».

 

اصطلاح «پردازش»

اصطلاح «پردازش» همچنین شامل اقداماتی است که طی آن اقدامات داده ها از حیطه مسئولیت یک کنترل کننده خارج و به حیطه مسئولیت کنترل کننده دیگر منتقل می شوند. به عنوان مثال کارفرمایان اطلاعاتی را درباره کارمندانشان، از جمله اطلاعات مربوط به حقوق آنها را، جمع آوری و پردازش می کنند. کارفرمایان باید داده های حقوق کارکنانشان را به مقامات مالیاتی ارسال کنند. این ارسال داده ها وفق کنوانسیون 108 و دستورالعمل «پردازش» خواهد بود.

اما دلیل قانونی چنین افشایی قرارداد کار نیست. باید مبنای قانونی دیگری برای پردازش عملیاتی که به انتقال داده های حقوق از کارفرما به مقامات مالیاتی منجر می شود، وجود داشته باشد. این مبنای حقوقی معمولاً در الزامات قوانین ملی مالیاتی وجود دارد. بدون چنین الزام قانونی، انتقال داده ها پردازش غیرقانونی تلقی خواهد شد.

 

مطلب آموزشی بالا مربوط به  پردازش داده ها است که در سایت یونی تحلیل آن را در اختیار شما پژوهشگر عزیز قرار داده ایم.

 

 

پردازش داده ها

www.talend.com