انبار داده (Data Warehouse یا به اختصار DWH) به عنوان مخزن دادههای ذخیره شده الکترونیکی یک سازمان که از سیستمهای عملیاتی و در دسترس استخراج شده اند برای پرس و جوهای موقت و گزارشهای برنامه ریزی ...
ادامه مطلبفرآیند etl در انبار داده. اکنون میدانیم etl چیست، اما همان طور که اشاره کردیم، etl یک فرآیند 3 مرحلهای است: مرحله1 Extraction. در نخستین مرحله، دادهها از منابع مختلف استخراج و در Staging Area ذخیره میشوند.
ادامه مطلباز جمله مهم ترین مزایای انبار داده ابری می توان به لیست زیر اشاره کرد. سهولت در استفاده; سهولت در مدیریت; صرفه جویی در هزینه; بهترین انواع انبار داده ابری به صورت کامل اتوماتیک شده و خودران ...
ادامه مطلبانبار و انبارداری از مهمترین بخشهای یک سازمان و یا شرکت هستند، زیرا بخش بزرگی از داراییهای سازمانها در موجودیهای انبار آنها انباشته شده است.موجودی کالاهای انبار باید در محلهای امن و به صورت منظم نگهداری شود و ...
ادامه مطلباهمیت علم داده کاوی زمانی بیشتر مطرح می شود که با حجم زیادی از داده ها (در حد یا TB) مواجه شویم و این موضوع در همه ی منابع مربوط به این علم مورد تاکید قرار گرفته است. به هر میزان حجم داده ها بیشتر ...
ادامه مطلبیک انبار داده معمولی اغلب شامل عناصر زیر است: 1. یک پایگاه داده رابطهای برای ذخیره و مدیریت دادهها 2. یک راهحل استخراج، بارگذاری و تبدیل (ELT) تا دادهها را برای تجزیهوتحلیل آماده کند 3. قابلیتهای تجزیهوتحلیل آماری، گزارشدهی و دادهکاوی 4. ابزارهای تجزیهوتحلیل مشتری برای مصورسازی و ارائه دادهها به کاربران تجاری See more
ادامه مطلباستخراج، تبدیل، بارگذاری. در etl.py، ماژولها و متغیرهای پایتون زیر باید بارگذاری شوند تا کار آغاز شود. 1 # python modules 2 import mysql.connector 3 import pyodbc 4 import fdb 5 # variables 6 from variables import datawarehouse_name. در اینجا دو متد ...
ادامه مطلببد نیست پیش از هر چیز به معرفی و توضیح مفهوم انبار داده بپردازیم. انبار داده (Data warehouse) مخزن اصلی اطلاعات است و میتوان از تحلیل آن برای تصمیمگیریهای آگاهانهتر استفاده کرد. دادهها به طور معمول در دورههای منظم از ...
ادامه مطلبانبار داده باید داده را از منابع مختلف داده ای جمع آوری کرده و به فرمت یکسان تبدیل کند. در واقع انبار داده مشکلاتی مثل تداخل نام گذاری ها یا ناسازگاری در واحد ها را رفع می کند.
ادامه مطلبتجسم داده ها و توانایی های تصمیم گیری باید بهبود یابد. در سازمان، عملکرد استراتژیک تری را ایفا می کند. برای این موقعیت باید در زمینه هوش تجاری، انبار داده، تجزیه و تحلیل و غیره دانش داشته ...
ادامه مطلبBus Matrix را میتوان یک نمایش کلی و ساده از ابعاد مختلف پروژه در محیط انباره داده یا BI دانست. از آن میتوان به ...
ادامه مطلباز این رو یک تعریف جامعتر از انبار داده به این صورت است: ابزارهای هوش تجاری، استخراج، تبدیل و بارگذاری دادهها در مخازن و ابزارهایی برای مدیریت و بازیابی فراداده.
ادامه مطلبانبار داده نوعی سیستم مدیریت داده است که برای پیاده سازی و پشتیبانی از فعالیت های هوش تجاری استفاده می شود. همچنین OLAP یکی از فناوری هایی است که داده های انبار داده را تحلیل می کند.
ادامه مطلبیکی از اجزای معماری BI، انبار داده میباشد. سازماندهی، ذخیرهسازی، تمیز کردن و استخراج دادهها به وسیله یک مخزن مرکزی انجام میگیرد که به آن انبار داده گفته میشود. این بخش یکی از اجزای ...
ادامه مطلبانبار داده، هسته اصلی سیستم BI (هوش تجاری) است که برای تحلیل و گزارش داده ساخته شده است. در این ذخیره سازی الکترونیکی، مقدار زیادی از اطلاعات توسط یک کسب و کار مشخص را که برای پرس و جو و تجزیه و ...
ادامه مطلبدریاچه داده یک مخزن ذخیره سازی مرکزی است که کلان دادهها را از منابع مختلف در فرمت خام و دست نخورده ذخیره میکند. Data lake میتواند دادههای ساختار یافته، نیمه ساختار یافته یا بدون ساختار را ...
ادامه مطلبعلم داده نیاز به دانش قوی در حیطه تحلیل آماری دادهها، روشهای یادگیری ماشین و برنامه نویسی دارد. مهندسی داده نیازمند دانش عمیق در حوزه مدیریت داده، انبار داده و محاسبات و پردازش توزیع شده ...
ادامه مطلببرای شکلگیری انبار داده، دادهها از منابع مختلف که احتمالا توسط نرمافزارهای مختلف ایجاد شده است، از طریق فرآیندهای ETL جمعآوری شده و در یک انبار داده مجتمع جمعآوری میشوند. فرآیند ETL ...
ادامه مطلبدادهکاوی (Data Mining) فرایند تجزیهوتحلیل حجم عظیمی از مجموعهی دادهها و استخراج اطلاعات مفید از آنها برای کمک به سازمانها برای حل مشکلات، پیشبینی روندها، کاهش خطرات و یافتن فرصتهای ...
ادامه مطلبداده هم به تمامی اطلاعات محیطی که به صورت عددی در آمده باشند اشاره دارد . داده کاوی یعنی استخراج این داده ها از محیط و…. . در نظر داشته باشید که خود دیتا خام نمی تواند به ما چیزی را نشان دهد .
ادامه مطلبتحلیل داده چیست ؟. «تحلیل داده»، فرایندی است متشکل از گامهایِ «بررسی» (Inspecting)، تمیز کردن یا «پاکسازی» (Cleansing)، «تبدیل» (Transforming) و «مدلسازیِ» (Modeling) دادهها که با هدف کشف و استخراج اطلاعات ...
ادامه مطلبانبارهای داده حاوی داده هایی هستند که به مرور زمان از سیستم های عملیاتی آنلاین سازمان(oltp) استخراج می شوند، بنابراین سوابق کلیه اطلاعات و یا بخش عظیمی از آنها را می توان در انبار داده ها مشاهده ...
ادامه مطلبحال این سوال مطرح میشود که اهمیت بهینهسازی در دیتا ساینس چیست؟ ... دانش عمیق از مفاهیم پایگاه داده و انبار داده ... هدف از دیتا ساینس تمرکز بر روی استخراج اطلاعات مهم از دادههای فعلی است.
ادامه مطلبمزیتهای انبار داده. مزیتهای انبار داده به صورت زیر هستند: تصمیمگیری بهتر; انسجام دادهها از منابع مختلف; کیفیت، انسجام و دقت داده; هوش تاریخی (سوابق)
ادامه مطلبانبار داده(Data Warehouse) چیست؟ انـبـار داده بـه مجـموعـه ای از داده هــا گفـتـه می شود که از منابع مختلف اطلاعاتی ...
ادامه مطلبETL چیست؟. ETL فرایند واکشی اطلاعات از سیستم های اطلاعاتی، تبدیل و بارگزاری در انباره داده است. برای انبار داده، ما داده های مفیدی که ارزش تحلیلی دارند را از سیستم های اطلاعاتی مختلف استخراج می ...
ادامه مطلبانبارداده (Data Warehouse) چيست؟. انبار داده مجموعه ای از دادههای مختلف است که برای گزارشگیری و تحلیل داده به کار میرود و بعنوان هسته اصلی یک سیستم BI به شمار میآید. به عبارت دیگر انبار داده یک مخزن داده مرکزی از دادههای ...
ادامه مطلبپایگاه اطلاعات داده یا دیتابیس (Database) به زبانی ساده یعنی مجموعه ای از داده ها که به صورت منظم سازماندهی شده اند تا در زمانی مشخصی که به آن ها نیاز داریم، مورد استفاده قرار گیرند. دیتابیس برای ...
ادامه مطلبدر متن حاضر به بررسی فرایند ETL میپردازیم. این مهم در بحث انبار دادهها با سه مرحله اصلی استخراج، تبدیل و بارگذاری اطلاعات با دقت و مهارت لازم، ضروری است.
ادامه مطلبداده کاوی (Data Mining) علم استخراج الگوها، اطلاعات و تحلیل از مجموعه دادههای خامی است که در یک سازمان و یا یک جامعه یا هر مجموعه دیگری تولید شده است. سالیان پیش که حجم دادههای تولیدی بسیار ...
ادامه مطلب