مستودع بيانات Azure.

تعتمد أفضل بنية Azure Data Warehouse على متطلبات عملك المحددة وحجم البيانات وتعقيدها واحتياجات الأداء.

ومع ذلك، هناك بعض المبادئ المعمارية الشائعة وأفضل الممارسات التي يجب مراعاتها عند تصميم حل Azure Data Warehouse:

استيعاب البيانات
استيعاب البيانات من مصادر مختلفة باستخدام Azure Data Factory أو Azure Data Factory Data Flows أو مصادر Azure Data Factory Data Flow.

   – ضع في اعتبارك استخدام Azure Event Hubs أو Azure IoT Hub لسيناريوهات تدفق البيانات في الوقت الفعلي.

   – استخدم Azure Databricks أو Azure HDInsight لعمليات ETL (استخراج، تحويل، تحميل) إذا لزم الأمر.

تخزين البيانات
قم بتخزين البيانات المنظمة في Azure SQL Data Warehouse (المعروف الآن باسم Azure Synapse Analytics)، والذي تم تصميمه للاستعلامات التحليلية عالية الأداء.

   – تحسين تخزين البيانات باستخدام تنسيقات التخزين العمودية مثل Parquet أو ORC.

   – ضع في اعتبارك الاستفادة من Azure Data Lake Storage Gen2 لتخزين كميات كبيرة من البيانات الأولية التي قد تتطلب مزيدًا من المعالجة.

نمذجة البيانات
صمم مخطط نجمي أو مخطط ندفة ثلجية لمستودع البيانات الخاص بك لتسهيل الاستعلام الفعال.

   – إنشاء جداول الحقائق والأبعاد لتمثيل علاقات البيانات الخاصة بك.

   – استخدم أفضل ممارسات نمذجة البيانات لتقليل التكرار وتحسين أداء الاستعلام.

تقسيم البيانات
قم بتنفيذ تقسيم البيانات لتحسين أداء الاستعلام. قم بتقسيم الجداول بناءً على الأعمدة المستخدمة بشكل شائع.

   – تحديد مفاتيح التوزيع المناسبة للجداول لتوزيع البيانات بالتساوي عبر موارد الحوسبة.

تحميل البيانات إلى
استخدم PolyBase أو Azure Data Factory لتحميل البيانات إلى Azure Synapse Analytics.

   – ضع في اعتبارك استخدام استراتيجيات التحميل التدريجي لتقليل وقت تحميل البيانات إلى الحد الأدنى.

أمان البيانات والامتثال
تنفيذ المصادقة المستندة إلى Azure AD للتحكم في وصول المستخدمين.

   – تطبيق أمان مستوى الصف (RLS) للتحكم الدقيق في الوصول.

   – استخدم Azure Key Vault لإدارة مفاتيح التشفير والأسرار.

   – الامتثال لمتطلبات حوكمة البيانات والمتطلبات التنظيمية، مثل اللائحة العامة لحماية البيانات (GDPR) أو قانون نقل التأمين الصحي والمسؤولية (HIPAA).

تحويل البيانات
استفد من قوة استعلامات SQL لتنفيذ تحويلات البيانات مباشرة في Azure Synapse Analytics.

   – بالنسبة للتحويلات المعقدة أو إعداد البيانات، ضع في اعتبارك استخدام Azure Databricks أو Azure HDInsight.

تحسين أداء الاستعلام
مراقبة أداء الاستعلام باستخدام أدوات مثل Azure Monitor و Query Performance Insights.

   – استخدام طرق عرض مادية وتقنيات تحسين الاستعلامات لتحسين سرعة الاستعلامات.

   – استخدام إدارة عبء العمل لتحديد الأولويات وتخصيص الموارد للاستفسارات الهامة.

توسيع النطاق وإدارة الموارد
قم بتكوين إعدادات الإيقاف التلقائي والاستئناف التلقائي لإدارة التكاليف بفعالية.

   – استخدم فئات الموارد لتخصيص الموارد بناءً على أولويات عبء العمل.

   – مراقبة الموارد وتعديلها لتلبية متطلبات الأداء المتغيرة.

تكامل البيانات مع أدوات BI
دمج Azure Synapse Analytics مع أدوات ذكاء الأعمال مثل Power BI أو Tableau أو Excel لإعداد التقارير والتصور.

    – الاستفادة من Azure Analysis Services في النمذجة الدلالية والتخزين المؤقت لتحسين أداء الاستعلامات لأدوات BI.

المراقبة والتسجيل
قم بتنفيذ مراقبة وتسجيل شاملين باستخدام Azure Monitor و Azure Log Analytics و Azure Application Insights.

    – إعداد التنبيهات والإشعارات للأحداث الهامة ومشكلات الأداء.

استعادة البيانات بعد الكوارث والنسخ الاحتياطي
تنفيذ استراتيجيات النسخ الاحتياطي واستعادة البيانات بعد الكوارث لضمان توفر البيانات واستمرارية الأعمال.

    – استخدم النسخ المتماثل الجغرافي والنسخ الاحتياطي التلقائي لحماية بياناتك.

أرشفة البيانات والاحتفاظ بها
تحديد سياسات أرشفة البيانات والاحتفاظ بها لإدارة دورة حياة البيانات في مستودع البيانات.

    – أرشفة البيانات التاريخية في حلول تخزين أقل تكلفة عند الاقتضاء.

التوثيق والبيانات الوصفية
حافظ على توثيق شامل وبيانات وصفية للجداول والأعمدة والتحويلات لتسهيل اكتشاف البيانات وفهمها.

قابلية التوسع والاستعداد للمستقبل
صمم بنية نظامك بحيث تكون قابلة للتوسع والتكيف مع النمو المستقبلي واحتياجات البيانات المتطورة.

يوفر Azure Synapse Analytics منصة مرنة وقوية لتخزين البيانات، وستعتمد أفضل بنية على المتطلبات المحددة لمؤسستك وطبيعة بياناتك وأحمال العمل لديك. ضع في اعتبارك العمل مع مهندسين أو مستشارين معتمدين من Azure لضمان توافق البنية مع أهداف عملك وتوقعات الأداء.

يعد Azure Data Warehouse و Azure Data Lake خدمتين قويتين لتخزين البيانات وتحليلها على Azure، ولكن لكل منهما نقاط قوة وحالات استخدام مختلفة.

Azure Data Warehouseهي خدمة مستودع بيانات مُدارة بالكامل على نطاق بيتابايت تجمع بين قوة تخزين البيانات ومعالجة البيانات الضخمة. وهي مصممة لتخزين البيانات المنظمة وتحليلها لأغراض إعداد التقارير والتحليلات. يستخدم Azure Data Warehouse بنية معالجة متوازية ضخمة (MPP) لتقديم أداء عالٍ حتى لأعباء العمل الأكثر تطلبًا.

Azure Data Lakeهي خدمة بحيرة بيانات آمنة وقابلة للتوسع بدرجة عالية تتيح للمؤسسات تخزين جميع بياناتها وتحليلها، بغض النظر عن تنسيقها أو حجمها. وهي توفر موقعًا واحدًا لجميع بياناتك، مما يسهل الوصول إليها وإدارتها. توفر Azure Data Lake أيضًا إمكانات تحليلية عالية الأداء، بحيث يمكنك الحصول على رؤى من بياناتك بسرعة وسهولة.

أيهما تختار؟

يعتمد الخيار الأفضل لمؤسستك على احتياجاتك ومتطلباتك المحددة. إذا كنت بحاجة إلى تخزين وتحليل البيانات المنظمة لإعداد التقارير والتحليلات، فإن Azure Data Warehouse يعد خيارًا جيدًا. إذا كنت بحاجة إلى تخزين وتحليل جميع بياناتك، بغض النظر عن التنسيق أو الحجم، بما في ذلك البيانات غير المنظمة وشبه المنظمة، فإن Azure Data Lake يعد خيارًا جيدًا.

في بعض الحالات، قد تختار المؤسسات استخدام كل من Azure Data Warehouse و Azure Data Lake معًا. يمكن استخدام بحيرة البيانات لتخزين جميع بيانات المؤسسة، ويمكن استخدام مستودع البيانات لتخزين مجموعة البيانات الفرعية اللازمة لإعداد التقارير والتحليلات.

يعد Azure Data Warehouse و Azure Data Lake خدمتين قويتين لتخزين البيانات وتحليلها على Azure. يعتمد الاختيار الأفضل لمؤسستك على احتياجاتك ومتطلباتك المحددة. قارن بين بحيرات البيانات ومستودعات البيانات بشكل أكثر تعمقًا.

فيما يلي جدول يلخص الاختلافات الرئيسية بين مستودعات البيانات Azure وبحيرات البيانات:

SQL Azure Data Warehouse، المعروف الآن باسم Azure Synapse Analytics، هو خدمة تخزين بيانات قائمة على السحابة وتعتمد على المعالجة المتوازية الضخمة (MPP) تقدمها Microsoft Azure.

وهي مصممة للتعامل مع كميات كبيرة من البيانات وتمكين المؤسسات من إجراء تحليلات متقدمة وإعداد تقارير ومهام ذكاء الأعمال على بياناتها.

تشمل الميزات والخصائص الرئيسية لـ Azure Synapse Analytics (المعروف سابقًا باسم SQL Azure Data Warehouse) ما يلي:

المعالجة المتوازية الضخمة (MPP): يستخدم Azure Synapse Analytics بنية موزعة تسمح له بتوازي وتوزيع معالجة الاستعلامات عبر عدة عقد حسابية. وهذا يتيح معالجة البيانات بسرعة عالية للاستعلامات التحليلية المعقدة.

قابلية التوسع: يوفر قابلية التوسع حسب الطلب، مما يتيح لك التوسع أو التقلص ديناميكيًا بناءً على متطلبات حجم العمل لديك. تضمن قابلية التوسع هذه أن النظام يمكنه التعامل مع مجموعات البيانات الكبيرة وأحمال الاستعلام المتغيرة بكفاءة.

التكامل: يتكامل Azure Synapse Analytics بسلاسة مع مختلف خدمات Azure، مثل Azure Data Lake Storage و Azure Data Factory و Azure Databricks و Azure Analysis Services، مما يوفر نظامًا بيئيًا شاملاً لتخزين البيانات وتكاملها ومعالجتها وإعداد التقارير.

توافق T-SQL: يدعم T-SQL (Transact-SQL)، وهي نفس لغة الاستعلام المستخدمة في Microsoft SQL Server. وهذا يسهل على مستخدمي SQL Server الانتقال إلى Azure Synapse Analytics.

ميزات تخزين البيانات: يتضمن Azure Synapse Analytics ميزات خاصة بتخزين البيانات، مثل التخزين العمودي وضغط البيانات والفهرسة التلقائية، والتي تعمل على تحسين أداء الاستعلامات وتقليل تكاليف التخزين.

الأمان والامتثال: يوفر ميزات أمان قوية، بما في ذلك تكامل Azure Active Directory (Azure AD) لإدارة الهوية والوصول، والتحكم في الوصول على أساس الدور (RBAC)، والتشفير أثناء التخزين والنقل، والتدقيق لتلبية متطلبات الامتثال.

تحميل البيانات: يمكنك استخدام طرق مختلفة، بما في ذلك PolyBase و Azure Data Factory و Azure Data Migration Service، لتحميل البيانات إلى Azure Synapse Analytics من مصادر مختلفة، سواء محلية أو في السحابة.

تحسين أداء الاستعلامات: يوفر أدوات وميزات لتحسين الاستعلامات، مثل العروض المادية وإدارة أحمال العمل والتخزين المؤقت الذكي لتحسين أوقات استجابة الاستعلامات.

ذكاء الأعمال: يمكن دمج Azure Synapse Analytics مع أدوات ذكاء الأعمال الشائعة مثل Power BI و Tableau و Excel لإنشاء تقارير ولوحات معلومات تفاعلية.

تكامل Data Lake: يتكامل بسلاسة مع Azure Data Lake Storage Gen2، مما يتيح لك دمج البيانات المنظمة في Azure Synapse Analytics مع البيانات شبه المنظمة وغير المنظمة في Azure Data Lake Storage للحصول على تحليلات شاملة.

أمن البيانات وإدارتها: يدعم Azure Synapse Analytics إخفاء البيانات وإخفاء البيانات الديناميكي وأمن مستوى الصفوف لحماية البيانات الحساسة. كما يساعد المؤسسات على تنفيذ ممارسات إدارة البيانات.

المراقبة والإدارة: يمكن استخدام Azure Monitor و Azure Log Analytics و Azure Application Insights لمراقبة وإدارة أداء وصحة أحمال عمل Azure Synapse Analytics.

Azure Synapse Analytics هي منصة قوية لتخزين البيانات وتحليلها بشكل حديث، مما يسهل على المؤسسات استخلاص الرؤى من بياناتها، وتحسين عملية اتخاذ القرارات القائمة على البيانات، والتعامل مع الأحجام المتزايدة من البيانات التي يتم إنشاؤها في عالم اليوم الرقمي.