Azure Databricks.

ما هو Azure Databricks؟

Azure Databricks هي منصة تحليلات موحدة تتيح للمؤسسات إنشاء خطوط أنابيب للبيانات ونماذج التعلم الآلي ولوحات المعلومات على نطاق واسع. وهي خدمة مُدارة بالكامل تعمل على Azure، وتوفر مساحة عمل موحدة لعلماء البيانات ومهندسي البيانات ومحللي الأعمال للتعاون في المشاريع.

تم بناء Azure Databricks على Apache Spark، وهو إطار عمل حوسبة موزعة مفتوح المصدر شائع الاستخدام. يوفر بيئة Spark محسّنة، بالإضافة إلى مجموعة من الأدوات والميزات التي تسهل إنشاء ونشر تطبيقات التحليلات والذكاء الاصطناعي.

يعد Azure Databricks خيارًا شائعًا لمجموعة متنوعة من حالات الاستخدام، بما في ذلك:

• هندسة البيانات: يمكن استخدام Azure Databricks لإنشاء وإدارة خطوط أنابيب البيانات التي تعالج وتحوّل مجموعات البيانات الكبيرة.
• التعلم الآلي: يوفر Azure Databricks مجموعة متنوعة من الأدوات والمكتبات لإنشاء ونشر نماذج التعلم الآلي.
• ذكاء الأعمال: يمكن استخدام Azure Databricks لإنشاء لوحات معلومات وتقارير توفر رؤى حول البيانات.

كما أن Azure Databricks متكامل بشكل وثيق مع خدمات Azure الأخرى، مثل Azure Storage و Azure SQL Database و Azure Machine Learning Studio. وهذا يسهل إنشاء ونشر حلول التحليلات والذكاء الاصطناعي الشاملة على Azure.

فيما يلي بعض مزايا استخدام Azure Databricks:

• منصة موحدة: يوفر Azure Databricks منصة واحدة لهندسة البيانات وعلم البيانات وذكاء الأعمال. وهذا يسهل على الفرق التعاون في المشاريع ومشاركة البيانات.
• قابلية التوسع: يمكن توسيع Azure Databricks لتلبية احتياجات أحمال العمل الأكثر تطلبًا. يمكنه التعامل مع بيتابايت من البيانات وآلاف المستخدمين المتزامنين.
• الأداء: تم تحسين Azure Databricks من أجل الأداء، ويمكنه تقديم رؤى من البيانات بسرعة وكفاءة.
• سهولة الاستخدام: Azure Databricks سهل الاستخدام، ويوفر مجموعة متنوعة من الأدوات والميزات لمساعدة المستخدمين على البدء بسرعة.

بشكل عام، Azure Databricks هي منصة تحليلات قوية ومتعددة الاستخدامات يمكن استخدامها لحل مجموعة واسعة من المشكلات. وهي خيار جيد للمؤسسات من جميع الأحجام التي تسعى إلى إنشاء ونشر حلول تحليلات وذكاء اصطناعي شاملة.

أفضل بنية Azure Databricks

تعتمد أفضل بنية Azure Databricks على الاحتياجات المحددة لمؤسستك وحالات الاستخدام التي تخطط لدعمها. ومع ذلك، هناك بعض الممارسات المثلى العامة التي يمكنك اتباعها لتصميم بنية قابلة للتطوير وفعالة وآمنة.

فيما يلي بعض النصائح لتصميم أفضل بنية Azure Databricks:

• استخدم بنية طبقية:تعمل البنية الطبقية على فصل البيانات وأحمال العمل إلى طبقات مختلفة، مثل منطقة الهبوط وبحيرة البيانات ومستودع البيانات. وهذا يسهل إدارة البيانات وأحمال العمل، كما يحسن الأداء والأمان.
• استخدم Delta Lake:Delta Lake هو تنسيق تخزين مفتوح المصدر يوفر معاملات ACID وميزات أخرى تجعله مثالياً لتخزين البيانات في Azure Databricks. كما أنه متوافق مع Spark، لذا يمكنك استخدام كود Spark الحالي لمعالجة بياناتك وتحويلها.
• استخدم التوسع التلقائي:يتيح التوسع التلقائي لـ Azure Databricks توسيع أو تقليص مجموعاتك تلقائيًا بناءً على الطلب. يمكن أن يساعدك ذلك في توفير المال على تكاليف الحوسبة.
• استخدم الخدمات المدارة:يوفر Azure Databricks مجموعة متنوعة من الخدمات المدارة، مثل الدفاتر المدارة والبث المدار. يمكن أن تساعدك هذه الخدمات في تقليل النفقات التشغيلية لإدارة بيئة Azure Databricks.
• استخدم ميزات الأمان:يوفر Azure Databricks مجموعة متنوعة من ميزات الأمان، مثل التحكم في الوصول المستند إلى الأدوار (RBAC) والتشفير. يمكن أن تساعدك هذه الميزات في حماية بياناتك وأحمال عملك من الوصول غير المصرح به.

فيما يلي مثال على بنية Azure Databricks متعددة الطبقات:

• منطقة الهبوط:منطقة الهبوط هي منطقة تخزين مؤقتة حيث يتم إدخال البيانات أولاً إلى Azure Databricks. يمكن تخزين منطقة الهبوط في Azure Blob Storage أو Azure Data Lake Storage Gen2.
• بحيرة البيانات: بحيرة البيانات هي مستودع مركزي لجميع بياناتك، بغض النظر عن تنسيقها أو هيكلها. يمكن تخزين بحيرة البيانات في Azure Data Lake Blob Storage أو Azure Data Lake Storage Gen2.
• مستودع البيانات: مستودع البيانات هو مخزن بيانات محسّن للغاية لتشغيل الاستعلامات والتقارير التحليلية. مستودع بيانات Azure في Azure Synapse Analytics أو قاعدة بيانات Azure SQL. اطلع على الاختلافات بين بحيرة البيانات ومستودع البيانات.

يمكن لمجموعات Azure Databricks الوصول إلى البيانات الموجودة في منطقة الهبوط وبحيرة البيانات لتنفيذ مهام المعالجة والتحويل. يمكن بعد ذلك تحميل البيانات المعالجة والمحولة إلى مستودع البيانات لأغراض تحليلية.

هذا مجرد مثال واحد على بنية Azure Databricks. ستعتمد البنية المحددة التي تختارها على احتياجاتك وحالات الاستخدام الخاصة بك.

فيما يلي بعض أفضل الممارسات الإضافية لتصميم بنية Azure Databricks:

• استخدم نظام التحكم في الإصدارات:استخدم نظام التحكم في الإصدارات، مثل Git، لتتبع التغييرات التي تطرأ على دفاتر ملاحظات Azure Databricks وغيرها من الأكواد. سيسهل ذلك التعاون مع الآخرين والتراجع عن التغييرات إذا لزم الأمر.
• استخدم اختبارات الوحدة:استخدم اختبارات الوحدة لاختبار كود Azure Databricks الخاص بك. سيساعدك ذلك على تحديد الأخطاء وإصلاحها في وقت مبكر.
• استخدم اختبارات التكامل:استخدم اختبارات التكامل لاختبار كود Azure Databricks مع المكونات الأخرى للبنية الخاصة بك، مثل مصادر البيانات ومستودع البيانات. سيساعدك ذلك على التأكد من أن البنية بأكملها تعمل معًا كما هو متوقع.
• مراقبة البنية:راقب بنية Azure Databricks لتحديد أي مشكلات في الأداء أو الأمان وحلها. يمكنك استخدام Azure Databricks Monitoring لمراقبة المجموعات والمهام.

باتباع هذه الممارسات المثلى، يمكنك تصميم بنية Azure Databricks قابلة للتوسع وفعالة وآمنة وموثوقة.

تكاملات Databricks الرئيسية مع Azure

تقدم Databricks عدة عمليات تكامل مع Azure لتوفير بيئة سلسة وقوية لتحليل البيانات والتعلم الآلي. تستفيد عمليات التكامل هذه من إمكانات خدمات Azure لتحسين هندسة البيانات وعلوم البيانات وسير عمل التعلم الآلي.

فيما يلي أهم عمليات تكامل Databricks مع Azure:

خدمة Azure Databricks – Azure Databricks نفسها هي منصة Apache Spark ومنصة تحليل بيانات مُدارة ومتكاملة بشكل وثيق مع Azure. وهي توفر بيئة تعاونية لمهندسي البيانات وعلماء البيانات للعمل معًا على مشاريع البيانات الضخمة والتعلم الآلي.

تخزين Azure blob – يمكن لـ Databricks التكامل بسلاسة مع Azure Blob Storage، مما يسهل الوصول إلى البيانات المخزنة في Azure Data Lake Storage أو حاويات Azure Blob Storage ومعالجتها. يتيح لك هذا التكامل قراءة البيانات وكتابتها بكفاءة، مما يعزز سير عمل هندسة البيانات.

التعلم الآلي Azure – يمكن لـ Databricks التكامل مع خدمات Azure Machine Learning، مما يتيح لعلماء البيانات تدريب ونشر نماذج التعلم الآلي باستخدام مجموعات Databricks ثم نشرها بسهولة على Azure للاستخدام في الإنتاج.

Azure Monitor و Azure Log Analytics – يمكن لـ Databricks التكامل مع Azure Monitor و Azure Log Analytics لتوفير إمكانات المراقبة والتسجيل والتشخيص لأحمال عمل Databricks. يساعد هذا التكامل في ضبط الأداء واستكشاف الأخطاء وإصلاحها.

دليل Azure النشط – يعد تسجيل الدخول الفردي باستخدام دليل Azure النشط أفضل طريقة لتسجيل الدخول إلى Azure Databricks. يدعم Azure Databricks أيضًا التزويد التلقائي للمستخدمين باستخدام Azure AD لإنشاء مستخدمين جدد، ومنحهم مستوى الوصول المناسب، وإزالة المستخدمين لإلغاء تزويدهم بالوصول.

تخزين بحيرة البيانات Azure – يدعم الموصل الأصلي Azure Databricks إلى ADLS طرقًا متعددة للوصول إلى بحيرة البيانات الخاصة بك. يمكنك تبسيط أمان الوصول إلى البيانات باستخدام نفس هوية Azure AD التي تستخدمها لتسجيل الدخول إلى Azure Databricks باستخدام Azure Active Directory Credential Passthrough. يتم التحكم في الوصول إلى البيانات الخاصة بك عبر أدوار ADLS وقوائم التحكم في الوصول التي قمت بإعدادها بالفعل.

مصنع بيانات Azure – قم بتشغيل مهام Azure Databricks بسلاسة باستخدام Azure Data Factory واستفد من أكثر من 90 موصلًا مدمجًا لمصادر البيانات لاستيعاب جميع مصادر البيانات الخاصة بك في بحيرة بيانات واحدة. يوفر ADF تحكمًا مدمجًا في سير العمل وتحويل البيانات وجدولة خطوط الأنابيب وتكامل البيانات والعديد من الإمكانات الأخرى لمساعدتك في إنشاء خطوط أنابيب بيانات موثوقة.

تحليلات Azure Synapse – يتكامل Azure Databricks مع خدمات Azure لتوفير التحليلات وذكاء الأعمال (BI) وعلم البيانات معًا في تطبيقات الويب والجوال التي طورتها Microsoft. يتيح الموصل عالي الأداء بين Azure Databricks و Azure Synapse نقل البيانات بسرعة بين الخدمات، بما في ذلك دعم تدفق البيانات.

Power BI – إحدى الميزات الرئيسية التي يبحث عنها العملاء عند اعتماد استراتيجية Lakehouse هي القدرة على استهلاك البيانات بكفاءة وأمان مباشرة من بحيرة البيانات باستخدام أدوات BI. يؤدي هذا عادةً إلى تقليل تكاليف الكمون والحساب والتخزين الإضافية المرتبطة بالتدفق التقليدي لنسخ البيانات المخزنة بالفعل في بحيرة البيانات إلى مستودع البيانات لاستهلاك BI. يوفر موصل Azure Databricks في Power BI تجربة عرض بيانات أكثر أمانًا وتفاعلية للبيانات المخزنة في بحيرة البيانات الخاصة بك.

Azure DevOps – يتصل Azure Databricks بـ Azure DevOps للمساعدة في تمكين التكامل المستمر والنشر المستمر (CI/CD). قم بتكوين Azure DevOps كمزود Git الخاص بك واستفد من ميزات التحكم في الإصدار المدمجة.

الشبكة الافتراضية Azure – النشر الافتراضي لـ Azure Databricks هو خدمة مُدارة بالكامل على Azure تتضمن شبكة افتراضية (VNet). يدعم Azure Databricks أيضًا النشر في شبكتك الافتراضية الخاصة (يُطلق عليها أحيانًا اسم VNet injection) التي تتيح التحكم الكامل في قواعد أمان الشبكة.

مراكز أحداث Azure – احصل على رؤى من بيانات البث المباشر عن طريق توصيل مراكز أحداث Azure بـ Azure Databricks، ثم قم بمعالجة الرسائل فور وصولها. باستخدام مراكز الأحداث و Azure Databricks، يمكنك بث ملايين الأحداث في الثانية من أي جهاز إنترنت الأشياء، أو سجلات من تدفقات النقرات على مواقع الويب، ومعالجتها في الوقت الفعلي تقريبًا.

Azure Key Vault – قم بإدارة أسرارك مثل المفاتيح وكلمات المرور من خلال التكامل مع Azure Key Vault. بشكل افتراضي، يتم تشفير جميع دفاتر ملاحظات Azure Databricks والنتائج في حالة السكون باستخدام مفتاح تشفير مختلف. إذا كنت ترغب في امتلاك وإدارة المفتاح المستخدم لتشفير دفاتر ملاحظاتك ونتائجك بنفسك، يمكنك إحضار مفتاحك الخاص (BYOK).

الحوسبة السرية في Azure – يمكن للعملاء تشغيل أحمال عمل Azure Databricks على الأجهزة الظاهرية السرية في Azure. بفضل دعم الحوسبة السرية في Azure، يمكن للعملاء إنشاء منصة بيانات شاملة على Databricks Lakehouse مع زيادة السرية والخصوصية من خلال تشفير البيانات قيد الاستخدام. ويستند ذلك إلى دعم المفاتيح المدارة من قبل العميل (CMK) لتشفير البيانات في حالة السكون.

أسعار Azure Databricks

تستند أسعار Azure Databricks إلى مكونين رئيسيين:

• وحدات Databricks (DBUs):وحدات DBUs هي وحدة من وحدات القدرة على المعالجة. يعتمد عدد وحدات DBUs التي تحتاجها على حجم وتعقيد أحمال العمل لديك.
• تكاليف التخزين:يقوم Azure Databricks بتخزين البيانات في Azure Blob Storage أو Azure Data Lake Storage Gen2. سيتم تحصيل تكاليف التخزين المرتبطة ببياناتك منك.

تقدم Azure Databricks مجموعة متنوعة من خيارات التسعير، بما في ذلك:

• الدفع الفوري:هذا هو خيار التسعير الأكثر مرونة. يتم احتساب الرسوم بناءً على عدد وحدات DBU التي تستخدمها ومقدار السعة التخزينية التي تستهلكها.
• الاستخدام الملتزم:يمكن أن يوفر لك خيار التسعير هذا المال إذا كان لديك أحمال عمل يمكن التنبؤ بها. تلتزم بعدد معين من وحدات DBU لمدة سنة أو ثلاث سنوات.
• الحالات الفورية:يمكن أن تكون الحالات الفورية خيارًا فعالاً من حيث التكلفة لأحمال العمل التي لا تتطلب سرعة في التنفيذ. تتوفر الحالات الفورية بسعر مخفض، ولكن يمكن إنهاؤها إذا احتاج Azure إلى السعة لأحمال عمل أخرى.

يمكنك استخدام حاسبة أسعار Azure Databricks لتقدير تكلفة أحمال عمل Azure Databricks.

فيما يلي بعض النصائح لتوفير المال على Azure Databricks:

• استخدم التوسع التلقائي:يتيح التوسع التلقائي لـ Azure Databricks توسيع أو تقليص مجموعاتك تلقائيًا بناءً على الطلب. يمكن أن يساعدك ذلك في توفير المال على تكاليف الحوسبة.
• استخدم الخدمات المدارة:يوفر Azure Databricks مجموعة متنوعة من الخدمات المدارة، مثل الدفاتر المدارة والبث المدار. يمكن أن تساعدك هذه الخدمات في تقليل النفقات التشغيلية لإدارة بيئة Azure Databricks.
• استخدام الحالات الفورية:يمكن أن تكون الحالات الفورية خيارًا فعالاً من حيث التكلفة لأحمال العمل التي لا تتطلب سرعة في التنفيذ. تتوفر الحالات الفورية بسعر مخفض، ولكن يمكن إنهاؤها إذا احتاج Azure إلى السعة لأحمال عمل أخرى.

بشكل عام، يقدم Azure Databricks مجموعة متنوعة من خيارات الأسعار والميزات لمساعدتك على توفير المال.

دعم Azure Databricks

أولاً وقبل كل شيء، يجب على الشركات أن تدرك أن Azure Databricks يتضمن دعم Azure الأساسي فقط بشكل افتراضي. يمكنك تحسين الدعم بشكل كبير من خلال الدعم الموحد لـ Azure أو الدعم من طرف ثالث لـ Azure في US Cloud.

يتوفر دعم Azure Databricks على مدار الساعة طوال أيام السنة من خلال مجموعة متنوعة من القنوات، بما في ذلك:

• بوابة الدعم:يمكنك إنشاء وتتبع تذاكر الدعم من خلال بوابة دعم Azure Databricks.
• الدعم عبر الدردشة:يمكنك الدردشة مع أحد مهندسي الدعم الفني في Microsoft في الوقت الفعلي.
• الدعم عبر الهاتف:يمكنك الاتصال بدعم Microsoft والتحدث مع أحد مهندسي الدعم.
• دعم المجتمع:يمكنك طرح الأسئلة والحصول على المساعدة من مستخدمي Azure Databricks الآخرين على منتدى مجتمع Azure Databricks.

يعتمد مستوى الدعم الذي تتلقاه على خطة دعم Azure Databricks الخاصة بك. يقدم Azure Databricks مجموعة متنوعة من خطط الدعم، بما في ذلك:

• الدعم الأساسي:يتم تضمين الدعم الأساسي في جميع اشتراكات Azure Databricks. ويوفر الوصول إلى بوابة الدعم ودعم المجتمع.
• الدعم القياسي:يوفر الدعم القياسي مستوى أعلى من الدعم، بما في ذلك الوصول إلى الدردشة والدعم عبر الهاتف.
• الدعم المتميز:يوفر الدعم المتميز أعلى مستوى من الدعم، بما في ذلك الوصول إلى فريق دعم مخصص.

يمكنك اختيار خطة الدعم التي تناسب احتياجاتك وميزانيتك على أفضل وجه.

للحصول على دعم Azure Databricks، يمكنك إنشاء تذكرة دعم من خلال بوابة دعم Azure Databricks أو الدردشة مع أحد مهندسي دعم Microsoft في الوقت الفعلي.

فيما يلي بعض النصائح للاستفادة القصوى من دعم Azure Databricks مع Microsoft أو US Cloud:

• كن محددًا:عند إنشاء تذكرة دعم، كن محددًا قدر الإمكان بشأن المشكلة التي تواجهها. سيساعد ذلك فريق الدعم على حل مشكلتك بسرعة أكبر.
• تقديم معلومات مفصلة:كلما زادت المعلومات التي تقدمها لفريق الدعم، كان ذلك أفضل. قد تشمل هذه المعلومات رسائل الخطأ التي تتلقاها، والرمز الذي تقوم بتشغيله، والبيانات التي تستخدمها.
• كن متجاوبًا:قد يحتاج فريق الدعم إلى طرح أسئلة إضافية عليك لحل مشكلتك. تأكد من الرد على أسئلتهم بسرعة حتى يتمكنوا من حل مشكلتك في أسرع وقت ممكن.

بشكل عام، تتوفر مجموعة متنوعة من خيارات الدعم لـ Azure Databricks لمساعدتك في الحصول على المساعدة التي تحتاجها عندما تحتاجها.

ما هو Azure Databricks؟

Azure Databricks هي منصة تحليلات موحدة تتيح للمؤسسات إنشاء خطوط أنابيب للبيانات ونماذج التعلم الآلي ولوحات المعلومات على نطاق واسع. وهي خدمة مُدارة بالكامل تعمل على Azure، وتوفر مساحة عمل موحدة لعلماء البيانات ومهندسي البيانات ومحللي الأعمال للتعاون في المشاريع.

تم بناء Azure Databricks على Apache Spark، وهو إطار عمل حوسبة موزعة مفتوح المصدر شائع الاستخدام. يوفر بيئة Spark محسّنة، بالإضافة إلى مجموعة من الأدوات والميزات التي تسهل إنشاء ونشر تطبيقات التحليلات والذكاء الاصطناعي.

يعد Azure Databricks خيارًا شائعًا لمجموعة متنوعة من حالات الاستخدام، بما في ذلك:

• هندسة البيانات: يمكن استخدام Azure Databricks لإنشاء وإدارة خطوط أنابيب البيانات التي تعالج وتحوّل مجموعات البيانات الكبيرة.
• التعلم الآلي: يوفر Azure Databricks مجموعة متنوعة من الأدوات والمكتبات لإنشاء ونشر نماذج التعلم الآلي.
• ذكاء الأعمال: يمكن استخدام Azure Databricks لإنشاء لوحات معلومات وتقارير توفر رؤى حول البيانات.

كما أن Azure Databricks متكامل بشكل وثيق مع خدمات Azure الأخرى، مثل Azure Storage و Azure SQL Database و Azure Machine Learning Studio. وهذا يسهل إنشاء ونشر حلول التحليلات والذكاء الاصطناعي الشاملة على Azure.

فيما يلي بعض مزايا استخدام Azure Databricks:

• منصة موحدة: يوفر Azure Databricks منصة واحدة لهندسة البيانات وعلم البيانات وذكاء الأعمال. وهذا يسهل على الفرق التعاون في المشاريع ومشاركة البيانات.
• قابلية التوسع: يمكن توسيع Azure Databricks لتلبية احتياجات أحمال العمل الأكثر تطلبًا. يمكنه التعامل مع بيتابايت من البيانات وآلاف المستخدمين المتزامنين.
• الأداء: تم تحسين Azure Databricks من أجل الأداء، ويمكنه تقديم رؤى من البيانات بسرعة وكفاءة.
• سهولة الاستخدام: Azure Databricks سهل الاستخدام، ويوفر مجموعة متنوعة من الأدوات والميزات لمساعدة المستخدمين على البدء بسرعة.

بشكل عام، Azure Databricks هي منصة تحليلات قوية ومتعددة الاستخدامات يمكن استخدامها لحل مجموعة واسعة من المشكلات. وهي خيار جيد للمؤسسات من جميع الأحجام التي تسعى إلى إنشاء ونشر حلول تحليلات وذكاء اصطناعي شاملة.

أفضل بنية Azure Databricks

تعتمد أفضل بنية Azure Databricks على الاحتياجات المحددة لمؤسستك وحالات الاستخدام التي تخطط لدعمها. ومع ذلك، هناك بعض الممارسات المثلى العامة التي يمكنك اتباعها لتصميم بنية قابلة للتطوير وفعالة وآمنة.

فيما يلي بعض النصائح لتصميم أفضل بنية Azure Databricks:

• استخدم بنية طبقية:تعمل البنية الطبقية على فصل البيانات وأحمال العمل إلى طبقات مختلفة، مثل منطقة الهبوط وبحيرة البيانات ومستودع البيانات. وهذا يسهل إدارة البيانات وأحمال العمل، كما يحسن الأداء والأمان.
• استخدم Delta Lake:Delta Lake هو تنسيق تخزين مفتوح المصدر يوفر معاملات ACID وميزات أخرى تجعله مثالياً لتخزين البيانات في Azure Databricks. كما أنه متوافق مع Spark، لذا يمكنك استخدام كود Spark الحالي لمعالجة بياناتك وتحويلها.
• استخدم التوسع التلقائي:يتيح التوسع التلقائي لـ Azure Databricks توسيع أو تقليص مجموعاتك تلقائيًا بناءً على الطلب. يمكن أن يساعدك ذلك في توفير المال على تكاليف الحوسبة.
• استخدم الخدمات المدارة:يوفر Azure Databricks مجموعة متنوعة من الخدمات المدارة، مثل الدفاتر المدارة والبث المدار. يمكن أن تساعدك هذه الخدمات في تقليل النفقات التشغيلية لإدارة بيئة Azure Databricks.
• استخدم ميزات الأمان:يوفر Azure Databricks مجموعة متنوعة من ميزات الأمان، مثل التحكم في الوصول المستند إلى الأدوار (RBAC) والتشفير. يمكن أن تساعدك هذه الميزات في حماية بياناتك وأحمال عملك من الوصول غير المصرح به.

فيما يلي مثال على بنية Azure Databricks متعددة الطبقات:

• منطقة الهبوط:منطقة الهبوط هي منطقة تخزين مؤقتة حيث يتم إدخال البيانات أولاً إلى Azure Databricks. يمكن تخزين منطقة الهبوط في Azure Blob Storage أو Azure Data Lake Storage Gen2.
• بحيرة البيانات: بحيرة البيانات هي مستودع مركزي لجميع بياناتك، بغض النظر عن تنسيقها أو هيكلها. يمكن تخزين بحيرة البيانات في Azure Data Lake Blob Storage أو Azure Data Lake Storage Gen2.
• مستودع البيانات: مستودع البيانات هو مخزن بيانات محسّن للغاية لتشغيل الاستعلامات والتقارير التحليلية. يمكن تخزين مستودع البيانات في Azure Synapse Analytics أو Azure SQL Database. اطلع على الاختلافات بين بحيرة البيانات ومستودع البيانات.

يمكن لمجموعات Azure Databricks الوصول إلى البيانات الموجودة في منطقة الهبوط وبحيرة البيانات لتنفيذ مهام المعالجة والتحويل. يمكن بعد ذلك تحميل البيانات المعالجة والمحولة إلى مستودع البيانات لأغراض تحليلية.

هذا مجرد مثال واحد على بنية Azure Databricks. ستعتمد البنية المحددة التي تختارها على احتياجاتك وحالات الاستخدام الخاصة بك.

فيما يلي بعض أفضل الممارسات الإضافية لتصميم بنية Azure Databricks:

• استخدم نظام التحكم في الإصدارات:استخدم نظام التحكم في الإصدارات، مثل Git، لتتبع التغييرات التي تطرأ على دفاتر ملاحظات Azure Databricks وغيرها من الأكواد. سيسهل ذلك التعاون مع الآخرين والتراجع عن التغييرات إذا لزم الأمر.
• استخدم اختبارات الوحدة:استخدم اختبارات الوحدة لاختبار كود Azure Databricks الخاص بك. سيساعدك ذلك على تحديد الأخطاء وإصلاحها في وقت مبكر.
• استخدم اختبارات التكامل:استخدم اختبارات التكامل لاختبار كود Azure Databricks مع المكونات الأخرى للبنية الخاصة بك، مثل مصادر البيانات ومستودع البيانات. سيساعدك ذلك على التأكد من أن البنية بأكملها تعمل معًا كما هو متوقع.
• مراقبة البنية:راقب بنية Azure Databricks لتحديد أي مشكلات في الأداء أو الأمان وحلها. يمكنك استخدام Azure Databricks Monitoring لمراقبة المجموعات والمهام.

باتباع هذه الممارسات المثلى، يمكنك تصميم بنية Azure Databricks قابلة للتوسع وفعالة وآمنة وموثوقة.

تكاملات Databricks الرئيسية مع Azure

تقدم Databricks عدة عمليات تكامل مع Azure لتوفير بيئة سلسة وقوية لتحليل البيانات والتعلم الآلي. تستفيد عمليات التكامل هذه من إمكانات خدمات Azure لتحسين هندسة البيانات وعلوم البيانات وسير عمل التعلم الآلي.

فيما يلي أهم عمليات تكامل Databricks مع Azure:

خدمة Azure Databricks – Azure Databricks نفسها هي منصة Apache Spark ومنصة تحليل بيانات مُدارة ومتكاملة بشكل وثيق مع Azure. وهي توفر بيئة تعاونية لمهندسي البيانات وعلماء البيانات للعمل معًا على مشاريع البيانات الضخمة والتعلم الآلي.

تخزين Azure blob – يمكن لـ Databricks التكامل بسلاسة مع Azure Blob Storage، مما يسهل الوصول إلى البيانات المخزنة في Azure Data Lake Storage أو حاويات Azure Blob Storage ومعالجتها. يتيح لك هذا التكامل قراءة البيانات وكتابتها بكفاءة، مما يعزز سير عمل هندسة البيانات.

التعلم الآلي Azure – يمكن لـ Databricks التكامل مع خدمات Azure Machine Learning، مما يتيح لعلماء البيانات تدريب ونشر نماذج التعلم الآلي باستخدام مجموعات Databricks ثم نشرها بسهولة على Azure للاستخدام في الإنتاج.

Azure Monitor و Azure Log Analytics – يمكن لـ Databricks التكامل مع Azure Monitor و Azure Log Analytics لتوفير إمكانات المراقبة والتسجيل والتشخيص لأحمال عمل Databricks. يساعد هذا التكامل في ضبط الأداء واستكشاف الأخطاء وإصلاحها.

دليل Azure النشط – يعد تسجيل الدخول الفردي باستخدام دليل Azure النشط أفضل طريقة لتسجيل الدخول إلى Azure Databricks. يدعم Azure Databricks أيضًا التزويد التلقائي للمستخدمين باستخدام Azure AD لإنشاء مستخدمين جدد، ومنحهم مستوى الوصول المناسب، وإزالة المستخدمين لإلغاء تزويدهم بالوصول.

تخزين بحيرة البيانات Azure – يدعم الموصل الأصلي Azure Databricks إلى ADLS طرقًا متعددة للوصول إلى بحيرة البيانات الخاصة بك. يمكنك تبسيط أمان الوصول إلى البيانات باستخدام نفس هوية Azure AD التي تستخدمها لتسجيل الدخول إلى Azure Databricks باستخدام Azure Active Directory Credential Passthrough. يتم التحكم في الوصول إلى البيانات الخاصة بك عبر أدوار ADLS وقوائم التحكم في الوصول التي قمت بإعدادها بالفعل.

مصنع بيانات Azure – قم بتشغيل مهام Azure Databricks بسلاسة باستخدام Azure Data Factory واستفد من أكثر من 90 موصلًا مدمجًا لمصادر البيانات لاستيعاب جميع مصادر البيانات الخاصة بك في بحيرة بيانات واحدة. يوفر ADF تحكمًا مدمجًا في سير العمل وتحويل البيانات وجدولة خطوط الأنابيب وتكامل البيانات والعديد من الإمكانات الأخرى لمساعدتك في إنشاء خطوط أنابيب بيانات موثوقة.

تحليلات Azure Synapse – يتكامل Azure Databricks مع خدمات Azure لتوفير التحليلات وذكاء الأعمال (BI) وعلم البيانات معًا في تطبيقات الويب والجوال التي طورتها Microsoft. يتيح الموصل عالي الأداء بين Azure Databricks و Azure Synapse نقل البيانات بسرعة بين الخدمات، بما في ذلك دعم تدفق البيانات.

Power BI – إحدى الميزات الرئيسية التي يبحث عنها العملاء عند اعتماد استراتيجية Lakehouse هي القدرة على استهلاك البيانات بكفاءة وأمان مباشرة من بحيرة البيانات باستخدام أدوات BI. يؤدي هذا عادةً إلى تقليل تكاليف الكمون والحساب والتخزين الإضافية المرتبطة بالتدفق التقليدي لنسخ البيانات المخزنة بالفعل في بحيرة البيانات إلى مستودع البيانات لاستهلاك BI. يوفر موصل Azure Databricks في Power BI تجربة عرض بيانات أكثر أمانًا وتفاعلية للبيانات المخزنة في بحيرة البيانات الخاصة بك.

Azure DevOps – يتصل Azure Databricks بـ Azure DevOps للمساعدة في تمكين التكامل المستمر والنشر المستمر (CI/CD). قم بتكوين Azure DevOps كمزود Git الخاص بك واستفد من ميزات التحكم في الإصدار المدمجة.

الشبكة الافتراضية Azure – النشر الافتراضي لـ Azure Databricks هو خدمة مُدارة بالكامل على Azure تتضمن شبكة افتراضية (VNet). يدعم Azure Databricks أيضًا النشر في شبكتك الافتراضية الخاصة (يُطلق عليها أحيانًا اسم VNet injection) التي تتيح التحكم الكامل في قواعد أمان الشبكة.

مراكز أحداث Azure – احصل على رؤى من بيانات البث المباشر عن طريق توصيل مراكز أحداث Azure بـ Azure Databricks، ثم قم بمعالجة الرسائل فور وصولها. باستخدام مراكز الأحداث و Azure Databricks، يمكنك بث ملايين الأحداث في الثانية من أي جهاز إنترنت الأشياء، أو سجلات من تدفقات النقرات على مواقع الويب، ومعالجتها في الوقت الفعلي تقريبًا.

Azure Key Vault – قم بإدارة أسرارك مثل المفاتيح وكلمات المرور من خلال التكامل مع Azure Key Vault. بشكل افتراضي، يتم تشفير جميع دفاتر ملاحظات Azure Databricks والنتائج في حالة السكون باستخدام مفتاح تشفير مختلف. إذا كنت ترغب في امتلاك وإدارة المفتاح المستخدم لتشفير دفاتر ملاحظاتك ونتائجك بنفسك، يمكنك إحضار مفتاحك الخاص (BYOK).

الحوسبة السرية في Azure – يمكن للعملاء تشغيل أحمال عمل Azure Databricks على الأجهزة الظاهرية السرية في Azure. بفضل دعم الحوسبة السرية في Azure، يمكن للعملاء إنشاء منصة بيانات شاملة على Databricks Lakehouse مع زيادة السرية والخصوصية من خلال تشفير البيانات قيد الاستخدام. ويستند ذلك إلى دعم المفاتيح المدارة من قبل العميل (CMK) لتشفير البيانات في حالة السكون.

أسعار Azure Databricks

تستند أسعار Azure Databricks إلى مكونين رئيسيين:

• وحدات Databricks (DBUs):وحدات DBUs هي وحدة من وحدات القدرة على المعالجة. يعتمد عدد وحدات DBUs التي تحتاجها على حجم وتعقيد أحمال العمل لديك.
• تكاليف التخزين:يقوم Azure Databricks بتخزين البيانات في Azure Blob Storage أو Azure Data Lake Storage Gen2. سيتم تحصيل تكاليف التخزين المرتبطة ببياناتك منك.

تقدم Azure Databricks مجموعة متنوعة من خيارات التسعير، بما في ذلك:

• الدفع الفوري:هذا هو خيار التسعير الأكثر مرونة. يتم احتساب الرسوم بناءً على عدد وحدات DBU التي تستخدمها ومقدار السعة التخزينية التي تستهلكها.
• الاستخدام الملتزم:يمكن أن يوفر لك خيار التسعير هذا المال إذا كان لديك أحمال عمل يمكن التنبؤ بها. تلتزم بعدد معين من وحدات DBU لمدة سنة أو ثلاث سنوات.
• الحالات الفورية:يمكن أن تكون الحالات الفورية خيارًا فعالاً من حيث التكلفة لأحمال العمل التي لا تتطلب سرعة في التنفيذ. تتوفر الحالات الفورية بسعر مخفض، ولكن يمكن إنهاؤها إذا احتاج Azure إلى السعة لأحمال عمل أخرى.

يمكنك استخدام حاسبة أسعار Azure Databricks لتقدير تكلفة أحمال عمل Azure Databricks.

فيما يلي بعض النصائح لتوفير المال على Azure Databricks:

• استخدم التوسع التلقائي:يتيح التوسع التلقائي لـ Azure Databricks توسيع أو تقليص مجموعاتك تلقائيًا بناءً على الطلب. يمكن أن يساعدك ذلك في توفير المال على تكاليف الحوسبة.
• استخدم الخدمات المدارة:يوفر Azure Databricks مجموعة متنوعة من الخدمات المدارة، مثل الدفاتر المدارة والبث المدار. يمكن أن تساعدك هذه الخدمات في تقليل النفقات التشغيلية لإدارة بيئة Azure Databricks.
• استخدام الحالات الفورية:يمكن أن تكون الحالات الفورية خيارًا فعالاً من حيث التكلفة لأحمال العمل التي لا تتطلب سرعة في التنفيذ. تتوفر الحالات الفورية بسعر مخفض، ولكن يمكن إنهاؤها إذا احتاج Azure إلى السعة لأحمال عمل أخرى.

بشكل عام، يقدم Azure Databricks مجموعة متنوعة من خيارات الأسعار والميزات لمساعدتك على توفير المال.

دعم Azure Databricks

أولاً وقبل كل شيء، يجب على الشركات أن تدرك أن Azure Databricks يتضمن دعم Azure الأساسي فقط بشكل افتراضي. يمكنك تحسين الدعم بشكل كبير من خلال الدعم الموحد لـ Azure أو الدعم من طرف ثالث لـ Azure في US Cloud.

يتوفر دعم Azure Databricks على مدار الساعة طوال أيام السنة من خلال مجموعة متنوعة من القنوات، بما في ذلك:

• بوابة الدعم:يمكنك إنشاء وتتبع تذاكر الدعم من خلال بوابة دعم Azure Databricks.
• الدعم عبر الدردشة:يمكنك الدردشة مع أحد مهندسي الدعم الفني في Microsoft في الوقت الفعلي.
• الدعم عبر الهاتف:يمكنك الاتصال بدعم Microsoft والتحدث مع أحد مهندسي الدعم.
• دعم المجتمع:يمكنك طرح الأسئلة والحصول على المساعدة من مستخدمي Azure Databricks الآخرين على منتدى مجتمع Azure Databricks.

يعتمد مستوى الدعم الذي تتلقاه على خطة دعم Azure Databricks الخاصة بك. يقدم Azure Databricks مجموعة متنوعة من خطط الدعم، بما في ذلك:

• الدعم الأساسي:يتم تضمين الدعم الأساسي في جميع اشتراكات Azure Databricks. ويوفر الوصول إلى بوابة الدعم ودعم المجتمع.
• الدعم القياسي:يوفر الدعم القياسي مستوى أعلى من الدعم، بما في ذلك الوصول إلى الدردشة والدعم عبر الهاتف.
• الدعم المتميز:يوفر الدعم المتميز أعلى مستوى من الدعم، بما في ذلك الوصول إلى فريق دعم مخصص.

يمكنك اختيار خطة الدعم التي تناسب احتياجاتك وميزانيتك على أفضل وجه.

للحصول على دعم Azure Databricks، يمكنك إنشاء تذكرة دعم من خلال بوابة دعم Azure Databricks أو الدردشة مع أحد مهندسي دعم Microsoft في الوقت الفعلي.

فيما يلي بعض النصائح للاستفادة القصوى من دعم Azure Databricks مع Microsoft أو US Cloud:

• كن محددًا:عند إنشاء تذكرة دعم، كن محددًا قدر الإمكان بشأن المشكلة التي تواجهها. سيساعد ذلك فريق الدعم على حل مشكلتك بسرعة أكبر.
• تقديم معلومات مفصلة:كلما زادت المعلومات التي تقدمها لفريق الدعم، كان ذلك أفضل. قد تشمل هذه المعلومات رسائل الخطأ التي تتلقاها، والرمز الذي تقوم بتشغيله، والبيانات التي تستخدمها.
• كن متجاوبًا:قد يحتاج فريق الدعم إلى طرح أسئلة إضافية عليك لحل مشكلتك. تأكد من الرد على أسئلتهم بسرعة حتى يتمكنوا من حل مشكلتك في أسرع وقت ممكن.

بشكل عام، تتوفر مجموعة متنوعة من خيارات الدعم لـ Azure Databricks لمساعدتك في الحصول على المساعدة التي تحتاجها عندما تحتاجها.