Azure Databricks.

Wat is Azure Databricks?

Azure Databricks is een uniform analyseplatform waarmee organisaties op grote schaal datapijplijnen, machine learning-modellen en dashboards kunnen bouwen. Het is een volledig beheerde service die op Azure draait en een uniforme werkruimte biedt voor datawetenschappers, data-engineers en bedrijfsanalisten om samen aan projecten te werken.

Azure Databricks is gebouwd op Apache Spark, een populair open-source framework voor gedistribueerde computing. Het biedt een geoptimaliseerde Spark-omgeving en een reeks tools en functies die het eenvoudiger maken om analytische en AI-toepassingen te bouwen en te implementeren.

Azure Databricks is een populaire keuze voor verschillende gebruiksscenario's, waaronder:

• Data-engineering: Azure Databricks kan worden gebruikt om datapijplijnen te bouwen en te beheren die grote datasets verwerken en transformeren.
• Machine learning: Azure Databricks biedt een verscheidenheid aan tools en bibliotheken voor het bouwen en implementeren van machine learning-modellen.
• Business intelligence: Azure Databricks kan worden gebruikt om dashboards en rapporten te maken die inzicht geven in gegevens.

Azure Databricks is ook nauw geïntegreerd met andere Azure-services, zoals Azure Storage, Azure SQL Database en Azure Machine Learning Studio. Dit maakt het eenvoudig om end-to-end analytics- en AI-oplossingen op Azure te bouwen en te implementeren.

Hier zijn enkele voordelen van het gebruik van Azure Databricks:

• Uniform platform: Azure Databricks biedt één platform voor data-engineering, datawetenschap en bedrijfsinformatie. Dit maakt het voor teams gemakkelijker om samen te werken aan projecten en gegevens te delen.
• Schaalbaarheid: Azure Databricks kan worden geschaald om te voldoen aan de behoeften van de meest veeleisende workloads. Het kan petabytes aan gegevens en duizenden gelijktijdige gebruikers verwerken.
• Prestaties: Azure Databricks is geoptimaliseerd voor prestaties en kan snel en efficiënt inzichten uit gegevens leveren.
• Gebruiksgemak: Azure Databricks is eenvoudig in gebruik en biedt een verscheidenheid aan tools en functies waarmee gebruikers snel aan de slag kunnen.

Over het algemeen is Azure Databricks een krachtig en veelzijdig analyseplatform dat kan worden gebruikt om een breed scala aan problemen op te lossen. Het is een goede keuze voor organisaties van elke omvang die end-to-end analyse- en AI-oplossingen willen bouwen en implementeren.

De beste Azure Databricks-architectuur

De beste Azure Databricks-architectuur hangt af van de specifieke behoeften van uw organisatie en de use cases die u wilt ondersteunen. Er zijn echter enkele algemene best practices die u kunt volgen om een schaalbare, efficiënte en veilige architectuur te ontwerpen.

Hier volgen enkele tips voor het ontwerpen van de beste Azure Databricks-architectuur:

• Gebruik een gelaagde architectuur:Een gelaagde architectuur verdeelt uw gegevens en workloads in verschillende lagen, zoals een landingszone, een datameer en een datawarehouse. Dit maakt het eenvoudiger om uw gegevens en workloads te beheren en verbetert bovendien de prestaties en beveiliging.
• Gebruik Delta Lake:Delta Lake is een open-source opslagformaat dat ACID-transacties en andere functies biedt, waardoor het ideaal is voor het opslaan van gegevens in Azure Databricks. Het is ook compatibel met Spark, zodat u bestaande Spark-code kunt gebruiken om uw gegevens te verwerken en te transformeren.
• Gebruik automatische schaalaanpassing:met automatische schaalaanpassing kan Azure Databricks uw clusters automatisch opschalen of afschalen op basis van de vraag. Zo kunt u geld besparen op rekenkosten.
• Gebruik beheerde services:Azure Databricks biedt verschillende beheerde services, zoals beheerde notebooks en beheerde streaming. Deze services kunnen u helpen de operationele overhead van het beheer van uw Azure Databricks-omgeving te verminderen.
• Gebruik beveiligingsfuncties:Azure Databricks biedt verschillende beveiligingsfuncties, zoals op rollen gebaseerde toegangscontrole (RBAC) en versleuteling. Deze functies kunnen u helpen uw gegevens en workloads te beschermen tegen ongeoorloofde toegang.

Hier is een voorbeeld van een gelaagde Azure Databricks-architectuur:

• Landingszone:De landingszone is een tijdelijke opslagruimte waar gegevens eerst worden opgenomen in Azure Databricks. De landingszone kan worden opgeslagen in Azure Blob Storage of Azure Data Lake Storage Gen2.
• Data lake: Het data lake is een centrale opslagplaats voor al uw gegevens, ongeacht het formaat of de structuur ervan. Het data lake kan worden opgeslagen in Azure Data Lake Blob Storage of Azure Data Lake Storage Gen2.
• Datawarehouse: Het datawarehouse is een sterk geoptimaliseerde gegevensopslagplaats voor het uitvoeren van analytische query's en rapporten. Het Azure-datawarehouse kan worden opgeslagen in Azure Synapse Analytics of Azure SQL Database. Bekijk de verschillen tussen een datameer en een datawarehouse.

De Azure Databricks-clusters hebben toegang tot gegevens in de landingszone en het datameer om verwerkings- en transformatietaken uit te voeren. De verwerkte en getransformeerde gegevens kunnen vervolgens voor analytische doeleinden in het datawarehouse worden geladen.

Dit is slechts één voorbeeld van een Azure Databricks-architectuur. De specifieke architectuur die u kiest, hangt af van uw specifieke behoeften en gebruikssituaties.

Hier volgen enkele aanvullende best practices voor het ontwerpen van een Azure Databricks-architectuur:

• Gebruik een versiebeheersysteem:Gebruik een versiebeheersysteem, zoals Git, om wijzigingen in uw Azure Databricks-notebooks en andere code bij te houden. Dit maakt het gemakkelijker om met anderen samen te werken en wijzigingen indien nodig ongedaan te maken.
• Gebruik unit tests:Gebruik unit tests om uw Azure Databricks-code te testen. Dit helpt u om bugs in een vroeg stadium op te sporen en te verhelpen.
• Gebruik integratietests:Gebruik integratietests om uw Azure Databricks-code te testen met andere componenten van uw architectuur, zoals uw gegevensbronnen en datawarehouse. Zo kunt u ervoor zorgen dat uw hele architectuur naar verwachting samenwerkt.
• Controleer uw architectuur:Controleer uw Azure Databricks-architectuur om eventuele prestatie- of beveiligingsproblemen op te sporen en op te lossen. U kunt Azure Databricks Monitoring gebruiken om uw clusters en taken te controleren.

Door deze best practices te volgen, kunt u een Azure Databricks-architectuur ontwerpen die schaalbaar, efficiënt, veilig en betrouwbaar is.

Belangrijkste Azure-integraties van Databricks

Databricks biedt verschillende integraties met Azure om een naadloze en krachtige omgeving voor data-analyse en machine learning te bieden. Deze integraties maken gebruik van de mogelijkheden van Azure-services om data-engineering, datawetenschap en machine learning-workflows te verbeteren.

Dit zijn de belangrijkste integraties van Databricks met Azure:

Azure Databricks-service – Azure Databricks zelf is een beheerd Apache Spark- en data-analyseplatform dat nauw is geïntegreerd met Azure. Het biedt een samenwerkingsomgeving voor data-engineers en datawetenschappers om samen te werken aan big data- en machine learning-projecten.

Azure Blob Storage – Databricks kan naadloos worden geïntegreerd met Azure Blob Storage, waardoor het eenvoudig is om toegang te krijgen tot gegevens die zijn opgeslagen in Azure Data Lake Storage of Azure Blob Storage-containers en deze te verwerken. Dankzij deze integratie kunt u gegevens efficiënt lezen en schrijven, waardoor de workflows voor data-engineering worden verbeterd.

Azure Machine Learning – Databricks kan worden geïntegreerd met Azure Machine Learning-services, waardoor datawetenschappers machine learning-modellen kunnen trainen en implementeren met behulp van Databricks-clusters en deze vervolgens eenvoudig kunnen implementeren in Azure voor productiegebruik.

Azure Monitor en Azure Log Analytics – Databricks kan worden geïntegreerd met Azure Monitor en Azure Log Analytics om monitoring-, logboek- en diagnostische mogelijkheden te bieden voor uw Databricks-workloads. Deze integratie helpt bij het afstemmen van prestaties en het oplossen van problemen.

Azure Active Directory – Single Sign-On met Azure Active Directory is de beste manier om u aan te melden bij Azure Databricks. Azure Databricks ondersteunt ook geautomatiseerde gebruikersprovisioning met Azure AD om nieuwe gebruikers aan te maken, hen het juiste toegangsniveau te geven en gebruikers te verwijderen om hun toegang in te trekken.

Azure Data Lake Storage – De native connector van Azure Databricks voor ADLS ondersteunt meerdere methoden voor toegang tot uw datameer. Vereenvoudig de beveiliging van gegevenstoegang door dezelfde Azure AD-identiteit te gebruiken die u gebruikt om in te loggen bij Azure Databricks met Azure Active Directory Credential Passthrough. Uw gegevenstoegang wordt beheerd via de ADLS-rollen en toegangscontrolelijsten die u al hebt ingesteld.

Azure Data Factory – Voer Azure Databricks-taken naadloos uit met Azure Data Factory en maak gebruik van meer dan 90 ingebouwde gegevensbronconnectoren om al uw gegevensbronnen in één gegevensmeer op te nemen. ADF biedt ingebouwde workflowcontrole, gegevenstransformatie, pijplijnplanning, gegevensintegratie en nog veel meer mogelijkheden om u te helpen betrouwbare gegevenspijplijnen te creëren.

Azure Synapse Analytics – Azure Databricks integreert met Azure-services om analytics, business intelligence (BI) en datawetenschap samen te brengen in de web- en mobiele applicaties van Microsoft. De krachtige connector tussen Azure Databricks en Azure Synapse maakt snelle gegevensoverdracht tussen de services mogelijk, inclusief ondersteuning voor streaminggegevens.

Power BI – Een van de belangrijkste functies waar klanten naar op zoek zijn bij het implementeren van een Lakehouse-strategie, is de mogelijkheid om gegevens efficiënt en veilig rechtstreeks uit het datameer te gebruiken met BI-tools. Dit vermindert doorgaans de extra latentie-, reken- en opslagkosten die gepaard gaan met de traditionele workflow waarbij gegevens die al in een datameer zijn opgeslagen, naar een datawarehouse worden gekopieerd voor BI-gebruik. De Azure Databricks-connector in Power BI zorgt voor een veiligere, meer interactieve datavisualisatie-ervaring voor gegevens die zijn opgeslagen in uw datameer.

Azure DevOps – Azure Databricks maakt verbinding met Azure DevOps om continue integratie en continue implementatie (CI/CD) mogelijk te maken. Configureer Azure DevOps als uw Git-provider en profiteer van de geïntegreerde functies voor versiebeheer.

Azure Virtual Network – De standaardimplementatie van Azure Databricks is een volledig beheerde service op Azure die een virtueel netwerk (VNet) omvat. Azure Databricks ondersteunt ook implementatie in uw eigen virtuele netwerk (ook wel VNet-injectie genoemd), waardoor u volledige controle hebt over de netwerkbeveiligingsregels.

Azure Event Hubs – Verkrijg inzichten uit live streaminggegevens door Azure Event Hubs te verbinden met Azure Databricks en verwerk berichten zodra ze binnenkomen. Met Event Hubs en Azure Databricks kunt u miljoenen gebeurtenissen per seconde streamen vanaf elk IoT-apparaat of logboeken van websiteklikstromen, en deze bijna in realtime verwerken.

Azure Key Vault – Beheer uw geheimen, zoals sleutels en wachtwoorden, met integratie in Azure Key Vault. Standaard worden alle Azure Databricks-notebooks en -resultaten in rust versleuteld met een andere versleutelingssleutel. Als u zelf de sleutel wilt bezitten en beheren die wordt gebruikt voor het versleutelen van uw notebooks en resultaten, kunt u uw eigen sleutel meenemen (BYOK).

Azure vertrouwelijke computing – Klanten kunnen hun Azure Databricks-workloads uitvoeren op vertrouwelijke virtuele machines (VM's) van Azure. Met ondersteuning voor Azure vertrouwelijke computing kunnen klanten een end-to-end gegevensplatform bouwen op het Databricks Lakehouse met meer vertrouwelijkheid en privacy door gegevens tijdens het gebruik te versleutelen. Dit bouwt voort op ondersteuning voor door de klant beheerde sleutels (CMK) voor het versleutelen van gegevens in rust.

Prijzen voor Azure Databricks

De prijzen van Azure Databricks zijn gebaseerd op twee hoofdcomponenten:

• Databricks Units (DBU's):DBU's zijn een eenheid van verwerkingscapaciteit. Het aantal DBU's dat u nodig hebt, is afhankelijk van de omvang en complexiteit van uw workloads.
• Opslagkosten:Azure Databricks slaat gegevens op in Azure Blob Storage of Azure Data Lake Storage Gen2. Er worden kosten in rekening gebracht voor de opslagkosten die verband houden met uw gegevens.

Azure Databricks biedt verschillende prijsopties, waaronder:

• Pay-as-you-go:Dit is de meest flexibele prijsoptie. U betaalt op basis van het aantal DBU's dat u gebruikt en de hoeveelheid opslagruimte die u verbruikt.
• Committed use:Deze prijsoptie kan u geld besparen als u voorspelbare workloads hebt. U verbindt zich tot een bepaald aantal DBU's voor een periode van één of drie jaar.
• Spot-instances:Spot-instances kunnen een kosteneffectieve optie zijn voor workloads die niet tijdgevoelig zijn. Spot-instances zijn beschikbaar tegen een gereduceerde prijs, maar kunnen worden beëindigd als Azure de capaciteit nodig heeft voor andere workloads.

U kunt de Azure Databricks-prijscalculator gebruiken om de kosten van uw Azure Databricks-workloads te schatten.

Hier zijn enkele tips om geld te besparen op Azure Databricks:

• Gebruik automatische schaalaanpassing:met automatische schaalaanpassing kan Azure Databricks uw clusters automatisch opschalen of afschalen op basis van de vraag. Zo kunt u geld besparen op rekenkosten.
• Gebruik beheerde services:Azure Databricks biedt verschillende beheerde services, zoals beheerde notebooks en beheerde streaming. Deze services kunnen u helpen de operationele overhead van het beheer van uw Azure Databricks-omgeving te verminderen.
• Gebruik spotinstances:Spotinstances kunnen een kosteneffectieve optie zijn voor workloads die niet tijdgevoelig zijn. Spotinstances zijn beschikbaar tegen een gereduceerde prijs, maar ze kunnen worden beëindigd als Azure de capaciteit nodig heeft voor andere workloads.

Over het algemeen biedt Azure Databricks verschillende prijsopties en functies waarmee u geld kunt besparen.

Ondersteuning voor Azure Databricks

Allereerst moeten bedrijven zich ervan bewust zijn dat Azure Databricks standaard alleen basisondersteuning voor Azure biedt. U kunt uw ondersteuning aanzienlijk verbeteren met Unified Support for Azure of ondersteuning voor Azure door derden bij US Cloud.

Azure Databricks-ondersteuning is 24 uur per dag, 7 dagen per week en 365 dagen per jaar beschikbaar via verschillende kanalen, waaronder:

• Ondersteuningsportaal:u kunt ondersteuningsverzoeken aanmaken en volgen via het Azure Databricks-ondersteuningsportaal.
• Chatondersteuning:u kunt in realtime chatten met een Microsoft-ondersteuningsmedewerker.
• Telefonische ondersteuning:u kunt bellen met Microsoft-ondersteuning en met een ondersteuningsmedewerker spreken.
• Communityondersteuning:u kunt vragen stellen en hulp krijgen van andere Azure Databricks-gebruikers op het Azure Databricks-communityforum.

Het niveau van ondersteuning dat u ontvangt, is afhankelijk van uw Azure Databricks-ondersteuningsplan. Azure Databricks biedt verschillende ondersteuningsplannen, waaronder:

• Basisondersteuning:Basisondersteuning is inbegrepen bij alle Azure Databricks-abonnementen. Het biedt toegang tot het ondersteuningsportaal en communityondersteuning.
• Standaardondersteuning:Standaardondersteuning biedt een hoger niveau van ondersteuning, inclusief toegang tot chat- en telefonische ondersteuning.
• Premium ondersteuning:Premium ondersteuning biedt het hoogste niveau van ondersteuning, inclusief toegang tot een toegewijd ondersteuningsteam.

U kunt het ondersteuningsplan kiezen dat het beste aansluit bij uw behoeften en budget.

Voor ondersteuning voor Azure Databricks kunt u een supportticket aanmaken via het Azure Databricks-supportportaal of in realtime chatten met een Microsoft-supportmedewerker.

Hier volgen enkele tips om optimaal gebruik te maken van Azure Databricks-ondersteuning met Microsoft of US Cloud:

• Wees specifiek:Wanneer u een supportticket aanmaakt, wees dan zo specifiek mogelijk over het probleem dat u ondervindt. Dit helpt het supportteam om uw probleem sneller op te lossen.
• Geef gedetailleerde informatie:Hoe meer informatie u aan het ondersteuningsteam kunt verstrekken, hoe beter. Dit kan informatie zijn zoals de foutmeldingen die u ontvangt, de code die u uitvoert en de gegevens die u gebruikt.
• Reageer snel:het ondersteuningsteam kan u aanvullende vragen stellen om uw probleem op te lossen. Beantwoord hun vragen zo snel mogelijk, zodat zij uw probleem zo snel mogelijk kunnen oplossen.

Over het algemeen zijn er verschillende ondersteuningsopties beschikbaar voor Azure Databricks, zodat u de hulp kunt krijgen die u nodig hebt wanneer u die nodig hebt.

Wat is Azure Databricks?

Azure Databricks is een uniform analyseplatform waarmee organisaties op grote schaal datapijplijnen, machine learning-modellen en dashboards kunnen bouwen. Het is een volledig beheerde service die op Azure draait en een uniforme werkruimte biedt voor datawetenschappers, data-engineers en bedrijfsanalisten om samen aan projecten te werken.

Azure Databricks is gebouwd op Apache Spark, een populair open-source framework voor gedistribueerde computing. Het biedt een geoptimaliseerde Spark-omgeving en een reeks tools en functies die het eenvoudiger maken om analytische en AI-toepassingen te bouwen en te implementeren.

Azure Databricks is een populaire keuze voor verschillende gebruiksscenario's, waaronder:

• Data-engineering: Azure Databricks kan worden gebruikt om datapijplijnen te bouwen en te beheren die grote datasets verwerken en transformeren.
• Machine learning: Azure Databricks biedt een verscheidenheid aan tools en bibliotheken voor het bouwen en implementeren van machine learning-modellen.
• Business intelligence: Azure Databricks kan worden gebruikt om dashboards en rapporten te maken die inzicht geven in gegevens.

Azure Databricks is ook nauw geïntegreerd met andere Azure-services, zoals Azure Storage, Azure SQL Database en Azure Machine Learning Studio. Dit maakt het eenvoudig om end-to-end analytics- en AI-oplossingen op Azure te bouwen en te implementeren.

Hier zijn enkele voordelen van het gebruik van Azure Databricks:

• Uniform platform: Azure Databricks biedt één platform voor data-engineering, datawetenschap en bedrijfsinformatie. Dit maakt het voor teams gemakkelijker om samen te werken aan projecten en gegevens te delen.
• Schaalbaarheid: Azure Databricks kan worden geschaald om te voldoen aan de behoeften van de meest veeleisende workloads. Het kan petabytes aan gegevens en duizenden gelijktijdige gebruikers verwerken.
• Prestaties: Azure Databricks is geoptimaliseerd voor prestaties en kan snel en efficiënt inzichten uit gegevens leveren.
• Gebruiksgemak: Azure Databricks is eenvoudig in gebruik en biedt een verscheidenheid aan tools en functies waarmee gebruikers snel aan de slag kunnen.

Over het algemeen is Azure Databricks een krachtig en veelzijdig analyseplatform dat kan worden gebruikt om een breed scala aan problemen op te lossen. Het is een goede keuze voor organisaties van elke omvang die end-to-end analyse- en AI-oplossingen willen bouwen en implementeren.

De beste Azure Databricks-architectuur

De beste Azure Databricks-architectuur hangt af van de specifieke behoeften van uw organisatie en de use cases die u wilt ondersteunen. Er zijn echter enkele algemene best practices die u kunt volgen om een schaalbare, efficiënte en veilige architectuur te ontwerpen.

Hier volgen enkele tips voor het ontwerpen van de beste Azure Databricks-architectuur:

• Gebruik een gelaagde architectuur:Een gelaagde architectuur verdeelt uw gegevens en workloads in verschillende lagen, zoals een landingszone, een datameer en een datawarehouse. Dit maakt het eenvoudiger om uw gegevens en workloads te beheren en verbetert bovendien de prestaties en beveiliging.
• Gebruik Delta Lake:Delta Lake is een open-source opslagformaat dat ACID-transacties en andere functies biedt, waardoor het ideaal is voor het opslaan van gegevens in Azure Databricks. Het is ook compatibel met Spark, zodat u bestaande Spark-code kunt gebruiken om uw gegevens te verwerken en te transformeren.
• Gebruik automatische schaalaanpassing:met automatische schaalaanpassing kan Azure Databricks uw clusters automatisch opschalen of afschalen op basis van de vraag. Zo kunt u geld besparen op rekenkosten.
• Gebruik beheerde services:Azure Databricks biedt verschillende beheerde services, zoals beheerde notebooks en beheerde streaming. Deze services kunnen u helpen de operationele overhead van het beheer van uw Azure Databricks-omgeving te verminderen.
• Gebruik beveiligingsfuncties:Azure Databricks biedt verschillende beveiligingsfuncties, zoals op rollen gebaseerde toegangscontrole (RBAC) en versleuteling. Deze functies kunnen u helpen uw gegevens en workloads te beschermen tegen ongeoorloofde toegang.

Hier is een voorbeeld van een gelaagde Azure Databricks-architectuur:

• Landingszone:De landingszone is een tijdelijke opslagruimte waar gegevens eerst worden opgenomen in Azure Databricks. De landingszone kan worden opgeslagen in Azure Blob Storage of Azure Data Lake Storage Gen2.
• Data lake: Het data lake is een centrale opslagplaats voor al uw gegevens, ongeacht het formaat of de structuur ervan. Het data lake kan worden opgeslagen in Azure Data Lake Blob Storage of Azure Data Lake Storage Gen2.
• Datawarehouse: Het datawarehouse is een sterk geoptimaliseerde gegevensopslagplaats voor het uitvoeren van analytische query's en rapporten. Het datawarehouse kan worden opgeslagen in Azure Synapse Analytics of Azure SQL Database. Bekijk de verschillen tussen een datameer en een datawarehouse.

De Azure Databricks-clusters hebben toegang tot gegevens in de landingszone en het datameer om verwerkings- en transformatietaken uit te voeren. De verwerkte en getransformeerde gegevens kunnen vervolgens voor analytische doeleinden in het datawarehouse worden geladen.

Dit is slechts één voorbeeld van een Azure Databricks-architectuur. De specifieke architectuur die u kiest, hangt af van uw specifieke behoeften en gebruikssituaties.

Hier volgen enkele aanvullende best practices voor het ontwerpen van een Azure Databricks-architectuur:

• Gebruik een versiebeheersysteem:Gebruik een versiebeheersysteem, zoals Git, om wijzigingen in uw Azure Databricks-notebooks en andere code bij te houden. Dit maakt het gemakkelijker om met anderen samen te werken en wijzigingen indien nodig ongedaan te maken.
• Gebruik unit tests:Gebruik unit tests om uw Azure Databricks-code te testen. Dit helpt u om bugs in een vroeg stadium op te sporen en te verhelpen.
• Gebruik integratietests:Gebruik integratietests om uw Azure Databricks-code te testen met andere componenten van uw architectuur, zoals uw gegevensbronnen en datawarehouse. Zo kunt u ervoor zorgen dat uw hele architectuur naar verwachting samenwerkt.
• Controleer uw architectuur:Controleer uw Azure Databricks-architectuur om eventuele prestatie- of beveiligingsproblemen op te sporen en op te lossen. U kunt Azure Databricks Monitoring gebruiken om uw clusters en taken te controleren.

Door deze best practices te volgen, kunt u een Azure Databricks-architectuur ontwerpen die schaalbaar, efficiënt, veilig en betrouwbaar is.

Belangrijkste Azure-integraties van Databricks

Databricks biedt verschillende integraties met Azure om een naadloze en krachtige omgeving voor data-analyse en machine learning te bieden. Deze integraties maken gebruik van de mogelijkheden van Azure-services om data-engineering, datawetenschap en machine learning-workflows te verbeteren.

Dit zijn de belangrijkste integraties van Databricks met Azure:

Azure Databricks-service – Azure Databricks zelf is een beheerd Apache Spark- en data-analyseplatform dat nauw is geïntegreerd met Azure. Het biedt een samenwerkingsomgeving voor data-engineers en datawetenschappers om samen te werken aan big data- en machine learning-projecten.

Azure Blob Storage – Databricks kan naadloos worden geïntegreerd met Azure Blob Storage, waardoor het eenvoudig is om toegang te krijgen tot gegevens die zijn opgeslagen in Azure Data Lake Storage of Azure Blob Storage-containers en deze te verwerken. Dankzij deze integratie kunt u gegevens efficiënt lezen en schrijven, waardoor de workflows voor data-engineering worden verbeterd.

Azure Machine Learning – Databricks kan worden geïntegreerd met Azure Machine Learning-services, waardoor datawetenschappers machine learning-modellen kunnen trainen en implementeren met behulp van Databricks-clusters en deze vervolgens eenvoudig kunnen implementeren in Azure voor productiegebruik.

Azure Monitor en Azure Log Analytics – Databricks kan worden geïntegreerd met Azure Monitor en Azure Log Analytics om monitoring-, logboek- en diagnostische mogelijkheden te bieden voor uw Databricks-workloads. Deze integratie helpt bij het afstemmen van prestaties en het oplossen van problemen.

Azure Active Directory – Single Sign-On met Azure Active Directory is de beste manier om u aan te melden bij Azure Databricks. Azure Databricks ondersteunt ook geautomatiseerde gebruikersprovisioning met Azure AD om nieuwe gebruikers aan te maken, hen het juiste toegangsniveau te geven en gebruikers te verwijderen om hun toegang in te trekken.

Azure Data Lake Storage – De native connector van Azure Databricks voor ADLS ondersteunt meerdere methoden voor toegang tot uw datameer. Vereenvoudig de beveiliging van gegevenstoegang door dezelfde Azure AD-identiteit te gebruiken die u gebruikt om in te loggen bij Azure Databricks met Azure Active Directory Credential Passthrough. Uw gegevenstoegang wordt beheerd via de ADLS-rollen en toegangscontrolelijsten die u al hebt ingesteld.

Azure Data Factory – Voer Azure Databricks-taken naadloos uit met Azure Data Factory en maak gebruik van meer dan 90 ingebouwde gegevensbronconnectoren om al uw gegevensbronnen in één gegevensmeer op te nemen. ADF biedt ingebouwde workflowcontrole, gegevenstransformatie, pijplijnplanning, gegevensintegratie en nog veel meer mogelijkheden om u te helpen betrouwbare gegevenspijplijnen te creëren.

Azure Synapse Analytics – Azure Databricks integreert met Azure-services om analytics, business intelligence (BI) en datawetenschap samen te brengen in de web- en mobiele applicaties van Microsoft. De krachtige connector tussen Azure Databricks en Azure Synapse maakt snelle gegevensoverdracht tussen de services mogelijk, inclusief ondersteuning voor streaminggegevens.

Power BI – Een van de belangrijkste functies waar klanten naar op zoek zijn bij het implementeren van een Lakehouse-strategie, is de mogelijkheid om gegevens efficiënt en veilig rechtstreeks uit het datameer te gebruiken met BI-tools. Dit vermindert doorgaans de extra latentie-, reken- en opslagkosten die gepaard gaan met de traditionele workflow waarbij gegevens die al in een datameer zijn opgeslagen, naar een datawarehouse worden gekopieerd voor BI-gebruik. De Azure Databricks-connector in Power BI zorgt voor een veiligere, meer interactieve datavisualisatie-ervaring voor gegevens die zijn opgeslagen in uw datameer.

Azure DevOps – Azure Databricks maakt verbinding met Azure DevOps om continue integratie en continue implementatie (CI/CD) mogelijk te maken. Configureer Azure DevOps als uw Git-provider en profiteer van de geïntegreerde functies voor versiebeheer.

Azure Virtual Network – De standaardimplementatie van Azure Databricks is een volledig beheerde service op Azure die een virtueel netwerk (VNet) omvat. Azure Databricks ondersteunt ook implementatie in uw eigen virtuele netwerk (ook wel VNet-injectie genoemd), waardoor u volledige controle hebt over de netwerkbeveiligingsregels.

Azure Event Hubs – Verkrijg inzichten uit live streaminggegevens door Azure Event Hubs te verbinden met Azure Databricks en verwerk berichten zodra ze binnenkomen. Met Event Hubs en Azure Databricks kunt u miljoenen gebeurtenissen per seconde streamen vanaf elk IoT-apparaat of logboeken van websiteklikstromen, en deze bijna in realtime verwerken.

Azure Key Vault – Beheer uw geheimen, zoals sleutels en wachtwoorden, met integratie in Azure Key Vault. Standaard worden alle Azure Databricks-notebooks en -resultaten in rust versleuteld met een andere versleutelingssleutel. Als u zelf de sleutel wilt bezitten en beheren die wordt gebruikt voor het versleutelen van uw notebooks en resultaten, kunt u uw eigen sleutel meenemen (BYOK).

Azure vertrouwelijke computing – Klanten kunnen hun Azure Databricks-workloads uitvoeren op vertrouwelijke virtuele machines (VM's) van Azure. Met ondersteuning voor Azure vertrouwelijke computing kunnen klanten een end-to-end gegevensplatform bouwen op het Databricks Lakehouse met meer vertrouwelijkheid en privacy door gegevens tijdens het gebruik te versleutelen. Dit bouwt voort op ondersteuning voor door de klant beheerde sleutels (CMK) voor het versleutelen van gegevens in rust.

Prijzen voor Azure Databricks

De prijzen van Azure Databricks zijn gebaseerd op twee hoofdcomponenten:

• Databricks Units (DBU's):DBU's zijn een eenheid van verwerkingscapaciteit. Het aantal DBU's dat u nodig hebt, is afhankelijk van de omvang en complexiteit van uw workloads.
• Opslagkosten:Azure Databricks slaat gegevens op in Azure Blob Storage of Azure Data Lake Storage Gen2. Er worden kosten in rekening gebracht voor de opslagkosten die verband houden met uw gegevens.

Azure Databricks biedt verschillende prijsopties, waaronder:

• Pay-as-you-go:Dit is de meest flexibele prijsoptie. U betaalt op basis van het aantal DBU's dat u gebruikt en de hoeveelheid opslagruimte die u verbruikt.
• Committed use:Deze prijsoptie kan u geld besparen als u voorspelbare workloads hebt. U verbindt zich tot een bepaald aantal DBU's voor een periode van één of drie jaar.
• Spot-instances:Spot-instances kunnen een kosteneffectieve optie zijn voor workloads die niet tijdgevoelig zijn. Spot-instances zijn beschikbaar tegen een gereduceerde prijs, maar kunnen worden beëindigd als Azure de capaciteit nodig heeft voor andere workloads.

U kunt de Azure Databricks-prijscalculator gebruiken om de kosten van uw Azure Databricks-workloads te schatten.

Hier zijn enkele tips om geld te besparen op Azure Databricks:

• Gebruik automatische schaalaanpassing:met automatische schaalaanpassing kan Azure Databricks uw clusters automatisch opschalen of afschalen op basis van de vraag. Zo kunt u geld besparen op rekenkosten.
• Gebruik beheerde services:Azure Databricks biedt verschillende beheerde services, zoals beheerde notebooks en beheerde streaming. Deze services kunnen u helpen de operationele overhead van het beheer van uw Azure Databricks-omgeving te verminderen.
• Gebruik spotinstances:Spotinstances kunnen een kosteneffectieve optie zijn voor workloads die niet tijdgevoelig zijn. Spotinstances zijn beschikbaar tegen een gereduceerde prijs, maar ze kunnen worden beëindigd als Azure de capaciteit nodig heeft voor andere workloads.

Over het algemeen biedt Azure Databricks verschillende prijsopties en functies waarmee u geld kunt besparen.

Ondersteuning voor Azure Databricks

Allereerst moeten bedrijven zich ervan bewust zijn dat Azure Databricks standaard alleen basisondersteuning voor Azure biedt. U kunt uw ondersteuning aanzienlijk verbeteren met Unified Support for Azure of ondersteuning voor Azure door derden bij US Cloud.

Azure Databricks-ondersteuning is 24 uur per dag, 7 dagen per week en 365 dagen per jaar beschikbaar via verschillende kanalen, waaronder:

• Ondersteuningsportaal:u kunt ondersteuningsverzoeken aanmaken en volgen via het Azure Databricks-ondersteuningsportaal.
• Chatondersteuning:u kunt in realtime chatten met een Microsoft-ondersteuningsmedewerker.
• Telefonische ondersteuning:u kunt bellen met Microsoft-ondersteuning en met een ondersteuningsmedewerker spreken.
• Communityondersteuning:u kunt vragen stellen en hulp krijgen van andere Azure Databricks-gebruikers op het Azure Databricks-communityforum.

Het niveau van ondersteuning dat u ontvangt, is afhankelijk van uw Azure Databricks-ondersteuningsplan. Azure Databricks biedt verschillende ondersteuningsplannen, waaronder:

• Basisondersteuning:Basisondersteuning is inbegrepen bij alle Azure Databricks-abonnementen. Het biedt toegang tot het ondersteuningsportaal en communityondersteuning.
• Standaardondersteuning:Standaardondersteuning biedt een hoger niveau van ondersteuning, inclusief toegang tot chat- en telefonische ondersteuning.
• Premium ondersteuning:Premium ondersteuning biedt het hoogste niveau van ondersteuning, inclusief toegang tot een toegewijd ondersteuningsteam.

U kunt het ondersteuningsplan kiezen dat het beste aansluit bij uw behoeften en budget.

Voor ondersteuning voor Azure Databricks kunt u een supportticket aanmaken via het Azure Databricks-supportportaal of in realtime chatten met een Microsoft-supportmedewerker.

Hier volgen enkele tips om optimaal gebruik te maken van Azure Databricks-ondersteuning met Microsoft of US Cloud:

• Wees specifiek:Wanneer u een supportticket aanmaakt, wees dan zo specifiek mogelijk over het probleem dat u ondervindt. Dit helpt het supportteam om uw probleem sneller op te lossen.
• Geef gedetailleerde informatie:Hoe meer informatie u aan het ondersteuningsteam kunt verstrekken, hoe beter. Dit kan informatie zijn zoals de foutmeldingen die u ontvangt, de code die u uitvoert en de gegevens die u gebruikt.
• Reageer snel:het ondersteuningsteam kan u aanvullende vragen stellen om uw probleem op te lossen. Beantwoord hun vragen zo snel mogelijk, zodat zij uw probleem zo snel mogelijk kunnen oplossen.

Over het algemeen zijn er verschillende ondersteuningsopties beschikbaar voor Azure Databricks, zodat u de hulp kunt krijgen die u nodig hebt wanneer u die nodig hebt.