Cloudopslag, databases en datadiensten

Een opslagdienst moet passen bij de manier waarop een applicatie gegevens leest en wijzigt. Een database die enkele records bijwerkt, een team dat gedeelde documenten bewerkt en een website die foto’s aanbiedt, hebben verschillende behoeften.

Drie manieren om gegevens te organiseren

Een blokvolume bevat blokken van vaste grootte. Het besturingssysteem formatteert het met een bestandssysteem, net zoals het een fysieke schijf zou formatteren. Het kan een klein deel van een bestand ter plekke bijwerken. Dit past bij een database die veel kleine lees- en schrijfbewerkingen uitvoert. Een volume bedient normaal gesproken één virtuele machine; rechtstreeks delen vereist schijfondersteuning en software die is ontworpen voor toegang vanuit een cluster.

Bestandsopslag biedt een gedeelde map via een netwerk. NFS is gebruikelijk op Linux; SMB is gebruikelijk op Windows. Meerdere clients kunnen dezelfde share openen en bestandsvergrendeling coördineert de toegang. Een bestaande applicatie die een gedeeld pad verwacht, kan dat patroon behouden zonder te worden herschreven om een object-API aan te roepen.

Wat een object bevat

Een object bevat de gegevens, een unieke sleutel en metadata, zoals het inhoudstype. In een bucket met een platte naamruimte is invoices/2026/10/inv-1042.pdf één volledige sleutel. De schuine strepen groeperen namen op voorvoegsel; ze maken geen gewone schijfmappen aan.

Applicaties uploaden objecten doorgaans met PUT-verzoeken en downloaden ze met GET-verzoeken over HTTPS. Bij objecttoegang voor algemeen gebruik worden gegevens als een object behandeld: de inhoud vervangen betekent doorgaans een vervangend object uploaden, terwijl een blokschijf kleine schrijfbewerkingen ter plekke ondersteunt. Sommige objectdiensten voegen gespecialiseerde functies toe om gegevens aan te vullen of directory’s te gebruiken. Een bucket heeft nog steeds een ander toegangsmodel dan een gedeelde bestandsserver.

Objectopslag kan afbeeldingen, opnamen, logboeken en back-ups bewaren in een verzameling die groeit zonder voor elke uitbreiding een schijf in te richten. Standaard online opslagklassen bedienen actieve websites en analyses met toegang binnen milliseconden. Vertraagd ophalen hoort bij bepaalde archiefklassen, niet bij objectopslag als geheel.

Kies opslag voor een applicatie

Een webwinkel gebruikt een blokschijf voor de databaseserver omdat records vaak veranderen. Vijf webservers lezen gemeenschappelijke paginasjablonen van een NFS-bestandsshare. Productfoto’s en 2 TB aan nachtelijke back-ups gaan naar objectopslag. Dezelfde applicatie kan alle drie de typen gebruiken.

Tijdelijke hostopslag, zoals AWS instance store, de Azure temporary disk en Google Cloud Local SSD, is geschikt voor tijdelijke werkbestanden en caches die opnieuw kunnen worden opgebouwd. Een hoststoring of gebeurtenissen in de levenscyclus van een virtuele machine kunnen deze opslag wissen. Staat er maar één kopie van belangrijke gegevens, bewaar die dan op persistente opslag, die onafhankelijk van een draaiende virtuele machine bestaat.

De prijsstelling volgt het opslagmodel. Objectopslag brengt doorgaans werkelijk opgeslagen GB plus verzoeken en overdrachten in rekening. Blokopslag brengt ingerichte capaciteit in rekening, inclusief ongebruikte ruimte. Bestandsopslag kan gebruikte ruimte in rekening brengen, zoals EFS doet, of gereserveerde capaciteit. Begin een keuze bij het toegangspatroon en vergelijk vervolgens de rekening voor dat patroon.

Objectopslag scheidt de gegevens van de server die ze gebruikt. Een bucket of container bevat de verzameling, terwijl elk object een eigen sleutel heeft. Instellingen voor locatie, toegang en herstel bepalen hoe veilig die verzameling kan worden gebruikt.

Vergelijk de namen van de cloudaanbieders

Een Azure-opslagaccount kan ook bestandsshares, wachtrijen en tabellen bevatten. Namen van S3-buckets voor algemeen gebruik, Cloud Storage-buckets en Azure-opslagaccounts gebruiken gedeelde naamruimten, waardoor de naam van een andere klant niet beschikbaar kan zijn. De naam vormt ook een deel van het adres van het object. Een Azure-blob kan bijvoorbeeld het adres https://shopmedia.blob.core.windows.net/images/products/lamp-01.jpg hebben.

Een S3-bucket hoort bij een AWS-regio. Azure-opslagaccounts hebben een regio en een redundantiekeuze. Cloud Storage biedt locaties in één regio, twee regio’s en meerdere regio’s. De locatie beïnvloedt latentie, prijs en gegevenslocatie, het gebied waar de gegevens worden bewaard.

Deel zonder de verzameling bloot te stellen

Houd de verzameling privé en verleen de toegang die de applicatie nodig heeft via identiteitsmachtigingen en resourcebeleid. Gebruik voor een tijdelijke download een S3 presigned URL, een Azure shared access signature (SAS) of een Cloud Storage signed URL. Een factuurlink die na 60 minuten verloopt, geeft tijdelijk toegang zonder de hele bucket openbaar te maken. Iedereen met een bruikbare ondertekende link kan de bijbehorende machtigingen gedurende die periode gebruiken.

Opgeslagen objecten worden standaard versleuteld met door de cloudaanbieder beheerde sleutels; door de klant beheerde sleutels geven de klant meer controle. HTTPS beschermt gegevens tijdens overdracht. Versleuteling en machtigingen lossen verschillende problemen op: iemand met een geldige leesmachtiging kan een versleuteld object nog steeds via de dienst lezen.

Herstel, bewaar en upload

Versiebeheer bewaart eerdere objectversies zodat een overschrijving ongedaan kan worden gemaakt. Opgeslagen versies verhogen de rekening. Azure en Google Cloud bieden ook voorlopige verwijdering, die verwijderde gegevens gedurende een herstelperiode bewaart. Onveranderbare opslag, of eenmaal schrijven en vaak lezen (WORM), blokkeert wijzigingen en verwijdering tijdens de bewaartermijn. Voorbeelden zijn S3 Object Lock, Azure immutable blob storage en Cloud Storage-retentiebeleid met bucket lock.

Grote uploads kunnen in delen worden opgesplitst, parallel worden geüpload en afzonderlijk opnieuw worden geprobeerd. S3 noemt dit meerdelige upload; Azure-blokuploads en Google-samengestelde uploads bieden verwante methoden. Een verbroken verbinding hoeft niet de hele grote overdracht opnieuw te starten.

Schat de omvang van een groeiende verzameling

Eén miljoen foto’s van gemiddeld 3 MB nemen 3.000.000 MB in beslag, of 3.000 GB: 3 TB in decimale eenheden. Nog eens 20.000 foto’s per dag voegen dagelijks 60 GB toe. Over 365 dagen is dat nog eens 21,9 TB. Objectopslag vangt deze groei op zonder vooraf een vaste schijf te reserveren.

In platte naamruimten betekent het verplaatsen van een mapachtig voorvoegsel dat objectsleutels worden gewijzigd. Hiërarchische opties voegen echte directorybewerkingen toe, waaronder Azure Data Lake Storage en de hiërarchische naamruimte van Cloud Storage. Controleer de naamruimte voordat je een weergegeven map als directory behandelt.

Nadat je een opslagtype hebt gekozen, koppel je de toegangsmethode en prestaties aan een dienst. Een snelle schijf en een gedeelde map kunnen allebei bestanden opslaan, maar voorzien in verschillende behoeften van applicaties.

Schijven en hun kopieën

Schijftypen bieden verschillende prestaties. Volumes op basis van harde schijven zijn geschikt voor grote sequentiële leesbewerkingen; SSD’s zijn geschikt voor veelvuldige kleine bewerkingen. IOPS betekent invoer- en uitvoerbewerkingen per seconde. Kies zowel capaciteit als prestaties, want een grote schijf is niet noodzakelijk de juiste schijf voor een drukbezette database.

Een EBS-volume hoort bij één beschikbaarheidszone en wordt gekoppeld aan instances daar. Azure managed disks zijn standaard lokaal redundant, met een optie voor zoneredundantie. Google biedt zoneschijven en regionale schijven die over twee zones worden gerepliceerd. Deze locatiekeuzes bepalen welke storingen een schijf kan doorstaan.

Een momentopname legt een volume op een bepaald tijdstip vast. Standaardmomentopnamen van EBS en Google zijn incrementeel: na de eerste kopie slaan latere momentopnamen gewijzigde blokken op. Azure biedt volledige en incrementele momentopnamen. Als een volume 200 GB bevat en 5 GB verandert, slaat een incrementele momentopname ongeveer 5 GB aan nieuwe blokken op. Herstel vanuit die momentopname bouwt nog steeds het volledige volume opnieuw op, niet alleen het gewijzigde deel. Het kan een nieuwe schijf in een andere zone worden; momentopnamen kunnen ook tussen regio’s worden gekopieerd.

Gedeelde bestanden en compatibele software

EFS is een automatisch groeiend NFS-bestandssysteem voor Linux-servers, ook voor servers in verschillende beschikbaarheidszones. FSx biedt Windows File Server, Lustre, NetApp ONTAP en OpenZFS. FSx for Windows File Server biedt SMB en integratie met Active Directory; Lustre is geschikt voor grote, snelle gegevensverzamelingen bij hoogwaardige rekenverwerking.

Azure Files biedt SMB- en NFS-shares voor compatibele clients met Windows, Linux en macOS. Azure NetApp Files bedient veeleisende zakelijke bestandsworkloads. Filestore biedt beheerde NFS op Google Cloud; NetApp Volumes biedt shares op basis van NetApp. Controleer het protocol en de vereiste bestandssysteemfuncties voordat je capaciteitsprijzen vergelijkt.

Verbind een lokale bestandsserver

AWS Storage Gateway is een lokale virtuele appliance die vertrouwde interfaces voor bestanden, schijven of tapes met AWS-opslag verbindt. De appliance bewaart veelgebruikte gegevens lokaal in een cache. Met Tape Gateway kan bestaande back-upsoftware virtuele tapes gebruiken. Azure File Sync synchroniseert Windows-bestandsservers met Azure Files; gelaagde cloudopslag bewaart veelgebruikte bestanden lokaal en haalt minder gebruikte bestanden op wanneer ze worden geopend.

Voor een vestiging met 8 TB aan gedeelde bestanden en een lokale schijf van 2 TB kan gelaagde opslag de veelgebruikte 2 TB dichtbij houden terwijl de cloud de volledige verzameling bewaart. Het openen van een minder gebruikt bestand hangt dan af van de netwerkverbinding.

Als je een virtuele machine verwijdert, worden de gegevensschijven niet altijd verwijderd; een niet-gekoppelde schijf kan kosten blijven opleveren. De bescherming van momentopnamen hangt ook af van locatie en accountisolatie. EBS- en Azure-momentopnamen blijven in de bronregio tenzij ze worden gekopieerd. Standaardmomentopnamen van Google gaan standaard naar de dichtstbijzijnde multiregio. Een geïsoleerde herstelkopie beschermt tegen een gecompromitteerd bronaccount.

Een opslaglaag verandert wat je betaalt om objecten te bewaren en op te halen. Hot-lagen rekenen meer voor opslag en minder voor toegang. Koudere lagen verlagen het opslagtarief, maar kunnen kosten voor ophalen, minimale opslagduur en herstelvertragingen toevoegen.

Vergelijk klassen op basis van toegang

S3 Standard-IA en One Zone-IA hebben een minimum van 30 dagen. Glacier Instant Retrieval en Flexible Retrieval hebben een minimum van 90 dagen; Deep Archive heeft 180 dagen. Herstel uit Flexible Retrieval duurt minuten tot uren. Standaard ophalen uit Deep Archive is binnen 12 uur klaar, bulksgewijs ophalen binnen 48 uur. S3 Express One Zone biedt snelle toegang binnen één zone.

Azure cool heeft een minimum van 30 dagen, cold 90 dagen en archive 180 dagen. Hot, cool en cold bieden toegang binnen milliseconden. Archive moet naar een online laag worden gerehydrateerd, wat maximaal 15 uur kan duren. Een opslagaccount stelt een standaard online laag in; afzonderlijke blobs kunnen een eigen laag hebben.

Cloud Storage Standard heeft geen minimum; Nearline heeft 30 dagen, Coldline 90 en Archive 365. Google Archive blijft online, met toegang binnen milliseconden en kosten voor ophalen. Alleen het woord “archief” vertelt je niet hoe lang lezen duurt.

Minimale opslagduur is een betalingsverplichting

Als je een Azure-blob in cool na 21 dagen verwijdert, blijven 9 factureerbare dagen van het minimum van 30 dagen over. Als je een archiefblob na 45 dagen verwijdert, blijven 135 dagen van het minimum van 180 dagen over. Voor een Cloud Storage Archive-object dat na 100 dagen wordt verwijderd, blijven 265 dagen over. Ook vroegtijdig uit een klasse verplaatsen kan deze kosten opleveren.

Bereken de volledige rekening

Gebruik voorbeeldtarieven in US-dollars van $ 0,020 per GB-maand voor hot-opslag en $ 0,002 voor archief, plus $ 0,02 per GB die uit het archief wordt opgehaald. Voor 50.000 GB die 12 maanden wordt bewaard:

• Hot-opslag kost $ 12.000.
• Archiefopslag kost $ 1.200.
• Het volledige archief eenmaal lezen voegt $ 1.000 toe, voor een totaal van $ 2.200.
• Het elke maand lezen voegt $ 12.000 toe, voor een totaal van $ 13.200.

Het goedkopere opslagtarief verliest zijn voordeel wanneer gegevens vaak worden gelezen. Een volledige schatting omvat ook kosten voor verzoeken, vroegtijdige verwijdering en uitgaand dataverkeer, de kosten voor gegevens die de cloud verlaten. Uploads via internet zijn doorgaans gratis; downloads worden meestal in rekening gebracht.

Laat toegangspatronen wijzigingen bepalen

S3 Intelligent-Tiering verplaatst ongebruikte objecten automatisch na 30 en 90 dagen en plaatst ze terug bij toegang; de dienst rekent bewakingskosten maar geen kosten voor ophalen. Azure smart tier verplaatst op basis van gebruik tussen hot, cool en cold. Cloud Storage Autoclass beheert klassen voor een bucket. Voor vaste verouderingsschema’s bieden levenscyclusregels expliciete controle.

Klassen met één zone leveren bescherming tegen storingen in voor lagere kosten of betere prestaties. S3 One Zone-IA is geschikt voor secundaire gegevens of gegevens die opnieuw kunnen worden opgebouwd, omdat de gegevens verloren kunnen gaan als die zone verloren gaat.

Gegevens worden vaak minder bruikbaar naarmate ze ouder worden. Een levenscyclusbeleid past dat patroon toe op elk nieuw object, zodat mensen niet elke verplaatsing of verwijdering hoeven te onthouden.

Een regel heeft drie onderdelen

Een filter identificeert objecten, zoals sleutels die beginnen met logs/ of objecten met een bepaalde tag. Een voorwaarde geeft aan wanneer de regel geldt, zoals het aantal dagen sinds aanmaak of, in Azure, sinds de laatste toegang. Een actie verandert de opslaglaag of verwijdert het object. De diensten zijn S3 Lifecycle, Azure Blob Storage lifecycle management en Cloud Storage Object Lifecycle Management.

Voor applicatielogboeken die één maand vaak nodig zijn en zeven jaar worden bewaard, verplaats je ze op dag 30 naar een laag voor weinig gebruikte gegevens en op dag 90 naar een archieflaag. Elk logboek staat 60 dagen in de laag voor weinig gebruikte gegevens, langer dan het minimum van 30 dagen. Stel verwijdering in na de volledige kalenderbewaartermijn: zeven jaar kunnen twee schrikkeldagen bevatten, dus 2.557 dagen voorkomt te vroege verwijdering. Een eenvoudige regel van 2.555 dagen kan te kort zijn.

Tel de tijd in elke laag

De leeftijd van het object en de tijd in een laag zijn verschillend. Als een object op dag 30 in een laag met een minimum van 90 dagen komt en die op dag 60 verlaat, duurt het verblijf slechts 30 dagen:

Er blijven 60 dagen van het minimum ongebruikt, die in rekening kunnen worden gebracht. Tel het interval tussen overgangen voordat je de kosten van een beleid beoordeelt. Elke overgang kost ook een verzoek. Sommige koudere klassen hebben een minimale factureerbare objectgrootte, zoals 128 KB in S3 Standard-IA. Daardoor besparen heel kleine objecten na verplaatsing mogelijk weinig of kosten ze meer.

Versies en beschermde bewaring

Levenscyclusregels kunnen niet-actuele versies na een gekozen interval verwijderen, een beperkt aantal eerdere versies bewaren en onvoltooide meerdelige uploads opruimen. Zonder die regels kunnen versies en achtergelaten delen betaalde opslag blijven gebruiken.

Een actieve bewaarvergrendeling of juridische bewaring voorkomt dat levenscyclusregels beschermde gegevens verwijderen. Voor facturen die tien kalenderjaren worden bewaard, verplaatst een plan ze na één jaar naar het archief en plant verwijdering na 3.653 dagen, rekening houdend met maximaal drie schrikkeldagen. Een vergrendeling in compliancemodus voorkomt vroegtijdige verwijdering, ook door beheerders. De levenscyclusregel beheert de veroudering; de vergrendeling dwingt de bescherming af.

Ophalen is een afzonderlijke handeling

Azure-rehydratie met hoge prioriteit duurt voor blobs onder 10 GB meestal minder dan één uur, tegen een hogere prijs. Azure-levenscyclusregels kunnen een gearchiveerde blob niet rehydrateren; herstel vereist een afzonderlijk verzoek. Plan een herstel voordat je een spoedige levering vanuit een offline archief toezegt.

Levenscyclusacties worden op de achtergrond uitgevoerd, meestal binnen een dag of twee nadat aan de voorwaarde is voldaan. Gebruik het beleid om bewaring consequent op de hele verzameling toe te passen en houd bij de planning rekening met die verwerkingstijd.

Gegevens kunnen een storing overleven en tijdens die storing toch onbereikbaar zijn. Opslagbescherming heeft daarom twee afzonderlijke maten: duurzaamheid van gegevens en beschikbaarheid.

Lees de percentages correct

Duurzaamheid van gegevens beschrijft de bescherming tegen gegevensverlies gedurende een jaar. S3 Standard is ontworpen voor 99,999999999% duurzaamheid van gegevens, elf negens genoemd. De verlieskans is één op 100 miljard per object per jaar. Voor 10 miljoen objecten is het verwachte jaarlijkse verlies 0,0001 object: gemiddeld één per 10.000 jaar. Dit is een statistische ontwerpmaat, geen schema voor het verlies van een object.

Beschikbaarheid beschrijft het deel van de tijd dat gegevens bereikbaar zijn. Een maand van 30 dagen telt 43.200 minuten. Bij 99,9% beschikbaarheid is het onbeschikbare deel 0,1%, oftewel 43,2 minuten. Bij 99,99% is dat 4,32 minuten; bij 99% 432 minuten, oftewel 7,2 uur. De ontwerpwaarde voor de beschikbaarheid van S3 Standard is 99,99%. Een SLA is een contractuele toezegging, vaak met dienstkrediet als vergoeding; het percentage kan afwijken van de ontwerpdoelstelling.

Stem kopieën af op de storing

Meerdere kopieën binnen één datacenter beschermen tegen hardwarestoringen. Kopieën over beschikbaarheidszones beschermen tegen uitval van een datacenter. Kopieën in een tweede regio bieden bescherming bij een regionale calamiteit, afhankelijk van waar en hoe replicatie plaatsvindt.

Synchrone replicatie bevestigt een schrijfbewerking nadat de vereiste kopieën de ontvangst hebben bevestigd. Sommige systemen vereisen alle aangewezen kopieën; andere gebruiken een meerderheid, of quorum. Asynchrone replicatie bevestigt bij de primaire kopie en verstuurt wijzigingen daarna verder. Als de primaire kopie verloren gaat, kunnen wijzigingen die nog onderweg zijn verloren gaan. Die replicatievertraging moet binnen de RPO van het bedrijf blijven: de maximale aanvaardbare hoeveelheid recent gegevensverlies, gemeten in tijd.

Begrijp Azure-redundantie

LRS biedt minstens elf negens duurzaamheid van gegevens, ZRS twaalf en geografisch redundante opties zestien. GRS heeft in totaal zes kopieën. Gewone secundaire gegevens van GRS/GZRS zijn pas na een failover beschikbaar om te lezen; RA-GRS en RA-GZRS voegen leestoegang tot de secundaire kopie toe. Een regio waarnaar wordt gerepliceerd, is niet noodzakelijk een onmiddellijk actieve vervanging.

De meeste S3-klassen beslaan ten minste drie zones; One Zone-klassen niet. S3-replicatie kan objecten naar een andere bucket in dezelfde of een andere regio kopiëren. Regionale Cloud Storage-buckets beslaan meerdere zones, dual-region-buckets gebruiken twee gekozen regio’s en multi-region-buckets een groter gebied. Optionele turboreplicatie beoogt nieuwe gegevens binnen 15 minuten te kopiëren bij opslag in twee regio’s.

Regels voor gegevenslocatie gelden ook voor secundaire kopieën. Controleer bij een eis voor één land de locatie van de tweede regio. Replicatie kan ook ongewenste overschrijvingen of verwijderingen overbrengen, afhankelijk van de dienst en instellingen. Replicatie levert robuuste kopieën van de huidige toestand; beschermde versies en back-ups maken herstel vanuit een ongewenste toestand mogelijk.

Een back-up is een herstelbare kopie die wordt bewaard voor het geval van verwijdering, beschadiging, een aanval of het verlies van een locatie. Een bruikbaar back-upplan begint bij wat het bedrijf kan verliezen en hoe lang het offline kan blijven.

Stel twee afzonderlijke doelen

Een back-up om de 24 uur kan bijna 24 uur aan wijzigingen onbeschermd laten als de storing vlak voor de volgende back-up optreedt. Dat voldoet aan een RPO van 24 uur, maar niet aan een RPO van 1 uur. Back-ups per uur of voldoende actuele continue replicatie voorzien in de kortere doelstelling.

Herstelsnelheid staat daar los van. Als het herstellen van 3 TB 6 uur duurt en de RTO 4 uur is, haalt het plan de doelstelling niet, ook als de back-up elk vereist record bevat. Een sneller herstelproces of een verkleinde stand-byomgeving kan de hersteltijd verkorten.

Pas beleid toe op meerdere resources

AWS Backup centraliseert back-upbeleid voor resources waaronder EBS, RDS, DynamoDB, EFS, FSx en S3. Azure Backup omvat onder meer virtuele machines, managed disks, Azure Files, blobs en SQL Server op virtuele machines. Google Cloud biedt Backup and DR Service. Beleidsregels bepalen frequentie, bewaring en kopieën naar andere regio’s of accounts.

Beheerde databases maken ook back-ups en bewaren transactielogboeken. RDS, Azure SQL Database en Cloud SQL ondersteunen herstel naar een specifiek tijdstip binnen de bewaartermijn. De bewaartermijn van RDS kan maximaal 35 dagen zijn. Logboeken maken herstel tussen back-uptijdstippen mogelijk, bijvoorbeeld tot vlak voor een onbedoelde update.

Isoleer een herstelkopie

De 3-2-1-regel is een richtlijn voor back-upplanning: drie kopieën, op twee soorten opslag, met één op een andere locatie. In de cloud helpt een andere regio bij verlies van een locatie en helpt een afzonderlijk account de toegang te isoleren. Vergrendelde bewaring biedt extra bescherming tegen een aanvaller die de back-up verwijdert: AWS Backup Vault Lock, Azure immutable backup vaults en Google-back-upkluizen met afgedwongen bewaring bieden deze beheersmaatregel.

Een dagelijkse kopie op een andere locatie voldoet bij een regionale calamiteit niet aan een RPO van vier uur. Die kan bijna een dag achterlopen, ook als er lokaal elke vier uur momentopnamen worden gemaakt.

Maak voor een bestandsshare van 3 TB met een RPO van vier uur en een RTO van acht uur elke vier uur momentopnamen voor lokaal herstel en maak ten minste elke vier uur een herstelbare kopie naar een andere regio. Bewaar recente momentopnamen zeven dagen en dagelijkse herstelgeschiedenis 90 dagen. Test elk kwartaal een volledig herstel en meet of dit binnen acht uur klaar is.

Hersteldiensten en archieven

AWS Elastic Disaster Recovery en Azure Site Recovery repliceren servers zodat ze elders kunnen starten met korte hersteldoelstellingen, vaak minuten, tegen extra kosten. Ze zijn bedoeld om een werkend systeem terug te brengen, niet alleen om oude bestanden te bewaren.

Een archief bewaart niet-actieve gegevens voor langdurig gebruik of bewaring. Een back-up ondersteunt herstel van een huidig systeem met een doorlopende geschiedenis. Een goedkoop archief kan nuttig zijn voor de opslag van kopieën, maar de ophaalvertraging moet bij het herstelplan passen. Hersteltests controleren zowel of de gegevens werken als hoe lang herstel werkelijk duurt.

Een relationele database slaat samenhangende feiten op in tabellen. Een beheerde dienst beheert het databaseplatform voor je, terwijl je team verantwoordelijk blijft voor de werking van de gegevens en query’s.

Lees tabellen en sleutels

Een tabel bevat rijen voor records en kolommen voor kenmerken. Het schema definieert die kolommen en hun gegevenstypen. Een primaire sleutel identificeert een rij uniek. Een refererende sleutel verwijst naar de primaire sleutel van een andere tabel en verbindt records tussen tabellen.

Stel dat customers Ana bevat met klant-ID 1 en land “Brazil”, en Kofi met ID 2 en land “Ghana”. De tabel orders bevat bestellingen 501 en 503 voor klant 2, met bedragen van 80 en 45, en bestelling 502 voor klant 1, met een bedrag van 120. SQL leest en wijzigt de gegevens:

SELECT name FROM customers WHERE country = 'Ghana';

Dit geeft Kofi terug. Koppelen op customer_id verbindt Kofi met bestellingen 501 en 503, met een totaal van 125. De klantnaam hoeft niet in elke bestelling te worden herhaald.

Houd een transactie bij elkaar

Een transactie groepeert wijzigingen tot één eenheid. De ACID-eigenschappen beschrijven de garanties:

• Atomiciteit: alle stappen slagen of geen enkele.
• Consistentie: bevestigde gegevens voldoen aan de vastgelegde regels.
• Isolatie: gelijktijdige transacties kunnen elkaar niet beïnvloeden op manieren die het isolatieniveau uitsluit.
• Duurzaamheid: een bevestigde wijziging blijft behouden na een crash.

Een overboeking van 50 debiteert de ene rekening en crediteert de andere. Als de tweede wijziging mislukt, draait atomiciteit ook de eerste terug. Daarom zijn relationele databases geschikt voor bestellingen, voorraad en betalingen: samenhangende wijzigingen kunnen samen worden bevestigd.

Kies wie het platform beheert

Een beheerde PostgreSQL-dienst geeft een nieuwe applicatie automatisch platformonderhoud. Een oudere database die een oude engineversie en een plug-in voor het besturingssysteem nodig heeft, kan een virtuele machine vereisen. Een beheerde dienst betekent niet dat de cloudaanbieder je schema kiest, trage query’s oplost of de juiste gebruikers toegang verleent. Je team kiest ook de grootte, regio en beschikbaarheidsinstellingen.

Maak onderscheid tussen extra kopieën

Een stand-byreplica in een andere zone ondersteunt failover als de primaire database uitvalt. Voorbeelden zijn RDS Multi-AZ, zoneredundante Azure SQL Database en Cloud SQL high availability. Een failover kan de dienst kort onderbreken; de uitvaltijd is niet nul.

Een leesreplica spreidt leesverkeer en kan in een andere regio worden geplaatst. De replica ontvangt wijzigingen doorgaans asynchroon en kan dus vlak na een schrijfbewerking een oudere waarde tonen. Een leesreplica is niet hetzelfde als een stand-byreplica voor failover of een historische back-up.

Verticaal schalen voegt processors of geheugen toe, vaak met een korte onderbreking. Leesreplica’s schalen leesverkeer, terwijl automatische opslaggroei schijfcapaciteit toevoegt. Back-ups en transactielogboeken ondersteunen herstel naar een specifiek tijdstip na een schadelijke wijziging die replica’s mogelijk al hebben gekopieerd.

Begin een databasekeuze bij de applicatie: de database-engine, vereiste functies en schaal. Dezelfde engine behouden voorkomt vaak codewijzigingen. Een compatibele cloudengine kan ander opslag- en schaalgedrag bieden zonder identiek te zijn aan het origineel.

Vergelijk de belangrijkste diensten

Amazon RDS ondersteunt MySQL, PostgreSQL, MariaDB, Oracle, SQL Server en IBM Db2. Aurora is een afzonderlijke AWS-engine die compatibel is met MySQL of PostgreSQL. De dienst bewaart zes kopieën over drie beschikbaarheidszones, laat opslag automatisch groeien en biedt Aurora Serverless voor een veranderende vraag naar rekenvermogen.

Azure SQL Database gebruikt de SQL Server-engine en biedt serverloze en Hyperscale-opties. SQL Managed Instance ondersteunt vrijwel al het SQL Server-gedrag op instanceniveau, nuttig voor bestaande databases die afhankelijk zijn van functies zoals SQL Server Agent-taken. Azure Database for PostgreSQL en Azure Database for MySQL draaien hun opensource-engines als beheerde flexibele servers. SQL Server on Azure Virtual Machines biedt volledige controle over het besturingssysteem, met onderhoud door de klant.

Cloud SQL draait MySQL, PostgreSQL en SQL Server. AlloyDB for PostgreSQL biedt een PostgreSQL-compatibele dienst die is geoptimaliseerd voor veeleisende workloads, waaronder analytische query’s. Spanner verspreidt relationele gegevens wereldwijd, schaalt horizontaal en behoudt sterke consistentie tussen regio’s. Multiregioconfiguraties bieden een SLA van maximaal 99,999% beschikbaarheid.

Kies op basis van de belangrijkste functie

Een regionale winkelketen met MySQL kan RDS for MySQL, Azure Database for MySQL of Cloud SQL for MySQL gebruiken. Een SQL Server-applicatie die afhankelijk is van taken op instanceniveau heeft een daarmee compatibele dienst nodig, zoals SQL Managed Instance; controleer voor elk doel de ondersteuning van specifieke functies. Voor een veeleisende PostgreSQL-applicatie kun je Aurora PostgreSQL of AlloyDB overwegen.

Wereldwijde replicatie werkt niet overal hetzelfde. Aurora Global Database heeft één primaire schrijfregio en asynchrone secundaire regio’s voor lokaal lezen en calamiteitenherstel. Spanner voorziet in wereldwijd gedistribueerde, sterk consistente transacties. Een kleine applicatie in één regio heeft die wereldwijde complexiteit meestal niet nodig.

Als de workload onvoorspelbaar is of vaak niet actief, kan een serverloze optie de capaciteit aanpassen. Als de applicatie toegang tot het besturingssysteem vereist, kies dan een virtuele machine. “Beheerd” en “serverloos” beschrijven beheerkeuzes; ze maken niet alle functies van database-engines onderling uitwisselbaar.

Neem licenties en gebruik mee in de rekening

Commerciële engines zoals Oracle, SQL Server en Db2 vereisen een inbegrepen licentie of een geldige regeling om een eigen licentie te gebruiken, BYOL genoemd. Met Azure Hybrid Benefit kunnen in aanmerking komende SQL Server-licenties worden hergebruikt. Opensource-engines zoals MySQL en PostgreSQL hebben geen licentiekosten voor de engine.

Gebruikelijke kosten omvatten rekenvermogen, GB-maanden opslag, extra back-upopslag, uitgaande gegevensoverdracht en soms invoer- en uitvoerbewerkingen. Serverloze kosten volgen de capaciteit die in de loop van de tijd wordt gebruikt. Vergelijk de volledige dienst- en licentieregeling, niet alleen het uurtarief voor rekenvermogen.

NoSQL-databases organiseren gegevens rond bepaalde toegangspatronen. “Niet alleen SQL” omvat verschillende modellen en is niet één vervanging voor elke relationele database. Kies een model op basis van de vragen die de applicatie stelt en de garanties die de antwoorden vereisen.

Koppel het model aan de vraag

Een sleutel-waardeopslag haalt cart:58213 snel op met de bekende sleutel. Er zijn minder mogelijkheden om op willekeurige kenmerken te zoeken. Een document groepeert samenhangende velden en documenten kunnen een verschillende vorm hebben:

{"orderId":"A-1042","customer":{"name":"Ana"},"items":[{"sku":"LAMP-01","qty":2},{"sku":"BULB-07","qty":4}]}

De applicatie kan deze bestelling en de artikelen samen lezen. De flexibele vorm neemt de structuur niet weg: de applicatie heeft nog steeds bruikbare velden en zorgvuldig gekozen sleutels nodig. Sommige diensten dwingen ook validatieregels af.

Kolomfamiliedatabases verwerken enorme aantallen schrijfbewerkingen, zoals metingen van miljoenen sensoren. Grafendatabases maken relaties expliciet als verbindingen tussen knopen. Verbanden tussen accounts volgen is een grafenprobleem, terwijl één account herhaaldelijk op ID vinden een zoekactie op sleutel is.

Gebruik geheugen voor herhaalde leesbewerkingen

Een in-memorygegevensopslag bewaart gegevens in RAM voor zeer snelle toegang, vaak binnen een milliseconde. Een veelgebruikt patroon is cache-aside: controleer de cache; lees bij een misser de database en bewaar een kopie in de cache met een verlooptijd.

Bij een zoekactie van 1 ms in de cache en een databasequery van 50 ms, met een trefferpercentage van 90%, kost een treffer 1 ms en een misser 51 ms. Het gemiddelde is:

De misser omvat de mislukte zoekactie in de cache. Gegevens in de cache kunnen verlopen of worden verwijderd, dus een gewone cache mag niet de enige leidende kopie bevatten. Duurzame in-memorydatabasediensten zijn een afzonderlijke keuze.

Kies consistentie bewust

Bij sterke consistentie geeft een leesbewerking de laatste bevestigde schrijfbewerking terug. Uiteindelijke consistentie staat toe dat een replica kort een oudere waarde toont terwijl updates worden ingehaald. Dit kan bij sommige storingen lagere latentie, lagere kosten of betere beschikbaarheid ondersteunen. Het vereiste gedrag hangt af van de taak: een net bijgewerkt saldo en een teller voor aanbevelingen kunnen verschillende behoeften hebben.

DynamoDB biedt voor ondersteunde bewerkingen leesbewerkingen met uiteindelijke en sterke consistentie. Cosmos DB biedt vijf consistentieniveaus. NoSQL betekent niet “geen transacties”: veel diensten ondersteunen transacties, al verschilt de ondersteunde reikwijdte.

Relationele databases zijn geschikt voor uitgebreide relaties, koppelingen en transacties over meerdere rijen. NoSQL is geschikt voor zeer grote schaal, flexibele records en bekende toegangspatronen. Een applicatie kan bestellingen in een relationele database bewaren, profielen in een documentdatabase en herhaalde productgegevens in een cache.

NoSQL-clouddiensten combineren verschillende modellen en beheerkeuzes. Bepaal eerst of de workload documenten, verbanden, kolomfamiliegegevens of een cache nodig heeft en vergelijk daarna compatibiliteit en capaciteitskosten.

Herken de dienstfamilies

De tabel groepeert diensten naar doel; dat betekent niet dat ze identieke API’s hebben. DynamoDB is serverloos, ondersteunt toegang tot sleutel-waardegegevens en documenten en biedt globale tabellen over regio’s. DocumentDB richt zich op MongoDB-compatibiliteit. Keyspaces is Cassandra-compatibel en Neptune slaat grafen op.

Cosmos DB is wereldwijd gedistribueerd en biedt API’s voor NoSQL, MongoDB, Cassandra, Gremlin en Table. Een account gebruikt één API. De dienst biedt ook vijf consistentieniveaus. Azure Table Storage is een afzonderlijke, eenvoudige sleutel-waardedienst binnen een opslagaccount. Een gedeelde Table-interface geeft deze dienst niet alle functies voor wereldwijde distributie en consistentie van Cosmos DB.

Firestore is een serverloze documentdatabase met realtime-updates en ondersteuning voor offline apparaten. Bigtable verwerkt grote kolomfamilieworkloads met lage latentie en ondersteunt de HBase-API. Sensorgeschiedenis en personalisatie op zeer grote schaal zijn veelvoorkomende toepassingen.

Caching en duurzaam geheugen zijn verschillend

ElastiCache ondersteunt Valkey, Redis OSS en Memcached. Memorystore biedt Valkey, Redis en Memcached, terwijl Azure Managed Redis beheerde Redis-caching biedt. Veel herhaalde productquery’s kunnen deze caches gebruiken om herhaalde databaseleesbewerkingen te vermijden.

Amazon MemoryDB is ontworpen als een duurzame in-memorydatabase. Een gewone cache kan een item verwijderen of verliezen; de rol van MemoryDB als duurzame database is anders. Bepaal of de gegevens een vervangbare kopie zijn voordat je uitsluitend op responstijd kiest.

Betaal voor gereserveerde of werkelijke doorvoer

Met vooraf ingerichte capaciteit reserveer je vooraf doorvoer. DynamoDB gebruikt lees- en schrijfcapaciteitseenheden; Cosmos DB gebruikt aanvraageenheden per seconde, of RU/s. Bij voorspelbare, stabiele vraag kan dit voordelig zijn. Bij capaciteit op aanvraag of serverloze capaciteit volgen de kosten het aantal verzoeken en past de capaciteit zich aan de vraag aan. Opslag wordt afzonderlijk in rekening gebracht.

Een nieuwe winkelwagen met onvoorspelbare pieken kan beginnen met DynamoDB on-demand of Cosmos DB serverless. Een mobiele documentapp die offline moet werken, past bij de apparaatfuncties van Firestore. Een fraudeteam dat verbanden tussen accounts volgt, heeft een grafendienst nodig, niet alleen een snellere zoekactie op sleutel.

De afzonderlijke dienst Cosmos DB for PostgreSQL wordt uitgefaseerd; het is geen extra account-API. Microsoft verwijst nieuwe gedistribueerde PostgreSQL-projecten naar Elastic Clusters in Azure Database for PostgreSQL. Controleer de daadwerkelijke dienst en API voordat je ervan uitgaat dat een bestaande applicatie compatibel is.

Bij een grote upload maak je eerst een berekening voordat je een hulpmiddel kiest. Bepaal hoeveel netwerkcapaciteit de verplaatsing daadwerkelijk kan gebruiken en vergelijk die tijd met het volledige proces van offline overdracht.

Gebruik passende eenheden voor grootte en snelheid

Opslag gebruikt bytes; netwerken gebruiken bits per seconde. Eén byte bevat 8 bits. In decimale eenheden is 1 GB één miljard bytes, 1 TB is 1.000 GB en 1 Gbps is één miljard bits per seconde. Een binaire GiB is ongeveer 1,074 GB, dus controleer welke eenheid een hulpmiddel toont.

Voor 100 TB over 1 Gbps bevatten de gegevens 800 biljoen bits. Delen door één miljard geeft 800.000 seconden, ongeveer 9,3 dagen. Deel bij 80% effectief gebruik door 0,8 Gbps: 1.000.000 seconden, ongeveer 11,6 dagen. Bij 100 Mbps duurt het zelfs bij volledig gebruik ongeveer 93 dagen. Een verbinding van 1 Gbps verplaatst maximaal 125 MB/s, of ongeveer 10,8 TB per dag, niet 1 GB/s.

Koppel online hulpmiddelen aan de interface

DataSync omvat planning, versleuteling en integriteitscontroles en kan ondersteunde bestandssysteem- of objectbronnen naar S3, EFS of FSx verplaatsen. Transfer Family past bij partners die al bestanden via bestaande overdrachtsprotocollen verzenden. Een eenmalige kopie en doorlopende synchronisatie zijn verschillende taken.

Vergelijk met offline overdracht

Azure Data Box-apparaten bieden maximaal 120 TB of 525 TB, met Data Box Disk voor kleinere verzamelingen. Google Transfer Appliance verplaatst gegevens ook op verzonden hardware. Neem de tijd voor bestellen, kopiëren, verzenden en uploaden door de cloudaanbieder mee; het hele proces kan één tot enkele weken duren. Versleutel het apparaat en controleer de resulterende gegevens.

AWS Snowball Edge is niet meer beschikbaar voor nieuwe klanten en de ondersteuning in commerciële regio’s eindigt op 31 december 2026. Huidige AWS-routes omvatten DataSync en Data Transfer Terminal, een gereserveerde fysieke locatie waar klanten schijven naartoe brengen voor snelle uploads.

Een locatie heeft een verbinding van 200 Mbps, waarvan de helft beschikbaar is voor migratie. De effectieve snelheid is 100 Mbps. Het verplaatsen van 300 TB duurt 24 miljoen seconden, ongeveer 278 dagen, waardoor een offline apparaat aantrekkelijk is. Het verplaatsen van 2 TB duurt 160.000 seconden, ongeveer 1,9 dagen, dus verzending zou vertraging toevoegen.

Herhaalde overdrachten vereisen een doorlopende verbinding

AWS Direct Connect, Azure ExpressRoute en Google Cloud Interconnect bieden exclusieve privéconnectiviteit met constantere snelheid en latentie. Ze kunnen geschikt zijn voor grote doorlopende overdrachten. Een offline apparaat levert een eerste kopie, maar houdt latere wijzigingen niet gesynchroniseerd.

Neem kosten van overdrachtsdiensten en later uitgaand dataverkeer mee in de schatting. Inkomend dataverkeer via internet is doorgaans gratis; downloads uit de cloud kosten meestal per GB. Gebruik versleuteling tijdens transport en controlesommen of gelijkwaardige integriteitscontroles om te bevestigen dat de kopie op de bestemming volledig is.

Databasegegevens verplaatsen is slechts een deel van de migratie. Het doel moet het schema begrijpen, de applicatie moet ermee werken en de laatste wijzigingen moeten aankomen voordat gebruikers overschakelen.

Bepaal wat verandert

Een homogene migratie behoudt de database-engine, zoals PostgreSQL naar beheerde PostgreSQL. Een heterogene migratie verandert de engine, zoals Oracle naar PostgreSQL. Daarvoor kan conversie van gegevenstypen, schema’s, opgeslagen procedures en applicatiecode nodig zijn.

Ook bij een verplaatsing met dezelfde engine kunnen controles van versies of functies nodig zijn. Een conversierapport is juist nuttig omdat het aangeeft wat niet automatisch wordt overgezet.

Beperk de uitvaltijd

Een offline migratie stopt de applicatie voor export, overdracht en import. Een online migratie begint met een volledige lading terwijl de bron in gebruik blijft. Vastlegging van gegevenswijzigingen (CDC) stuurt daarna nieuwe wijzigingen naar het doel. De eerste kopie alleen is al verouderd als gebruikers tijdens het kopiëren bleven schrijven.

De omschakeling vereist een beheerste volgorde:

1. Stop schrijfbewerkingen naar de bron.
2. Verwerk de resterende vastgelegde wijzigingen en bevestig dat het doel is bijgewerkt.
3. Maak het doel waar nodig tot een zelfstandige database.
4. Leid de applicatie om en controleer of die werkt.

Continue replicatie verkort het laatste venster; ze maakt dat venster of tests niet overbodig. De oude bron een tijd alleen-lezen houden kan een terugvalmogelijkheid bieden zonder concurrerende schrijfbewerkingen toe te staan.

Kies hulpmiddelen voor inventarisatie, conversie en migratie

AWS DMS verplaatst databases en ondersteunt doorlopende replicatie. AWS SCT en DMS Schema Conversion beoordelen en converteren databasestructuren en code. Application Discovery Service verzamelt serverinformatie; Application Migration Service verplaatst servers zonder aanpassingen. Migration Hub volgt het werk en Migration Evaluator ondersteunt de businesscase.

Azure Migrate inventariseert, beoordeelt en migreert servers, databases en webapplicaties. Azure Database Migration Service verwerkt ondersteunde verplaatsingen van SQL Server, PostgreSQL en MySQL, met online of offline methoden. Data Box vervoert grote offline gegevenskopieën; het voert geen schemaconversie uit.

Google Database Migration Service ondersteunt verplaatsingen naar Cloud SQL of AlloyDB, waaronder ondersteunde continue migraties en heterogene conversies naar PostgreSQL. Migration Center inventariseert middelen, beoordeelt ze en schat kosten. Kies een ondersteund traject van bron naar doel, niet alleen een dienst met “migratie” in de naam.

Doorloop een overstap naar een andere engine

Een winkel die 24 uur per dag, 7 dagen per week open is, verplaatst een Oracle-database van 2 TB naar een beheerd PostgreSQL-compatibel doel. Beoordeel eerst de conversie. Maak het doel aan en converteer het schema, herschrijf de procedures die voor handmatig werk zijn gemarkeerd en start de volledige lading met CDC. Test de applicatie terwijl de replicatie doorgaat. Voer daarna de beheerste omschakeling uit. Een map met geëxporteerde bestanden in een bucket is een nuttig overdrachtsbestand, maar gebruikers hebben een consistente, draaiende doeldatabase nodig.

Het systeem dat de transacties van vandaag vastlegt, heeft een andere taak dan het systeem dat vijf jaar bedrijfsgeschiedenis verklaart. Analyse combineert gegevens uit veel bronnen zonder dagelijkse transacties op grote scans te laten wachten.

Herken gegevensvormen en workloads

Gestructureerde gegevens hebben een vaste indeling, zoals een verkooptabel. Semigestructureerde gegevens bevatten labels zonder één vaste tabelvorm, zoals JSON of XML. Ongestructureerde gegevens omvatten afbeeldingen, audio en documenten met een vrije vorm.

OLTP, online transactieverwerking, verwerkt veel kleine lees- en schrijfbewerkingen op actuele records. OLAP, online analytische verwerking, voert grote query’s uit op historische gegevens. Zware rapporten op een productiedatabase kunnen bestellingen en betalingen vertragen, dus gebruikt analyse doorgaans een afzonderlijke kopie.

Vergelijk datalake, datawarehouse en lakehouse

Een datawarehouse combineert bronnen tot consistente tabellen. De kolomgeoriënteerde opslag kan alleen de benodigde kolommen lezen. Als een tabel van 2 TB 100 even grote kolommen heeft en een query er drie nodig heeft, wordt ongeveer 60 GB gescand, niet 2 TB.

Een datalake bewaart ruwe bestanden voor verkenning, datawetenschap en machinelearning, ook gegevens waarvan het latere gebruik nog niet bekend is. Zonder catalogus en eigenaarschap wordt het moeilijk om iets te vinden of te vertrouwen: een “datamoeras”. Lakehouses voegen beheer zoals in een datawarehouse toe met formaten zoals Apache Iceberg en Delta Lake. Een datalake en datawarehouse kunnen naast elkaar bestaan omdat ze verschillende fasen en behoeften bedienen.

Volg een pijplijn

Een gegevenspijplijn neemt gegevens op, slaat ze op, transformeert en analyseert ze en presenteert de resultaten of handelt erop. Bij ETL wordt na extractie getransformeerd en daarna geladen. Bij ELT worden gegevens eerst geladen en op de bestemming getransformeerd. Clouddatawarehouses kunnen de verwerkingscapaciteit voor ELT leveren.

Batchverwerking verwerkt gegevens die over een periode zijn verzameld, zoals het laden van de verkoop van een nacht. Stroomverwerking verwerkt gebeurtenissen zodra ze binnenkomen, geschikt voor live dashboards, verdachte betalingen of sensormeldingen. Een historisch maandrapport kan goed in batches worden verwerkt; een reactie die binnen seconden nodig is, vraagt om stroomverwerking.

Houd gegevens bruikbaar en betrouwbaar

Governance bepaalt regels en processen voor toegang, bewaring, betekenis en kwaliteit. Een catalogus legt vast wat er bestaat en wat het betekent. Gegevensherkomst volgt waar gegevens vandaan komen en welke transformaties ze hebben veranderd. Samen helpen ze een team een getal op een dashboard te verklaren.

Kwaliteitscontroles betreffen volledigheid, nauwkeurigheid, consistentie, tijdigheid, geldigheid en uniciteit. Een ontbrekende regiocode schaadt de volledigheid; dubbele betalingen schaden de uniciteit; een verouderde gegevensstroom schaadt de tijdigheid. Kwaliteit is belangrijk vóór zowel analyse als AI. Open formaten en samenwerkende hulpmiddelen maken delen gemakkelijker en verminderen geïsoleerde gegevenssilo’s en afhankelijkheid van één leverancier.

Een analysedienst heeft een specifieke plaats op de weg van gebeurtenissen naar beslissingen. Bepaal die taak voordat je een product van een cloudaanbieder kiest: een stroom opvangen, opschonen, bevragen en weergeven zijn verschillende bewerkingen.

Datawarehouses en query’s op bestanden

Redshift biedt datawarehouses met vooraf ingerichte capaciteit en serverloze datawarehouses. BigQuery is serverloos, scheidt opslag van rekenvermogen en biedt queryprijzen op basis van gescande gegevens of capaciteit. Microsoft Fabric combineert functies van een datawarehouse en lakehouse; Synapse Analytics blijft beschikbaar, waarbij Fabric de richting is voor nieuwe ontwikkeling.

Athena voert serverloze SQL uit op bestanden in S3; het slaat de gegevens die het bevraagt niet zelf op. Externe tabellen van BigQuery kunnen Cloud Storage-bestanden lezen en Fabric-lakehousetabellen in OneLake hebben een SQL-analyseeindpunt. Bestanden op hun plaats bevragen verschilt van een extra kopie in een database laden.

Bereid gegevens voor en verwerk gebeurtenissen

AWS Glue transformeert gegevens en onderhoudt een Data Catalog die structuur en locatie beschrijft. Azure Data Factory bouwt en plant pijplijnen. Google Dataflow voert zowel batch- als stroomverwerking uit met Apache Beam.

Voor Spark en verwante bigdataframeworks gebruik je Amazon EMR, Azure Databricks of Fabric Spark en Googles Managed Service for Apache Spark, voorheen Dataproc. Deze leveren verwerkingsframeworks en hebben niet dezelfde rol als een dashboard of berichtendienst.

Voor stromen vangt en verwerkt Amazon Kinesis realtimegegevens en laadt Data Firehose stromen naar bestemmingen. Azure Event Hubs neemt gebeurtenissen op; Stream Analytics of Fabric Real-Time Intelligence analyseert ze. Google Pub/Sub vervoert berichten en Dataflow verwerkt ze.

Volg een gebeurtenis naar het dashboard

Voor een live winkeldashboard komen bestelgebeurtenissen binnen in Kinesis, Event Hubs of Pub/Sub. Ruwe kopieën komen terecht in S3, Azure Data Lake Storage of Cloud Storage. Glue, Data Factory of Dataflow schoont de records op. Redshift, Fabric of BigQuery ondersteunt analyse en Quick Sight, Power BI of Looker toont de resultaten.

Looker kan bedrijfsmeetwaarden centraal definiëren zodat teams dezelfde betekenis gebruiken voor maten zoals omzet. Amazon OpenSearch Service heeft een andere rol: tekst en logboeken indexeren voor zoeken en analyse.

Verlaag querykosten op basis van gescande gegevens

Bij een voorbeeldtarief in US-dollars van $ 5 per gescande TB kost het lezen van 2 TB $ 10. Als een kolomgeoriënteerd formaat zoals Parquet de query drie van 100 even grote kolommen laat lezen, leest de query 60 GB, of 0,06 TB, voor $ 0,30. Als de bestanden ook per dag zijn gepartitioneerd en de query slechts één van 30 even grote dagen nodig heeft, daalt de scan naar 2 GB, voor $ 0,01.

De besparing ontstaat doordat onnodige kolommen en partities daadwerkelijk worden uitgesloten. Een bestand alleen in objectopslag bewaren garandeert geen kleine scan. Capaciteitsreserveringen van BigQuery zijn een factureringsoptie; ze betekenen niet dat de klant datawarehouseservers beheert.

Cloud-AI-diensten variëren van kant-en-klare API’s tot platforms voor het trainen van modellen. De beste startlaag hangt af van de bedrijfstaak, de gegevens en de expertise van het team.

Verbind de belangrijkste begrippen

Kunstmatige intelligentie omvat systemen die taken uitvoeren zoals afbeeldingen herkennen of taal begrijpen. Machinelearning is een benadering binnen AI: een model leert patronen uit gegevens. Diep leren gebruikt neurale netwerken met veel lagen. Generatieve AI maakt op basis van een opdracht inhoud zoals tekst, afbeeldingen of code. Een basismodel wordt breed getraind om aan veel taken te worden aangepast; een groot taalmodel, of LLM, richt zich op taal.

Modeltraining levert een model op of past een model aan op basis van gegevens. Inferentie gebruikt een getraind model op nieuwe invoer. Voor het trainen van een klein model is mogelijk alleen een gewone processor nodig; grote modellen voor diep leren hebben vaak GPU’s of TPU’s nodig. Een nieuwe aankoop op fraude beoordelen is inferentie, ook als het model maanden eerder is getraind.

Classificatie voorspelt een categorie; regressie voorspelt een getal. Deze methoden kunnen ingewikkelde regels vereenvoudigen, de vraag voorspellen, aanbevelingen personaliseren en afwijkingen detecteren. Agentische AI voegt planning en het gebruik van hulpmiddelen toe, zodat een agent een taak kan uitvoeren, zoals informatie zoeken en een applicatie aanroepen.

Kies een dienstlaag

1. Vooraf getrainde API’s verwerken bestaande taken zoals vertaling of spraakherkenning zonder een model te bouwen.
2. Platforms voor generatieve AI bieden basismodellen, onderbouwing en hulpmiddelen voor agenten: Amazon Bedrock, Microsoft Foundry en Gemini Enterprise Agent Platform, voorheen Vertex AI.
3. ML-platforms bouwen, trainen en implementeren aangepaste modellen: SageMaker AI, Azure Machine Learning en Gemini Enterprise Agent Platform. AutoML vermindert de code die nodig is om op basis van je gegevens te trainen.
4. ML binnen datadiensten, zoals BigQuery ML en Redshift ML, laat teams via SQL werken op de plek waar de gegevens al staan.

Een winkelketen die beschrijvingen vertaalt, kan een vertaal-API gebruiken. Een chatassistent die antwoord geeft op basis van bedrijfshandleidingen kan generatie met opgehaalde informatie (RAG) gebruiken: haal relevante passages uit de handleiding op en geef die bij elke vraag mee. Een vraagvoorspelling op basis van de eigen verkoop van de winkelketen kan AutoML, ML in de database of een ML-platform gebruiken. Helemaal opnieuw bouwen kost extra inspanning wanneer een bestaande dienst al geschikt is.

Beoordeel gegevens en uitvoer

Ontbrekende, verouderde of bevooroordeelde trainingsvoorbeelden kunnen slechte of oneerlijke resultaten opleveren. Controleer volledigheid, nauwkeurigheid, consistentie, tijdigheid, geldigheid en uniciteit. Verantwoorde AI vereist ook eerlijkheid, privacy, beveiliging, transparantie, uitlegbaarheid, menselijk toezicht en verantwoordingsplicht.

Een zelfverzekerd generatief antwoord kan een hallucinatie bevatten, een vloeiende maar onjuiste bewering. Baseer belangrijke uitvoer op betrouwbare informatie en controleer die. De cloudaanbieder beveiligt de dienst; de klant bepaalt welke gegevens worden aangeleverd, wie toegang heeft en hoe de uitvoer wordt gebruikt. RAG geeft het model bewijs, maar de aanwezigheid ervan alleen garandeert geen juist antwoord.

Voor veel voorkomende AI-taken bestaat al een vooraf getrainde dienst. Een applicatie stuurt invoer via een API en ontvangt resultaten zonder dat ontwikkelaars eerst een model trainen.

Koppel de invoer aan de uitvoer

Beeldanalyse vindt objecten, scènes en tekst in afbeeldingen; Googles Video Intelligence API verwerkt videoanalyse. Spraak-naar-tekst transcribeert audio, terwijl tekst-naar-spraak gesproken uitvoer uit geschreven tekst genereert. Tekstanalyse vindt sentiment, entiteiten, kernzinnen of categorieën. Vertaling verandert de taal van de tekst.

Documentdiensten behouden relaties binnen formulieren, zoals welke datum bij het label “Factuurdatum” hoort of welk bedrag een tabeltotaal is. Algemene tekstherkenning in afbeeldingen vindt tekst, maar biedt niet hetzelfde begrip van formulieren. Een factuurproces vraagt daarom om gegevensextractie uit documenten, niet alleen om afbeeldingslabels.

Combineer diensten rond een bedrijfsproces

Een contactcentrum kan opgenomen gesprekken transcriberen, het sentiment in elk transcript analyseren en terugkerende onderwerpen waarover klanten ontevreden zijn op een dashboard tonen. Transcriptie levert de woorden; taalanalyse interpreteert aspecten van die woorden.

Een verzekeraar kan met een documentdienst namen, datums en bedragen uit schadeclaims halen en resultaten met een lage betrouwbaarheid naar een medewerker sturen. Die controle maakt deel uit van het proces: een herkend veld is een voorspelling, geen garantie dat de waarde juist is.

Amazon Lex bouwt spraak- of tekstchatbots en kan samenwerken met Amazon Connect, een cloudcontactcentrum. Amazon Q biedt generatieve assistentie voor zakelijke gebruikers en ontwikkelaars. Microsoft Foundry en Gemini Enterprise Agent Platform bieden hulpmiddelen voor conversatieassistenten en agenten. Azure Vision, Speech, Language en verwante API’s maken deel uit van Foundry Tools, voorheen Azure AI services.

Schat het gebruik voordat je de prijs schat

Diensten kunnen kosten rekenen per afbeelding, audiominuut, pagina, vertaald teken of gegenereerd token. Tel de relevante eenheid en pas daarna het tarief toe. Gebruik een voorbeeldtarief voor vertaling in US-dollars van $ 15 per miljoen tekens. Tweeduizend beschrijvingen van elk 500 tekens bevatten één miljoen tekens. Vertaling in tien talen verwerkt tien miljoen tekens en kost $ 150. Alleen de brontekst tellen zou de herhaalde verwerking voor elke taal missen.

Vooraf getraind betekent niet altijd vast gedrag. Aangepaste transcriptiewoordenlijsten kunnen helpen bij productnamen; aangepaste afbeeldingslabels kunnen producten van een bedrijf herkennen; aangepaste documentclassificatiemodellen kunnen formulieren sorteren. Deze opties kunnen een dienst aanpassen zonder een volledig project om een model te bouwen.

Afbeeldingen, stemmen en documenten kunnen persoonsgegevens bevatten. Lever ze aan voor een rechtmatig doel, verkrijg toestemming waar vereist en beheer toegang en bewaring. Kies de dienst op basis van de taak en gegevensbehoeften voordat je beslist dat aangepaste training nodig is.