Clean code voor data scientists

Datawetenschappers opereren steeds vaker in een wereld die verder reikt dan hun lokale Jupyter-notebooks. Het is noodzakelijk dat de business de getrainde modellen opneemt in de productieomgeving van het bedrijf. De code begint een lang leven buiten de notebook, waar deze wordt gewijzigd en onderhouden door andere experts.

Met deze transitie worden er plotseling andere eisen aan de code gesteld. Waar het doel eerst was om een ​​zo nauwkeurig mogelijk machine learning-model te ontwikkelen, blijkt nu dat de code niet zomaar in een productieomgeving kan worden opgenomen of minder goed wordt onderhouden door anderen. Onze Data- of Cloud-engineers gebruiken hun expertise om hierbij te helpen, maar deze disciplines spreken niet altijd dezelfde taal en hebben vaak een andere kijk op hoe software gebouwd moet worden.

In deze hands-on workshop, speciaal voor dataspecialisten, word je meegenomen in de wereld van clean coding en kijken we naar problemen die we in onze ervaring met de productie van machine learning-modellen zijn tegengekomen. We doen dit aan de hand van een reeks korte refactoring-voorbeelden, altijd voorafgegaan door een stukje theorie. Dankzij deze workshop wordt de overgang van lokale data science-code naar een productiewaardig product eenvoudiger en levert het sneller bedrijfswaarde op.

Geen vuile data meer

Vervuilde data is duur. Organisaties denken dat gemiddeld 25 procent van hun data onnauwkeurig is, een factor die de winstgevendheid beïnvloedt. Dit wordt duidelijk verwoord in de 1-10-100-regel: als het u €1 kost om een ​​datafout te voorkomen, kost het u €10 om deze achteraf te corrigeren - en €100 als deze fout een probleem veroorzaakt.

Wij bouwen geautomatiseerde tests in uw datapijplijn, zodat er geen druppel vervuilde data kan binnenstromen.

Binnen ongeveer twee weken zullen we, met ondersteuning van uw domeinspecialisten:

• een framework voor automatisch datatesten in uw bestaande datapijplijn bouwen;

• één datapijplijn volledig programmeren met geautomatiseerde tests;

• en u in een workshop de benodigde kennis aanreiken, zodat u de rest van uw datapijplijnen kunt (testen) automatiseren.

Onze aanpak zorgt ervoor dat bedrijven datavervuiling bij de bron voorkomen, namelijk in de datapijplijn.