Ερωτήσεις Συνέντευξης Data Engineer, ανά Γύρο

Ίσως ετοιμάζεστε με τον ίδιο τρόπο όπως για μια συνέντευξη software engineering και αναρωτιέστε τι διαφέρει. Αυτή η ενότητα χαρτογραφεί τους γύρους που επαναλαμβάνουν αυτές οι συνεντεύξεις, ώστε να αφιερώσετε τον χρόνο σας στους δύο γύρους που πραγματικά ξεχωρίζουν τους υποψηφίους. Το τεχνικό φίλτρο σπάνια είναι εκεί που χάνονται οι προσφορές.

• SQL. Window functions, deduplication και query performance, συνήθως ζωντανά.
• Data modelling. Σχεδιασμός πινάκων για μια περιγραφόμενη επιχείρηση, και υπεράσπιση του grain που επιλέξατε.
• Σχεδιασμός pipeline και ETL. Ένας ανοιχτός γύρος system design εστιασμένος στη μετακίνηση δεδομένων.
• Distributed processing. Πώς εκτελεί πραγματικά ένα framework τη δουλειά σας, και γιατί είναι αργό.
• Coding. Python ή Scala, συχνά ελαφρύτερο από γύρο software engineering.
• Behavioral. Περιστατικά on call, χαλασμένα dashboards, και stakeholders που ήθελαν τον αριθμό χθες.

Οι τίτλοι επικαλύπτονται σε μεγάλο βαθμό με analytics engineering και ρόλους platform, οπότε το μείγμα αλλάζει. Σχετικές τράπεζες ρόλων βρίσκονται στον κόμβο interview questions by role.

SQL

• Κάντε deduplicate έναν πίνακα κρατώντας μόνο την πιο πρόσφατη γραμμή ανά key.
• Γράψτε ένα query που επιστρέφει τον αριθμό sessions κάθε χρήστη με χρήση 30 λεπτών κενού αδράνειας.
• Υπολογίστε ένα running total και μια μεταβολή μήνα προς μήνα σε ένα query.
• Βρείτε γραμμές που υπάρχουν στο χθεσινό snapshot αλλά λείπουν σήμερα.
• Τι κάνει το QUALIFY, και τι θα γράφατε χωρίς αυτό;
• Αυτό το query σαρώνει ένα δισεκατομμύριο γραμμές και διαρκεί είκοσι λεπτά. Πώς το διαγιγνώσκετε;
• Εξηγήστε τη διαφορά μεταξύ partitioning και clustering, και πότε βοηθά το καθένα.

Data modelling

• Σχεδιάστε τους πίνακες για το ιστορικό παραγγελιών μιας online αγοράς. Ποιο είναι το grain του fact table σας;
• Εξηγήστε ένα star schema, και πότε θα κάνατε σκόπιμα περαιτέρω denormalise.
• Τι είναι μια slowly changing dimension, και πώς υλοποιείτε το type two;
• Ένας stakeholder θέλει η ιστορική αναφορά να αντικατοπτρίζει την τρέχουσα region ενός πελάτη. Τι σπάει;
• Πώς θα μοντελοποιούσατε ένα event stream που φτάνει out of order;
• Πότε θα επιλέγατε έναν wide table αντί για ένα normalised μοντέλο;

Ο γύρος modelling ανταμείβει τη δέσμευση σε ένα grain και την υπεράσπισή του. Υποψήφιοι που περιγράφουν τρεις πιθανούς σχεδιασμούς χωρίς να επιλέξουν βαθμολογούνται χειρότερα από όσους επιλέγουν έναν λογικό σχεδιασμό και ονομάζουν την αδυναμία του.

Σχεδιασμός pipeline και ETL

• Σχεδιάστε ένα pipeline που φορτώνει καθημερινές συναλλαγές σε ένα warehouse για αναφορές.
• Η πηγή upstream στέλνει ξανά τα χθεσινά δεδομένα. Τι συμβαίνει στη δουλειά σας;
• Πώς κάνετε ένα pipeline idempotent, και γιατί έχει σημασία για τα reruns;
• Πώς θα κάνατε backfill δύο ετών ιστορικού χωρίς να διαταράξετε το καθημερινό load;
• Late arriving δεδομένα εμφανίζονται τρεις ημέρες αφού έκλεισε το partition. Τι κάνετε;
• Πώς θα εντοπίζατε ότι ένα pipeline πέτυχε αλλά παρήγαγε λάθος δεδομένα;
• Τι παρακολουθείτε, και τι ειδοποιεί κάποιον στις τρεις τα ξημερώματα;

Distributed processing και streaming

• Τι προκαλεί ένα shuffle, και γιατί είναι ακριβό;
• Η δουλειά σας είναι αργή και ένα task διαρκεί πολύ περισσότερο από τα υπόλοιπα. Τι συμβαίνει;
• Εξηγήστε το data skew και δύο τρόπους αντιμετώπισής του.
• Πότε θα επιλέγατε streaming αντί για προγραμματισμένο batch job;
• Τι εγγυάται πραγματικά το exactly once processing, και πού δεν ισχύει;
• Πώς χειρίζονται τα watermarks τα out of order events σε ένα windowed aggregation;

Παρατηρήστε πόσο λίγες από αυτές σας ζητούν να ονομάσετε ένα εργαλείο. Το να ονομάσετε ένα είναι η αρχή της απάντησης, όχι η απάντηση. Η επόμενη ερώτηση είναι πάντα γιατί, και τι σπάει.

Η ανάγνωση αυτών των λιστών φέρνει αναγνώριση. Οι γύροι design δοκιμάζουν κάτι άλλο: το να κρατάτε ένα σύστημα στο μυαλό σας ενώ κάποιος σας διακόπτει με μια περίπτωση αποτυχίας. Αυτό έρχεται μόνο από το να λέτε σχεδιασμούς φωναχτά.

• Σχεδιάστε και αφηγηθείτε ένα pipeline σε δεκαπέντε λεπτά. Source, landing, transform, serve, συν πώς αποτυγχάνει κάθε στάδιο.
• Επιτεθείτε στον δικό σας σχεδιασμό. Μετά από κάθε προσομοίωση, ρωτήστε τι συμβαίνει σε ένα rerun, σε late δεδομένα, και σε αλλαγή schema.
• Έχετε έναν αριθμό έτοιμο για την κλίμακα. Γραμμές την ημέρα, μέγεθος, προϋπολογισμός latency. Η δήλωση της υποτιθέμενης κλίμακάς σας πρώτα βαθμολογείται.
• Γράψτε SQL με το χέρι. Οι ζωντανοί γύροι συχνά χρησιμοποιούν έναν απλό επεξεργαστή χωρίς autocomplete και χωρίς εκτέλεση.
• Εξασκηθείτε σωστά σε μία ιστορία περιστατικού. Τι χάλασε, πώς το βρήκατε, τι αλλάξατε ώστε να μην επαναληφθεί.

Μια data engineer με έξι χρόνια σε batch pipelines ετοιμάστηκε αναθεωρώντας τα internals framework, αλλά κόλλησε στο "η πηγή upstream έστειλε ξανά το χθεσινό αρχείο" επειδή το είχε χειριστεί μόνο με το χέρι, ποτέ δεν το είχε εξηγήσει. Η γνώση υπήρχε· η προφορική απάντηση όχι. Η εξάσκηση του γύρου design με follow-up ερωτήσεις είναι αυτό για το οποίο φτιάχτηκε η λειτουργία mock interview.