Πραγματική Έγχυση Σφαλμάτων Πυρήνα: Μια Βιβλιοθήκη Χάους C99 LD_PRELOAD για Οποιαδήποτε Διαδικασία

Οι βιβλιοθήκες έγχυσης σφαλμάτων χωρίζονται σε δύο μεγάλες κατηγορίες. Η πρώτη κατηγορία κάνει προσομοίωση στο επίπεδο της εφαρμογής: προσομοιώνει ένα αποθετήριο, προσομοιώνει έναν HTTP client, επιστρέφει μια εξαίρεση. Καθαρό. Γρήγορο. Και εντελώς αποκομμένο από αυτό που κάνει το πραγματικό λειτουργικό περιβάλλον όταν υποβαθμίζεται.

Η δεύτερη κατηγορία στρέφεται σε εργαλεία υποδομής: Toxiproxy για σφάλματα TCP proxy, tc netem για διαμόρφωση πακέτων σε επίπεδο πυρήνα, Pumba ή Chaos Monkey για τερματισμό containers. Ισχυρά, αλλά απαιτούν εξωτερική ρύθμιση, συγκρούονται με την απομόνωση δοκιμών, και συχνά εκτελούνται σε ξεχωριστή διαδικασία που η εφαρμογή δεν μπορεί να γνωρίζει.

Και οι δύο κατηγορίες παραβλέπουν κάτι: το όριο libc. Το επίπεδο όπου η εφαρμογή σας, ανεξάρτητα από γλώσσα ή χρόνο εκτέλεσης, παραδίδει στο λειτουργικό σύστημα. Εκεί που συμβαίνει πραγματικά το `read()`. Εκεί που το `getaddrinfo()` επιλύει ονόματα. Εκεί που το `mmap()` εκχωρεί μνήμη. Εκεί που το `clock_gettime()` επιστρέφει ώρα.

Αν παρεμβληθείτε εδώ, παρεμβάλλεστε σε όλα. Και αν τα σφάλματα που εγχύετε σε αυτό το επίπεδο είναι αδιάκριτα από τα σφάλματα που παράγει ο πυρήνας — επειδή χρησιμοποιούν τους ίδιους κωδικούς errno, τις ίδιες συμβάσεις τιμής επιστροφής, τα ίδια χαρακτηριστικά χρονισμού — τότε αυτό που έχετε φτιάξει δεν είναι προσομοίωση. Είναι εξομοίωση. Μια εξομοίωση πραγματική ως τον πυρήνα.

Το LD_PRELOAD είναι ένα χαρακτηριστικό του δυναμικού συνδέσμου Linux που εισάγει κοινόχρηστα αντικείμενα στον χάρτη συνδέσμων μιας διαδικασίας πριν από οποιαδήποτε άλλη βιβλιοθήκη — συμπεριλαμβανομένης της libc. Όταν μια εφαρμογή καλεί το `connect()`, η επίλυση συμβόλων του δυναμικού συνδέσμου διατρέχει τον χάρτη συνδέσμων κατά σειρά. Αν μια προφορτωμένη βιβλιοθήκη εξάγει ένα σύμβολο με όνομα `connect`, αυτό το σύμβολο υπερισχύει.

Αυτό μας δίνει παρεμβολή: τη δυνατότητα να τυλίγουμε οποιαδήποτε συνάρτηση libc χωρίς να τροποποιήσουμε τον κώδικα κλήσης ή να μεταγλωττίσουμε εκ νέου οτιδήποτε. Και αυτό είναι διαθέσιμο από πριν σχεδιαστούν τα περισσότερα από τα σημερινά παραγωγικά συστήματα.

Οι βασικές ιδιότητες που κάνουν αυτό το σωστό επίπεδο:

**Καθολικότητα ανεξαρτήτως γλώσσας.** Το `socket.connect()` της Python περνά μέσα από glibc. Το `net.connect()` του Node.js περνά μέσα από glibc. Το `Socket.connect()` της Java — μέσω JNI — περνά μέσα από glibc. Μια μόνο προφορτωμένη βιβλιοθήκη παρεμβάλλεται σε όλα.

**Πραγματικά σφάλματα πυρήνα.** Επιστρέφουμε πραγματικές τιμές errno. Ο κώδικας κλήσης δεν μπορεί να ξεχωρίσει ένα πραγματικό ECONNREFUSED από το εγχυόμενο ECONNREFUSED μας. Ο διακόπτης κυκλώματος βλέπει μια πραγματική αποτυχία, όχι μια προσομοιωμένη που γνωρίζει ότι είναι δοκιμή.

**Μηδέν αλλαγές εφαρμογής.** Χωρίς agents. Χωρίς εισαγωγές API. Χωρίς ενσωμάτωση πλαισίου δοκιμών στο επίπεδο εφαρμογής. Η εφαρμογή εκτελείται κανονικά· τα σφάλματα εμφανίζονται κάτω από αυτήν.

**Εμβέλεια διαδικασίας.** Τα σφάλματα περιορίζονται σε μία διαδικασία. Εκτελέστε τη διαδικασία δοκιμής σας με ένα σύνολο σφαλμάτων· εκτελέστε την εξάρτησή σας σε ξεχωριστό container χωρίς σφάλματα. Χωρίς διασταυρούμενη μόλυνση.

Το σύνολο βιβλιοθηκών καλύπτει έξι ανεξάρτητους τομείς σφαλμάτων, ο καθένας ως ξεχωριστό κοινόχρηστο αντικείμενο. Μπορούν να φορτωθούν μεμονωμένα ή να συνδυαστούν — ο συνδυασμός είναι ασφαλής επειδή κάθε βιβλιοθήκη ανήκει σε ένα αποκλειστικό σύνολο συμβόλων (το Θεώρημα Κυριότητας Συμβόλων, τεκμηριωμένο λεπτομερώς στα έγγραφα αρχιτεκτονικής).

Ο μηχανισμός είναι απλός στην αρχή, προσεκτικός στην εκτέλεση.

**Βήμα 1 — Αρχικοποίηση βιβλιοθήκης.** Όταν φορτωθεί το προφορτωμένο `.so`, εκτελείται ο κατασκευαστής του. Καλεί το `dlsym(RTLD_NEXT, "connect")` για να βρει το πραγματικό `connect` της libc. Το RTLD_NEXT παραλείπει το τρέχον DSO στον χάρτη συνδέσμων και επιστρέφει το επόμενο αντίστοιχο σύμβολο — την πραγματική υλοποίηση libc. Αυτός ο δείκτης αποθηκεύεται σε μια στατική μεταβλητή. Χωρίς dlsym ανά κλήση στο κρίσιμο μονοπάτι.

**Βήμα 2 — Παρεμβολή κλήσης.** Όταν η εφαρμογή καλεί το `connect()`, ο δυναμικός σύνδεσμος βρίσκει πρώτα το δικό μας σύμβολο (σειρά χάρτη συνδέσμων). Εκτελείται ο wrapper μας: διαβάζει το αρχείο ρύθμισης (ή ένα αποθηκευμένο στιγμιότυπο), αξιολογεί αν πρέπει να ενεργοποιηθεί ένα σφάλμα με βάση τον επιλογέα τελικού σημείου και την πιθανότητα, και είτε εγχύει το σφάλμα είτε μεταβιβάζει στη πραγματική συνάρτηση libc μέσω του αποθηκευμένου δείκτη.

**Βήμα 3 — Αμετάβλητο κυριότητας συμβόλου.** Αν δύο προφορτωμένες βιβλιοθήκες προσπαθήσουν και οι δύο να τυλίξουν το `read()`, μία από αυτές θα λάβει το RTLD_NEXT που δείχνει στην άλλη, προκαλώντας διπλή έγχυση. Αποτρέπουμε αυτό με αυστηρή ανάθεση συμβόλων: κάθε σύμβολο libc ανήκει ακριβώς σε μία βιβλιοθήκη του συνόλου. Το `libchaos-net.so` δεν ανήκει το `read()` — τα σύμβολα I/O ανήκουν στο `libchaos-io.so`. Οι βιβλιοθήκες συντίθενται με ασφάλεια επειδή έχουν σχεδιαστεί έτσι.

Δεν υπάρχει API. Δεν υπάρχει δημόσια κεφαλίδα. Δεν υπάρχει βιβλιοθήκη για σύνδεση. Ολόκληρη η διεπαφή είναι ένα απλό αρχείο κειμένου ρύθμισης.

Αυτή ήταν μια σκόπιμη επιλογή. Ένα αρχείο ρύθμισης μπορεί να γραφτεί από ένα shell script, μια εργασία CI, ένα σύστημα δοκιμών σε οποιαδήποτε γλώσσα, ή από έναν άνθρωπο σε ένα τερματικό. Δεν απαιτεί ενσωμάτωση συστήματος κατασκευής. Μπορεί να αντικατασταθεί εν λειτουργία ενώ η διαδικασία εκτελείται. Μπορεί να ελέγχεται από εκδόσεις μαζί με δεδομένα δοκιμών. Και δημιουργεί μηδενική σύζευξη μεταξύ της βιβλιοθήκης χάους και της εφαρμογής υπό δοκιμή.

Η σύνταξη ρύθμισης είναι `selector:operation:effect:value:probability`. Μερικά αντιπροσωπευτικά παραδείγματα:

Μία από τις λιγότερο εμφανείς προκλήσεις μηχανικής είναι η εν θερμώ επαναφόρτωση ρύθμισης σε μια πολυνηματική διαδικασία. Η αφελής προσέγγιση — ανάγνωση του αρχείου σε κάθε κλήση — είναι πολύ δαπανηρή. Η αφελής προσέγγιση βασισμένη σε κλείδωμα — διατήρηση mutex κατά την ενημέρωση του στιγμιοτύπου ρύθμισης — μπλοκάρει κάθε παρεμβαλλόμενη κλήση συστήματος κατά την επαναφόρτωση.

Χρησιμοποιούμε μια προσέγγιση χωρίς κλείδωμα βασισμένη σε ατομική σύγκριση-και-ανταλλαγή:

**Δύο ενδιάμεσα buffer.** Το ένα είναι ενεργό· το άλλο είναι διαθέσιμο για εγγραφή. Μια ατομική υποδοχή 64-bit κρατά το mtime της τρέχουσας ενεργής ρύθμισης.

**Ανίχνευση νικητή επαναφόρτωσης.** Κάθε παρεμβολή ελέγχει το mtime του αρχείου ρύθμισης έναντι της αποθηκευμένης τιμής. Σε αναντιστοιχία, ένα νήμα κερδίζει τη φυλή CAS για να ξεκινήσει την επαναφόρτωση. Οι χαμένοι βλέπουν την κατάσταση RELOADING και περιστρέφονται σύντομα.

**Ατομική εναλλαγή.** Ο νικητής γράφει τη νέα ρύθμιση στο ανενεργό buffer, στη συνέχεια ανταλλάσσει ατομικά τον ενεργό δείκτη. Από αυτό το σημείο, όλα τα νήματα βλέπουν τη νέα ρύθμιση. Το παλαιό buffer είναι διαθέσιμο για τον επόμενο κύκλο επαναφόρτωσης.

Το παράθυρο επαναφόρτωσης είναι συνήθως κάτω από 15 μικροδευτερόλεπτα. Οι αναγνώστες δεν μπλοκάρουν ποτέ τους συγγραφείς σε σταθερή κατάσταση. Αυτό καθιστά πρακτική την αλλαγή ρυθμών σφαλμάτων μεταξύ μεθόδων δοκιμής χωρίς επανεκκίνηση της διαδικασίας.

Η ενσωμάτωση σε αγωγό CI είναι σκόπιμα ελάχιστη. Προμεταγλωττισμένα δυαδικά αρχεία για τέσσερις συνδυασμούς πλατφόρμας (glibc/musl × amd64/arm64) είναι διαθέσιμα. Δεν χρειάζεται βήμα κατασκευής — κατεβάστε το σωστό δυαδικό για το λειτουργικό σύστημα και αρχιτεκτονική του runner CI σας, γράψτε ένα αρχείο ρύθμισης, ορίστε LD_PRELOAD.

Η ορθότητα πολλαπλών νημάτων επιβάλλεται μέσω αποθήκευσης τοπικής στο νήμα αντί για κλειδώματα όπου είναι δυνατόν.

**PRNG ανά νήμα.** Κάθε νήμα έχει τη δική του κατάσταση γεννήτριας τυχαίων αριθμών. Οι ακολουθίες σφαλμάτων είναι ανεξάρτητες ανά νήμα — χωρίς καθολικό σημείο συμφόρησης τυχαιότητας, χωρίς διαμάχη στην κοινή κατάσταση. Αυτό σημαίνει επίσης ότι οι ακολουθίες σφαλμάτων είναι ντετερμινιστικές ανά νήμα για το ίδιο seed, κάτι που έχει σημασία για την αναπαραγωγή αποτυχιών δοκιμών.

**Φύλακας αναδρομής.** Όταν ο κώδικας χάους καλεί εσωτερικές libc (stat για έλεγχο mtime, read για ανάγνωση αρχείου ρύθμισης), αυτές οι κλήσεις θα παρεμβάλλονταν και οι ίδιες, προκαλώντας άπειρη αναδρομή. Μια μεταβλητή `__thread int guard` αποτρέπει αυτό: αν το βάθος αναδρομής είναι μη μηδενικό, καλούμε απευθείας την πραγματική συνάρτηση.

**Κρυφή μνήμη FD-προς-διαδρομή.** Ο αναχαιτιστής I/O αρχείων χρειάζεται να αντιστοιχίσει έναν περιγραφέα αρχείου σε μια διαδρομή (για αντιστοίχιση κανόνων προθέματος διαδρομής). Η ανάγνωση `/proc/self/fd/<fd>` σε κάθε κλήση I/O είναι πολύ δαπανηρή. Διατηρούμε μια τοπική στο νήμα κρυφή μνήμη άμεσης αντιστοίχισης 32 θέσεων (fd % 32) που εισάγεται στο `open()` και ακυρώνεται στο `close()`. Το ποσοστό αποτυχίας κρυφής μνήμης για πραγματικά φορτία εργασίας είναι κάτω από 3%.

Τεκμηριώνουμε ρητά τα όρια αντί να αφήνουμε τους χρήστες να τα ανακαλύψουν.

**Δεν μπορεί να παρεμβληθεί:**

- **Άμεσες κλήσεις συστήματος.** Το runtime Go εκδίδει κλήσεις συστήματος απευθείας μέσω του πακέτου `syscall`, παρακάμπτοντας εντελώς τη libc. Τα προγράμματα Go που μεταγλωττίζονται χωρίς CGO είναι ανοίκεια στο χάος LD_PRELOAD στο I/O δικτύου τους. (Η Java μέσω JNI είναι εντάξει· το JNI περνά μέσα από glibc.) - **Στατικά δυαδικά αρχεία.** Το LD_PRELOAD είναι μηχανισμός δυναμικού συνδέσμου. Τα στατικά δυαδικά δεν έχουν δυναμικό σύνδεσμο· η προφόρτωση δεν έχει αποτέλεσμα. - **Δυαδικά αρχεία Setuid/setgid.** Ο πυρήνας αφαιρεί το LD_PRELOAD για δυαδικά setuid (σημασιολογία AT_SECURE). Αυτό είναι χαρακτηριστικό ασφαλείας στο οποίο βασιζόμαστε σωστά. - **Ρολόγια γρήγορης διαδρομής vDSO.** Ορισμένες κλήσεις clock_gettime περνούν μέσω vDSO, όχι glibc. Η βιβλιοθήκη χρόνου μας παρεμβάλλεται στο επίπεδο wrapper glibc, που βρίσκεται κατάντη από το vDSO. Στην πράξη, αυτό σημαίνει ότι το σφάλμα ενεργοποιείται στην κλήση glibc πριν από την αναζήτηση vDSO — το καθαρό αποτέλεσμα είναι το ίδιο, αλλά το εσωτερικό ρολόι του πυρήνα δεν επηρεάζεται.

**Μπορεί να παρεμβληθεί:** - Οποιαδήποτε δυναμικά συνδεδεμένη διαδικασία στο Linux (glibc ή musl) - Java μέσω JNI — συμπεριλαμβανομένων όλων των κλήσεων socket, αρχείου, DNS και χρόνου στο JDK - Python, Node.js, Ruby, PHP — όλα χρησιμοποιούν glibc για I/O συστήματος - Δυαδικά Rust που χρησιμοποιούν std (που χρησιμοποιεί glibc) ή βιβλιοθήκες C γεφυρωμένες με CGO

Μετράμε την επιβάρυνση διέλευσης με μικρο-αναφορές σειριοποιημένες με rdtsc για να λάβουμε αριθμούς χειρότερης περίπτωσης. Το κρίσιμο μονοπάτι για μια κλήση διέλευσης (χωρίς ρυθμισμένο σφάλμα):

- **Επιτυχία κρυφής μνήμης ρύθμισης (χωρίς ανάγκη επαναφόρτωσης):** ~20–40 ns επιβάρυνση πέρα από το πραγματικό κόστος κλήσης συστήματος. Αυτός είναι ένας έλεγχος mtime stat (αποθηκευμένος σε ατομική υποδοχή), μια σάρωση κανόνων (γραμμική επί N κανόνες, συνήθως N < 16), και μια κλήση μέσω του αποθηκευμένου δείκτη συνάρτησης. - **Αποτυχία κρυφής μνήμης (αρχείο ρύθμισης επαναφορτώνεται):** Μία κλήση stat() συν μια read() του αρχείου ρύθμισης — συνήθως 150–300 ns συνολικά, και μόνο στην πρώτη κλήση μετά από αλλαγή ρύθμισης. - **Εγχυόμενο σφάλμα:** Η ίδια η επιβάρυνση σφάλματος (ύπνος για LATENCY, ορισμός errno για ERRNO) κυριαρχεί· το κόστος wrapper είναι αμελητέο.

Για μια καλά ρυθμισμένη σουίτα δοκιμών με μικρό αριθμό κανόνων, η επιβάρυνση διέλευσης είναι κάτω από το επίπεδο θορύβου μιας κλήσης δικτύου. Πληρώνετε δεκάδες νανοδευτερόλεπτα πάνω σε λειτουργίες που κοστίζουν μικροδευτερόλεπτα έως χιλιοστά του δευτερολέπτου.