Αρχική
» ΒΑΣΙΚΕΣ ΓΝΩΣΕΙΣ
»
Πώς να διορθώσετε το "ENOSPC: Το όριο συστήματος για τους χρήστες παρακολούθησης αρχείων έφτασε" στο Linux
Πώς να διορθώσετε το "ENOSPC: Το όριο συστήματος για τους χρήστες παρακολούθησης αρχείων έφτασε" στο Linux
Εάν ένα εργαλείο ανάπτυξης Linux σταματήσει ξαφνικά με ENOSPC: System limit for number of file watchers reached, το μήνυμα μπορεί να είναι παραπλανητικό. ENOSPCΣυνήθως διαβάζεται ως "δεν υπάρχει χώρος στη συσκευή", αλλά σε αυτήν τη συγκεκριμένη διαδρομή συχνά δεν σημαίνει ότι ο δίσκος σας είναι γεμάτος. Το inotify_add_watch()εγχειρίδιο του Linux αναφέρει ENOSPCότι μπορεί να επιστραφεί όταν έχει επιτευχθεί το όριο ανά χρήστη στις παρακολουθήσεις inotify ή όταν ο πυρήνας δεν μπορεί να διαθέσει έναν απαιτούμενο πόρο. Αυτή η διάκριση έχει σημασία επειδή η διαγραφή αρχείων μπορεί να μην κάνει τίποτα για να λύσει το πρόβλημα.
Αυτός ο οδηγός περιγράφει πρώτα τη διάγνωση, στη συνέχεια τη λιγότερο ενοχλητική επιδιόρθωση και τέλος μια μόνιμη διαμόρφωση. Οι εντολές ισχύουν για συστήματα Linux που χρησιμοποιούν τη διεπαφή inotify του πυρήνα , η οποία επιτρέπει στις εφαρμογές να παρακολουθούν αρχεία και καταλόγους για αλλαγές. Οι διακομιστές ανάπτυξης, τα IDE, οι υπολογιστές-πελάτες συγχρονισμού, οι εκτελέσεις δοκιμών και τα εργαλεία δημιουργίας συχνά βασίζονται σε αυτήν.
Χρειάζεστε ένα τερματικό και, για την αλλαγή των παραμέτρων του πυρήνα, έναν λογαριασμό που μπορεί να χρησιμοποιήσει το sudo. Αποθηκεύστε την μη αποθηκευμένη εργασία πριν διακόψετε τους διακομιστές ανάπτυξης ή τους επεξεργαστές. Σημειώστε επίσης πού εκτελείται η εντολή που αποτυγχάνει: απευθείας σε Linux, σε μια εικονική μηχανή, σε WSL ή μέσα σε ένα κοντέινερ. Ένα κοντέινερ μπορεί να μοιράζεται ρυθμίσεις πυρήνα με τον κεντρικό υπολογιστή του και ενδέχεται να μην του επιτρέπεται να αλλάξει ένα sysctl σε επίπεδο κεντρικού υπολογιστή.
Μην ξεκινήσετε αντιγράφοντας ένα πολύ μεγάλο όριο παρακολούθησης από μια ανάρτηση στο φόρουμ. Αρχικά, ελέγξτε την τρέχουσα ρύθμισή σας και προσδιορίστε εάν την καταναλώνουν παλιές ή διπλότυπες διεργασίες παρακολούθησης.
Βήμα 1: Επιβεβαιώστε ότι αυτό είναι το σφάλμα inotify watcher
Εκτελέστε την εντολή που απέτυχε και διαβάστε ολόκληρο το σφάλμα. Τυπικές εναύσματα περιλαμβάνουν την εκκίνηση ενός διακομιστή ανάπτυξης JavaScript, ενός εκτελέσιμου δοκιμής παρακολούθησης αρχείων ή ενός χώρου εργασίας IDE που περιέχει ένα πολύ μεγάλο δέντρο καταλόγων. Η σημαντική φράση είναι "συμπληρώθηκε το όριο συστήματος για τον αριθμό των παρατηρητών αρχείων".
Παράδειγμα σφάλματος watcher-limit σε τερματικό ανάπτυξης. Το όνομα και η έκδοση του έργου που εμφανίζονται είναι ενδεικτικά. Το εργαλείο και η ιχνηλάτηση στοίβας σας μπορεί να διαφέρουν.
Εάν το σφάλμα παρουσιάζεται ENOSPCκατά την εγγραφή ενός αρχείου, ελέγξτε τη χωρητικότητα του δίσκου και τη διαθεσιμότητα inode με εντολές όπως df -hκαι df -i. Αυτό το άρθρο αφορά συγκεκριμένα τη μορφή inotify watcher-limit του ENOSPC.
Βήμα 2: Διαβάστε τα τρέχοντα όρια inotify
Το Linux εκθέτει τα όρια inotify στο /proc/sys/fs/inotify/. Ένα watch είναι ένα αντικείμενο συστήματος αρχείων που παρακολουθείται μέσα σε μια παρουσία inotify. Η τεκμηρίωση του πυρήνα διακρίνει τρία στοιχεία ελέγχου:
max_user_watches: μέγιστος αριθμός παρακολουθήσεων για ένα πραγματικό αναγνωριστικό χρήστη.
max_user_instances: μέγιστος αριθμός στιγμιότυπων inotify για ένα πραγματικό αναγνωριστικό χρήστη.
max_queued_events: μέγιστος αριθμός συμβάντων σε ουρά για μια παρουσία inotify.
Μπορείτε επίσης να διαβάσετε απευθείας την πρώτη τιμή:
cat /proc/sys/fs/inotify/max_user_watches
Διαβάστε τις τιμές στον δικό σας υπολογιστή αντί να υποθέσετε μια σταθερή προεπιλογή Linux. Οι αριθμοί που εμφανίζονται εδώ είναι παραδείγματα, όχι συνιστώμενες τιμές.
Μην το συγχέετε fs.inotify.max_user_watchesμε το fs.epoll.max_user_watches. Είναι διαφορετικοί μηχανισμοί πυρήνα. Για αυτό το σφάλμα, συνήθως σας ενδιαφέρει η διαδρομή inotify.
Βήμα 3: Αναζητήστε διεργασίες που καταναλώνουν πολλά ρολόγια
Ο πυρήνας εμφανίζει πληροφορίες παρακολούθησης inotify στις καταχωρήσεις κάθε διεργασίας /proc/<pid>/fdinfo. Η τεκμηρίωση του proc_pid_fdinfo(5) αναφέρει ότι οι γραμμές που ξεκινούν με inotifyπεριγράφουν αρχεία ή καταλόγους που παρακολουθούνται.
Για μια γρήγορη επιθεώρηση, αυτή η εντολή εμφανίζει γραμμές inotify που σας επιτρέπουν να διαβάσετε:
sudo grep -H '^inotify' /proc/[0-9]*/fdinfo/* 2>/dev/null | head -n 50
Για μια πιο χρήσιμη εκτίμηση ανά διεργασία για τον τρέχοντα χρήστη σας, χρησιμοποιήστε:
Αντιμετωπίστε αυτό το αποτέλεσμα ως διαγνωστική εκτίμηση και όχι ως τέλεια λογιστική, ειδικά όταν κοινοποιούνται περιγραφείς αρχείων. Σκοπός του είναι να αποκαλύψει προφανείς παραβάτες, όπως αρκετούς παλιούς διακομιστές προγραμματιστών, διπλότυπες παρουσίες IDE ή πολλαπλούς παρατηρητές στο ίδιο μεγάλο αποθετήριο.
Η επιθεώρηση /proc/*/fdinfo/*μπορεί να αποκαλύψει ποιες διεργασίες περιέχουν περιγραφείς παρακολούθησης inotify. Τα PID και οι τιμές inode που εμφανίζονται είναι ενδεικτικά.
Βήμα 4: Σταματήστε τα παλιά watchers και προσπαθήστε ξανά πριν αυξήσετε το όριο
Αν βρείτε διακομιστές ή εργαλεία ανάπτυξης που δεν χρειάζεστε πλέον, κλείστε τα πρώτα κανονικά. Η επανεκκίνηση ενός προγράμματος επεξεργασίας ή διακομιστή ανάπτυξης που χρησιμοποιεί πολλά προγράμματα παρακολούθησης μπορεί επίσης να απελευθερώσει τα προγράμματα παρακολούθησης που έχουν απομείνει από μια συνεδρία μεγάλης διάρκειας. Αποφύγετε μια ευρεία killallεντολή, εκτός αν καταλαβαίνετε ακριβώς τι θα σταματήσει.
Αφού κλείσετε τις ύποπτες διεργασίες, εκτελέστε ξανά την αρχική σας εντολή. Εάν λειτουργεί τώρα, ενδέχεται να μην χρειάζεστε καθόλου αλλαγή στον πυρήνα. Η επαναλαμβανόμενη εξάντληση, ωστόσο, υποδηλώνει ότι το φόρτο εργασίας χρειάζεται εύλογα περισσότερες παρακολουθήσεις ή ότι το εργαλείο παρακολουθεί πάρα πολύ.
Επανεκκινήστε μόνο τη διεργασία που αναγνωρίζετε και χρησιμοποιεί πολύ μεγάλο αριθμό watcher. Το pkillπαράδειγμα είναι ενδεικτικό. Χρησιμοποιήστε το πραγματικό όνομα της διεργασίας σας και προτιμήστε τον κανονικό τερματισμό λειτουργίας της εφαρμογής, όταν είναι δυνατόν.
Βήμα 5: Δοκιμάστε προσωρινά μια υψηλότερη τιμή max_user_watches
Μια αλλαγή στο runtime sysctl είναι χρήσιμη επειδή μπορείτε να τη δοκιμάσετε πριν την κάνετε μόνιμη. Αρχικά, καταγράψτε την τρέχουσα τιμή:
sysctl fs.inotify.max_user_watches
Στη συνέχεια, επιλέξτε μια τιμή που είναι αρκετά μεγάλη για το παρατηρούμενο φόρτο εργασίας. Για παράδειγμα, αν αποφασίσετε σκόπιμα να δοκιμάσετε 524.288 ρολόγια:
sudo sysctl fs.inotify.max_user_watches=524288
Αυτή είναι μια ενδεικτική τιμή, όχι μια καθολική σύσταση . Τα όρια inotify υπάρχουν για την κατανάλωση πόρων του πυρήνα, επομένως η αύξησή τους χωρίς κατανόηση του φόρτου εργασίας δεν είναι δωρεάν. Μια καλύτερη προσέγγιση είναι να αυξήσετε τα μετρημένα βήματα, να δοκιμάσετε ξανά την εφαρμογή και να σταματήσετε μόλις έχετε εύλογο ελεύθερο χώρο.
Μια αλλαγή στο sysctl κατά τον χρόνο εκτέλεσης σάς επιτρέπει να δοκιμάσετε αμέσως ένα νέο ανώτατο όριο παρακολούθησης. Εδώ, το 524.288 είναι μόνο ένα παράδειγμα τιμής δοκιμής.
Το εγχειρίδιο του sysctl(8) καταγράφει την ανάγνωση και την αλλαγή των παραμέτρων του πυρήνα κατά τον χρόνο εκτέλεσης.
Βήμα 6: Κάντε την τιμή που ελέγχθηκε μόνιμη
Εάν η προσωρινή αλλαγή διορθώσει το πρόβλημα και η τιμή είναι κατάλληλη για το μηχάνημά σας, αποθηκεύστε την σε ένα αρχείο ρύθμισης παραμέτρων sysctl. Σε διανομές που βασίζονται σε systemd, ένας τοπικός διαχειριστής μπορεί να τοποθετήσει τη ρύθμιση παραμέτρων στο /etc/sysctl.d/*.conf. Η τεκμηρίωση του systemd sysctl.d εξηγεί ότι τα αρχεία στο /etc/sysctl.d/προορίζονται για τη ρύθμιση παραμέτρων του τοπικού διαχειριστή και υποβάλλονται σε επεξεργασία με τη σειρά ονομάτων αρχείων.
Δημιουργήστε ένα ειδικό αρχείο αντί να θάψετε την αλλαγή ανάμεσα σε άσχετες ρυθμίσεις:
sudo nano /etc/sysctl.d/99-inotify.conf
Προσθέστε την τιμή που έχετε ήδη δοκιμάσει:
fs.inotify.max_user_watches=524288
Αποθηκεύστε τη δοκιμασμένη ρύθμιση του watcher σε ένα ειδικό αρχείο διαμόρφωσης sysctl.d. Αντικαταστήστε τον αριθμό παραδείγματος με την τιμή που επικυρώσατε για το φόρτο εργασίας σας.
Εάν το σύστημά σας δεν χρησιμοποιεί τη ροή sysctl.d του systemd, συμβουλευτείτε την τεκμηρίωση της διανομής σας πριν επιλέξετε μια μόνιμη τοποθεσία διαμόρφωσης.
Βήμα 7: Εφαρμογή της μόνιμης διαμόρφωσης και επαλήθευσή της
Μπορείτε να κάνετε επανεκκίνηση, αλλά αυτό συνήθως δεν είναι απαραίτητο. Σε συστήματα με το sysctlεργαλείο procps, εφαρμόστε τη διαμόρφωση συστήματος με:
sudo sysctl --system
Στη συνέχεια, επαληθεύστε την ενεργή τιμή:
sysctl fs.inotify.max_user_watches
Η ενεργή τιμή θα πρέπει να ταιριάζει με την επιθυμητή ρύθμιση. Εάν δεν ταιριάζει, ελέγξτε την έξοδο του sysctl --systemγια ένα μεταγενέστερο αρχείο διαμόρφωσης που παρακάμπτει την καταχώρισή σας. Οι κανόνες ονομασίας sysctl.d είναι σημαντικοί επειδή τα μεταγενέστερα ονόματα αρχείων μπορούν να έχουν προτεραιότητα όταν η ίδια μεταβλητή αντιστοιχίζεται περισσότερες από μία φορές.
Εφαρμόστε τη διαμόρφωση και, στη συνέχεια, διαβάστε ξανά την παράμετρο. Η επαλήθευση είναι πιο αξιόπιστη από την υπόθεση ότι το αρχείο φορτώθηκε.
Βήμα 8: Επανεκκινήστε την εφαρμογή και μειώστε το περιττό εύρος παρακολούθησης
Ξεκινήστε την εφαρμογή που αρχικά απέτυχε. Εάν εκκινείται κανονικά, η επιδιόρθωση από την πλευρά του πυρήνα λειτουργεί. Μην σταματήσετε εκεί εάν η χρήση παρακολούθησης παραμένει απροσδόκητα υψηλή. Ρυθμίστε τις παραμέτρους της εφαρμογής, όπου υποστηρίζεται, για να εξαιρέσετε καταλόγους που δεν χρειάζονται ζωντανή παρακολούθηση, όπως η παραγόμενη έξοδος έκδοσης, οι προσωρινές μνήμες, τα μεγάλα αρχεία καταγραφής, τα δέντρα προμηθευτών ή οι κατάλογοι εξαρτήσεων.
Η μείωση του εύρους παρακολούθησης είναι συχνά η καλύτερη μακροπρόθεσμη λύση, επειδή μειώνει την κατανάλωση πόρων πυρήνα και την επεξεργασία συμβάντων αρχείων. Ορισμένα εργαλεία προσφέρουν την polling ως εφεδρική λύση, αλλά η polling μπορεί να αυξήσει τη δραστηριότητα CPU και I/O, επομένως συνήθως αντιμετωπίζεται καλύτερα ως επιλογή συμβατότητας παρά ως πρώτη λύση.
Τελικός έλεγχος: εκτελέστε ξανά την αρχική εντολή ανάπτυξης και επιβεβαιώστε ότι ξεκινά χωρίς το σφάλμα watcher-limit.
Τι γίνεται αν το σφάλμα εξακολουθεί να εμφανίζεται;
Ελέγξτε εάν το max_user_instances είναι ο πραγματικός περιορισμός
max_user_instancesπεριορίζει τον αριθμό των στιγμιότυπων inotify ανά πραγματικό αναγνωριστικό χρήστη. Ωστόσο, η λειτουργία σφάλματος είναι διαφορετική: το τρέχον εγχειρίδιο inotify_init(2)EMFILE καταγράφει πότε έχει επιτευχθεί το όριο στιγμιότυπων inotify ανά χρήστη. Αυτό σημαίνει ότι το ακριβές μήνυμα παρακολούθησης ENOSPC υποδεικνύει πιο άμεσα τις παρακολουθήσεις ή την κατανομή πόρων, όχι αυτόματα το όριο στιγμιότυπων.
Μην αγγίζετε πρώτα το ulimit -n
ulimit -nελέγχει το όριο περιγραφέα ανοίγματος αρχείων της διεργασίας. Οι περιγραφές αρχείων σχετίζονται με στιγμιότυπα inotify, αλλά ένα στιγμιότυπο inotify μπορεί να περιέχει πολλά ρολόγια. Η αύξηση του ορίου ανοίγματος αρχείων δεν είναι επομένως η άμεση λύση για ένα inotify_add_watch()ENOSPC που προκαλείται από max_user_watches.
Τα κοντέινερ ενδέχεται να μην είναι σε θέση να αλλάξουν αυτό το sysctl.
Το Docker τεκμηριώνει ότι δεν έχουν κάθε sysctl namespaced και ότι δεν υποστηρίζει την αλλαγή των sysctls κοντέινερ που θα τροποποιούσαν το σύστημα κεντρικού υπολογιστή. Εάν το φόρτο εργασίας που παρουσιάζει σφάλμα εκτελείται στο Docker και fs.inotify.max_user_watchesελέγχεται από τον πυρήνα του κεντρικού υπολογιστή, κάντε την αλλαγή στον κατάλληλο κεντρικό υπολογιστή ή εικονική μηχανή αντί να την επιβάλλετε από ένα μη προνομιούχο κοντέινερ. Ανατρέξτε στην τεκμηρίωση sysctl κατά τον χρόνο εκτέλεσης του Docker .
Συνηθισμένα λάθη που πρέπει να αποφεύγετε
Υποθέτοντας ότι το ENOSPC σημαίνει πάντα έναν γεμάτο δίσκο. Η κλήση συστήματος inotify χρησιμοποιεί ρητά το ENOSPC για αποτυχίες παρακολούθησης/πόρου.
Αλλαγή του max_queued_events αντί για max_user_watches. Το όριο ουράς ελέγχει τα εκκρεμή συμβάντα, όχι πόσα αντικείμενα συστήματος αρχείων μπορεί να παρακολουθήσει ένας χρήστης.
Ορισμός τεράστιας τιμής χωρίς μέτρηση. Υπάρχουν όρια για τον περιορισμό της χρήσης πόρων πυρήνα. Αυξήστε τα σκόπιμα.
Πραγματοποίηση μιας μόνιμης αλλαγής πριν από τη δοκιμή της. Μια προσωρινή sysctlαλλαγή είναι πιο εύκολο να επικυρωθεί και να ακυρωθεί.
Ξεχνώντας τις διπλότυπες διεργασίες παρακολούθησης. Αρκετοί επεξεργαστές, διακομιστές προγραμματιστών ή εργαλεία συγχρονισμού μπορούν να καταναλώσουν την ίδια ομάδα ανά χρήστη.
Χρήση sudo echo value > /proc/...και αναμονή sudo για την κάλυψη της ανακατεύθυνσης. Το κέλυφος εκτελείται >πριν sudoαπό τις εκτελέσεις. Χρησιμοποιήστε το sudo sysctl ...αντί αυτού.
Λίστα ελέγχου γρήγορης διάγνωσης για γρήγορη διάγνωση.
Ερώτηση
Εντολή ή ενέργεια
Τι σας λέει
Είναι αυτή η μορφή παρατηρητή του ENOSPC;
Διαβάστε ολόκληρο το σφάλμα της εφαρμογής
Διαχωρίζει την εξάντληση του watcher από τον χώρο στο δίσκο ENOSPC
Ποιο είναι το όριο παρακολούθησης που έχω;
sysctl fs.inotify.max_user_watches
Εμφανίζει το ενεργό όριο παρακολούθησης ανά χρήστη
Ποιες διεργασίες χρησιμοποιούν inotify;
Ελέγχω/proc/<pid>/fdinfo
Βοηθά στην εύρεση παλιών ή απαιτητικών από το watcher διεργασιών
Μπορώ να το λύσω χωρίς αλλαγή πυρήνα;
Κλείστε διπλότυπα/παλιά προγράμματα παρακολούθησης και προσπαθήστε ξανά
Κυκλοφορεί υπάρχοντα ρολόγια
Ένα υψηλότερο όριο το διορθώνει;
sudo sysctl fs.inotify.max_user_watches=VALUE
Ελέγχει αμέσως μια τιμή χρόνου εκτέλεσης
Θα επιβιώσει η διόρθωση μετά την επανεκκίνηση;
Χρήση /etc/sysctl.d/*.confκαι επαλήθευση
Κάνει μια δοκιμασμένη ρύθμιση μόνιμη
Πρωτογενής τεκμηρίωση
Η συμπεριφορά που περιγράφεται εδώ προέρχεται από την τεκμηρίωση του περιβάλλοντος χρήστη του πυρήνα του Linux, την τεκμηρίωση του συστήματος αρχείων proc, την τεκμηρίωση του sysctl.d του systemd και την τεκμηρίωση χρόνου εκτέλεσης του Docker. Για τις πιο σημαντικές λεπτομέρειες, ανατρέξτε στα inotify(7) , inotify_add_watch(2) , proc_pid_fdinfo(5) και sysctl.d(5) .