Domov
» Základné znalosti
»
Ako opraviť chybu „ENOSPC: Dosiahnutý systémový limit pre sledovače súborov“ v systéme Linux
Ako opraviť chybu „ENOSPC: Dosiahnutý systémový limit pre sledovače súborov“ v systéme Linux
Ak sa vývojový nástroj pre Linux náhle zastaví s príkazom ENOSPC: System limit for number of file watchers reached, správa môže byť zavádzajúca. ENOSPCZvyčajne sa číta ako „na zariadení nezostal žiadny priestor“, ale v tejto konkrétnej ceste to často neznamená, že je disk plný. inotify_add_watch()Manuál pre Linux uvádza, ENOSPCže sa dá vrátiť, keď sa dosiahne limit na používateľa v časti inotify watches alebo keď jadro nemôže alokovať požadovaný zdroj. Toto rozlíšenie je dôležité, pretože odstránenie súborov nemusí problém vyriešiť.
Táto príručka vás najprv prevedie diagnostikou, potom najmenej rušivým riešením a nakoniec trvalou konfiguráciou. Príkazy sa vzťahujú na systémy Linux, ktoré používajú rozhranie inotify jadra , ktoré umožňuje aplikáciám monitorovať zmeny v súboroch a adresároch. Vývojové servery, IDE, synchronizační klienti, spúšťače testov a nástroje na zostavovanie sa naň často spoliehajú.
Potrebujete terminál a na zmenu parametrov jadra účet, ktorý môže používať sudo. Pred zastavením vývojových serverov alebo editorov si uložte neuloženú prácu. Všimnite si tiež, kde sa spúšťa zlyhávajúci príkaz: priamo v systéme Linux, vo virtuálnom počítači, v prostredí WSL alebo vo vnútri kontajnera. Kontajner môže zdieľať nastavenia jadra so svojím hostiteľom a nemusí mať povolené meniť sysctl na úrovni hostiteľa.
Nezačínajte kopírovaním veľmi veľkého limitu sledovania z príspevku na fóre. Najprv skontrolujte svoje aktuálne nastavenie a zistite, či ho nespotrebúvajú zastarané alebo duplicitné procesy sledovania.
Krok 1: Potvrďte, že ide o chybu sledovateľa inotify
Spustite príkaz, ktorý zlyhal, a prečítajte si celú chybu. Medzi typické spúšťače patrí spustenie vývojového servera JavaScript, spúšťača testov na sledovanie súborov alebo pracovného priestoru IDE, ktorý obsahuje veľmi rozsiahly adresárový strom. Dôležitá fráza je „dosiahnutý systémový limit pre počet sledovačov súborov“.
Príklad zlyhania funkcie watcher-limit vo vývojovom termináli. Zobrazený názov a verzia projektu sú ilustračné; váš nástroj a trasovanie zásobníka sa môžu líšiť.
Ak sa chyba vyskytne ENOSPCpri zápise súboru, skontrolujte kapacitu disku a dostupnosť inode pomocou príkazov ako df -ha df -i. Tento článok sa konkrétne týka formy inotify watcher-limit príkazu ENOSPC.
Krok 2: Prečítajte si aktuálne limity funkcie inotify
Linux sprístupňuje limity funkcie inotify v časti /proc/sys/fs/inotify/. Watch je jeden monitorovaný objekt súborového systému v rámci inštancie funkcie inotify. Dokumentácia jadra rozlišuje tri ovládacie prvky:
max_user_watches: maximálny počet sledovaní pre jedno skutočné ID používateľa.
max_user_instances: maximálny počet inštancií inotify pre jedno skutočné ID používateľa.
max_queued_events: maximálny počet udalostí zaradených do frontu pre inštanciu inotify.
Skontrolujte ich bez toho, aby ste čokoľvek zmenili:
Namiesto predpokladu pevne stanovených predvolených nastavení systému Linux si prečítajte hodnoty na svojom počítači. Uvedené čísla sú len príklady, nie odporúčané hodnoty.
Nezamieňajte si fs.inotify.max_user_watchess fs.epoll.max_user_watches. Sú to rôzne mechanizmy jadra. Pri tejto chybe sa zvyčajne zaujímate o cestu inotify.
Krok 3: Vyhľadajte procesy, ktoré spotrebúvajú veľa sledovaní
Jadro sprístupňuje informácie o sledovaní inotify v záznamoch každého procesu /proc/<pid>/fdinfo. Dokumentácia k proc_pid_fdinfo(5) uvádza, že riadky začínajúce na inotifyopisujú monitorované súbory alebo adresáre.
Pre rýchlu kontrolu tento príkaz zobrazuje riadky inotify, ktoré vám umožňujú čítať vaše oprávnenia:
sudo grep -H '^inotify' /proc/[0-9]*/fdinfo/* 2>/dev/null | head -n 50
Pre užitočnejší odhad pre každý proces pre vášho aktuálneho používateľa použite:
Tento výstup považujte skôr za diagnostický odhad než za dokonalé zúčtovanie, najmä ak sa zdieľajú deskriptory súborov. Jeho účelom je odhaliť zjavné páchateľov, ako napríklad niekoľko starých vývojových serverov, duplicitné inštancie IDE alebo viacero sledovačov nad tým istým veľkým repozitárom.
Kontrola /proc/*/fdinfo/*môže odhaliť, ktoré procesy obsahujú deskriptory sledovania inotify. Zobrazené hodnoty PID a inode sú len ilustratívne.
Krok 4: Zastavte zastarané sledovače a skúste to znova pred zvýšením limitu
Ak nájdete vývojové servery alebo nástroje, ktoré už nepotrebujete, najprv ich normálne zatvorte. Reštartovanie editora alebo vývojového servera s veľkým počtom sledovacích programov môže tiež uvoľniť sledovacie programy po dlho bežiacej relácii. Vyhnite sa širokému killallpríkazu, pokiaľ presne nechápete, čo zastaví.
Po zatvorení podozrivých procesov znova spustite pôvodný príkaz. Ak to teraz funguje, možno nebudete vôbec potrebovať zmenu jadra. Opakované vyčerpanie však naznačuje, že pracovná záťaž oprávnene potrebuje viac sledovaní alebo že nástroj sleduje príliš veľa.
Reštartujte iba proces, ktorý poznáte a ktorý je náročný na sledovanie. pkillPríklad je len ilustratívny; použite skutočný názov procesu a ak je to možné, uprednostnite normálne vypnutie aplikácie.
Krok 5: Dočasne otestujte vyššiu hodnotu max_user_watches
Zmena sysctl za behu je užitočná, pretože ju môžete otestovať predtým, ako ju nastavíte na trvalú. Najprv si zaznamenajte aktuálnu hodnotu:
sysctl fs.inotify.max_user_watches
Potom vyberte hodnotu, ktorá je dostatočne veľká pre pozorované pracovné zaťaženie. Napríklad, ak sa zámerne rozhodnete otestovať 524 288 sledovaní:
sudo sysctl fs.inotify.max_user_watches=524288
Toto je príkladová hodnota, nie univerzálne odporúčanie . Limity funkcie inotify existujú pre obmedzenú spotrebu zdrojov jadra, takže ich zvýšenie bez pochopenia pracovnej záťaže nie je bezplatné. Lepším prístupom je zvýšiť počet meraných krokov, znova spustiť aplikáciu a zastaviť ju, keď budete mať dostatočný priestor.
Zmena runtime sysctl vám umožňuje okamžite otestovať nový strop sledovania. Hodnota 524 288 je tu len príkladom testovacej hodnoty.
Manuál sysctl (8) dokumentuje čítanie a zmenu parametrov jadra počas behu.
Krok 6: Zachovanie testovanej hodnoty ako trvalej
Ak dočasná zmena problém vyrieši a hodnota je vhodná pre váš počítač, uložte ju do konfiguračného súboru sysctl. V distribúciách založených na systemd môže lokálny správca umiestniť konfiguráciu do súboru /etc/sysctl.d/*.conf. Dokumentácia k súboru systemd sysctl.d vysvetľuje, že súbory v súbore /etc/sysctl.d/sú určené na konfiguráciu lokálneho správcu a spracovávajú sa v poradí podľa názvu súboru.
Namiesto toho, aby ste zmenu uložili medzi nesúvisiace nastavenia, vytvorte samostatný súbor:
sudo nano /etc/sysctl.d/99-inotify.conf
Pridajte hodnotu, ktorú ste už otestovali:
fs.inotify.max_user_watches=524288
Uložte testované nastavenie sledovača do vyhradeného konfiguračného súboru sysctl.d. Nahraďte číslo príkladu hodnotou, ktorú ste overili pre svoju pracovnú záťaž.
Ak váš systém nepoužíva postup sysctl.d v systemd, pred výberom trvalého umiestnenia konfigurácie si prečítajte dokumentáciu k vašej distribúcii.
Krok 7: Použite trvalú konfiguráciu a overte ju
Môžete reštartovať, ale zvyčajne to nie je potrebné. Na systémoch s sysctlnástrojom procps použite konfiguráciu systému pomocou:
sudo sysctl --system
Potom overte aktívnu hodnotu:
sysctl fs.inotify.max_user_watches
Aktívna hodnota by sa mala zhodovať s vaším zamýšľaným nastavením. Ak sa nezhoduje, skontrolujte výstup, sysctl --systemči nenájdete neskorší konfiguračný súbor, ktorý prepíše váš záznam. Pravidlá pomenovania sysctl.d sú dôležité, pretože neskoršie názvy súborov môžu mať prednosť, keď je tá istá premenná priradená viackrát.
Použite konfiguráciu a potom spätne načítajte parameter. Overenie je spoľahlivejšie ako predpoklad, že súbor bol načítaný.
Krok 8: Reštartujte aplikáciu a znížte nepotrebný rozsah sledovania
Spustite aplikáciu, ktorá pôvodne zlyhala. Ak sa spustí normálne, oprava na strane jadra funguje. Nezastavujte sa tam, ak je používanie sledovania neočakávane vysoké. Nakonfigurujte aplikáciu, kde je to podporované, tak, aby vylučovala adresáre, ktoré nevyžadujú živé monitorovanie, ako napríklad vygenerovaný výstup zostavenia, vyrovnávacie pamäte, rozsiahle protokoly, stromy dodávateľov alebo adresáre závislostí.
Zníženie rozsahu sledovania je často najlepším dlhodobým riešením, pretože znižuje využívanie zdrojov jadra a znižuje spracovanie udalostí súborov. Niektoré nástroje ponúkajú dotazovanie ako záložné riešenie, ale dotazovanie môže zvýšiť aktivitu CPU a I/O, takže sa zvyčajne lepšie považuje za možnosť kompatibility než za prvé riešenie.
Záverečná kontrola: znova spustite pôvodný príkaz development a overte, či sa spustí bez chyby watcher-limit.
Čo ak sa chyba stále zobrazuje?
Skontrolujte, či je max_user_instances skutočným obmedzením.
max_user_instancesobmedzuje počet inštancií inotify na jedno skutočné ID používateľa. Režim zlyhania je však odlišný: aktuálna príručka inotify_init(2) dokumentuje, EMFILEkedy je dosiahnutý limit inštancií inotify na používateľa. To znamená, že presná správa pozorovateľa ENOSPC priamo poukazuje na sledovania alebo alokáciu zdrojov, nie automaticky na limit inštancií.
Nepoužívajte najprv príkaz ulimit -n
ulimit -nriadi limit deskriptorov otvorených súborov procesu. Deskriptory súborov súvisia s inštanciami inotify, ale jedna inštancia inotify môže obsahovať veľa sledovaní. Zvýšenie limitu otvorených súborov preto nie je priamym riešením pre inotify_add_watch()ENOSPC spôsobený max_user_watches.
Kontajnery nemusia byť schopné zmeniť tento sysctl
Docker dokumentuje, že nie každý sysctl má menný priestor a že nepodporuje zmenu sysctl kontajnerov, ktorá by mohla zmeniť hostiteľský systém. Ak zlyhávajúca pracovná záťaž beží v Dockeri a fs.inotify.max_user_watchesje riadená hostiteľským jadrom, vykonajte zmenu na príslušnom hostiteľovi alebo virtuálnom počítači namiesto jej vynútenia z neprivilegovaného kontajnera. Pozrite si dokumentáciu k runtime sysctl v Dockeri .
Bežné chyby, ktorým sa treba vyhnúť
Za predpokladu, že ENOSPC vždy znamená plný disk. Systémové volanie inotify explicitne používa ENOSPC pre zlyhania sledovania limitu/zdrojov.
Zmena max_queued_events namiesto max_user_watches. Limit frontu riadi čakajúce udalosti, nie počet objektov súborového systému, ktoré môže používateľ sledovať.
Nastavenie obrovskej hodnoty bez merania. Existujú limity Inotify na obmedzenie využívania zdrojov jadra; zámerne ich zvyšujte.
Pred testovaním vykonajte trvalú zmenu. Dočasná sysctlzmena sa ľahšie overí a vráti späť.
Zabúdanie na duplicitné procesy sledovania. Niekoľko editorov, vývojových serverov alebo synchronizačných nástrojov môže využívať rovnaký fond na používateľa.
Používanie sudo echo value > /proc/...a očakávanie sudo na pokrytie presmerovania. Shell sa vykoná >pred sudospusteniami. sudo sysctl ...Namiesto toho použite.
Rýchly diagnostický kontrolný zoznam
Otázka
Príkaz alebo akcia
Čo vám to hovorí
Je toto pozorovateľská forma ENOSPC?
Prečítajte si celé znenie chyby aplikácie
Oddeľuje vyčerpanie sledovateľa od miesta na disku ENOSPC
Aký je môj limit pozorovateľov?
sysctl fs.inotify.max_user_watches
Zobrazuje aktívny limit sledovania na používateľa
Ktoré procesy používajú inotify?
Skontrolovať/proc/<pid>/fdinfo
Pomáha nájsť zastarané alebo často sledované procesy
Môžem to vyriešiť bez zmeny jadra?
Zatvorte duplicitné/zastarané sledovače a skúste to znova
Vydáva existujúce hodinky
Vyrieši to vyšší limit?
sudo sysctl fs.inotify.max_user_watches=VALUE
Okamžite testuje hodnotu za behu
Prežije oprava reštart?
Použite /etc/sysctl.d/*.confa overte
Udrží testované nastavenie trvalé
Primárna dokumentácia
Správanie opísané v tomto dokumente pochádza z dokumentácie používateľského rozhrania jadra Linuxu, dokumentácie súborového systému proc, dokumentácie sysctl.d v systemd a dokumentácie runtime prostredia Docker. Najdôležitejšie podrobnosti nájdete v súboroch inotify(7) , inotify_add_watch(2) , proc_pid_fdinfo(5) a sysctl.d(5) .