Hem
» Grundläggande kunskap
»
Så här åtgärdar du "ENOSPC: Systemgränsen för filövervakare har nåtts" i Linux
Så här åtgärdar du "ENOSPC: Systemgränsen för filövervakare har nåtts" i Linux
Om ett Linux-utvecklingsverktyg plötsligt stannar med ENOSPC: System limit for number of file watchers reached, kan meddelandet vara missvisande. ENOSPClyder normalt som "inget utrymme kvar på enheten", men i den här specifika sökvägen betyder det ofta inte att din disk är full. Linuxmanualen inotify_add_watch()säger ENOSPCatt kan returneras när gränsen per användare för inotify-bevakningar har uppnåtts, eller när kärnan inte kan allokera en nödvändig resurs. Den skillnaden är viktig eftersom borttagning av filer kanske inte gör någonting för att lösa problemet.
Den här guiden går först igenom diagnosen, sedan den minst störande lösningen och slutligen en permanent konfiguration. Kommandona gäller för Linux-system som använder kärnans inotify- gränssnitt, vilket låter applikationer övervaka filer och kataloger för ändringar. Utvecklingsservrar, IDE:er, synkroniseringsklienter, testkörare och byggverktyg förlitar sig ofta på det.
Du behöver en terminal och, för att ändra kärnparametrar, ett konto som kan använda sudo. Spara osparat arbete innan du stoppar utvecklingsservrar eller editorer. Observera också var det felaktiga kommandot körs: direkt på Linux, i en virtuell maskin, i WSL eller inuti en container. En container kan dela kärninställningar med sin värd och kanske inte tillåts ändra en sysctl på värdnivå.
Börja inte med att kopiera en väldigt stor övervakningsgräns från ett foruminlägg. Kontrollera först din nuvarande inställning och identifiera om inaktuella eller duplicerade övervakningsprocesser förbrukar den.
Steg 1: Bekräfta att detta är inotify watcher-felet
Kör kommandot som misslyckades och läs hela felmeddelandet. Typiska utlösare inkluderar att starta en JavaScript-utvecklingsserver, en testkörning för filbevakning eller en IDE-arbetsyta som innehåller ett mycket stort katalogträd. Den viktiga frasen är "systemgränsen för antalet filbevakare har nåtts".
Exempel på watcher-limit-fel i en utvecklingsterminal. Projektnamnet och versionen som visas är illustrativa; ditt verktyg och stackspårning kan skilja sig åt.
Om felet istället uppstår ENOSPCnär man skriver en fil, kontrollera diskkapacitet och inode-tillgänglighet med kommandon som df -hoch df -i. Den här artikeln handlar specifikt om inotify watcher-limit-formen av ENOSPC.
Steg 2: Läs de aktuella inotify-gränserna
Linux exponerar inotify-gränser under /proc/sys/fs/inotify/. En watch är ett övervakat filsystemobjekt inom en inotify-instans. Kärndokumentationen skiljer mellan tre kontroller:
max_user_watchesmaximalt antal bevakningar för ett riktigt användar-ID.
max_user_instancesmaximalt antal inotify-instanser för ett verkligt användar-ID.
max_queued_eventsmaximalt antal händelser i kö för en inotify-instans.
Läs av värdena på din egen maskin istället för att anta en fast Linux-standard. Siffrorna som visas här är exempel, inte rekommenderade värden.
Förväxla inte fs.inotify.max_user_watchesmed fs.epoll.max_user_watches. De är olika kärnmekanismer. För det här felet bryr du dig normalt om inotify-sökvägen.
Steg 3: Leta efter processer som förbrukar många bevakningar
Kärnan exponerar inotify-bevakningsinformation i varje process /proc/<pid>/fdinfopost. Dokumentationen proc_pid_fdinfo(5) anger att rader som börjar med inotifybeskriver övervakade filer eller kataloger.
För en snabb inspektion visar det här kommandot inotify-rader som dina behörigheter tillåter dig att läsa:
sudo grep -H '^inotify' /proc/[0-9]*/fdinfo/* 2>/dev/null | head -n 50
För en mer användbar uppskattning per process för din nuvarande användare, använd:
Behandla den utdata som en diagnostisk uppskattning snarare än perfekt redovisning, särskilt när filbeskrivningar delas. Syftet är att avslöja uppenbara felaktigheter, såsom flera gamla utvecklingsservrar, dubbla IDE-instanser eller flera bevakare över samma stora databas.
Inspektion /proc/*/fdinfo/*kan avslöja vilka processer som innehåller inotify-bevakningsbeskrivningar. PID:erna och inodvärdena som visas är illustrativa.
Steg 4: Stoppa inaktuella tittare och försök igen innan du höjer gränsen
Om du hittar utvecklingsservrar eller verktyg som du inte längre behöver, stäng dem normalt först. Att starta om en editor eller utvecklingsserver som använder mycket bevakning kan också frigöra bevakningar som lämnats kvar av en långvarig session. Undvik ett brett killallkommando om du inte förstår exakt vad det kommer att stoppa.
Kör om ditt ursprungliga kommando efter att du har stängt de misstänkta processerna. Om det nu fungerar kanske du inte behöver någon kärnändring alls. Upprepad utmattning tyder dock på att arbetsbelastningen verkligen behöver fler bevakningar eller att verktyget bevakar för mycket.
Starta bara om den process som är mycket krävande för att övervaka processen och du känner igen den. pkillExemplet är illustrativt; använd ditt faktiska processnamn och föredra programmets normala avstängning när det är möjligt.
Steg 5: Testa ett högre max_user_watches-värde tillfälligt
En runtime sysctl-ändring är användbar eftersom du kan testa den innan du gör den permanent. Registrera först det aktuella värdet:
sysctl fs.inotify.max_user_watches
Välj sedan ett värde som är tillräckligt stort för den observerade arbetsbelastningen. Om du till exempel medvetet väljer att testa 524 288 klockor:
sudo sysctl fs.inotify.max_user_watches=524288
Detta är ett exempelvärde, inte en universell rekommendation . Inotify-gränserna finns för begränsad kärnresursförbrukning, så det är inte gratis att höja dem utan att förstå arbetsbelastningen. En bättre metod är att öka antalet uppmätta steg, försöka köra programmet igen och stoppa när du har rimligt utrymme.
En sysctl-ändring under körning låter dig testa ett nytt bevakningstak omedelbart. Här är 524 288 bara ett exempel på ett testvärde.
Manualen för sysctl(8) dokumenterar läsning och ändring av kärnparametrar vid körning.
Steg 6: Gör det testade värdet beständigt
Om den tillfälliga ändringen åtgärdar problemet och värdet är lämpligt för din maskin, lagra det i en sysctl-konfigurationsfil. På systemd-baserade distributioner kan en lokal administratör placera konfigurationen i . /etc/sysctl.d/*.confDokumentationen för systemd sysctl.d förklarar att filer i /etc/sysctl.d/är avsedda för lokal administratörskonfiguration och bearbetas i filnamnsordning.
Skapa en dedikerad fil istället för att begrava ändringen bland orelaterade inställningar:
sudo nano /etc/sysctl.d/99-inotify.conf
Lägg till värdet som du redan testat:
fs.inotify.max_user_watches=524288
Lagra den testade watcher-inställningen i en dedikerad sysctl.d-konfigurationsfil. Ersätt exempelnumret med det värde du validerade för din arbetsbelastning.
Om ditt system inte använder systemds sysctl.d-flöde, konsultera distributionens dokumentation innan du väljer en permanent konfigurationsplats.
Steg 7: Tillämpa den beständiga konfigurationen och verifiera den
Du kan starta om systemet, men det är oftast onödigt. På system med procps- sysctlverktyget, tillämpa systemkonfigurationen med:
sudo sysctl --system
Verifiera sedan det aktiva värdet:
sysctl fs.inotify.max_user_watches
Det aktiva värdet bör matcha din avsedda inställning. Om det inte gör det, kontrollera utdata sysctl --systemför en senare konfigurationsfil som åsidosätter din inmatning. Namngivningsreglerna för sysctl.d är viktiga eftersom senare filnamn kan prioriteras när samma variabel tilldelas mer än en gång.
Tillämpa konfigurationen och läs sedan parametern igen. Verifiering är mer tillförlitlig än att anta att filen laddades.
Steg 8: Starta om applikationen och minska onödig bevakning
Starta programmet som ursprungligen misslyckades. Om det startas normalt fungerar kärnsidans korrigering. Avbryt inte där om bevakningsanvändningen förblir oväntat hög. Konfigurera programmet, där det stöds, för att exkludera kataloger som inte behöver liveövervakning, till exempel genererad byggutdata, cacheminnen, stora loggar, leverantörsträd eller beroendekataloger.
Att minska bevakningsområdet är ofta den bästa långsiktiga lösningen eftersom det minskar kärnresursanvändningen och minskar filhändelsebearbetningen. Vissa verktyg erbjuder polling som reservlösning, men polling kan öka CPU- och I/O-aktivitet, så det är oftast bättre att behandla det som ett kompatibilitetsalternativ snarare än den första lösningen.
Slutkontroll: kör det ursprungliga utvecklingskommandot igen och bekräfta att det startar utan watcher-limit-felet.
Vad händer om felet fortfarande visas?
Kontrollera om max_user_instances är den verkliga begränsningen
max_user_instancesbegränsar antalet inotify-instanser per verkligt användar-ID. Felläget är dock annorlunda: den nuvarande inotify_init(2)-manualen dokumenterar EMFILEnär gränsen för inotify-instans per användare är nådd. Det betyder att det exakta ENOSPC-bevakningsmeddelandet mer direkt pekar på bevakningar eller resursallokering, inte automatiskt på instansgränsen.
Sträck dig inte efter ulimit -n först
ulimit -nstyr processens gräns för öppna filbeskrivningar. Filbeskrivningar är relaterade till inotify-instanser, men en inotify-instans kan innehålla många bevakningar. Att höja gränsen för öppna filer är därför inte den direkta lösningen för en inotify_add_watch()ENOSPC orsakad av max_user_watches.
Behållare kanske inte kan ändra denna sysctl
Docker dokumenterar att inte alla sysctl:er har namnrymd och att de inte stöder ändringar av container-sysctl:er som skulle modifiera värdsystemet. Om den felaktiga arbetsbelastningen körs i Docker och fs.inotify.max_user_watchesstyrs av värdkärnan, gör ändringen på lämplig värd eller virtuell maskin istället för att tvinga fram den från en oprivilegierad container. Se Dockers dokumentation för runtime sysctl .
Vanliga misstag att undvika
Om vi antar att ENOSPC alltid innebär en full disk, använder inotify-systemanropet explicit ENOSPC för fel med bevakningsgränser/resurser.
Ändrar max_queued_events istället för max_user_watches. Kögränsen styr väntande händelser, inte hur många filsystemobjekt en användare får titta på.
Sätta ett enormt värde utan att mäta. Inotify-gränser finns för att begränsa kärnresursanvändningen; öka medvetet.
Gör en permanent ändring innan du testar den. En tillfällig sysctländring är lättare att validera och återställa.
Glömma dubbletter av bevakningsprocesser. Flera redigerare, utvecklingsservrar eller synkroniseringsverktyg kan förbruka samma pool per användare.
Använder sudo echo value > /proc/...och förväntar sig att sudo ska täcka omdirigeringen. Skalet utförs >innan sudokörningar. Använd sudo sysctl ...istället.
Snabb diagnostisk checklista
Fråga
Kommando eller handling
Vad det säger dig
Är detta bevakningsformen av ENOSPC?
Läs hela programfelet
Separerar utmattning av bevakare från diskutrymme ENOSPC
Vad är min tittargräns?
sysctl fs.inotify.max_user_watches
Visar taket för aktiva bevakningar per användare
Vilka processer använder Inotify?
Inspektera/proc/<pid>/fdinfo
Hjälper till att hitta inaktuella eller processer som kräver mycket övervakning
Kan jag lösa det utan att ändra kärnan?
Stäng dubbletter/föråldrade bevakare och försök igen
Släpps ut befintliga klockor
Löser en högre gräns det?
sudo sysctl fs.inotify.max_user_watches=VALUE
Testar ett körtidsvärde omedelbart
Kommer fixen att överleva omstarten?
Använd /etc/sysctl.d/*.confoch verifiera
Gör en testad inställning permanent
Primär dokumentation
Beteendet som beskrivs här kommer från dokumentationen för Linux-kärnans användarutrymmesgränssnitt, dokumentationen för proc-filsystemet, systemds sysctl.d-dokumentation och Dockers runtime-dokumentation. För de viktigaste detaljerna, se inotify(7) , inotify_add_watch(2) , proc_pid_fdinfo(5) och sysctl.d(5) .