Kezdőlap
» Alap tudás
»
Hogyan javítsuk ki az „ENOSPC: A fájlfigyelők rendszerkorlátja elérve” hibát Linuxon
Hogyan javítsuk ki az „ENOSPC: A fájlfigyelők rendszerkorlátja elérve” hibát Linuxon
Ha egy Linux fejlesztőeszköz hirtelen leáll a hibaüzenettel ENOSPC: System limit for number of file watchers reached, az üzenet félrevezető lehet. ENOSPCÁltalában így hangzik: „nincs szabad hely az eszközön”, de ebben a konkrét elérési úton ez gyakran nem jelenti azt, hogy a lemez megtelt. A Linux inotify_add_watch()kézikönyv szerint ENOSPCa hiba akkor adható vissza, ha az inotify figyelések elérték a felhasználónkénti korlátot, vagy ha a kernel nem tud lefoglalni egy szükséges erőforrást. Ez a különbségtétel azért fontos, mert a fájlok törlése semmit sem tehet a probléma megoldása érdekében.
Ez az útmutató először a diagnózist, majd a legkevésbé zavaró javítást, végül pedig egy állandó konfigurációt mutat be. A parancsok olyan Linux rendszerekre vonatkoznak, amelyek a kernel inotify felületét használják, amely lehetővé teszi az alkalmazások számára, hogy figyeljék a fájlok és könyvtárak változásait. A fejlesztői szerverek, IDE-k, szinkronizáló kliensek, tesztfuttatók és build eszközök gyakran erre támaszkodnak.
Amire szükséged van, mielőtt bármit is megváltoztatnál
Szükséged van egy terminálra, és a kernel paraméterek módosításához egy olyan fiókra, amely használhatja a sudo. A fejlesztői szerverek vagy szerkesztők leállítása előtt mentsd el a nem mentett munkákat. Azt is vedd figyelembe, hogy hol fut a hibás parancs: közvetlenül Linuxon, virtuális gépen, WSL-ben vagy egy konténeren belül. Egy konténer megoszthatja a kernel beállításokat a gazdagéppel, és lehet, hogy nem jogosult a gazdagép szintű sysctl módosítására.
Ne kezd azzal, hogy egy fórumbejegyzésből másolsz egy nagyon nagy figyelői korlátot. Először ellenőrizd az aktuális beállítást, és állapítsd meg, hogy elavult vagy duplikált figyelői folyamatok nem használják-e azt.
1. lépés: Ellenőrizze, hogy ez az inotify watcher hibája-e
Futtassa a hibát kiváltó parancsot, és olvassa be a teljes hibát. Tipikus kiváltó okok lehetnek például egy JavaScript fejlesztőszerver elindítása, egy fájlfigyelő tesztfuttató, vagy egy nagyon nagy könyvtárfát tartalmazó IDE munkaterület. A fontos kifejezés: „elérte a fájlfigyelők számának rendszerkorlátját”.
Példa a watcher-limit hibára egy fejlesztői terminálban. A bemutatott projektnév és verzió csak illusztráció; az eszköz és a veremkövetés eltérhet.
ENOSPCHa a hiba fájl írása közben jelentkezik , ellenőrizze a lemezkapacitást és az inode elérhetőségét olyan parancsokkal, mint df -ha és df -i. Ez a cikk kifejezetten az ENOSPC inotify watcher-limit formájáról szól.
2. lépés: Olvassa le az aktuális inotify korlátokat
A Linux inotify korlátokat tesz elérhetővé a . alatt /proc/sys/fs/inotify/. A watch egy monitorozott fájlrendszer-objektum egy inotify példányon belül. A kernel dokumentációja három vezérlőt különböztet meg:
max_user_watches: egy valós felhasználói azonosítóhoz tartozó maximális megfigyelési szám.
max_user_instances: egy valós felhasználói azonosítóhoz tartozó inotify példányok maximális száma.
max_queued_events: az inotify példányhoz várólistán váró események maximális száma.
Olvasd le az értékeket a saját gépeden ahelyett, hogy egy fix Linux alapértelmezett beállítást feltételeznél. Az itt látható számok példák, nem ajánlott értékek.
Ne keverjük fs.inotify.max_user_watchesössze a következővel fs.epoll.max_user_watches: . Ezek különböző kernel mechanizmusok. Ennél a hibánál általában az inotify elérési út számít.
3. lépés: Keressen olyan folyamatokat, amelyek sok figyelőt használnak
A kernel minden egyes folyamat /proc/<pid>/fdinfobejegyzésében közzéteszi az inotify figyelési információkat. A proc_pid_fdinfo(5) dokumentációja szerint a „jellel” kezdődő sorok inotifya figyelt fájlokat vagy könyvtárakat írják le.
Egy gyors áttekintéshez ez a parancs megjeleníti azokat az inotify sorokat, amelyeket az engedélyeid engedélyeznek az olvasáshoz:
sudo grep -H '^inotify' /proc/[0-9]*/fdinfo/* 2>/dev/null | head -n 50
A jelenlegi felhasználóra vonatkozó hasznosabb folyamatonkénti becsléshez használja a következőt:
Ezt a kimenetet inkább diagnosztikai becslésként, mint tökéletes elszámolásként kezeljük, különösen akkor, ha a fájlleírók meg vannak osztva. Célja a nyilvánvaló szabálytalanságok, például több régi fejlesztői szerver, duplikált IDE-példányok vagy több figyelő ugyanazon a nagyméretű adattáron belül, feltárása.
Az ellenőrzés /proc/*/fdinfo/*feltárhatja, hogy mely folyamatok tartalmazzák az inotify figyelőleírókat. A bemutatott PID-k és inode-értékek illusztrációk.
4. lépés: Állítsa le az elavult figyelőket, és próbálja újra a korlát emelése előtt
Ha olyan fejlesztői szervereket vagy eszközöket találsz, amelyekre már nincs szükséged, először a szokásos módon zárd be őket. Egy figyelő-erős szerkesztő vagy fejlesztői szerver újraindítása szintén feloldhatja a hosszan futó munkamenetek által hátrahagyott figyelőket. Kerüld a túl általános killallparancsok használatát, hacsak nem tudod pontosan, hogy mit fog leállítani.
A gyanús folyamatok bezárása után futtasd újra az eredeti parancsot. Ha most már működik, akkor lehet, hogy egyáltalán nincs szükség kernelmódosításra. Az ismételt kimerülés azonban arra utal, hogy a munkaterhelésnek jogosan van szüksége több figyelésre, vagy hogy az eszköz túl sokat figyel.
Csak azt a folyamatot indítsd újra, amelyet felismersz, és amely nagy mennyiségű figyelőt igényel. A pkillpélda illusztráció; használd a tényleges folyamatnevedet, és ha lehetséges, részesítsd előnyben az alkalmazás normál leállítását.
5. lépés: Teszteljen ideiglenesen magasabb max_user_watches értéket
A futásidejű sysctl módosítás azért hasznos, mert tesztelhető, mielőtt állandóvá tennénk. Először rögzítsük az aktuális értéket:
sysctl fs.inotify.max_user_watches
Ezután válasszon egy olyan értéket, amely elég nagy a megfigyelt munkaterheléshez. Például, ha szándékosan úgy dönt, hogy 524 288 órát tesztel:
sudo sysctl fs.inotify.max_user_watches=524288
Ez egy példaérték, nem univerzális ajánlás . Az inotify korlátok a korlátozott kernel erőforrás-fogyasztásra vonatkoznak, így a munkaterhelés ismerete nélkül emelésük nem ingyenes. Jobb megközelítés a mért lépésekben növelni, újrapróbálkozni az alkalmazással, és leállítani, ha elegendő tartalék áll rendelkezésre.
Egy futásidejű sysctl módosítással azonnal tesztelhetsz egy új figyelői felső határt. Itt az 524 288 csak egy példa tesztértékre.
A sysctl(8) kézikönyv a kernel paraméterek futásidejű olvasását és módosítását dokumentálja.
6. lépés: A tesztelt érték állandóvá tétele
Ha az ideiglenes módosítás megoldja a problémát, és az érték megfelelő a gépednek, akkor tárold el egy sysctl konfigurációs fájlban. systemd alapú disztribúciókon a helyi rendszergazda konfigurációt helyezhet el a mappában /etc/sysctl.d/*.conf. A systemd sysctl.d dokumentációja elmagyarázza, hogy a mappában található fájlok /etc/sysctl.d/a helyi rendszergazdai konfigurációhoz szolgálnak, és fájlnévsorrendben kerülnek feldolgozásra.
Hozz létre egy külön fájlt ahelyett, hogy a módosítást a nem kapcsolódó beállítások közé temetnéd:
sudo nano /etc/sysctl.d/99-inotify.conf
Add hozzá a már tesztelt értéket:
fs.inotify.max_user_watches=524288
Tárolja a tesztelt figyelő beállítását egy dedikált sysctl.d konfigurációs fájlban. Cserélje le a példaszámot a számítási feladathoz validált értékre.
Ha a rendszered nem használja a systemd sysctl.d folyamatát, akkor az állandó konfigurációs hely kiválasztása előtt tekintsd át a disztribúciód dokumentációját.
7. lépés: Alkalmazza az állandó konfigurációt és ellenőrizze azt
Újraindíthatod a rendszert, de ez általában felesleges. A procps sysctleszközzel rendelkező rendszereken a rendszerkonfigurációt a következőképpen kell alkalmazni:
sudo sysctl --system
Ezután ellenőrizze az aktív értéket:
sysctl fs.inotify.max_user_watches
Az aktív értéknek meg kell egyeznie a kívánt beállítással. Ha nem, akkor vizsgálja meg a kimenetét, hogy van-e sysctl --systemegy későbbi konfigurációs fájl, amely felülírja a bejegyzést. A sysctl.d elnevezési szabályai azért fontosak, mert a későbbi fájlnevek elsőbbséget élvezhetnek, ha ugyanazt a változót egynél többször rendelik hozzá.
Alkalmazd a konfigurációt, majd olvasd vissza a paramétert. Az ellenőrzés megbízhatóbb, mint feltételezni, hogy a fájl betöltődött.
8. lépés: Indítsa újra az alkalmazást, és csökkentse a szükségtelen figyelési hatókört
Indítsa el az eredetileg hibát mutató alkalmazást. Ha normálisan elindul, a kerneloldali javítás működik. Ne álljon meg itt, ha a figyelőhasználat váratlanul magas marad. Konfigurálja az alkalmazást (ahol támogatott), hogy kizárja azokat a könyvtárakat, amelyek nem igényelnek élő figyelést, például a generált build kimenetet, a gyorsítótárakat, a nagy naplókat, a szállítói fákat vagy a függőségi könyvtárakat.
A figyelési hatókör csökkentése gyakran a legjobb hosszú távú megoldás, mivel csökkenti a kernel erőforrás-felhasználását és a fájlesemények feldolgozását. Egyes eszközök tartalék megoldásként kínálják a lekérdezést, de a lekérdezés növelheti a CPU- és I/O-tevékenységet, ezért általában jobb kompatibilitási lehetőségként kezelni, mint elsődleges megoldásként.
Végső ellenőrzés: futtassa újra az eredeti fejlesztői parancsot, és ellenőrizze, hogy az elindul-e a watcher-limit hiba nélkül.
Mi van, ha a hiba továbbra is fennáll?
Ellenőrizd, hogy a max_user_instances a valódi korlátozás-e.
max_user_instanceskorlátozza az inotify példányok számát valós felhasználói azonosítónként. A hiba módja azonban más: a jelenlegi inotify_init(2) kézikönyv dokumentálja, EMFILEamikor az inotify példányok felhasználónkénti korlátját elérik. Ez azt jelenti, hogy a pontos ENOSPC figyelő üzenet közvetlenebbül a figyelőkre vagy az erőforrás-elosztásra mutat, nem pedig automatikusan a példánykorlátra.
Ne először az ulimit -n paranccsal nyúlj.
ulimit -nszabályozza a folyamat nyitott fájlleíróinak korlátját. A fájlleírók az inotify példányokhoz kapcsolódnak, de egy inotify példány sok figyelőt tartalmazhat. A nyitott fájlok korlátjának emelése ezért nem közvetlen megoldás a inotify_add_watch()által okozott ENOSPC- re max_user_watches.
Előfordulhat, hogy a konténerek nem tudják módosítani ezt a sysctl-t.
A Docker dokumentálja, hogy nem minden sysctl névtérrel rendelkezik, és hogy nem támogatja a konténer sysctl-jeinek olyan módosítását, amely módosítaná a gazdagépet. Ha a hibás munkaterhelés a Dockerben fut, és fs.inotify.max_user_watchesa gazdagép kernelje vezérli, akkor a módosítást a megfelelő gazdagépen vagy virtuális gépen kell elvégezni ahelyett, hogy egy nem privilégiumozott konténerből kényszerítenénk ki. Lásd a Docker futásidejű sysctl dokumentációját .
Gyakori hibák, amelyeket el kell kerülni
Feltételezve, hogy az ENOSPC mindig megtelt lemezt jelent. Az inotify rendszerhívás explicit módon használja az ENOSPC-t a watch-limit/resource hibák esetén.
A max_queued_events értékének módosítása max_user_watches helyett. A várólista-korlát a függőben lévő eseményeket szabályozza, nem pedig azt, hogy egy felhasználó hány fájlrendszer-objektumot figyelhet.
Hatalmas érték beállítása mérés nélkül. Az Inotify korlátozások a kernel erőforrás-felhasználását korlátozzák; szándékosan növeljük.
Állandó módosítás végrehajtása tesztelés előtt. Egy ideiglenes sysctlmódosítást könnyebb validálni és visszavonni.
A duplikált figyelőfolyamatok elfelejtése. Több szerkesztő, fejlesztői szerver vagy szinkronizáló eszköz is használhatja ugyanazt a felhasználónkénti készletet.
A sudo parancs használata sudo echo value > /proc/...és várakozása az átirányítás lefedésére. A shell a futtatás >előtt végrehajtódik sudo. Használja sudo sysctl ...helyette.
Gyors diagnosztikai ellenőrzőlista
Kérdés
Parancs vagy művelet
Mit mond neked
Ez az ENOSPC megfigyelő formája?
Olvassa el a teljes alkalmazáshibát
Elválasztja a figyelő kimerülését a lemezterülettől. ENOSPC
Mi a megfigyelői korlátom?
sysctl fs.inotify.max_user_watches
Megjeleníti a felhasználónkénti aktív nézési korlátot
Mely folyamatok használják az inotify-t?
Ellenőrzés/proc/<pid>/fdinfo
Segít megtalálni az elavult vagy a megfigyelőközpontokban nehezen megtalálható folyamatokat
Meg tudom oldani kernel módosítás nélkül?
Zárja be a duplikált/elavult figyelőket, és próbálja újra
Kiadja a meglévő órákat
Egy magasabb limit megoldja a problémát?
sudo sysctl fs.inotify.max_user_watches=VALUE
Azonnal teszteli a futásidejű értéket
Túléli a javítás az újraindítást?
Használat /etc/sysctl.d/*.confés ellenőrzés
Egy tesztelt beállítást állandóvá tesz
Elsődleges dokumentáció
Az itt leírt viselkedés a Linux kernel felhasználói tér felületének dokumentációjából, a proc fájlrendszer dokumentációjából, a systemd sysctl.d dokumentációjából és a Docker futásidejű dokumentációjából származik. A legfontosabb részletekért lásd az inotify(7) , inotify_add_watch(2) , proc_pid_fdinfo(5) és sysctl.d(5) fájlokat .