Az igazán nagy szöveg- és CSV-fájlok megnyitása


Az MS Excel 1 048 576 sort képes megjeleníteni. Noha ez normál használat mellett nagyon nagy számnak tűnhet, számos forgatókönyv létezik, amikor ez nem elég.

Akár naplófájlokat, akár nagy adathalmazokat néz, könnyen találkozhat milliónyi sort tartalmazó CSV-fájlokkal vagy hatalmas szövegfájlokkal. Mivel a Excel nem támogatja ekkora fájlokat, pontosan hogyan kell megnyitni őket? Nézzük meg.

Miért nem nyithatnak meg a normál szövegszerkesztők igazán nagy fájlokat?

A számítógép gigabájt tárhellyel rendelkezik, ezért miért nem tudnak a szövegszerkesztők megnyitni a nagy fájlokat?

Két tényező játszik szerepet itt. Egyes alkalmazások keménykódolt korláttal rendelkeznek arra vonatkozóan, hogy mennyi adatot jeleníthetnek meg. Nem számít, mennyi memóriája van a számítógépének, egyszerűen nem fogják használni.

A második probléma a RAM. Sok szövegszerkesztőnek nincs szigorú korlátozása a sorok számára, de a memória korlátai miatt nem tudja megjeleníteni a nagy fájlokat. A teljes fájlt betöltik a rendszer RAM-jába, így ha ez a memória nem elég nagy, a folyamat meghiúsul.

1. módszer: Ingyenes szerkesztők használata

A rendkívül nagy szövegfájlok megtekintésének legjobb módja egy szövegszerkesztő használata. Nem akármilyen szövegszerkesztő, hanem a kódírásra szolgáló eszközök. Az ilyen alkalmazások általában gond nélkül kezelik a nagy fájlokat, és ingyenesek.

Az

Nagy szöveges fájlnézegető valószínűleg a legegyszerűbb ezek közül az alkalmazások közül. Nagyon könnyen használható, gyorsan működik, és nagyon alacsony erőforrás-igénye van. Az egyetlen hátránya? Nem tudja szerkeszteni a fájlokat. De ha csak nagy CSV-fájlokat szeretne megtekinteni, ez a legjobb eszköz a feladathoz.

Nagy szövegfájlok szerkesztéséhez is próbálkozzon a Emacs lehetőséggel. Eredetileg Unix rendszerekre készült, Windowson is tökéletesen működik, és nagy fájlokat is tud kezelni. Hasonlóképpen, a Neovim és a Magasztos szöveg két könnyű IDE, amelyek segítségével gigabájt méretű CSV szövegfájlokat lehet megnyitni.

Ha csak nagyméretű naplófájlokban keres adatokat, akkor az klogg az Ön számára megfelelő eszköz. A népszerű glogg frissítő ága, ez az alkalmazás lehetővé teszi, hogy könnyedén végezzen összetett keresési műveleteket hatalmas szöveges fájlokon keresztül. Mivel a számítógéppel generált naplófájlok gyakran több millió sort is tartalmazhatnak, a klogg úgy lett kialakítva, hogy probléma nélkül működjön ilyen méretű fájlokkal..

2. módszer: Felosztás több részre

Az egész probléma a nagy CSV-fájlok megnyitásával az, hogy túl nagyok. De mi lenne, ha ezeket több kisebb fájlra osztaná fel?

Ez egy népszerű megoldás, mivel általában nem kell megtanulni egy új szövegszerkesztő felületét. Ehelyett használhatja a egyike a sok online elérhető CSV-elosztónak -t, hogy a nagy fájlt számos könnyen megnyitható fájlra bontsa. Ezek a fájlok ezután a szokásos módon elérhetők.

Ez azonban nem a legjobb módja ennek. Egy nagy fájl felosztása gyakran furcsa elírási hibákhoz vagy helytelenül konfigurált fájlokhoz vezethet. Ezen túlmenően, ha minden egyes darabot külön nyit meg, akkor nem tudja egyszerre szűrni a teljes adatot.

3. módszer: Importálás adatbázisba

A több gigabájtig terjedő szöveges és .csv fájlok általában nagy adathalmazok. Miért nem importálhatja őket egyszerűen egy adatbázisba?

Az SQL a manapság leggyakrabban használt adatbázis-leíró nyelv. az SQL számos verziója van használatban, de a legegyszerűbb valószínűleg a MySQL. És szerencsére konvertálja a CSV fájlt MySQL táblává.

Ez semmiképpen sem a legegyszerűbb módszer a nagy CSV-fájlok kezelésére, ezért ezt csak akkor ajánljuk, ha rendszeresen szeretne nagy adatkészletekkel foglalkozni. Ha a MySQL túl keménynek hangzik, ehelyett mindig importálhatja .csv fájljait a MS Access -be.

4. módszer: Elemzés Python könyvtárakkal

Amikor több millió adatsort tartalmazó .csv-fájllal dolgozik, nyilvánvalóan nem lesz képes kézzelfoghatóan értelmezni. Valószínűleg szűrni szeretné az adatokat, és konkrét lekérdezéseket szeretne futtatni a trendek megértése érdekében.

Tehát miért nem írjon Python kódot teszi ezt?

Még egyszer mondom, nem ez a legfelhasználóbarátabb módszer. Míg a A Python nem a legnehezebben megtanulható programozási nyelv kódolást végzi, lehet, hogy nem ez a legjobb megközelítés az Ön számára. Ennek ellenére, ha naponta nagyon nagy CSV-fájlokat kell elemeznie, érdemes lehet automatizálja a feladatot valamilyen Python kóddal.

5. módszer:  Prémium eszközökkel

Az első módszernél látott szövegszerkesztők nem CSV-feldolgozásra szánt eszközök voltak. Általános célú eszközök voltak, amelyekkel nagy .csv fájlokkal is lehetett dolgozni.

De mi a helyzet a speciális alkalmazásokkal? Nincsenek olyan alkalmazások, amelyek a probléma megoldására lettek létrehozva?.

Valójában vannak. A CSV Explorer például arra a folyamatra épít, amelyet az előző két módszerben (SQL-adatbázis és Python-kód) leírtunk, és létrehoz egy alkalmazást, amely képes bármilyen méretű CSV-fájlok megtekintésére és szerkesztésére. Mindent megtehet, amit egy táblázatkezelő eszköztől elvár, például grafikonokat hozhat létre, vagy szűrheti az adatokat a CSV Explorerben.

Egy másik lehetőség a UltraEdit. Az előző eszközzel ellentétben ez nem csak .csv fájlok, hanem bármilyen típusú szövegfájl számára készült. Könnyedén képes kezelni néhány gigabájtig terjedő szöveges és CSV-fájlokat, a korábban tárgyalt számos ingyenes szerkesztőhöz hasonló felülettel.

Ezeknek az eszközöknek az egyetlen hátránya, hogy prémium alkalmazások, használatukhoz fizetős licenc beszerzése szükséges. Bármikor kipróbálhatja ingyenes próbaverziójukat, hogy megtekinthesse a funkcióikat, vagy ha csak egyszer használja.

Mi a legjobb módja a nagyméretű szöveg- és CSV-fájlok megnyitásának?

A Big Data korszakában nem ritka, hogy gigabájtos szövegfájlokba futnak bele, amelyeket még a beépített eszközökkel, például a Jegyzettömbbel vagy az MS Excellel is nehéz megnézni. Az ilyen nagy CSV-fájlok megnyitásához le kell töltenie és használnia kell egy harmadik féltől származó alkalmazást.

Ha csak ezeket a fájlokat szeretné megtekinteni, akkor a Large Text File Viewer a legjobb választás az Ön számára. A tényleges szerkesztéshez kipróbálhat egy funkciókban gazdag szövegszerkesztőt, például az Emacs-t, vagy választhat egy prémium eszközt, például a CSV Explorert.

Az olyan technikák, mint a CSV-fájl felosztása vagy adatbázisba importálása, túl sok lépést igényelnek. Jobb, ha fizetős licencet szerez egy dedikált prémium eszközhöz, ha sokat dolgozik hatalmas szöveges fájlokkal.

.

Kapcsolódó hozzászólások:


24.10.2021