Logelemző Blog

Minden, ami a naplógyűjtéssel, logelemzéssel, SIEM logelemző eszközökkel kapcsolatos. Technikai leírások és hírek a loggyűjtéssel kapcsolatban.

Rovatok

Linkek

Naplógyűjtés, naplóelemzés a gyakorlatban

2012.07.16. 15:39 bvamos

PSZÁF felügyelete alá tartozó cégek törvényi kötelezettségei

Címkék: naplóelemzés PSZÁF logelemzés

Idézet a Pénzügyi Szervezetek Állami Felügyeletének 1/2007. számú módszertani útmutatója a pénzügyi szervezetek informatikai rendszerének védelméről c. dokumentumból ill. a Mpt., Öpt., Bszt., Hpt. törvényekből:

A módszertani útmutató a Hpt., a Tpt., Bszt., az Mpt. és az Öpt. hatálya alá tartozó pénzügyi szervezeteknél működtetett informatikai rendszerekre terjed ki.”

 

A biztonsági kockázatelemzés eredményének értékelése alapján a biztonsági kockázattal arányos módon kell gondoskodni olyan biztonsági környezetről, amely az informatikai rendszer működése szempontjából kritikus folyamatok eseményeit naplózza és alkalmas e naplózás rendszeres (esetleg önműködő) és érdemi értékelésére, illetve lehetőséget nyújt a nem rendszeres események kezelésére,”


Talán ismerősek a fenti idézetek, de ha nem, akkor mindenképpen érdemes a témában tájékozódni, mert a törvény, az törvény. Manapság már nem lehet elégséges olyan kifogás, hogy tervezés alatt van a rendszer bevezetése, vagy nincs rá elég pénz. Fontos megjegyeznem, hogy én személy szerint már 5-6 évvel ezelőtt is voltam "szenvedő alanya" olyan PSZÁF ellenőrzésnek, ahol a naplók központi gyűjtése önmagában már nem volt elégséges megoldás a jelentésben. Ugyanakkor még a múlt héten is találkoztam olyan pénzügyi intézménnyel, ahol gyakorlatilag nincs működő megoldás még a logelemzésre.

 

De vajon mit is takar pontosan a fenti idézet és milyen tévhitekkel találkoztam már ennek kapcsán?

 

Biztosan felfigyelt Ön is a "biztonsági kockázattal arányos módon" kifejezésre. Ez lehet a kiskapu? Természetesen ez enged némi mozgásteret a különböző megoldások kiválasztásánál, de azért azt ne gondoljuk, hogy az alsó határ a semmilyen megoldás.

 

A lényeg mindenképpen az, hogy kell valami, ami a szervezet rendszerei által generált naplókat összegyűjti, eltárolja és ezáltal lehetővé teszi azok visszakereshetőségét. Azt gondolom, hogy eddig a pontig még elfogadható lenne bármilyen módszer, ami ezt biztosítja. Működőképes lehet, ha tudom, hogy:

  • milyen rendszereim vannak, mit és hova naplóznak,
  • hol vannak a logjaim, mi van bennük
  • hogyan találom meg a számomra fontos adatokat és hogyan értelmezem az ezekből nyerhető információt.

Minden más csak technológia.

Ugyanakkor elég gyorsan eljuthatunk arra a szintre, hogy ezt az egész folyamatot automatizálni kell, a feladatokat kényelmesebbé és gyorsabbá tenni.

Központosítás

Nagy számú logforrás esetén talán az első feladat, ami megfogalmazódik, hogy ne kelljen mindne egyes hosztra külön belépnem, ha a naplókban akarok keresni. A feladat egyszerű, tároljuk egy helyen a naplókat, rendszerezzük mondjuk forrásonként, idő szerint. Ez több szempontból is nagyon jó:

  • gyorsan hozzáférek az adatokhoz
  • könnyen tudom archiválni a logokat
  • biztonsági felelősként kontrollt tudok gyakorolni az üzemeltetők fölött, feltéve, hogy nem férnek hozzá felügyelet nélkül a logokhoz

Persze azonnal felmerülnek az újabb kérdések:

  • van-e, kell-e ugyanolyan rendelkezésre állás a gyűjtőmnek, mint a logforrásoknak?
  • ki üzemelteti a központi loggyűjtőmet?
  • hogyan ellenőrzöm, hogy minden logforrásról jön-e a log?
  • és még folytathatnám....

Elemzés

Na ez már egy sokkal tágabb fogalom. A törvényben az "érdemi értékelés" és a "nem rendszeres események kezelése" már arra utal, hogy azért egy központi tároló és egy vi/notepad nem feltétlenül elégséges megoldás.

A lehetséges eszközök száma, funkciója, elérhetősége, ára széles skálán mozog. Ugyanolyan elterjedtek a home-grown (házon belüli) megoldások, mint a dobozos termékek. Terjed a LaaS szolgáltatatás is (Logging as a Service), bár ez Magyarországon bizonyos félelmek miatt nem preferált egyelőre.

Ne tegyük le a voksot látatlanban egyik mellett sem. Bármelyik lehet elég jó, sőt kitűnő megoldás is.

Tévhitek

Magasan vezeti a listát az az elképzelés, hogy vannak olyan termékek, amik out-of-the-box biztosítják a megfelelőséget, azaz "rajtuk van a PSZÁF pecsétje". Ha tüzetesen elolvassuk a törvényt és a PSZÁF fent nevezett útmutatóját, látni fogjuk, hogy nincsenek konkrétumot. Elérendő célok vannak, és rengeteg különböző rendszer. A PSZÁF nem definiál konkrét listákat, lekérdezéseket, szemben bizonyos iparági szabványokkal. Az ajánlások alapján minden szervezetnek magának kell megállapítania, mik "a rendszer működése szempontjából kritikus folyamatok", mit kell gyűjteni és elemezni.


Összefoglalva

Azt gondolom, hogy nem kell tartanunk semmilyen audittól, ha

  • van szabályzatunk, ami leírja az elvárt működést, osztályozza a rendszereinket, adatainkat
  • és ennek megfelelően működünk
  • automatizáltan gyűjtjük a naplókat egy központi helyre
  • vannak automatizált folyamatok a kritikus és váratlan események kiszűrésére
  • és mindezt álmunkból felébresztve is tudjuk produkálni.

Szólj hozzá!

2012.06.25. 18:53 bvamos

Elkülönített naplóelemzés

Címkék: naplóelemzés LOGalyze logelemzés logelemző BigData

Napjainkban a naplók központi gyűjtésének és elemzésének fontossága egyre gyakrabban kerül előtérbe. Ennek a folyamatnak a természetes velejárója, hogy a begyűjtött adatok mennyisége óriási, egy adott időszeletre egyre több független logsor jut. A nagy mennyiségben egyre nehezebb az eligazodás, nem is beszélve az adathalmaz kezeléséről.
Logsorok millióinak, milliárdjainak kezelését teszi könnyebbé a LOGalyze új fejlesztése, aminek segítségével átláthatóbbá válik az indexelt adatok kezelése.

A LOGalyze a logforrásokból kapott ill. begyűjtött naplókat felismeri, értelmezi, felbontja. A bemeneti adatok feldolgozásának folyamán a LOGalyze a nyers logokból kinyert információt indexekben, a nyers logokat tömörített fájlokban tárolja és kezeli a két halmaz közötti kapcsolatokat. Az indexeket a könnyű kezelhetőség érdekében a fájlrendszeren tárolja, kezelésükhöz nincs szükség külön adatbáziskezelő rendszerre. A LOGalyze könnyű és gyors keresést, megjelenítést biztosít, melynek alapja a jól struktúrált index halmaz.

Az elemzés nagy gyakorlatot, sok tapasztalatot igénylő, ugyanakkor intuitív tevékenység. A nagy adathalmazban való eligazodás rendkívül nehéz feladat. A LOGalyze alapvető tulajdonsága, hogy az indexelés alatt már nevesített mezőket használ, rendkívüli mértékben megkönnyíti a visszakeresést. Ehhez hozzájárul a logból kinyert és a begyűjtés során generált és metaadatként letárolt időpecsét, ami elsődleges szűrőként funkcionál egy keresés elindításához, jól meghatározott időablak megadásával.

A valós idejű gyűjtés mellett sokszor felmerül az igény már archivált adatok, vagy utólag bevont logforrások naplóinak utólagos elemzésére. Ezt a feladatot segíti az indexek elkülönített tárolása. A felhasználónak lehetősége van az alapértelmezett és rendszer indexek mellett egyedi, nevesített indexek létrehozására. A létrehozott index struktúrát aztán a kollektorok segítségével lehet megcélozni. A gyűjtési folyamat ekkor úgy módosul, hogy az adott kollektoron keresztül beérkező adatok a meghatározott indexben tárolódnak, fájl rendszer szinten elkülönítve a többi adattól. Az elemzés egyéb részeit a szeparáció nem érinti, a különböző indexekben tárolt adatok egymással ugyanúgy korrelálhatók, az aggregált adatokat kezelő alrendszer számára az indexstruktúra teljesen transzparens.

A felhasználó a webes felületen keresés közben a jól megszokott kereső dobozt használva név szerint hivatkozhat a létrehozott indexre, ezzel egy újabb szűkítést adva a kereső kifejezéshez. Ezzel nem csak a keresés hatékonyságát fokozza, de biztosítja azt is, hogy a keresés eredményeképpen megjelenő adathalmaz csak a számára szükséges forrásból dolgozzon, azaz az erre a célra létrehozott nevesített indexből.

Az új, kibővített index struktúra másik hasznos funkciója, hogy lehetővé teszi az indexek online kezelését. Segítségével a felhasználó nem csak létre tud hozni új indexet, de menet közben le is tud csatolni a régit. A lecsatolt index kikerül a feldolgozásból, archiválható, de szükség esetén ugyanilyen könnyen újból bevonható az elemzési tevékenységbe.


A LOGalyze egy gyorsan implementálható, könnyen kezelhető log management eszköz. Célja a központi helyre gyűjtött, heterogén környezetből származó, nagy mennyiségű napló tárolásának, elemzésének biztosítása. Képes az adatok begyűjtése utáni felbontásra, osztályozásra. Aggregál, egyszerű és korrelációs eseményeket kezel, melyeknek eredményét képes visszacsatolni az elemzési folyamat elejére. Webes felülete kényelmes keresést, jelentéskészítést biztosít, ezen keresztül a teljes rendszer átlátható, adminisztrálható.

Szólj hozzá!

2012.04.24. 20:34 bvamos

Az üzleti élet fókuszába került a logelemzés

Címkék: tőzsde Splunk logelemző BigData

A Splunk elmúlt heti rendkívül sikeres tőzsdei indulása minden bizonnyal még jobban ráirányítja a figyelmet az ún. Big Data szegmensre. Az, hogy egy szoftver gyártó részvényeit ennyire sokra értékeli a piac, egyértelműen azt jelenti, hogy a szoftverre szükség van. A Splunk esetében ehhez még az is hozzájárult, hogy a termék bizonyítottan gyorsan üzembe helyezhető, könnyen használható és az igényekhez igazodva skálázható is. Ezek a tulajdonságok pedig egyenesen oda vezetnek, hogy a termékért megéri az átlagosnál magasabb licenc díjakat is fizetni. Nyilvánvaló azonban, hogy egy ilyen siker az egész ágazatot felfelé húzza. Biztosan nincs olyan gyártó a piacon, aki a Splunk sikerén felbuzdulva nem gyorsít bele.

Kiváncsian várom, hogy felpezsdül-e a piac, hogy ki lesz a következő. Jelentkezők akadnak, számos konkurens fejlődik látványosan mind a dobozos szoftver, mind a SaaS jellegű termékeknél.

Szólj hozzá!

2012.04.24. 10:20 bvamos

Melyik a hasznosabb a logok elemzéséhez, a GUI vagy a CLI?

Címkék: ingyenes cli LOGalyze LOGalyze-CLI

Az ember alapvetően vizuális lény. Kivéve a linux rendszergazdát. Nekik (nekünk) van egy megkülönböztető tulajdonságuk: nem szeretik az egeret. Ez alapvetően nem nagy baj, sőt, az esetek többségében nem csak gyorsítja a munkát, de a kreatív gondolkodást is fejleszti.

Aki szerver oldali környezetben dolgozik, annak nem meglepő, hogy nagyon sok szoftverhez - amik alapvetően grafikus felülettel rendelkeznek -, elérhető egy parancssoros kliens is, ez a CLI (Command Line Interface). Ez nem csak linux/unix esetén igaz, a Windows szervernek is számos hasznos CLI-s eszköze van, és a rajta futó szoftvereknek is.

A logok elemzése ebből a szempontból érdekes kérdés, azt gondolhatnánk, hogy ez alapvetően vizuális folyamat, semmi szükség parancssoros varázslásokra. De használat közben hamar felmerül az igény arra, hogy egy gyorsan összedobott egysorossal (one-liner) kicsit átalakítsuk a kinyert adatokat, további információkat szedjünk ki belőlük.

Vannak egyéb igények, amik megkövetelik a CLI-t:

  • a logelemzők nagy adatmennyiségeket kezelnek. Egy webes felület ugyan manapság már nem befolyásolja a keresések sebességét, de a megjelenített adatok mennyiségét korlátozza
  • egy GUI kötötté teszi a megjelenítés formátumát, utólagos feldolgozása, átalakítása nehéz
  • nagy mennyiségű adat feldolgozása, exportja nehézkes, ráadásul sokkal nehezebben oldható meg GUI-n keresztül, mint parancssorból
  • egy GUI-n keresztül a funkciók automatizált/időzített futtatása bonyolult

A termék kiválasztásánál fontos szempont lehet, hogy milyen felületen/interfészen keresztük biztosítja a funkciói elérhetőségét, és van-e különbség az egyes interfészek által biztosított lehetőségek közül.

A LOGalyze logelemző motorja egy szabványos SOAP API-t biztosít, ami lehetővé teszi bárki számára, hogy saját kliens oldali csatolót készítsen. Mivel a LOGalyze Admin GUI is ezen keresztül csatlakozik az Engine-hez, biztosan lehetünk abban, hogy a CLI-vel minden olyan funkció elérhető/megvalósítható, ami a GUI-n keresztül.

A LOGalyze-CLI egy open-source project, ami ingyenesen elérhető minden LOGalyze felhasználó számára. Letölthető a https://sourceforge.net/projects/logalyze-cli/ weboldalról. Perl nyelven íródott, gyakorlatilag platformfüggetlen, gyors, könnyen telepíthető és használható.

Nézzük meg, hogyan!

A LOGalyze SOAP API alapvetően 2 típusú webszolgáltatást nyújt:

  • az egyik csoportba olyan függvények tartoznak, amik session-től függetlenül hívhatók egy authentikációs kulcs (authkey) megadásával, amit az engine konfigurációs fájlja tartalmaz. Ide alapvetően monitoring jellegű funkciók tartoznak: belső feldolgozó sor méretének lekérdezése, stb.
  • a másik csoportba tartozó függvények futtatása felhasználóhóz kötött, ezek megkövetelik a session létezését, ezért ezeket csak egy sikeres login függvényhívás után lehet elérni.

Példa: Session indítása, login

Egyszerű, mint a pofon:

./logalyze-cli.pl login --username admin --password logalyze

Sikeres azonosítás után az engine létrehozza a a session-t és visszad egy session id-t, amit a kliens lement egy fájlba. Ezután minden híváskor automatikusan hozzáadja ezt a HTTP fejléchez, így működik a LOGalyze API-ja.

Példa: Statisztikai adatok lekérdezése és feldolgozása

./logalyze-cli.pl getStatData --statDefId 7e9080f6-8c60-4610-92d0-28bc63c28cc5 --fromDate 1333309490000 --toDate 1333409490000 --dimension loghostname

Ez egy meglévő statisztika definícióból adja vissza az összegyűjtött adatokat CSV formátumban:

1333364400000,host1,1
1333368000000,host2,46
1333371600000,host2,49
1333375200000,host2,120
1333378800000,host2,101
1333382400000,host1,92
1333386000000,host2,18

Ebből könnyen csinálhatunk egy  olyan listát, amiben az egyik mező szerint csoportosítva és összegezve kapjuk meg az adatokat:

./logalyze-cli.pl getStatData --statDefId 7e9080f6-8c60-4610-92d0-28bc63c28cc5 --fromDate 1333309490000 --toDate 1333409490000 --dimension loghostname | grep ',' | awk -F ',' '{SUM[$2]+=$3;} END { for(i in SUM) print i, SUM[i] }'

A kimenet pedig:

host1 93
host2 334

Azt hiszem egyetértünk abban, hogy egy minden szükséges funkciót biztosító CLI elengedhetetlen még egy olyan szoftver mellé is, ami alapvetően vizuális formában jeleníti meg az adatokat.

Szólj hozzá!

2012.03.08. 14:55 bvamos

LOGalyze Online demó

Címkék: demo ingyenes LOGalyze

LOGalyze Online demo

Próbálja ki a LOGalyze-t élőben! Egy e-mail cím megadás után megkapja a a hozzáférési adatokat, és kipróbálhatja a LOGalyze 4-et éles környezetben.

Szólj hozzá!

süti beállítások módosítása