ITware · AI4TEST

A ticketből tesztelt pull request

Az AI4TEST nemcsak kódot generál: elvégzi a specifikáció bővítését, megírja a módosítást, lefuttatja a projekt saját tesztjeit, és statikus elemzést is végez – mindezt izolált sandboxban, a végén nyitott pull requesttel és frissített ticketállapottal.

  • 4feladattípus egyetlen, prioritásos futtatóban
  • KVMmicroVM izoláció minden egyes futáshoz
  • 3féle módon hozható be a kód a rendszerbe
A ticket útja: specifikációbővítés, sandboxban futó fejlesztés és tesztelés, végül pull request

A kihívás

A generált kód önmagában még nem kész munka

Ahol a kódgeneráló eszközök megállnak

  • A ticket leírása hiányos: a kivételek és az üzleti indoklás nincsenek benne
  • Nincs visszacsatolás – a generált kódot senki nem futtatja le
  • A biztonsági és akadálymentességi szempontok kimaradnak
  • Az ellenőrizetlen kód futtatása a fejlesztő gépén vagy a szerveren kockázatot jelent
  • A folyamat kézi: valakinek branchet kell létrehoznia, commitolnia és pull requestet nyitnia

Amit az AI4TEST hozzátesz

A rendszer a teljes kört lefuttatja: a specifikációt először kibővíti, és rákérdez arra, ami hiányzik belőle; a kódot izolált, eldobható microVM-ben írja és futtatja; a projekt saját tesztparancsával ellenőriz; hiba esetén a hibaüzenettel újrapróbálkozik; végül commitolja és pusholja a változást, majd pull requestet nyit.

A cél nem a gyorsabb kódgenerálás, hanem az, hogy a végén ellenőrzött, átnézhető változás álljon elő.

Miért az AI4TEST?

Tesztelt pull request, nem nyers kódjavaslat

Az általános kódgeneráló eszközök a javaslatnál megállnak. Az AI4TEST a projekt saját tesztjeivel ellenőrzi a változást, izolált környezetben futtat, és csak átnézhető eredményt ad át.

A meglévő tesztkészletre épít

Nem kell új keretrendszer: a projekt saját tesztjei futnak, bármilyen eszközzel készültek – elég, ha egyetlen parancssori paranccsal indíthatók.

Újrapróbálkozás a hibaüzenet alapján

Ha a teszt elbukik, a fejlesztés a hibaüzenettel kiegészítve újra lefut, pull request pedig csak sikeres eredményből nyílik.

Izolált, eldobható sandbox

Minden futás saját microVM-ben fut, szűkített jogosultságokkal; a végén a sandbox és a munkakönyvtár is törlődik.

Biztonság és akadálymentesség beépítve

OWASP Top 10, WCAG és kódminőségi elemzések a ticketektől függetlenül is futtathatók, a projekt saját előírásaival együtt.

Kinek szól?

Csapatoknak, amelyeknél a tesztelés a szűk keresztmetszet

A folyamatos kiadások korában a kézi tesztelés és a tesztek karbantartása elviszi a QA-kapacitás jelentős részét. Az AI4TEST ezeknek a csapatoknak készül.

Szoftverfejlesztő cégek és enterprise IT

Nagy léptékű termék, folyamatos integráció – minden változásnak ellenőrzöttnek kell lennie

CI/CD-t használó szervezeteknek, ahol minden módosítást a projekt saját tesztjei igazolnak, mielőtt átnézik.

Agilis csapatok és fejlesztési ügynökségek

Gyors sprintek, kevés idő a kézi ellenőrzésre

A ticketből tesztelt pull request lesz, a csapat pedig a kód átnézésére és a döntésekre koncentrálhat a rutinszerű fejlesztés és ellenőrzés helyett.

Banki, biztosítási és enterprise rendszerek

Ahol egy regressziós hiba üzleti kockázat

Legacy és modern rendszereket egyszerre üzemeltető szervezeteknek: izolált futtatás, nyomon követhető ticketállapotok és biztonsági elemzés minden változáshoz.

SaaS és saját terméket építő cégek

A kézi tesztelés ne lassítsa a piacra jutást

Saját digitális terméket fejlesztő vállalatoknak, amelyeknél a tesztelési kör határozza meg, milyen ütemben jelenhetnek meg az új funkciók.

Jellemzően velük egyeztetünk: QA-menedzserek, tesztmenedzserek, QA-mérnökök és CTO-k.

A futtató

Négy feladattípus, egy prioritásos sor

A feldolgozást egy ütemezett futtató végzi, amely rendszeresen elindul, és futásonként egy feladatot hajt végre – mindig a legmagasabb prioritásút. Ha egy ügyfél egyenlege elfogyott, a feladatait állapotváltás nélkül átlépi, így azok feltöltés után ott folytatódnak, ahol abbamaradtak.

1. prioritás

Tesztfutás

A projekt saját automatizált tesztjeinek lefuttatása izolált konténerben, a beállított paranccsal.

2. prioritás

Statikus elemzés

Biztonsági, akadálymentességi és kódminőségi vizsgálat – a ticketektől függetlenül, önállóan is indítható.

3. prioritás

Specifikációbővítés

A ticket leírásából bővített specifikáció: módosítási lista, tesztelési forgatókönyvek és tisztázandó kérdések.

4. prioritás

Fejlesztés

A választott coding agent meghívása a sandboxban, a rendszerprompttal és a ticket szövegével.

Ticket → pull request

  1. A ticket beolvasása

    A rendszer ütemezetten ellenőrzi a feldolgozásra kész ticketeket, kiolvassa a leírást, és az állapotát „feldolgozás alatt” értékre állítja.

  2. Klónozás és branch

    A projekt kiklónozása munkakönyvtárba, majd a tickethez tartozó branch létrehozása.

  3. Sandbox indítása

    Izolált sandbox indul a munkakönyvtárral, a tickethez beállított AI-eszköz image template-jéből.

  4. A coding agent futtatása

    A kiválasztott agent hívása headless módban, a rendszerprompttal és a ticket szövegével. A strukturált kimenet alapján a tokenfelhasználás is rögzül.

  5. Tesztelés és újrapróbálkozás

    Opcionális tesztfuttatás a beállított paranccsal. Hiba esetén a futtatás megismétlődik a javítandó hibaüzenettel kiegészített prompttal; ha a próbálkozási limitig sem sikerül, ezt a ticketen állapot és komment jelzi.

  6. Commit, push, pull request

    Siker esetén a változás commitolása és pusholása, pull request nyitása a branchről, és a ticket állapotának frissítése.

A microVM sandbox felépítése: munkakönyvtár, előre definiált image, korlátozások és eldobás a futás végén

Tesztelés

Egy parancs, izolált környezet

A projekt tesztjei akkor illeszthetők be a folyamatba, ha egyetlen CLI-paranccsal lefuttathatók. A konténer leírásához három adat kell: a Docker image, a before scriptek és a tesztelési parancs.

Eldobható microVM
Minden futás saját, KVM-alapú microVM-ben fut. A CPU- és memórialimit konfigurálható, a sandbox egress hálózati policy-t kap, a futás végén pedig a sandbox és a munkakönyvtár is törlődik.
Előre definiált image-ek
Hogy a szerveren ne futhasson ellenőrizetlen kód, csak saját készítésű image-ekből lehet választani: Python, Java (Maven, Gradle), Node és .NET.
Szűkített jogosultságok
Az image-eken minden egyéb eszköz tiltott, a felhasználó korlátozott jogosultságú (nem root), és a konténer nem tesz elérhetővé portot.
Kimenet és időkorlát
A futás stdout- és stderr-kimenete folyamatosan rögzül. Időtúllépés esetén a futás leállított állapotba kerül, a beragadt futásokat pedig ütemezett helyreállítás zárja le.

Statikus elemzések

Önállóan is futtatható vizsgálatok

Az alábbi elemzések adott projektre vagy branchre, a ticketfeldolgozási folyamattól függetlenül is elindíthatók.

OWASP Top 10 biztonsági elemzés

A kódbázis vizsgálata az OWASP Top 10 sebezhetőségi kategóriák alapján: a potenciális biztonsági rések azonosítása (injection, hibás hitelesítés, XSS és társaik) és javítási javaslatok.

Akadálymentességi elemzés

A frontend kód vizsgálata a WCAG-irányelvek alapján: hiányzó ARIA-attribútumok, kontrasztproblémák, billentyűzet-navigációs hiányosságok azonosítása és javítási javaslatok.

Kódminőségi elemzés

Két forrás alapján: a projektben már konfigurált lint/style eszközök lefuttatása, vagy egy feltöltött szabálykészlet. Utóbbinál a rendszer nem próbálja kitalálni az eszközt – kizárólag a megadott szabálykészletet használja az elemzéshez.

Specifikáció és kód összevetése

Külön szolgáltatás veti össze a specifikációt a tényleges kóddal. Ez nem sandboxban fut, hanem közvetlen modellhívással, a projekt dokumentumaiból épített vektoros (RAG) kontextussal – így a válasz a projekt saját dokumentációjára támaszkodik.

Projekt saját előírásai

Ha a repository tartalmaz agent-utasításokat vagy skilleket – például akadálymentességi, tesztelési vagy lokalizációs előírásokat –, a rendszer azokat is felhasználja.

Kutatási irány

Blackbox tesztelés ARIA-pillanatképből

A platform bővítésének egyik vizsgált lehetősége: a felhasználói felület tesztelése úgy, hogy kézzel csak a követelmények prózai leírását és az adatok sémáját írja meg valaki – a forgatókönyvet, a szelektorokat és a böngészőparancsokat a modell állítja elő az oldal élő akadálymentességi pillanatképéből. Ez a funkció még nem része a szolgáltatásnak.

A blackbox teszt pipeline négy lépése és a mögöttes elvek
A teszt nem tartalmaz adatot
Sem a forgatókönyv, sem a lefordított terv nem hordoz konkrét értéket – az adatokra csak helyőrzőkkel hivatkoznak. A tényleges értékek futásonként, külön JSON-fájlból érkeznek, sémával validálva. Így ugyanaz a terv lefut az alapeseten (happy path), a határeseteken és a következő adatkészleten is.
A futtatás nem hív modellt
A tokenköltség egyszer, a fordításkor keletkezik. Utána a terv tetszőleges alkalommal újrajátszható – API-hívás nélkül, másodpercek alatt.
STALE, nem FAIL
A terv csak azt figyeli, amihez ténylegesen hozzányúl, nem a teljes oldalt. Ha a figyelt elemek elmozdulnak, az eredmény „elavult terv”, nem pedig „hibás alkalmazás” – a kettő más reakciót kíván.
Ellenőrzés tárolás előtt
A frissen fordított forgatókönyvet a rendszer egy második adatkészlettel is újrajátssza, és csak akkor kerül a tervbe, ha úgy is lefut. Ez szűri ki azt a fajta hamis zöldet, amikor a teszt a generáláskor látott konkrét értéket ellenőrzi.

A három lépés és azok költsége

Lépés Bemenet → kimenet Mit fogyaszt
Forgatókönyv-írásprózai követelmény → forgatókönyv helyőrzőkkeltokent
Fordításforgatókönyv + élő oldal → futtatható teszttervtokent és böngészőidőt
Futtatástesztterv + adatfájlok → pass / failcsak másodperceket

!A megközelítés kipróbálása során a legértékesebb eredmény nem egy zöld teszt volt, hanem egy valós alkalmazáshiba: egy hibaüzenet, amelyet a felületen keresztül egyáltalán nem lehetett előhívni. A cél kifejezetten az, hogy az ilyesmi kiderüljön, ne pedig az, hogy csendben zöld teszt szülessen.

Bevitel és integrációk

Hogyan kerül be a kód és a feladat

Távoli Git repository

A repository URL megadása után a rendszer SSH-n klónoz, a pull requestet pedig az adott szolgáltatás REST API-ján hozza létre.

Push a beépített Git-szerverre

A platform saját Git-szerverrel rendelkezik: elég remote originként felvenni, és közvetlenül oda pusholni.

ZIP-feltöltés

A kód ZIP-ként is feltölthető: a rendszer a beépített Git-szerveren létrehoz egy repositoryt, és egy háttérfolyamat importálja bele a tartalmat.

Külső ticketrendszer

Hozzáférési token megadásával a rendszer listázza a ticketeket, kiolvassa a leírásukat, és a feldolgozás indításakor, majd a végén frissíti az állapotukat.

Beépített ticketkezelés

Külső rendszer nélkül is használható: korlátozott, rögzített állapotkészlettel – létrehozott, teendő, feldolgozás alatt, feldolgozott, és sikertelen, ha a beállított tesztelés elbukik.

Választható coding agent

Ticketenként állítható, melyik eszköz dolgozzon: helyben futtatott nyelvi modell vagy valamelyik felhőszolgáltatás parancssori ügynöke. A tokenfelhasználás mindegyiknél rögzül.

Technológia

Architektúra

Egyetlen alkalmazás, három szerepben futtatva – nincs külön worker alkalmazás. Az erőforrás-igényes és kockázatos feladatok mindig izolált sandboxban futnak.

Alkalmazás

PHP 8.4 / Laravel / Filament / Livewire alapú webalkalmazás: felhasználók, projektek, ticketek és rendszerbeállítások

Három szerep

HTTP kiszolgálás (FrankenPHP + Octane), ütemező, valamint Redis-alapú queue workerek

Futtató

Ütemezett parancs, elosztott lockkal védve; futásonként egy feladat, szinkron végrehajtással

Sandbox

KVM-alapú microVM-ek a host Docker daemonján keresztül, konfigurálható erőforrás-limitekkel

Adattárolás

PostgreSQL pgvector kiterjesztéssel (dokumentum-embeddingek), Redis (queue, cache, session, lock), objektumtároló a feltöltött fájloknak

Git és proxy

Saját Git-szerver git+SSH klónozással, commit és push műveletekkel, REST API-n nyitott pull requestekkel; előttük reverse proxy

GYIK

Gyakori kérdések

Három dolog: a tesztek egyetlen CLI-paranccsal legyenek futtathatók, és meg kell adni a Docker image-et, a before scripteket és magát a tesztelési parancsot.

Nem. Csak előre definiált, saját készítésű image-ek választhatók, ezeken minden egyéb eszköz tiltott, a felhasználó nem root, port nem nyílik, és minden futás eldobható microVM-ben fut.

A futtatás megismétlődik, a prompt kiegészül a javítandó hibaüzenettel. Ha a beállított próbálkozási limitig sem sikerül, a ticket sikertelen állapotba kerül, és komment jelzi a hibát – pull request ilyenkor nem nyílik.

Ez a választott coding agenttől függ. Az alapértelmezett eszköz helyben futtatott nyelvi modellt használ, így a kód nem hagyja el az infrastruktúrát; a felhőalapú ügynökök választása esetén viszont igen. A döntés ticketenként meghozható.

A futtató az érintett feladatokat állapotváltás nélkül átlépi, tehát nem buknak el és nem vesznek el – feltöltés után ott folytatódnak, ahol abbamaradtak.

Nézzük meg a saját kódbázisán

A leggyorsabb út egy bemutató és egy igényfelmérés: mely folyamatokat érdemes automatizálni, és mi az, amit érdemes emberi kézben hagyni.

Kapcsolatfelvétel

Kapcsolat

Beszéljünk a bevezetésről

Írja meg, milyen kódbázissal és milyen ticketkezeléssel dolgoznak – kollégáink bemutatják az AI4TEST-et, és javaslatot tesznek a bevezetés lépéseire.

  • Bemutató és igényfelmérésBemutató az Ön konkrét fejlesztési és tesztelési folyamataira szabva.
  • Pilot projektKorlátozott terjedelmű bevezetés valós repositoryn és valós ticketeken.
  • Éles bevezetésTeljes körű implementáció, oktatás és folyamatos támogatás az ITware csapatától.

info@itware.hu www.itware.hu