Hu.openoffice.org/Minőségbiztosítás/Tesztelés
OOo 3.0.1_090109 tesztelése a VLCtesttool alkalmazásával
Összefoglaló
A tesztelés célja a VCLtesttool alkalmazhatóságának felmérése az OOo FSF változat tesztelésére és a problémák kiszűrése a végleges változat kiadása előtt.
A fordítás ellenőrzésére képernyő képeket készítettem, mindenhol a scriptekben meglévő lehetőségek felhasználásával, a Base tesztek nem készítenek képernyőképet, vagy csak én nem találtam meg, hogyan aktiváljam az opciót.
Tesztelési környezet
Opensuse 10.3, AMD Athlon XP+ 1700, 256MB memória, Java 1.6.0_06
A tesztelt OOo változat
OOo_3.0.1_090109_LinuxIntel_install_hu_rpm.tar.gz
A teszt lefutásához szükséges idő
3 napot fordítottam mindegyik változat tesztelésére.
Folyamatos teszteléssel, a testtoolglue-t nem használtam, nem sikerült elsőre konfigurálnom és nem akartam több időt ráfprdítani.
A következő teszteléskor már próbálom használni mert most folyamatosan kellett figyelni, hogy mikor ért véget a teszt, hogy kezdjem a következőt.
Több változat teszteléséhez jó lenne több résztvevőt is bevonni, a tesztelési idő rövidítésére -- de ez most az álom kategóriája.
Első lépés
OOo 3.0.1RC1 Sun változat tesztelése:
26 cat0 és többi kategóriából néhány teszt elvégezve, de az eredményeket nem értékeltem ki, feltöltöttem a QUASTe alá.
Azért nem az összes cat0 mert a teszt scriptek kiválasztását nem elég tisztán értettem,
két kövtár van minden tesztelendő területnél reqired és optional,
A SUN verziót levettem mielőtt a FSF változatot feltettem.
Alapvetően azért végeztem el, hogy legyen összehasonlítási alap a második lépéshez.
6 db hiba
9 figyelmeztetés.
Második lépés
OOo 3.0.1m14 FSF(ooo-build alapú rendszer):
27 cat0 teszt:
133 db hiba
24 figyelmeztetés
Sokat nem jelentenek magukban az adatok, de egy átfogó képet adnak a tesztelésről:
Teszt script neve | |
|
| |
1
|
w_updt | |
|
|
2
|
oasis-graphics_update | |
|
|
3
|
m_updt | |
|
|
4
|
i_updt_1 | |
|
|
5
|
i_updt_2 | |
|
|
6
|
i_opt | |
|
|
7
|
f_wizards | |
|
|
8
|
f_window_functions.res | |
|
|
9
|
f_topten | |
|
|
10
|
f_tools_options | |
|
|
11
|
f_tools_customize | |
|
|
12
|
f_standard_toolbar | |
|
|
13
|
f_security_dialogs | |
|
|
14
|
f_script_organisers | |
|
|
15
|
f_printer_administration | |
|
|
16
|
f_help_browser | |
|
|
17
|
f_first | |
|
|
18
|
f-basic_dialogs | |
|
|
19
|
dba_xforms_main | |
|
|
20
|
dba_ReportBuilder | |
|
|
21
|
dba_Main | |
|
|
22
|
d_updt | |
|
|
23
|
d_opt | |
|
|
24
|
ch2_updt_calc | |
|
|
25
|
ch2_lvl1_wizard | |
|
|
26
|
c_updt_2 | |
|
|
27
|
c_updt_1 | |
|
|
|
|
|
|
A Writer és a Base tesztek hoztak elő sok hibát ezeket megismétlem.
A Writer tesztet megismételve, a hibák száma lecsökkent 16-ra, a figyelmeztetéseké 5-re, hogy ez mitől van most még nem tiszta előttem.
A Base tesztelés előtt megakartam nézni a használt java változatot, és amikor kiválasztottam volna akkor hirtelen összeomlott az OOo, terminálból indítva az OOo-t a következő hibát írta ki az összeomláskor:
/opt/openoffice.org3/program/soffice: symbol lookup error: /opt/openoffice.org3/program/../basis-link/program/../ure-link/lib/libxml2.so.2: undefined symbol: gzopen64
A telepítéskor is jelentkezett hasonló hiba üzenet, ez lehetett a Base, a tündérek és néhány más hiba forrása is, mivel ezt nem tudom elhárítani és csak újra buildelt OOo-val lehetne leellenőrizni, itt abba hagytam a tesztek ismétlését az OOo ezen változatával.
Egyes tesztek végén ha azok hibát hoztak elő és rövidebbek voltak megismételtem őket, ekkor az eredményfájlokban mindkét teszt eredménye ott van, de változás nem történt a hibák ugyan azok voltak.
Ugyan ez történt, ha egy teszt megszakadt, akkor az is szerepel benne minden teszt eredménye. (Volt áramszünet a Calc tesztelése közben)
Egyes hibákat elkezdtem ellenőrizni kézzel a testtool felhasználásával.
Megpróbáltam rájönni a scriptek felépítésére a meglévő dokumentáció alapján.
Tesztelés kiértékelése:
A tesztelés során sok hiba lépett fel az összeset nem írom ide, hanem példán keresztül mutatom be, az eredményeket, és a manuális visszaellenőrzés eredményét.
Példa, Calc első teszt:
c_updt1.bas lefuttatása eredményeként létrejött eredmény fájl a c-updt1.res:
Ennek a végén a teszt összesítés:
Duration : 0h 46m 5s
***************************************************
Figyelmeztetés: ** 3 hiba történt
** Nem volt figyelmeztetés
** Nem volt figyelmeztetés az inicializálás során
A három hiba részletesebben:
dbf fájl megnyitása, mentés dbf formátumban és a képhez makró hozzárendelés.
Mindhárom hibát reprodukálni tudtam a script eredményfájl lépéseit követve az OOo mindhárom esetben összeomlott.
Az eredmény fájlból részletek:
--------- FILE Menu (c_upd_filemenu.inc) ---------
...
tFileOpenDBF
Opening new spreadsheet document for getting defined starting environment
Open File-Open-dialog
Enter filename spreadsheet/required/input/tFileOpen_DBF.dbf
Click on Open
Check if there is no Text document opened
Check existence of import dialog
/home/r4zoli/.openoffice.org/3/user/work/screenshots36/calc/58870.bmp
A válaszra várakozás közben kiszolgáló-időtúllépés lépett fel. Sorozatszám: 309
global::system::inc::PleaseRecover: No office running while trying to recover:
Needed to close window: (1/1) on TestExit
…
…
tFileSaveAsDBF
Open new Spreadsheet document
Fill two cells (10, Test)
Open 'SaveAs' dialog
Enter filename 'dbf-Test_update'
Choose file typ dBase
Click on Save button
Commit overwrite warning if file already exists
Check alien file format warning
Commit if exists
Check existence of export encoding dialog
/home/r4zoli/.openoffice.org/3/user/work/screenshots36/calc/58870.bmp
Accept dialog by OK
A válaszra várakozás közben kiszolgáló-időtúllépés lépett fel. Sorozatszám: 462
global::system::inc::PleaseRecover: No office running while trying to recover:
Needed to close window: (1/1) on TestExit
--------- EDIT Menu Part II (c_upd_editmenu2.inc) ---------
…......
tEditImageMap
Open new Spreadsheet document
Open Insert graphic dialog via 'Insert – Picture – From File'
Set filename ' global/input/graf_inp/borabora.jpg'
Close dialog with 'OK'
Open ImageMap – dialog via 'Edit – ImageMap'
/home/r4zoli/.openoffice.org/3/user/work/screenshots36/calc/2318696448.bmp
Click on Open button
Close 'Open'-dialog with Cancel
Click on 'Save'-button
Close 'Save'-dialog with Cancel
Click on 'Ellipse'button and draw an ellipse by mouse
Click on 'Active'-button
Click on 'Macro...'-button
A válaszra várakozás közben kiszolgáló-időtúllépés lépett fel. Sorozatszám: 1590
global::system::inc::PleaseRecover: No office running while trying to recover:
Needed to close window: (1/1) on TestExit
Ugyanezt a manuális tesztet elvégeztem a FSF 3.0.0 win változata alatt is, eredmény:
A problémás műveleteket el lehetett végezni.
Az opensuse 10.3 alatt az disztribúció alatt szállított OOo 3.0.0.3.6-n végzett manuális teszt eredménye:
A problémás műveleteket el lehetett végezni.
Képernyő képek elemzése:
A készült képernyő képek manuálisan kerülnek egyesével megnyitásra és a ellenőrzésre megvizsgálva a dialógus ablakokon látható szövegek teljességét és lefordítottságát. Ez még hátra van.
Összefoglalva:
A VCLtesttool jól használható, de hibátlanul települő változat kell a tesztelés megkezdéséhez, és mivel több funkció is java függő, először a java beállítást kell megnézni, ha az nem jó a tesztelést el sem érdemes kezdeni.
Angol tudás és az OOo felhasználói felület részletes ismerete nélkül nem igazán lehet a hibákat előkeresni. De a lefuttatott tesztek a szúrópróba szerűen elvégzett manuális ellenőrzések minden esetben valós hibákra utalnak, és ami lényeges megismételhetők.