Difference between revisions of "JA/QA/VCLTesttool quickhowto"
(New page: = VCL TestToolによるテストの仕方 = == ダウンロード == テストするパッケージ [http://ftp.kddilabs.jp/office/openoffice/extended/ http://ftp.kddilabs.jp/office/openo...) |
m |
||
| Line 32: | Line 32: | ||
VCL TestTool：~/VCLTestTool_Linux_src680m226 | VCL TestTool：~/VCLTestTool_Linux_src680m226 | ||
| − | TestTool環境：~/ | + | TestTool環境：~/OOO310_mXX/testautomation（XXはマイルストーン） |
に配置したものとして説明します。 | に配置したものとして説明します。 | ||
| Line 136: | Line 136: | ||
|} | |} | ||
==== 「Profile」タブ ==== | ==== 「Profile」タブ ==== | ||
| − | <nowiki>Log base directory：/home/<username>/ | + | <nowiki>Log base directory：/home/<username>/OOO310_mXX/testautomation/errorlog</nowiki> |
| − | <nowiki>Base directory：/home/<username>/ | + | <nowiki>Base directory：/home/<username>/OOO310_mXX/testautomation</nowiki> |
=== QUASTeを利用する場合 === | === QUASTeを利用する場合 === | ||
| Line 180: | Line 180: | ||
Tests release用のすべての*.basファイルを連続して自動で実行することもできます。その場合には幾つかの設定が必要です。 | Tests release用のすべての*.basファイルを連続して自動で実行することもできます。その場合には幾つかの設定が必要です。 | ||
| − | <nowiki>/home/<username>/ | + | <nowiki>/home/<username>/OOO310_mXX/testautomation/tools/run_tests/run_tests.sh を編集し、以下の2項目を設定します</nowiki> |
| − | <nowiki>sLocation=/home/<username>/ | + | <nowiki>sLocation=/home/<username>/OOO310_mXX/testautomation/</nowiki> |
<nowiki>sTestTool=/home/<username>/VCLTestTool_Linux_src680m226/testtool.bin</nowiki> | <nowiki>sTestTool=/home/<username>/VCLTestTool_Linux_src680m226/testtool.bin</nowiki> | ||
| Line 189: | Line 189: | ||
<nowiki>ダウンロードしたrelease用テストスクリプトのリストから[Tests release]の項目だけを残して、ホームディレクトリに保存します。</nowiki> | <nowiki>ダウンロードしたrelease用テストスクリプトのリストから[Tests release]の項目だけを残して、ホームディレクトリに保存します。</nowiki> | ||
| − | <nowiki>$/home/<username>/ | + | <nowiki>$/home/<username>/OOO310_mXX/testautomation/tools/run_tests/run_tests.sh </nowiki><nowiki></home/<username>/OOO310_mXX.txt</nowiki> |
を実行するとリスト内のすべてのスクリプトを自動的に実行します。 | を実行するとリスト内のすべてのスクリプトを自動的に実行します。 | ||
| Line 197: | Line 197: | ||
=== QUASTeに結果を送信する === | === QUASTeに結果を送信する === | ||
| − | ~/ | + | ~/OOO310_mXX/testsutomation/errorlog/ に作成される「ooo310mXX」フォルダをzipで圧縮します。 |
QUASTeサイトにログインして、右のメニューの「Upload of testresults」からzipファイルをアップロードします。 | QUASTeサイトにログインして、右のメニューの「Upload of testresults」からzipファイルをアップロードします。 | ||
| Line 208: | Line 208: | ||
以下のようにmake_summaru.plを使って結果を集計できます。 | 以下のようにmake_summaru.plを使って結果を集計できます。 | ||
| − | $ | + | $ OOO310_mXX/testautomation/tools/analyze/make_summary.pl ~/OOO310_mXX/testautomation/errorlog/*.res |
（実際には1行） | （実際には1行） | ||
Revision as of 04:15, 29 April 2009
Contents
VCL TestToolによるテストの仕方
ダウンロード
テストするパッケージ
http://ftp.kddilabs.jp/office/openoffice/extended/
VCL TestTool
http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html
TestTool 環境
http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/
からテストするパッケージのマイルストーンと同じものをダウンロードする。（たとえば、３．１ rc1であればOOo310 m9なので「OOo_OOO310_m9_testautomation.tar.bz2 」または「OOo_OOO310_m9_testautomation.zip 」をダウンロードする）
設定
テストするOpenOffice.orgは通常のインストールを行ないます。
VCL TestToolは解凍して適当なフォルダに配置します。
TestTool環境も解凍して適当なフォルダに配置します。
（日本語名や半角スペースを含まないファイルパスを推奨）
以下は、Ubuntuで
OpenOffice.org:/opt/openoffice.org3/program
VCL TestTool：~/VCLTestTool_Linux_src680m226
TestTool環境：~/OOO310_mXX/testautomation（XXはマイルストーン）
に配置したものとして説明します。
VCLTestToolの設定
~/VCLTestTool_Linux_src680m226/testtool.binを実行します
「Extras」－「設定」から各種設定を行ないます。
「汎用」タブ
OOoProgramDir：OpenOffice.orgのprogramディレクトリのpathを設定します
GUI Pratform:各プラットフォームに割り当てられている数字を設定します。Linuxの場合は03です
各プラットフォームに割り当てられている番号は以下の通りです。
| Win95 | 100 |
| Win98 | 395 |
| WinNT | 351 or 400 |
| WinSE | 410 |
| WinME | 490 |
| Win2000 | 500 |
| WinXP | 501 |
| Solaris SPARC | 01 |
| Linux | 03 |
| Solaris x86 | 05 |
| Mac OS X | 12 |
| Linux PPC | 13 |
| SCO UNIX | 02 |
| AIX | 04 |
| Irix | 06 |
| HP UNIX | 07 |
| FreeBSD | 08 |
| NetBSD | 14 |
| Linux 64 bit | 15 |
| Linux SPARC | 16 |
| eComStation | 17 |
「Profile」タブ
Log base directory：/home/<username>/OOO310_mXX/testautomation/errorlog
Base directory：/home/<username>/OOO310_mXX/testautomation
QUASTeを利用する場合
QUASTeを利用してテスト結果を報告する場合、あと２つの設定を行なう必要があります。
「Crashreport」タブ
Allow contact：チェックを入れる
Email:自分のメールアドレスを入力する
.testtoolrcを編集する
上記の各設定を行うと、ホームフォルダに「.testtoolrc」が作成されます。（WindowsXpの場合はC:\Documents and Settings\<username>\Application Data\testtool.ini）
このファイルに以下の項目を追加します。{YOUR-PCNAME} はテストを実行するPCの名前（Host名）を入力します
[Others]
PCname={YOUR-PCNAME}
TestScriptを実行する
Testtoolから各testscriptを呼び出し実行します。
リリース用のテスト項目は以下のサイトから取得することができます。
http://quaste.services.openoffice.org/
左のメニューリストから「Autotests overview」をクリックします
テストするバージョンを指定します（3.1rc1の場合「OOO310」と「m9」）
ページ下の「Download category list for scripts」をクリックするとリストをダウンロードできます
このリストの中の[Tests release]の項目に含まれているものを使用します
手動で実行する
testtoolの「ファイル」－「開く」で実行したい「*.bas」ファイルを開きます。
「プログラム」－「スタート」で実行され、結果は「Log base Directory」に保存されます。
自動で実行する
Tests release用のすべての*.basファイルを連続して自動で実行することもできます。その場合には幾つかの設定が必要です。
/home/<username>/OOO310_mXX/testautomation/tools/run_tests/run_tests.sh を編集し、以下の2項目を設定します
sLocation=/home/<username>/OOO310_mXX/testautomation/
sTestTool=/home/<username>/VCLTestTool_Linux_src680m226/testtool.bin
ダウンロードしたrelease用テストスクリプトのリストから[Tests release]の項目だけを残して、ホームディレクトリに保存します。
$/home/<username>/OOO310_mXX/testautomation/tools/run_tests/run_tests.sh </home/<username>/OOO310_mXX.txt
を実行するとリスト内のすべてのスクリプトを自動的に実行します。
結果を解析する
結果を解析する方法として、QUASTeサイトに結果を送信する方法と、make_summary.plを用いて結果を集計する方法があります。
QUASTeに結果を送信する
~/OOO310_mXX/testsutomation/errorlog/ に作成される「ooo310mXX」フォルダをzipで圧縮します。
QUASTeサイトにログインして、右のメニューの「Upload of testresults」からzipファイルをアップロードします。
Create temp-directory....successExtract archive to temp-directory....successGet all main-result-files from archive...success
のような表示が出れば成功です
make_summary.plを使って集計する
以下のようにmake_summaru.plを使って結果を集計できます。
$ OOO310_mXX/testautomation/tools/analyze/make_summary.pl ~/OOO310_mXX/testautomation/errorlog/*.res
（実際には1行）
端末上に以下のような集計結果が表示されます。
Filename Errors Warnings Warnings_during_initialization============================ ====== ======== ==============================c_updt1.res 0 0 0c_updt2.res 0 0 0ch2_lvl1_wizard.res 0 1 0・・・・
・・・・
oasis_graphics_update.res 0 0 0resetoffice.res 0 0 0w_updt.res 0 1 0==============================================================================Total 30 files 6 9 0
この結果をメールに貼り付けるか、Issueに登録することで報告を完了できます。
