コンパイラ評価用プログラム

• コンパイラの動作確認や性能評価などに使われるプログラムを参考までにあげる。
• 最後に，その中の SPEC CPU2000 について，その簡単な使い方と COINS のコンパイラ を評価する場合の注意事項をあげる。

SPEC CPU2000

• URL -- http://www.spec.org/cpu2000/
• コンパイラの総合的性能を評価する著名なベンチマークプログラムであり、 C言語とFortran言語で書かれた大規模な実用プログラムを含んでいる。
  CPU演算の性能評価に重きをおいたものであり、整数系のCINT2000と浮動小数点系 のCFP2000に分かれている。
  このベンチマークプログラムによるコンパイラやコンピュータの性能評価結果 についても公表データが多くある。これは完成したコンパイラの性能評価ばかりでなく、 新しい技法の評価や実用プログラムのプログラム特性を調べるのにもよく利用される。

SPEC CPU2006

• URL -- http://www.spec.org/cpu2006/
• SPEC CPU2000の後継版であり、新しい分野のプログラムやC++の プログラムなどが増強されている。

MiBench

• URL -- http://www.eecs.umich.edu/mibench/
• ミシガン大学で開発されたベンチマークプログラムであり、
  

      自動車産業系、ファイル圧縮・展開、ネットワーク系、
      文書処理、セキュリティ、通信
  

  等に関する多くのプログラムを含む。

MediaBench

• URL -- http://euler.slu.edu/~fritts/mediabench/
• コンピュータアーキテクチャの評価等を目的としたベンチマークプログラム であり、音声や画像の処理に使われるMPEG, JPEGなどのプログラムを含む。

Livermore loop

• URL -- http://www.netlib.org/benchmark/livermore
• 行列演算など、数値計算でよく使われる処理の核部分から合成した ベンチマークプログラムであり、スーパーコンピュータの性能評価などによく使われた。

Netlibベンチマークサイト

• URL -- http://www.netlib.org/benchmark/
• コンピュータの性能評価などに使われるベンチマークプログラム をのせた多くのサイトへのリンクが記載されている。

SPEC CPU2000 ベンチマークのインストールと簡単な使い方

Linux を例に SPEC CPU2000 ベンチマークのインストール手順と簡単な使い方 を説明する。

gcc や JDK, COINS など必要なプログラムはすでにインストールされているも のとして説明を行う。

以下のパス名を前提とする。

	COINS ディレクトリ: ~/coins/coins-バージョン番号
	SPEC CPU2000 のインストール先: ~/spec-bench/cpu2000

なお、具体的な実行コマンドの例は Linux (Debian 6.0, 32bit) 上で作成して いる。

■ インストール

基本的には SPEC CPU2000 のメディアを mount して、インストーラ install.sh を実行すれば良い。

• SPEC ベンチマークはインストールしたディレクトリ内にベンチマーク 実行に必要なファイルを保存するためインストール先の空き容量には 注意する必要がある。(数年間使い続けた状態で使用量が 3GB を超え た程度なので4GB あれば十分と思われる。)
• 一般ユーザで CD-ROM が mount 可能となっている場合には CD-ROM 上 のファイルを直接実行できるかどうかに注意が必要である。(SPEC CPU2000 のインストーラは CD-ROM 上のファイルを直接実行できない とホスト環境の認識に失敗するようである。)
• Debian 6.0 では一般ユーザで mount すると実行できない設定となっ ていたため root で SPEC CPU2000 のメディアを mount してインストー ルを行う必要があった。

-- 実行例

# su
# mount /dev/scd0 /media/cdrom0/	←デバイス名、マウントポイントは適宜読み替えのこと
# exit
$ cd /media/cdrom0/
$ ./install.sh

• 以下のメッセージが表示されるのでインストール先を入力する。

SPEC CPU2000 Installation

Top of the CPU2000 tree is '/media/cdrom0'
Enter the directory you wish to install to (e.g. /usr/cpu2000)
/home/username/spec-bench/cpu2000		←入力する

• 続いてインストーラが認識したホスト環境に基づきインストール可能 な toolset が表示される。ここでは 1 種類なので単に yes を入力す る。(なお tail コマンドからエラーが出力されているが単に無視し た。)

There appears to be only one valid toolset:

linux-redhat62-ia32           For x86-based Linux systems with GLIBC 2.1.3+
tail: cannot open `+2' for reading: No such file or directory
==> /media/cdrom0/tools/bin/linux-redhat62-ia32/description <==
For x86-based Linux systems with GLIBC 2.1.3+
                             Built on RedHat 6.2 with gcc 2.95.2


Use this? (y/n)
y			←入力する

• ここで複数の候補が表示される場合もあり、その場合には適当と思わ れるものを選択する。以下は Solaris の場合の例であるが適当と思わ れる選択肢をコピーアンドペーストして答えれば良い。

These appear to be valid architectures:
 solaris-sparc
 solaris8-sparc
 Enter the architecture you are using:
solaris-sparc		←コピーアンドペーストする

• インストール終了まで少し時間がかかる。

■ gcc での test 実行

インストールが正常に行われたことを確認するため gcc を使用してベンチマー クを実行する。

C 言語のベンチマークには以下のものがある。

	CINT2000 (整数)
	    164.gzip
	    175.vpr
	    176.gcc
	    181.mcf
	    186.crafty
	    197.parser
	    253.perlbmk
	    254.gap
	    255.vortex
	    256.bzip2
	    300.twolf

	CFP2000 (浮動小数)
	    177.mesa
	    179.art
	    183.equake
	    188.ammp

• なお CINT2000 にはもう一つ C++ で記述された 252.eon がある。

上記をすべてテストするには以下のように実行すれば良い。

$ cd ~/spec-bench/cpu2000
$ . shrc
$ runspec -c linux-x86-gcc.cfg --size test --no-reportable int ^eon 177 179 183 188

• 以下のように Success が表示されれば OK である。

Success: 3x164.gzip 3x175.vpr 3x176.gcc 3x177.mesa 3x179.art 3x181.mcf 3x183.equake 3x186.crafty 3x188.ammp 3x197.parser 3x253.perlbmk 3x254.gap 3x255.vortex 3x256.bzip2 3x300.twolf

• 失敗するものが多い場合には、インストール時に選択した toolset が 適していない可能性が考えられる。

■ コンフィグファイルの作成 (デバッグ用)

gcc での test 実行に成功したら、通常使用するための COINS 用のコンフィグ ファイルを作成する。

$ cd ~/spec-bench/cpu2000/config
$ cp linux-x86-gcc.cfg coins-tmp.cfg

coins-tmp.cfg を以下のように編集する。(設定項目の意味については ~/spec-bench/cpu2000/doc/config を参照のこと。)

• company_name 〜 sw_state はベンチマーク環境について適当な情報を指定する。
• ext には coins-tmp など適当な拡張子を指定する。
• reportable, backup_config は 0 を指定した方が良い。
• Baseline tuning Flags 以下を削除する。
• CC に COINS の実行コマンドを指定する。

-- 例

reportable      = 0
backup_config	= 0
CC      = java -Xmx512m -cp /home/username/coins/coins-バージョン番号/classes/ coins.driver.Driver -coins:target=x86,assembler=as -I/home/username/coins/coins-バージョン番号/lang/c/include

-- ここまで

作成したコンフィグファイルを試すには以下を実行する。(比較的問題なくコン パイルできる 256.bzip2 と 179.art を実施している。)

$ runspec -c coins-tmp --size test -n 1 --rebuild 256 179

■ コンフィグファイルの作成 (ベンチマーク用)

普段は上記で作成した coins-tmp.cfg を使用してテストを行うが、特定のバー ジョンや最適化オプションでの記録を残したい場合には、別途コンフィグファ イルを作成してベンチマークを実行した方が良い。

以下、例として coins-1.4.4.5 で -O3 の最適化を行った場合を挙げる。

• ext には coins-1445-o3 など適当な拡張子を指定する。
• backup_config は 1 を指定する。
• Baseline tuning Flags 以下を削除する。
• CC に COINS の実行コマンドを指定する。

-- 例

reportable      = 0
backup_config	= 1
CC      = java -Xmx512m -cp /home/username/coins/coins-1.4.4.5/classes/ coins.driver.Driver -coins:target=x86,assembler=as -I/home/username/coins/coins-1.4.4.5/lang/c/include -O3

-- ここまで

■ ベンチマークの実行

前項と重複するがベンチマークの実行方法を簡単に示す。

$ cd ~/spec-bench/cpu2000
$ . ./shrc

• ベンチマーク実行のための設定を取り込む。
• このときカレントディレクトリは必ず ~/spec-bench/cpu2000 でなければならない。
• .bash_profile などでログイン時に取り込んでも良い。

上記は最初に一度だけ実行すれば良い。

$ runspec -c coins-tmp -n 1 181 197 183

• コンフィグファイル coins-tmp.cfg を使用してベンチマーク 181.mcf 197.parser 183.equake を実行する。
• "181" の部分は "mcf" でも "181.mcf" でもよい。
• "-n 1" はベンチマークをそれぞれ 1 回だけ行うことを表す。 指定がないと、ベンチマークは 3 回行われる。

$ runspec -c coins-tmp --size test 181 197 183

• コンフィグファイル coins-tmp.cfg を使用してベンチマーク 181.mcf 197.parser 183.equake を実行する。
• --size test はベンチマークをテスト用の小さいデータで行うことを 表す。指定がないと、本番用のデータで行われる。

$ runspec -c coins-1.4.4.5-o3 --rebuild 181 197 183

• コンフィグファイル coins-1.4.4.5-o3.cfg を使用してベンチマーク 181.mcf 197.parser 183.equake を実行する。
• --rebuild は、無条件で rebuild することを表す。指定がないとコン フィグファイルの各項目の md5 値をチェックして rebuild を行う。

なお、ベンチマークの結果は ~/spec-bench/cpu2000/result に作られる。(実 行後にファイル名が表示される。)

runspec の詳しい使い方は ~/spec-bench/cpu2000/docs/runspec.txt を参照のこと。

■ 補足1: 特殊な環境へのインストール

arm や mips のようなあまり一般的ではない環境の場合には、インストーラは ホスト環境を認識できないし、認識できたとしてもコンパイル済みバイナリが 用意されていない。

このような場合、以下のようなメッセージが表示されるので yes と入力すれば、 ベンチマークテストの実行に必要なコマンド類をソースからビルドすることを 試みてくれる。(ただしうまくいくとは限らない。Makefile にかなり手をいれ ないといけない場合があった。)

-- ここから

We do not appear to have vendor supplied binaries for your
architecture.  You will have to compile the tool binaries
by yourself.  Please read the file

   /home/username/spec-bench/cpu2000/docs/tools_build.txt

and then try the following.

If you wish I can try to perform these steps for you.  However
I'm not very intelligent so if anything goes wrong I'm just going
to stop.  Want me to try?  (yes/no)
yes					←入力する

-- ここまで

• specperl の build には makedepend が必要なのであらかじめインス トールしておく必要がある。Debian 6.0 であれば xutils-dev パッケー ジが必要である。

■ 補足2: Linux 上で SPEC CPU2000 ベンチマークを実行するためのヒント

Linux 上で COINS を使用して SPEC CPU2000 ベンチマークを実行する場合 glibc のヘッダファイルが原因でコンパイルがエラーになってしまうことがあ る。

• 例として取り上げた Debian 6.0 では 176.gcc, 253.perlbmk, 177.mesa がコンパイルエラーとなり実行できない。

この問題には以下の二つ要因がある。

1. gcc -E で前処理を行うと COINS が対応していない gcc 拡張が使 用されてしまう。
2. 上記問題を避けるため cpp で前処理を行うと glibc のヘッダに 一部残っている gcc 依存 (と思われる) 記述のため COINS では、コ ンパイルエラーとなってしまう。

この問題に関しては __GNUC__ で始まるシンボルを undef することで解決する ことがある。

また 253.perlbmk に関しては、上記とは別に offsetof マクロを使用している という問題がある。Linux で使用されている offsetof マクロは gcc の付属ヘッ ダで定義されているため gcc 専用となっているので COINS 用のマクロを作成 して差し替える必要がある。

具体的には以下の通り。

1. 以下のようにコマンドを実行して gcc が定義しているシンボルを調べる。

          $ gcc -E -dM -x c /dev/null | grep GNU
   	#define __GNUC_PATCHLEVEL__ 5
   	#define __GNUC__ 4
   	#define __GNUC_MINOR__ 4
   	#define __GNUC_GNU_INLINE__ 1
   

2. offsetof マクロの差し替えについては以下のようなファイルを用意する。
   例)

   	-- /home/username/coins/include/x86/stddef.h
   	#include <features.h>
   
   	/* include gcc header first. */
   	#undef offsetof
   	#define __need_ptrdiff_t
   	#define __need_wchar_t
   	#define __need_size_t
   	#define __need_wint_t
   
   	#include "/usr/lib/gcc/i486-linux-gnu/バージョン/include/stddef.h"
   	/* バージョンには使用する gcc のバージョンを指定する */
   
   	/* redefine offsetof macro */
   	#undef offsetof
   	#define offsetof(TYPE, MEMBER) ((size_t) &((TYPE *)0)->MEMBER)
   	-- end
   

3. 上記に基づきコンフィグファイルの CC の定義に以下のように -U オプショ ンを追加する。(_POSIX_SOURCE, __GLIBC_HAVE_LONG_LONG については定義しな い方が良い可能性もある。)

-- 例

CC      = java -Xmx512m -cp /home/username/coins/coins-バージョン番号/classes/ coins.driver.Driver -coins:target=x86,preprocessor=cpp,assembler=/usr/bin/as -D_POSIX_SOURCE -U__GNUC__ -U__GNUC_MINOR__ -U__GNUC_GNU_INLINE__ -U__GNUC_PATCHLEVEL__ -D__GLIBC_HAVE_LONG_LONG=1 -I/home/username/coins/include/x86 -I/home/username/coins/coins-バージョン番号/lang/c/include

-- ここまで

• Debian 6.0 では、上記のコマンドで C 言語で記述されたベンチマー クはすべてコンパイルできるようになった。テストデータでの実行も すべて成功する。
• ただし 176.gcc に関しては本番用データでは実行結果不一致となった。

$ runspec -c coins-1445 int ^eon 177 179 183 188 -I
runspec v1585 - Copyright 1999-2005 Standard Performance Evaluation Corporation
Loading standard modules.............
Loading runspec modules.............
Identifying output formats...asc...config...html...pdf...ps...raw...
 '252.eon' removed
We will use: 164.gzip, 175.vpr, 176.gcc, 181.mcf, 186.crafty, 197.parser, 253.perlbmk, 254.gap, 255.vortex, 256.bzip2, 300.twolf, 177.mesa, 179.art, 183.equake, 188.ammp
Compiling Binaries
 Building 164.gzip ref base coins-1445 default
	: 中略 :
Setting Up Run Directories
 Setting up 164.gzip ref base coins-1445 default: existing
 Setting up 175.vpr ref base coins-1445 default: existing
 Setting up 176.gcc ref base coins-1445 default: existing
 Setting up 181.mcf ref base coins-1445 default: existing
 Setting up 186.crafty ref base coins-1445 default: existing
 Setting up 197.parser ref base coins-1445 default: existing
 Setting up 253.perlbmk ref base coins-1445 default: existing
 Setting up 254.gap ref base coins-1445 default: existing
 Setting up 255.vortex ref base coins-1445 default: created
 Setting up 256.bzip2 ref base coins-1445 default: existing
 Setting up 300.twolf ref base coins-1445 default: existing
 Setting up 177.mesa ref base coins-1445 default: existing
 Setting up 179.art ref base coins-1445 default: existing
 Setting up 183.equake ref base coins-1445 default: existing
 Setting up 188.ammp ref base coins-1445 default: existing
Running Benchmarks
 Running 164.gzip ref base coins-1445 default
 Running 164.gzip ref base coins-1445 default
 Running 164.gzip ref base coins-1445 default
 Running 175.vpr ref base coins-1445 default
	: 中略 :
Error: 3x176.gcc
Success: 3x164.gzip 3x175.vpr 3x177.mesa 3x179.art 3x181.mcf 3x183.equake 3x186.crafty 3x188.ammp 3x197.parser 3x253.perlbmk 3x254.gap 3x255.vortex 3x256.bzip2 3x300.twolf
Producing Reports
mach: default
 ext: coins-1445
   size: ref
     set: int
       format: raw -> /home/username/spec-bench/cpu2000/result/CINT2000.068.raw
       format: ASCII -> /home/username/spec-bench/cpu2000/result/CINT2000.068.asc
       format: HTML -> /home/username/spec-bench/cpu2000/result/CINT2000.068.html
       format: config -> /home/username/spec-bench/cpu2000/result/CINT2000.068.cfg
     set: fp
       format: raw -> /home/username/spec-bench/cpu2000/result/CFP2000.068.raw
       format: ASCII -> /home/username/spec-bench/cpu2000/result/CFP2000.068.asc
       format: HTML -> /home/username/spec-bench/cpu2000/result/CFP2000.068.html
       format: config -> /home/username/spec-bench/cpu2000/result/CFP2000.068.cfg
runspec finished