EN : I'm currently working on SAS9 Architecture and I would like to share some results about the base SAS performance. The purpose was : what advantage could give us SPDE ? What are the index options ?
SAS 9.1 comes with SPDE (Scalable Performance Data Engine = partitioned sas files on multiple FS) wich allows to a SAS Process to scale up on the same box (just changing libnames). In my case, I did some test on fact table of 28 Million rows on a 8 proc unix box limiting SAS to 8 threads and partition = 128 Mb. Have a look also on the unix top screen shot at the end of the article to see SPDE in action ;)
Here are the results :
| |
Target |
Create a table with indexes |
|
|
|
|
|
| |
|
|
|
| PGM id |
step |
comment |
index |
target format |
# of record |
realtime |
CPU time |
| 010 |
1 |
Copy a table from SAS8 to SAS9 / data step / set statement |
post |
SPDE |
28 687 145,00 |
07:36,0 |
06:56,7 |
| |
2 |
index with proc dataset (order & order line) |
post |
SPDE |
28 687 145,00 |
02:00,4 |
05:09,1 |
| |
|
09:36,4 |
12:05,8 |
| |
|
|
| 011 |
1 |
Copy a table from SAS8 to SAS9 / data step / set statement |
on the fly |
SPDE |
28 687 145,00 |
09:35,4 |
0:11:18 |
| |
|
index on the fly with index table option (order & order line) |
|
|
|
|
|
| |
|
|
|
| 013 |
1 |
Copy a table from SAS8 to SAS9 / data step / set statement |
on the fly |
V9 BASE |
28 687 145,00 |
15:33,5 |
0:10:41 |
| |
|
index on the fly with index table option (order & order line) |
|
V9 BASE |
|
|
|
| |
|
|
|
| |
|
Accelerator |
38,37% |
| |
|
|
: |
| |
|
|
|
| |
|
|
|
| |
Target |
Merge 2 indexed tables and maintain indexes |
|
|
|
|
| |
|
|
|
| PGM id |
step |
comment |
index |
target format |
# of record |
realtime |
CPU time |
| 030 |
1 |
merge only |
post |
V9 BASE |
11 904 271,00 |
03:16,2 |
0:03:02 |
| |
2 |
index with proc datasets |
|
V9 BASE |
|
00:48,0 |
0:01:03 |
| |
|
04:04,2 |
04:05,2 |
| |
|
|
|
| PGM id |
step |
comment |
index |
target format |
# of record |
realtime |
CPU time |
| 031 |
1 |
merge with index on the fly |
on the fly |
V9 BASE |
11 904 271,00 |
03:46,8 |
0:04:02 |
| |
|
|
|
| PGM id |
step |
comment |
index |
target format |
# of record |
realtime |
CPU time |
| 032 |
1 |
merge with index on the fly |
on the fly |
SPDE |
11 904 271,00 |
02:27,0 |
0:04:16 |
| |
|
|
|
| |
|
Accelerator |
35,20% |
You could see that SPDE processing saves 38% on a data ... set ... run; statements, and SPDE is more efficient on "on the fly index". Those results are confirmed by a merge test (target 2).
I will give other figures soon about Proc OLAP vs Proc MDDB.
FR : Je travaille actuellement sur l'architecture SAS9 et je voulais partager avec vous quelques résultats de SAS9 autour de la performance apportée par SPDE (module SAS/BASE !). La question est : Quel avantage pour SPDE ? Quelles options d'index ?
SAS9.1 viens avec SPDE (Scalable Performance Data Engine = les tables SAS sont explosées sous forme de n partitions sur n disques), ce qui permet à un process SAS d'escalader les processeurs sur un même serveur, juste en changeant un libname.
Dans mon cas, j'ai réalisés des test avec une table de 28 milion de record sur un serveur unix 8 proc, en se limitant à 8 thread par process, avec des partitions de 128 Mb.
Jetez un oeil sur le screenshot du top unix à la fin de l'artcile pour voir SPDE en action ;)
Vous pouvez constater dans la table ci dessus que SPDE me permet de gagner 38% sur un process d'alim. classique (data ... set ... run), et que SPDE est plus efficace sur un index à la volée si l'on parle d'une table ex nihilo. Ces résultats sont confirmés par le test numéro 2 (merge entre 2 tables avec Indexs).
J'èspère bientôt pouvoir vous donner des résultat autour de la Proc OLAP vs Proc MDDB !
SPDE in Action / SPDE en Action !
