1995年9月26日 HPC Asia 1995 報告 (revised) 小柳義夫 　1995年9月18-22日に台北の台北國際會議中心(TICC, Taipei Inter- national Convention Center) で開かれた HPC ASIA 1995 会議につい て報告します。これは、アジア太平洋地区におけるHPCを中心テーマと した国際会議および博覧会であり、國立高能計算中心(NCHC, National Center for High Performance Computing), Chinese Open Systems Associates, Chinese Society of Theoretical and Applied Mechanics がホストを務めました。なかでも、NCHCのWuさんはあらゆ る委員会、事務局などを一手に切盛りし、大活躍でした。登録者は19 日現在735人でした。 1. 沿革 　この会議は、Supercomputing 93 (Portland) において、David Kahaner によって企画され、会場でアジア太平洋の各国から2〜3人ず つのボランティアが集まって相談を進めました。94年2月28日〜3月1日 には、台北の南西の工業学園都市である新竹(Hsin Chu)のNCHCにおい て準備会を開き、アジア太平洋各国のHPCの現状を分析し会議の準備を 進めました。このころからこの準備会はInternational Steering Committeeと呼ばれるようになりました。このとき、NCHCは会議の招致 にきわめて積極的でした。その後、各国から開催提案を募ったところ、 香港と台湾が名乗りを上げ、Email投票の結果台湾に決まりました。そ の後、1994年9月29日〜30日にシンガポールで開かれた HPC 94 Singapore において更に準備を進めました（私はこの会には行ってい ません）。今回会期中に開かれたSteering Committeeで、次回第2回は 1997年5月頃、韓国Seoulで開かれることになりました。 2. Exhibition 　博覧会(Exhibition)はHPC Asia 95の重要部分であり、収入の半分以 上を企業からの出展料や寄付金で賄っている。私も日本の企業に出展 を勧めるようにWuさんから随分頼まれ、各社にお願いをいたしました。 Steering Committeeの一人として、出展してくださった各企業に心よ り御礼を申し上げます。最後の時点で地元企業などの出展機運が高ま り、予定よりだいぶ増えたようです。その結果最初は一つの階でやる 予定であったのに、1階と2階の二つに分かれてしまいました。全部で 20以上の企業が参加しました。主なものではAT&T, BBN, Convex, Cray, DEC, Fujitsu, HP, Hitachi, IBM, NEC, SGI, Sun, PGI, World Scientific など、あとは地元企業。Research Exhibit として は、台湾の運輸通信省、ETH, NCHC, Ohio Supercomputer Center, Univ. of Wales (UK)など。二つの階に分かれたことは多少雰囲気の違 いを生じたようです。例えばPGIは、二つの地元の会社（しかも社長は 同一人物）に挟まれ、どうも気勢が上がらないとこぼしていました。 　IBM社とConvex社は、初日19日（火曜日）の夜、会議場に隣接する Grand Hyatt Hotel の1階と3階において、同じ時間にreceptionを催し ました。わたしはIBMの方に出ましたが、なかなかの盛況でした。 3. Scientific Program 　会議の方は、通常と同じく、Keynote Address, Invited Speech, Technical paper, Round Table, Panel などから構成されていた。全 体の印象として、Invited talks はきわめてレベルが高く聞きごたえ があったが、査読を経たTechnical paper sessionが低調であった。投 稿された論文数は180、そのうち137を採択、20をポスターセッション に回した。これらのうち（どのうち？）100は台湾内からの投稿であっ た。Technical paper sessionが招待講演やパネルなどと並行に開催さ れていたことも問題である。遅刻（地元参加者の）や取消も多かった。 中国本土からの参加者にはほとんど出国許可が出ず、参加できなかっ たとのことである。以下、いくつかの講演の要旨を私のメモから再現 する。聞き取りの正確さについては保証できないが。 4. Keynote Address by Irving Wladawsky-Berger, IBM Irving は、IBMにおいて RS6000やSP-seriesの開発の責任者であり、 今回は、"Scaling the Future with Parallel Applications" と題し て、並列処理開発を山登りに例えながら基調講演をおこなった。 　山に登るには慎重に準備し、用具を整えてから出発する。我々は並 列処理の頂上に登るのである。技術の進歩によって、チップも、メモ リも、ディスクも、光ファイバも安価になり汎用品commodityとなった。 この安価な部品は、PCにとっても魅力的であり、client/server model にとっても魅力的である。SMP (Symmetric Multi-Processor) は、メ インフレーム以来の成熟した技術であり、マイクロプロセッサでも有 効である。SMPはscalableではなく、すぐvon Neumann bottleneck に ぶちあたるが、そこそこのレベルのscalabilityには有効である。さら に、SMPはより大きな並列計算機の要素にもなる。 　なぜscalablityが必要なのか？　我々の扱うデータはますます大き くなり、ハードウェアも増大する。応用プログラムはますます正確に なり、より大規模になり、より知的、よりfriendlyなインターフェー スが要求される。これらすべてはシステムの能力の増大を必要とする。 これがscalable computerが必要な理由である。これは、並列処理によ ってのみ可能だからである。 　IBM社はこのscalable parallel processing system にどう対応した きたか？　確かに数年前はわれわれはこの山の前にいた。しかし、現 在SPは600台も売れている。約半分は科学技術計算のため、他の半分は 商業的な利用である。並列計算のアルゴリズムは大変難しい。メイン フレームの経験では、応用の規模が増大すると、複雑度（計算量）は 非線形的に増大する。古い応用プログラムを並列化することは難しい ので、新しい応用プログラムを開発しなくてはならない。現在は1年前 より多くの並列ソフトが用意されている。コンパイラも改良され、オ ブジェクト指向も進歩している。並列システムの信頼性もメインフレ ームと同様なところまで進歩している。教育も大切だ。サポートする 人材も必要だ。並列計算機は、less arcane, more user-friendly （秘術でなく、よりユーザに使いやすい）ものになりつつある。 　RDBにしてもOOにしても、新しいアイデアが新しいマーケットになる には時間がかかる。なにかのチャレンジに立ち向かうことによって技 術が進歩する。科学技術計算市場ではGrand Challengeをターゲットに した。しかし、scalablityにはより広い適用可能性がある。さらに、 商業的応用もある。SPをWWW-server, Video-on-Demand server, Through-put server として使う人もいる。並列はniche market と思 われていたが、いまや拡大して大きなサーバとして活用されている。 　もちろんさまざまな困難はある。しかし、山に登る人にとって、頂 上に到達するためには何でもする。 　1)実世界および仮想世界のシミュレーションは、より高度に、より 面白いものになる。そのためには、より巧妙な技術が必要とされる。 　2)また、並列計算機は、マルチメディア情報サーバとして使われる。 それには、PB（ペタバイト10^15 bytes）の容量が必要である。そのた めには、新しいI/O技術を開発しなくてはならない。 　3)情報の配布だけでなく情報の解析も重要である。data mining に は知的な処理である。 　4)だれでも、いつでもというaccessibilityの重要性が増している。 ネットワーク、特にInternetの技術は重要である。SPをInternetのト ラッキングシステムとして使っているnetwork providerもある。オリ ンピックでは、SPでWWWサービスが予定されている。全米オープンテニ スでも、WWWサービスがなされた。ネットワークの他の端には人間がい る。visual interface の重要性が高まっている。cognitive challenge は、人間の脳に近づくことを追求している。 　山登りは、どこまで行くのだろう。hard work が待ちかまえている。 不撓不屈の(persevering)努力が必要である。一つの問題が解決しても、 より大きな問題が出て来る。high performance computing に対する fresh view　が要求される。研究はますます必要である。わがIBMは研 究開発のインフラを持っている。しかし、it does not stand alone. アジア、アメリカ、ヨーロッパの協力が必要である。同様に、発明を 研究所からどう取り出すかが重要である。教育も重要、投資も必要で ある。頂上に達すれば、見晴らしがきく。 "We are on our way to the summit." 質疑応答 Q:研究資金が大学に流れる秘策は？ A:納税者に対して論証しなければならない。何度も強調することが重要。 Q:システムソフトウェアにおけるスケーリングとは？ A:古い問題だ。しかし、サイズはずっと大きくなった。進歩は遅い。並 列データベース、ファイルトランザクションなど。Just hard work! 5. Steve Chen (CHEN Systems Inc.) "HPCC: The Past, Current and Future" 　SSS社が破産してしばらく音沙汰なかったかのSteve Chen氏が口を開 いた。ご存じのように、Chenは、Cray Reserach の設計者としてXMP, YMP などの並列ベクトル機を設計したが、その後の方向について社の 執行部と意見が合わず、スピンオフしてIBM社などの資金援助を得て SSI (Supercomputer Systems Inc.) 社を創立した。92年にMinneapolis で開かれたSupercomputing 92 では、「新しいコンピュータはいつで きるのか」という質問に、"Soon, very soon." と応えていたが、その 年の末、破産してしまった。その後、音沙汰なくどうなったかと不思 議に思っていたところであった。Chen 氏は、「いま新しい会社を創立 し、新しいコンピュータを発表したばかりだ。これまで、私の話が聞 こえていなかったとすれば、それは私が一生懸命働いていたからだ。」 と大見栄を切った。 　1)過去について 　私は長年にわたってhigh performance computerの設計をやってきた。 その間に何が起こったか。 ・20年間、生活のなかに多くの成果をもたらした。バイオ、医療のシ ミュレーションなど。 ・多くの人がさまざまな計算機に触れるようになった。HPCCが始まる 前、わざわざドイツに行って計算した人もいた。 ・計算のアルゴリズムが進歩した。 ・新しい世代のソフトウェア。Berkeley version of UNIX はおもちゃ だと言われたが、結局みんな使うようになった。 ・Kuck の下で勉強した学生は、人間は逐次的に思考すると習った。し かし、parallel computing is a practical way of computing. 2)現在 　いま、並列ベクトル計算機は科学のworkhorse（使役馬）となった。 HPCは期待の星である。more cost-effective and scalable. 5年前に は考えられなかったが、今は非常に強力なマイクロプロセッサがある。 Cray-3は2nsという最高級のクロックをほこったが、そのうちにCMOSの マイクロプロセッサでも実現できるだろう。問題はcoolingである。 　HPCは混乱している。SPP, SMP, MPP, WS cluser など。しかも、ベ ンダのリストは短くなっている。CMOSを使う汎用品(commodity)の技術 は急速に進歩した。ネットワーク、周辺機器など非常に安くなった。 ソフトウェアにおいても、並列技術が進歩。converging to low cost area. 3)将来 　High volume and commodity component. Technology is mature and proliferating. これまでのような、ハード、ソフト、応用の垂 直デザインはもはや維持できない。静かに消えていく。GaAsは通信の みに使われている。マイクロプロセッサは非常に複雑になったので、 選択の幅は小さい。汎用品を使うほかない。計算と通信の技術は収束 しつつあり、新しい技術と応用（例えばビデオサーバ）を生んでいる。 技術の寿命は短くなった。よいことは、並列処理がmain stream にな ったということである。 　4)主要な市場動向 　Client/server is no longer hype, evolve slowly but surely. Desk top が強力になったので、決断点がよりフロントに移動した。現 在の計算機の動向は、up-sizing, down-sizing, mid-sizing の3方向 て特徴づけられる。 ・up-sizing -- デスクトップが非常に強力になったので、これまでの メインフレームや、ベクトル計算機の役割を担うようになった。より、 中央化の方向である。 ・down-sizing -- 中央計算機でやっていたことがデスクトップででき るようになった。 ・mid-sizing -- これまでのミニコンピュータ（AS400, HP3000, VAX） からオープンシステムへ。 　最も数の大きい売れ筋は、up-sizing である。 　5)クライアント／サーバ計算とは何か？ サーバは拡張中。よりロバストなものへ。わたしは、新しいサーバが いかにあるべきかを考えてきた。C/Sの特徴は、収益性と、変化の激し いビジネスの世界に対応できることである。 　6)C/Sの次の動き 分散アーキテクチャには3つのレベル(tiers)がある：data warehouse, data transaction, application logic。知的なクライアント・デスク トップは、企業データに対して矛盾のない統一的なアクセスを保証し なければならない。message-based and object-oriented middleware and mobile computing support. Scalable SMP cluster becomes core of enterprise server platform. Single system image enterprise-wide pervasive connectivity. 7)SMPの弱点 ・limited scalability ・insufficient I/O performance ・absense of mainframe-style system management and performance tools（頑丈さが不足） ・marginal reliablility and serviceability ・less open and non-standard system connectivity（SCSIの接続で さえやっかい） 　8)現在のMPPの弱点 ・packaged applications not available ・benefit for inherent parallel applications only ・tuning difficult and non-portable ・no industry standard of OS and parallel program model ・High cost of development and ownership 9)新世代のSMPサーバ ・High performance scalable CPU and I/O, multi-task, multi-user ・mainframe quality reliability ・open connectivity options for advanced communication ・Broad-based middleware applications ・cohesive and robust system ・sophisticated tuning tools ・remote access and maintenance support ・interoperability for multi-vendor ・rich application development environment ・support single system image distributed and parallel cluster architecture. 10)Open System Connectivity business infrastructure direction computing infrastructure direction moving to a distributed and parallel cluster environment mass market, not niche. 11)まとめ ・HPCCは根本的に変化するであろう。 ・90年代後半には、汎用品(commodity)の部品に基づいた高性能のSMP /Cluster system が主流となるであろう。 ・スーパーコンピュータから家庭のデスクトップまでの並列計算技術 は一つに収束するであろう。 　要するに、commodityチップ（PentiumかP6か？）を用いてSMPを作ろ うということらしいが、これまでのChen氏の路線からは大規模な方向 転換であろう。この路線はまあ常識的とは思うが、とっくに多くの計 算機会社はその方向に走っており、もはやChen氏の会社が追いつくと も思えない、というのが私の印象でした。 6.Steve Nelson (Steve Nelson and Associates for Cray) "Higher Performance Computing: How High, How Soon, and How Much?" Nelson氏は、Cray 社にいたころ、C90, T3D などを設計した。 1)Some technbology and Architectures Observation 　1960年から1993年までのCPUとDRAMの進歩のグラフを見せ、DRAMの容 量は増えたが、アクセス時間はそれほど短くなっていないことを指摘。 SRAMは速いので、cacheを使って速くする。ベクトル計算機は高かった が、本質的な理由はない。ベクトルとスーパースカラと比較すると、 C90は2個のパイプを持ち、一度に17個の命令を並列に実行する。とこ ろが、N-wayのスーパースカラは、命令発行の複雑度がN^2に比例する。 ベクトルでは、多重度に比例した複雑度で済む。しかも、4-wayのスー パースカラでも、平均的な並列度は1.5命令／クロック程度である。 　また、cacheの改良が行われているが、数値計算には適さない。数値 計算の為には、1語長ほどの短いライン長、many-ways set associative, flexible read/write, large cache が必要で、とても無理だ。マルチ プロセッサではもっと深刻、coherency とか snoopingとか。Memory subsystem latency measured in CPU clock is 10 for Cray-1 and 50 for T90/32. このうち、純粋のメモリアクセス時間は小さな部分で、 大部分はメモリ制御システムである。 　4プロセッサの場合、多段スイッチを使った空間複雑度と、時間複雑 度との対比。分散メモリでは、将来の大規模マルチプロセッサに対応 できる反面、ソフトは複雑で、mappingの問題が生じる。 　CrayのSCX Channelについて、1 GB/s, scalable, ring-based,　high reliability, on-line client maintenance, ability to add or remove away (hot swap 可能) Evolution of UNICOS: 現在のところ UNICOS MAX, UNICOS mk があ るが、将来は、micro-kernel based UNCOS に統一。 　2)市場の変化 Science/Technology 市場は、政府研究所を中心としたのmission oriented なものが中心で、それに産業界の問題が加わってきたが、 commercial な市場では、意志決定とトランザクション処理であり、し かもどんどん需要は増大している。分析によればHPCの市場の収入は減 少しつつある。これは、主にIBMとDECのメインフレームの減少による。 将来、2〜2.5B$でフラットになるであろう。反面、ワークステーショ ンの市場は増大し、80%に及んでいる。 　 　今後applicaion migration が起こり、MPPとSMPとに分離するであろ う。MPPは、ISV (Independent Software Vendors) が少ないという問 題があり、SMPは大きな問題が扱えないという弱点がある。 　3)2010年の予想 　去る7月にカリフォルニアでTeraflops Workshop があった。私は、 非常に懐疑的であった。でも、今から15年後にどうなるか予想してみ よう。 　メモリが主たる価格を占め、プロセッサはほとんどただになる。つ まり、プロセッサはメモリに埋め込まれるであろう。2010年には、 0.07μの技術が実現しているから、DRAMメモリなら64Gb、cache用の SRAMなら300Mb/cm^2であろう。リソグラフィーには乗り越えるべきギ ャップがあるが、多分乗り越えられるだろう。 　考えられるProcessor-in-Memoryの筋書きは、700mm^2の面積をDRAM にして32Gb（4GB）の共有メモリ、300mm^2を4個のマイクロプロセッサ （うち、200mm^2をcache領域）にして、合計1000mm^2。これを625MHz で動かす。さらに、5GB/s per link の 3D router をも埋め込む。チ ップ当りの発熱は3W程度のはずである。このチップを、32×64×64の 3次元に接続すれば、全体で1.3 Peta Flops の計算機となる。 7.その他 　これ以外にもいろいろ面白い話があった。 1)Round Table "Globally Scalable Computing Trends, Issues and Directions" (M. H. Kalos, 内田（富士通）、島崎眞昭、富田眞治、 Steve Nelson, Carol Crothers) 2)Panel "Network of Workstations vs. Massively Parallel Processors: Is there a Winner?" 3)Plenary talk "Teraflops Computing-Commercially Viable?" Steve Wallach (Convex) 4)Plenary talk "High-Performance Computing in Transportation Aerodynamics" (藤井孝蔵、宇宙研） 以上は、なかなか評判が高かった。わたしは、故宮（グーゴン）博物館 に抜け出していたので、聞き損ないました。残念！ 　日本のメーンフレーム3社の講演もありました。 5)Plenary talk "Treends in Supercomputer Architecture and Issues of Benchmarking" (Ken-ichi Miura 三浦健一 Fujitsu America) 6)Plenary talk "Hitachi's High Performance Computer Overview" (Shun Kawabe河辺竣, Hitachi Ltd.) 7)Plenary talk "Present and Future of High Performance Computing" (Tadashi Watanabe 渡辺貞 NEC) いずれも熱演で、質問も活発に出ました。 8)Panel "Benchmarking High Performance Computers: Mission Impossible?" (A. J. van der Steen, moderator, Charls Grassl, Cray, Y. Oyanagi, U. Tokyo, Danny L. Shieh, IBM, Ken-ichi Miura, Fujitsu) には私もいやいや引っ張り出されて、議論に加わりました。モデレー タと私以外はvendor側なので、わたしとしては、scienceとしてのベン チマークという立場を強調しました。特に、ベンチマークが計算機購 入の指針、または販売宣伝の指針（Benchmarkettingという言葉もある ようだが）のみではなく、システム設計の指針でもあるのだ、という 視点を強調しました。この点はあるていど賛成を得られたようです。 8.台風その他 　9月17日（日曜日）には、関東では戦後最大級の台風12号で東京周辺 は暴風雨になり、この日に台湾に出発した人は、飛行機が遅れて大変 な目に合ったとのことです。夜中の3時について、朝まで飛行場で野宿 した人もいたとか。NWではこの影響が翌日にも及び、すでに天候は回 復していたのに、夜中まで遅れたとか。 　そればかりか、会議の終わりには台風14号（アメリカ名 Ryan、台湾 名「頼恩」）が南から台湾に近づき、最終日22日（金曜日）には、全 島が非常事態となり、会議の全てのプログラムがキャンセルされてし まいました。ところが、ちょっと雨が降っているくらいで、風もなく、 「ええ、これ台風？」という感じでした。この日の発表予定の人、こ の日のTutorialを聞く予定の人は災難でした。幸い、飛行機は正常だ ったので、わたしは便を早めて帰ってきました。その2日後（24日未明） に、台風14号は、九州に上陸しました。 以上簡単な報告です。 --------------------------------------------------------------