初版2011/12/22
改訂2011/12/27
 
 
SC11報告(未完)
小柳義夫
 
http://olab.is.s.u-tokyo.ac.jp/~oyanagi/reports/SC2011.html
(再配布は自由ですが、上記ページから最新版をご利用ください。)
http://olab.is.s.u-tokyo.ac.jp/~oyanagi/conf.html にはその他の国際会議の報告などがありますので、ご興味があればご笑覧ください。
 
この報告は、主として私のメモに基づいてまとめたもので、英語の聞き違い、メモ違いなど多数あると思います。ご容赦ください。ご指摘は歓迎します。改訂に反映させたいと思います。すでに多くの方から貴重なご指摘を頂きました。なお、講演紹介中の[]内は、私の感想またはコメントです。
 
この報告は今後インクリメンタルに修正増補する予定です。
 
1.はじめに
 
 SC11: The International Conference for High Performance Computing, Networking, Storage and Analysis (通称 Supercomputing 2011) は、23年目の今年、ワシントン州シアトル市のWashington State Convention Centerにおいて11月12日(土)から18日(金)まで"Connecting Communities through HPC"のテーマの下に開かれた。会議名は時々変わるが、2007年以来同じで、"Analysis" を加えている。このシリーズの国際会議で、シアトルは二度目の開催である。前回は2005年であった。全参加者数は約11500人、technical program参加者数は5000弱とのことである。
 前回は南側のWSCCの方だけで開催したが、今回は、technical programは北側のTCC (The Conference Center)で開かれた。展示は、前回と同様に、両方の建物をつないで道路を渡る会場(4階と6階)で開かれた。
 この季節の常で、会期中天気が悪く、気温も東京より寒かった。後半では最低気温が摂氏零下になったようである。ただ、事前の予報より雨は少なく、傘が必要な時間は割に短かった。例によって,折りたたみ傘(IBM提供)が配られていた。
 今年のSC11は、日本人にとっては「京コンピュータ」を中心とする日本勢の活躍が誇らしい会議であった(後述)。私としては中国の台頭も強く印象に残った。前月(10月)に開かれ私も参加したHPC-China 2011 (http://olab.is.s.u-tokyo.ac.jp/~oyanagi/reports/HPC-China2011.html)の報告にもあるように、中国は今回自前のチップで作ったペタフロップス機の情報を展示し、Top500でも14位を占めた。
 
 2012年のSCは、11月10日〜16日にユタ州ソルトレーク市で開催される予定である。http://sc12.supercomputing.org/を参照してください。
 会議の報告としては田村栄悦氏のブログも参照してください。
http://cheerhpc.wordpress.com/category/sc11/
 
2.会議の歴史
 
 毎度のことであるが歴史を示す。この会議はアメリカの東西で交互に開かれて来た。年次、開催都市、展示・チュートリアル等を含めた総参加者数、technical program有料登録者数、総展示数、投稿論文数、採択数、採択率を示す。初期の回では、テクニカルプログラム登録者という概念がなかった模様である。21回のパネル"SC: The Conference" での推定値を記す。2013年以降の開催地は公式発表ではない。
回数年号
 
場所
 
総数
 
tech.
 
展示数 投稿数
 
採択
 
採択
1回(1988) Orlando 1495 700-800 36 150 60 40%
2回(1989) Reno 1926 1400 47 ? 88  
3回(1990) New York 2303   59 ? 92  
4回(1991) Albuquerque 4442   80 215 83 39%
5回(1992) Minneapolis 4636   82 220 75 34%
6回(1993) Portland 5196   106 300 72 24%
7回(1994) Washington 5822 2209 122 ? 77  
8回(1995) San Diego 5772 2017 106 241 69 29%
9回(1996) Pittsburgh 4682 1642 121 143 54 38%
10回(1997) San Jose 5436 1837 126 334 57 17%
11回(1998) Orlando 5750 1984 130 270 54 20%
12回(1999) Portland 5100 2124 149 223 65 29%
13回(2000) Dallas 5051 2096 159 179 62 35%
14回(2001) Denver 5277 2017 155 240 60 25%
15回(2002) Baltimore 7128 2192 221   67  
16回(2003) Phoenix 7641 2390 219 207 60 29%
17回(2004) Pittsburgh 8879   266 192 59 31%
18回(2005) Seattle 10000+   276 260 62 24%
19回(2006) Tampa 9000+   258 239 54 23%
20回(2007) Reno 9300+   314   54  
21回(2008) Austin 11000+ 4100+ 337 277? 59 21%
22回(2009) Portland 10200 4100 318 261 59 23%
23回(2010) New Orleans 10000+ 4390 338 253 51 20%
24回(2011) Seattle 11500 5000- 349 353 74 21%
25回(2012) Salt Lake City            
26回(2013) Denver            
27回(2014) New Orleans            
28回(2015)              
 
私は、第1回、第4回、第12回、第19回の他はすべて出席した。この会議は元々アメリカの国立研究所の関係者を中心にボランティア的に発足したところに特徴がある。当初はアメリカの国内会議の印象が強かったが、第10回のころから次第に国際的な会議に成長してきた。
 
 日本の研究者もこの会議の運営に大きく貢献している。SCxyの全般を企画するSteering Committeeには2009年から松岡聡(東工大)が加わっている(敬称略、以下同様)。松岡はCommunity Chairも務めている。
 プログラム委員会関係では、Technical Program Chairの下にいくつかの組織がある。
 
1) System Software分野には、松岡聡(東工大)と田浦健次朗(東大)が委員として加わっている。
2) Applications分野には、青木尊之(東工大)と中島研吾(東大)が委員として加わっている。
3) Architechture/Networks分野には、中島浩(京都大)が共同Chairとして、井上弘士(九州大)、石川裕(東大)、中村宏(東大)が委員として加わっている。
4) Clouds/Grids分野では、関口智嗣(産総研)と田中良夫(産総研)が委員として加わっている。
5) Performance分野では、朴泰祐(筑波大)が共同Chairとして、成瀬彰(富士通研)、須田礼仁(東大)、高橋大介(筑波大)が委員として加わっている。
 
 受賞関係では、GM HPC Fellowship委員として松岡聡が加わっている。
 
 Tutorial委員会には、平木敬(東大)、石川裕(東大)、末安直樹(富士通)が委員として加わっている。
 
以上抜けがあったら教えてください。
 
3.全体像
 
 会議はあまりにも巨大で、全体像をつかむことは困難である。。
 
 Technical programの主要部は15日(火)からであるが、会議そのものは12日(土)から始まっている。13日(日)と14日(月)にはチュートリアル33件(全日は18件、半日は12件)が行われていた。会議に附属して、独立 に組織された14のワークショップも開催された。13日(日)には9件、14日(月)には9件、18日(金)には5件があった。
 
 14日(月)夜7時の展示会場における Gala Openingsから会議の中心部分が始まる。このとき展示会場が参加者に初めて公開されその場でおつまみ程度の軽食が提供される。例年、おつまみがすぐなくなってしまい、特に展示関係者にはなかなか口にできないが、2007年からは一般公開より少し前から食べ物を提供していて、展示関係者には好評であった。
 
 展示は、企業展示も研究展示もますます盛り上がっている。とくに企業展示はチュートリアルとともにこの会議の最大の収入源である。展示は14日(月)の夜から19日(木)の3時までの実質3日間であるが、その設営も撤収もなかなか大変である。
 
 火曜日の朝からtechnical programが始まる。火水木の8:30--10:00はplenaryで、15日(火)は開会式と招待講演、16日(水)と17日(木)にはそれぞれ招待講演が2件あった。10時からはコーヒーブレークで、展示会場も10時からオープン。飲み物とともにベーグル、菓子パン、果物なども提供される。朝が早いので、これで朝食代わりにしている人も多い。
 
 10:30から18:45まではいろいろなプログラムが多数並列に設定されている。最近はポスター発表も重要視されている。今年は、火曜日5時15分から7時までPosters sessionがあった。
 
 金曜は展示もなく、早めに帰ってしまう人も多いので、毎年客寄せに苦労する。
 
 
4.Social Events
 
 恒例により、19日(木)の夜は、市内中心部の高さ184mのタワーSpace Needleでevening eventがあった。
 このほかこれも恒例だが、いくつかの企業が、お客様を招待するパーティーが火曜日と水曜日に多数あった。
 
5.展示
 
 展示は4階が104,320 ft2で、6階が26,976 ft2であった(ブース面積の合計)。会場の面積の合計は265,30ft2とのことである。昨年のニューオーリンズの時と比べると狭い感じがする。企業展示207件、研究展示132件、全体で349件である(合計は合わないが)。
 例年のごとくTechnical programとは独立にExhibitor Forumが3並列で火水木にあり、展示出展企業が30分ずつ講演した。東大生研の革新的シミュレーション研究センターは企業枠として展示を出したので、加藤千幸氏が講演した。このほか、各展示ブースでは企業展示でも研究展示でも、プレゼンテーションがひっきりなしに行われており、とてもつきあいきれない。
 マイナビニュースにHisa Ando氏による詳しい報告がある。
http://news.mynavi.jp/articles/2011/12/05/sc11_Exhibit/
「SC11 - 論文発表やワークショップと並び重要な各社の展示」
 
5-1 企業展示
1) Cray
  16coreのOpteronをGeminiインターコネクトでつないだXE6、およびさらにNVIDIAのGPUを搭載したXK6を中心に展示していた。IBMが8月6日に撤退を発表したイリノイ大学NCSAのBlue WatersをCrayが受注したことが、アメリカ時間の11月14日に発表された。XE6を235キャビネット以上とXK6が30キャビネット以上ということである。まあ、実効1PFのマシンを納入できるベンダは限られるので、多分クレイだと思っていたが、11月はじめに噂が聞こえてきていた。また、正式発表は12月1日であったが、京都大学の学術情報メディアセンターが、旧大型計算機センターとしては初めてクレイ(XE6、940ノード、300 TF)を導入するという噂も流れ、盛り上がっていた。
2) IBM
 ボードは去年も展示されていたが、BlueGene/Qの筐体が初めて公開された。以前のBlueGene/LやBlueGene/Pは空冷であったので、あの有名な斜めの前面パネルが用いられたが、水冷のBlueGene/Qではその必要がない。しかしトレードマークである斜めの前面を模して、筐体に斜めの模様が作られていて笑ってしまった。Gala Openingの前にはシートが掛けられていた。来年はSequoiaとしてLLNLに納入される。
 Power7チップを用いたPOWER775も展示されていた。
 BlueGene/QについてはHisa Ando の報告がある。
http://news.mynavi.jp/articles/2011/12/13/blugeneq/
 「SC11 - 20PFlopsを目指すIBMのBlue Gene/Q」
 
3) 富士通
 富士通は、京の筐体を誇り高く展示するとともに、その商用版PRIMEHPC FX10(16coreチップSPARC64 IX fxを使用)の筐体も展示されていた。日本時間の11月14日に、東京大学情報基盤センターから80ラック(ピーク1.13 PF)の構成で受注したことが発表された。2012年4月から稼働予定。
 PRIMEHPC FX10については、下記のHisa Andoの報告がある。
http://news.mynavi.jp/articles/2011/12/16/sc11_fx10/
 「SC11 - 京の技術を向上させた富士通の新スパコン『PRIMEHPC FX10』」
 
4) NEC
 11月17日に発表したSX-9の後継ベクトル機SX-Xのチップと言われるものを展示していた。なお、SX-10の名前はどこかに取られたらしく、ローマ数字のXにしたようである。SCでは初めての発表となる。余談であるが、私の記憶が正しければNECは1990年頃、SX-3のコードネームか海外用の名称としてSX-Xを使っていたような気がする。
5) 日立
 Power7を用いたSR16000の実機とSR16000 M1のプロセッサボードを展示していた。SR16000はIBMのPower775のOEMであるが、ボードは日立製と言われている。京都大学基礎物理学研究所、北海道大学情報基盤センター、高エネルギー加速器研究機構などに導入されている。このほか、HA8000tc./HT225というAMDのBulldozerプロセッサを使ったクラスタも展示されていた。Hitachi Data SystemsからはVSPの展示とストレージのデモをやっていたようである。
6) NVIDIA
 今年も大変元気がよかった。今年はNVIDIAの創立者・CEOの Jen-Hsun Huang氏が基調講演を行った。昨年は、NVIDIAのBill Dallyが総合講演を行った。今年8月には、CrayのCTOとしてT3EやX1などを19年間引っ張ってきたSteve ScottがNVIDAに移ったというニュースもあった。また、今年初めて、日本人参加者を対象とするカクテルバーティがあった。
 例年通りブースではGPU Technology Theaterとして朝から晩までプレゼンテーションが行われていた。
 
5-2 研究展示
 
 全体で132件であったが、そのうち日本からの研究展示は以下の32件(企業枠での出展を含む)であった。今年初めて出展したのは5件。昨年から撤退したところはなかった。
 
National Institute of Advanced Industrial Science and Technology (AIST)
Center for Computational Sciences, University of Tsukuba
Center for Research on Innovative Simulation Software, The University of Tokyo(初参加、企業枠)東京大学生産技術研究所革新的シミュレーション研究センター
・ CMC (Cybermedia Center), Osaka University
Doshisha University
GRAPE Projects
Hokkaido University
新しいスーパーコンピュータSR16000(TOP500で95位)とクラウドシステムに関する展示を行った。
Information Technology Based Laboratory (ITBL)
Japan Agency for Marine-Earth Science and Technology (JAMSTEC)
Japan Advanced Institute of Science and Technology (JAIST)
Japan Atomic Energy Agency (JAEA)
Japan Aerospace Exploration Agency (JAXA)
Kansai University
Kyoto University
Kyushu University
Nagasaki University(初参加)
Nara Institute of Science and Technology (NAIST)
National Institute of Informatics (NII)(「e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発」プロジェクトの「研究コミュニティ形成のための資源連携技術に関する研究」の成果も展示)
National Institute of Information and Communications Technology (NICT)
大阪・ロンドン・シアトルの3拠点間を結ぶ仮想ネットワークを活用したハイビジョン映像コンテンツを制作する公開実験を実施。
Okinawa Institute of Science and Technology (OIST)(初参加)
・ PC Cluster Consortium(企業枠)
Research Organization for Information Science & Technology (RIST)
The Institute of Statistical Mathematics(昨年はResearch Organization of Information and Systems の名前で出展)
RIKEN AICS (Advanced Institute for Computational Scinece)(AICSとしては初)
 京の筐体を展示し、Top500の1位の賞状などを展示していた。
・ RIKEN, Advanced Center for Computing and Communication
Saitama Institute of Technology
Saitama University
T2K Open Supercomputer Alliance(「e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発」プロジェクトの「シームレス高生産・高性能プログラミング環境」の成果も展示)
The University of Tokyo 平木研究室
Tohoku University
Tokyo Institute of Technology
 あえて6階を選び、広いブースで展示をしていた。
University of Aizu(初参加)
-------------------------
 中国からの参加は、企業を含め5件であった。CAS (Chinese Academy of Sciences)はブースを出さなかったが、Techinical Committee of HPC, China Computer Federation というブースがあり、ICT (The Institute of Computing Technology of Chinese Academy of Sciences) が天河1Aや神威藍光のパネルを展示していた。中国初の自製チップによるペタフロップスマシンである神威藍光については筆者のHPC-China 2011報告
http://olab.is.s.u-tokyo.ac.jp/~oyanagi/reports/HPC-China2011.html
を参照してください。このほかは、
・ChinaGrid
・Shenzhen Gigalight Technology Co. Ltd.
・Inspur (Beijing) El;ectronic Infomration Industry Co. Ltd.(中国名は「浪潮」)
 天河1Aや神威藍光なども製作を担当したのはこの会社らしい。
・HSS L State Key Laboratory of High End Server And Storage Technology(高効能服務器和存儲技術国家重点実験室)www.hss.ac どういうわけか.acという「アセンション島」のトップドメインを持っている。
 
 インドからも2件、いずれも企業である。
・Computational Research Laboratories Limited これはTATA Sons Limitedの子会社。
・HPC Links
 
 台湾から2件、企業1件、研究1件
・National Center for High-Performance Computing 國家高速網路與計算中心。中国語名にはnetworkが入ったようです。
・Etasis Electronics Corporation 電源のメーカらしい
 
 韓国から2件
・KISTI (Korea Insitute of Science and Technology Information)
・NIMS (Division of Computational Sciences in Mathematics, National Institute for Mathematical Sciences) 物質材料研究機構ではない。
 
 シンガポールから1件
・A*CRC (A*STAR Computational Resource Centre)
 
 
6.Technical Papers
 
 SCというとどうしても展示やイベントなど華やかなものに注目があつまるが、レベルの高い査読による原著論文(technical papers)は言うまでもなく重要な部分である。
 
 論文投稿総数は353、そこから74編が選ばれた。採択率は21%である。日本が関連した発表としては、Gordon Bellとの同時投稿を含め、次の4件である。うち3件が東工大関連であることは注目される。
 
○Naoya Maruyama - Titech, Tatsuo Nomura - Google, Inc., Kento Sato - Titech, Satoshi Matsuoka - Titech, "Physis: An Implicitly Parallel Programming Model for Stencil Computations on Large-Scale GPU-Accelerated Supercomputers"
 
○Takashi Shimokawabe - Tokyo Institute of Technology, Takayuki Aoki - Tokyo Institute of Technology, Tomohiro Takaki - Kyoto Institute of Technology, Akinori Yamanaka - Tokyo Institute of Technology, Akira Nukada - Tokyo Institute of Technology, Toshio Endo - Tokyo Institute of Technology, Naoya Maruyama - Tokyo Institute of Technology, Satoshi Matsuoka - Tokyo Institute of Technology, "Peta-scale Phase-Field Simulation for Dendritic Solidification on the TSUBAME 2.0 Supercomputer"(Gordon Bellとの同時投稿)
 
○Leonardo Arturo Bautista Gomez - Titech, Dimitri Komatitsch - U of Toulouse, Naoya Maruyama - Titech, Seiji Tsuboi-JAMSTEC, Franck Cappello - INRIA, Satoshi Matsuoka - Titech, Takeshi Nakamura - JAMSTEC, "FTI: high performance Fault Tolerance Interface for hybrid systems"
 
○Susumu Yamada - JAEA, Toshiyuki Imamura - U of Electro-communications, Masahiko Machida - JAEA, "Parallelization Design for Multi-core Platforms in Density Matrix Renormalization Group toward 2-D Quantum Strongly-correlated Systems"
 
======14日(月曜日)======
14−1 展示準備
 早い人は前の週から働いているが、多くのブースでは日曜日と月曜日が展示のセットアップである。外国から展示物などを搬入するには思わぬ事件が起こる。さる日本のブースでは、展示パネルとgive-away(配布品)の液晶拭きを一緒にパックしたら、「繊維製品が入っている」と税関で引っかかり、結局会場に着いたのは水曜日であった。展示パネルは電子データをUSBメモリで持ってきていたので、こちらのKinko'sでプリントしてパネルに作ってもらって間に合わせたそうである。
 
14−2 Gala Opening
 7時からはGala Openingであったが、今年も開場前に5時ぐらいから展示関係者のために軽食と飲み物がサービスされた。これは大変好評であった。
 
======15日火曜日======
 
15−1 開会式
 
 前日のGala Openingに引き続いて、15日(火曜日)の8:30から開会式があった。2005年のシアトルでのSC05では会議場のホールを使ったが、今年は隣接するSheraton HotelのGrand Ballroomで行われた。
 先だってSC11のビデオが上映された。組織委員の松岡氏の顔も見えた。前回のSC05の風景などもちりばめられていた。
 
a) 組織委員長Scott Lathrop (U of Chicago)あいさつ
 会議の全体をざっと紹介。とくに展示の数、SCinetの長さ、投稿論文、ボランティアなどに言及した。
 
 
15−2 Keynote Address Jen-Hsun Huang, Co-founder, President and CEO of NVIDIA
 
 基調講演はNVIDIA創立者のJen-Hsun Huang(黄仁勳)氏の"Exascale -- An Innovator's Dilemma" であった。昨年の基調講演のChristensenの講演を意識していたようである。Christensenの言うdisruptive technologyはまさにexascaleに当てはまる、と指摘した。
 スーパーコンピュータは今や不可欠のツールである。計算速度の歴史を見てみよう。驚くほどの発展である。Cray YMPは1988年に初めてGFlopsを実現した[ベンチマークで世界初のGFlopsは、NEC SX-2がLivermore LoopのNo.7で1042.3 MFLopsを出した(1987)のが最初であろう]。T3E/1200は1998年に0.8 TFを、XT5 (Jaguar)は2009年に1.8 PFを実現した。
 4年に半導体のサイズは半分になり、同じパワーで8倍の性能が出る。ワット当たりの性能は年毎に1.68倍である。これまでDennard氏の提唱したスケーリングに従ってきたが、これには終わりが見えている。今後パワー当たりの性能向上は年に1.19程度にまで鈍るであろう。20MWに制限すると、2019年には70PF 、2022年にも100PFしか出来ず、1 EFは2035年になってしまう。
 CPUは高速化しているが複雑化している。それはsingle thread performanceに最適化しているからである。演算の50倍のエネルギーを演算のスケジュールに、20倍のエネルギーをデータ移動に使っている。従って、演算には数%のエネルギーしか使っていない。
 超効率的なプロセッサが必要である。それは多くの単一なプロセッサの集まりであり、局所性を重視し、single thread performaceは悪化する。
 "Innovator's Dilemma"によれば、顧客や投資家に注目されないと企業は成り立たないし、小さな市場では大きな会社の成長を支えられない、と書かれている。NVIDIAのGPUはゲーム用のグラフィックスというロー・エンドから始めた。これこそ破壊的イノベーションだ。一つは2〜300ドルだが、年に2億売れている。もうけは少ないが数が多い。GPUは表現の幅を広げた。すべてのゲームは違うし、より高度なものを求めるようになる。20年間最大のグラフィックの会社であった。
 IEEE 754の32ビット表現を採用した。これによりGPU computingは新しい市場となった。長崎大学の浜田氏の(扇風機で冷やしている)コンピュータはまさに破壊的技術である。かれはGordon Bell賞を取った。かれはIBMの顧客には絶対ならない。
 今やCUDAが動くGPUは3.5億個以上出ている。中国科学院はH1N1ウィルスを解析するのに2000個のGPUを使った。今回NVIDIAはOpenACCを発表した。これは並列プログラミングのためのオープンな規格で、directiveを書くだけでGPU上で並列化できる。魚の一生[?]の計算が2日で65倍になったとか、星と銀河が5日で5.6倍になったとかいくつかの例を出していた。
 Exascaleへの路には20MWの壁がある。2019年までに20MWができれば、2035年には100 EFが実現する。
 クリステンセン流に言えば、GPUはすでにクロスオーバーを越え、新しい市場のイノベーションに到達したのだ。巨大な市場がGPUをサポートしている。モバイルは10億台、ワークステーションは500万台である。2019年には5WでTFlopsが可能になる。
 ここで怪獣の映画を上映した。音響もすごかった。
 TFlopsはASCI Redで実現したが、2019年には100W で出来るようになる。リアルタイムの動画のためにはTFが必要である。
 ここでAssasin's Creedという中世物の映画を上映。
 別の人が出て来て、どう絵を作るかを実演した。
 "One Disruption Enables Another" ということが重要である。"From Supercomputer to Superphones."
 なお、以下の電子ニュースもご覧ください。
http://news.mynavi.jp/articles/2011/11/30/sc11_nvidia/
 「SC11 - NVIDIAが基調講演で語ったスパコンの概念と未来展望」
http://plusd.itmedia.co.jp/pcuser/articles/1111/22/news032.html
「20メガワットエクサスケールは破壊的イノベーションで実現する」
 Huang氏の同様な講演(12月)は
http://pc.watch.impress.co.jp/docs/news/event/20111215_498851.html
 【GTC ASIA 2011レポート】
にもある。
 
15−3 HPC Challenge Awards
 12:15からのBirds of a Feather sessionの一つとして、The 2011 HPC Challenge Awardsが発表された。これはClass 1とClass 2の二つのクラスがある。Class 1では、多くの問題のベスト性能を競う。カテゴリとしては、
a) HPL (High Performance Linpack)
b) Global-Random-Access
c) EP-STREAM-Triad per system
d) Global-FFT
Class 2では上記4つを含むHPC Challenge Benchmarkのプログラムの4つ以上を最もエレガントに実装したチームを表彰する。採点基準は「技術点」(性能)と「芸術点」(エレガンス、明晰さ、サイズ)がそれぞれ50%である。
 Class 1の上位受賞は次の通り(http://www.hpcchallenge.org/による)。
G-HPL Achieved System Affiliation Submitter
1st place
1st runner up
2nd runner up
 
2,118 Tflop/s
1,533 Tflop/s
736 Tflop/s
 
K computer
Cray XT5
Cray XT5
 
RIKEN AICS
ORNL
UTK
 
M. Yokokawa
Buddy Bland
Steve Whalen
 
G-RandomAcces Achieved System Affiliation Submitter
1st place
1st runner up
2nd runner up
 
121 GUPS
117 GUPS
103 GUPS
 
K computer
IBM BG/P
IBM BG/P
 
RIKEN AICS
LLNL
ANL
 
M. Yokokawa
Tom Spelce
Scott Parker
 
G-FFT Achieved System Affiliation Submitter
1st place
1st runner up
2nd runner up
 
34.7 Tflop/s
11.9 Tflop/s
10.70 Tflop/s
 
K computer
NEC SX-9
Cray XT5
 
RIKEN AICS
JAMSTEC
ORNL
 
M. Yokokawa
Kenichi Itakura
Buddy Bland
 
EP-STREAM-
Triad(system)
Achieved
 
System
 
Affiliation
 
Submitter
 
1st place
1st runner up
2nd runner up
812 TB/s
398 TB/s
267 TB/s
K computer
Cray XT5
IBM BG/P
RIKEN AICS
ORNL
LLNL
M. Yokokawa
Buddy Bland
Tom Spelce
 
 今回、Class 1のすべてにおいて京コンピュータが第1位を受賞した。なおG-FFTでは地球シミュレータが2位を獲得している。言うまでもないが上記の表において、M. Yokokawaは「横川三津夫」である。欄に入らないので略記した。
 Class 2の結果は以下の通り。
Award Recipient Affiliation   Language
Most Elegant Language
$1000
Sung-Eun Choi
 
Cray
 

Chapel
Most Elegant Language,
Honoable Mention
Laksono
Adhianto
Rice University
 
Coarray
Fortran 2.0
Best Performance
$1000
Laxmikant V.
Kale
UIUC
 
Charm++
 
Best Performance
Honorable Mention
Laksono
Adhianto
Rice University
 
Coaray
Fortran 2.0
 
15−4 Gordon Bell Finalists 1
 今年は5件の論文がGordon Bello賞のfinalistsに選ばれた。1:30からそのうち3つの講演が行われた。このうち2つは日本関係であった。
"First-principles calculations of electron states of a silicon nanowire with 100,000 atoms on the K computer"
Yukihiro Hasegawa, Junichi Iwata, Miwako Tsuji, Daisuke Takahashi, Atsushi Oshiyama, Kazuo Minami, Taisuke Boku, Fumiyoshi Shoji, Atsuya Uno, Motoyoshi Kurokawa, Hikaru Inoue, Ikuo Miyoshi, Mitsuo Yokokawa (理研、筑波大、東大、富士通)
 
"Peta-scale Phase-Field Simulation for Dendritic Solidification on the TSUBAME 2.0 Supercomputer"
Takashi Shimokawabe, Takayuki Aoki, Tomohiro Takaki, Akinori Yamanaka, Akira Nukada, Toshio Endo, Naoya Maruyama, Satoshi Matsuoka(東工大、京都工芸繊維大学)
 
15−5 Blue Waters Panel
 午後15:30〜17:00には、実質上BlueWatersに関するパネルがあった。正式なタイトルは、
Holistic Co-Design Approach using Application Performance Modeling and Simulation for System Design, Evaluation, and Optimization
である。.座長のIrene Qualters (NSF、元クレイ) はNSFにおけるこのプロジェクトの責任者である。パネリストは、
William Kramer - National Center for Supercomputing Applications
Torsten Hoefler - National Center for Supercomputing Applications
Adolfy Hoisie - Pacific Northwest National Laboratory
Laxmikant Kale - University of Illinois at Urbana-Champaign
Allan Snavely - University of California, San Diego
Marc Snir - University of Illinois at Urbana-Champaign
の6人である。
 UIUCのBlueWatersプロジェクトは、8月6日にIBMが撤退し、その後クレイが担当することになったが、全体論的("holistic"にはいい訳語がない)なアプローチを強調していた。このパネルののアブストラクトは、
 「将来のペタスケール++システムには、システムとアプリ両方の加速実現の主要な方法として"co-design"を用いることになる。Blue Watersは、アプリとシステムのコデザインの概念を集中的に用いた最初で最大のHPCシステムプロジェクトである。Blue Watersのコデザインの努力の主要な部分は、アプリの再構成とシステムデザインへの全体論的なモデリングとシミュレーションのアプローチである。このパネルはBlue Watersの科学者と開発者とがとった、統合的("synergetic"にもいい訳がない)なしかも独立なモデリング、シミュレーション、性能予測を提示する。この多面的な努力は、Blue Watersシステムとともにそれを使うアプリの両方の、分析を助けるとともに最適化するであろう。このパネルは、モデリングとシミュレーションの統合的な努力を提示する。このような努力は、システム・デザインとアプリの移植にインパクトを与える。ここでの教訓は、ペタスケールを越えるエクサスケールへの努力にも適用できるであろう。」というたいそうなものであった。
 まずQualtersが、「このパネルはBlue Waters Projectで議論してきたことを紹介したい。局所性だけを考えればいいわけではない。」というような導入をした。
 Snavelyは、"Performance Modeling for Blue Waters"と題して、「性能モデルはアプリに対して予言力を持たなくてはならない。新しいシステムのアクセラレータに適用して性能が予測できなくてはならない。そのためにはシステム性能のレーダーチャートを用いる。項目としては、L1, L2, L3 caches、メインメモリ、on-node latency, on-node bandwidth、off-node latency、off-node bandwidthなど。これを気象や地震などのアプリに適用する。このように、性能モデルの基本的な要素によってシステムとアプリをつなぐ。これが私の所属するPMaC lab.の予測フレームワークである。」と述べた。
 Hoisieは、「アプリの振る舞いをカプセル化し、性能と○○を分離する。」と述べ、性能モデルのプロセスフローチャートを示した。「IBMとの共同研究で、PERCSにおけるコデザインは、仮想的なシステムで性能予測を行い、コデザインのツールとしてモデルを用いる。エクサスケールのためのコデザインとしては、モデリングが重要で、消費電力、性能、信頼性が鍵である。
 SnirはANLのMathematics and Computer Science Divisionのdirectorを兼務しているようである。かれは、"From Art to Engineering" と題して、「これまで性能予測というと魔法のお告げのように見られていた。つまり、適用可能性が狭く(とくに動的に変化する場合)、プログラマにもシステム・デザイナーにも立ち入り禁止(off limits)であった。戦略的な目標は消費エネルギーである。2%だけが浮動小数演算に使われていて、50%はデータの動に、50%はアーキテクチャ関係の利便性(キャッシュなど)に使われている。」などと述べた。
 Kaleは、「新しいマシン上ではチューニングに時間がかかる。どうしたら性能を予測し、ボトルネックを発見できるか。それには感度解析が重要である。詳しくは私の論文を見てほしいが、Charm++によりBigSimというエミュレータを作った。2万コアのマシンで30万コアのプログラムを予測できる。Petascale++のシステムに対して有効である。」と述べた。
 Hoeflerは、"Performance Modeling for the Masses"と題して発題した。「性能モデリングとは何か。簡単な方法論がある。解析的なモデルで測定値を分析することである。例えば、T=a+b*N^3 とか。では、いつ、どこで、そのようなモデルを使うのか。存在するコードに対するわれわれのプロセスには6つのステップ(4つは解析的、2つは経験的)[何のことか不明]がある。Blue Watersのアプリは比較的規則的なものが多い。性能モデルは、アプリの設計者とシステムの設計者の双方の指針になる。」
 
 あまり理解できなかったが、私の疑問は、これでアプリとシステムのコデザインになっているのであろうか、ということである。つまり、システムの特徴からアプリを再構成するという方向ばかりで、アプリからシステムの設計を再構成するという方向の議論はあまりなかった。システムはgivenという印象である。Blue Watersの場合、すでにシステムは決まっているのでやむを得ないかもしれないが、これでは双方向のコデザインになっていない、と考えます。
 この意味で、これまでの日本の先端的HPCマシンはコデザインのコンセプトを守ってきたと思います。典型的なのはGrapeやcp-pacsで、前者は重力多体計算、後者はQCD計算というアプリとアーキテクチャを完全に双方向で設計したと言えます。NWTや地球シミュレータでも、流体や気象というアプリからアーキテクチャを考えています。京コンピュータでは、最初の案は「汎用スーパーコンピュータで何でもできる」というような触れ込みでしたが、それでは設計ができないと、岩崎先生やわたくしなどが強硬に主張して、典型的なアプリを(最初約20本、最終的には6本)選び、そのカーネルコードをアーキテクチャやコンパイラとすりあわせたので、ある程度コデザインになったと言えます。
 重要なことは、このように特定のアプリと摺り合わせてデザインしたコンピュータは、全部とは言わないまでの、他のいくつかのアプリにもかなりの性能を出せるということです。Grapeは完全な専用だったのでちょっと別ですが。
 設計は限られた資源をどこに使うかという選択の問題です。最初から「汎用」スーパーコンピュータを目指すと、「あれも欲しい、これも欲しい」ということになって選択ができなくなります。現在、次世代HPC(いわゆるエクサスケール)の開発が議論されていますが、そこでもコデザインが基本原則として明示されています。
 コデザインのには、アプリとアーキとをつなぐインタフェースが重要です。cp-pacsではmultというQCDのカーネルを使った。カーネルコードが分離できるならばそれは一つの方法である。もう少し一般的には、いくつかの軸で考えることが考えられる。例えば、x軸としては、Flops当たりのメイン・メモリバンド幅(B/Flopと呼ばれる)をとり、y軸としてFlops当たりのメイン・メモリ量(B/Flopsと呼ばれる)を取り、xy平面で可能なアーキテクチャやアプリを考えることである。
 
15−6 Top500 BoF
 恒例により、15日火曜日の5:15からTop500のBoFがあった。今回は38回目のTop500である。
 京コンピュータがLINPACKで10.51 PFlopsを達成したという発表はすでに11月2日に理研からあった。ノード数は88,128で、ピークは11.28 PFlopsであった。ちなみに、注意深い人は、ラック数が864で、1ラックの計算ノードは96であるから82,944で数が合わないと気づいた。実は各ラックには6個のI/Oノードがあり、同じCPUで作られ、相互接続網で接続されている。そこで、I/Oノードも計算にかり出せば864×(96+6)=88,128 となる。これは昔からしばしば使われている技法である。
 これで果たして6月に続いて再びトップを取れるか、少しは心配があった。BlueWatersは上述の事情で戦外であるが、来年6月完成予定のSequoia (BlueGene/Q, 20 PFLops) が、(前回の京と同様に)入った分だけで測定しましたとか言って10PFlopsを越えるデータを出してくる可能性もわずか残っていた。
 幸い、14日中に発表があり、日本の新聞の電子版でも日本時間14日深夜(アメリカ太平洋時間では14日午前7時ごろ)から京が世界一を取ったと報道されていた。
 まず、全世界のトップ3とアメリカとヨーロッパのトップの表彰式があった。
 全世界トップは京コンピュータで、理研の渡邊貞氏と富士通の佐相副社長が壇上で表彰状を受け取った。このときの様子は、
http://www.nsc.riken.jp/K/diary.html
にある。2位はSC10でのトップだった中国の天河1Aで、NUDTの人が受け取った。短い挨拶で、石油探索、バイオ、材料などに使っていると述べた。またゴードンベル賞に2件出したが、finalistsには残らなかったと、昨年の約束を果たしたことを示した。世界3位およびアメリカ1位はJaguarでクレイのPeter UngarroとORNLの○○氏が受け取った。ヨーロッパ1位はフランスのCEAの人とBullの人が受け取った。Bullの人は、「来年は日本とフランスにペタフロップスのマシンを納める」と述べた。「え?日本」と思ったが、六ヶ所村のITER用の計算機のことであった。
 さて、今年のTop10は以下の通りである。
 恒例により、Strohmaierがハイライトを述べた。トップ10は前回(6月)から全然変わっていない。京の性能が上がっただけである。こんなことはこれまでなかった。新しく入ったのは195件でほぼ平均的。1年当たりの合計性能上昇は1.8倍であった。去年は1.4で最低だった。500番目は50.9 Tflopsで、2002〜2004の地球シミュレータを越えている。外挿すると2019年に1 ExaFlopsに達する。
 国別では中国の上昇が著しい。システム数では、アメリカの53%の次が中国の13%で、ドイツ、英国のあとに日本とフランス。ベンダ別では、IBM45%、HP28%、Cray27.5%、SGI17.3%と続く。しかし、Top50では、Crayが34%、IBMが18%の順である。
 アクセラレータでは、ClearSpeedやATIやCellが姿を消し、ほとんどがNVIDIAとなった。LINPACKの効率を順位別に示した。電力絶対値では京の12MWが最大。電力効率ではBlueGene/Qが最良。その後にNVIDIAとSandy Bridgeが続き、京は8番目である。その次に中国の神威藍光(Sunway Blue Light)が続く。
 そのあと、SNLのSandipがUS Exascale Planについて述べ、BaderがGraph500の話をした。Green500は2010年11月から始め、最初は9しか参加がなかったが今は50に増えている。アメリカ37、日本3、ロシア、ドイツ、スイス各2、中国、英国各1とのことである。トップはBG/Qである。
 
======16日水曜日======
16−1 Ed Seidel - National Science Foundation (8:30)
"The Data and Compute-Driven Transformation of Modern Science"
 
 2日目の総合講演1は、NSFのAssistant Director, Mathematical and Physical SciencesのEdward Seidelであった。
 娘の誕生日がいつもSCと重なる、と話を始めた。
 1600年代にニュートンがリンゴと地球の2体問題を観測したときは、データはノートに記録され、理論はデータから駆動された。計算は手で、協力者はひとりか二人の学生であった[学生なんていたのか??]
 1972年にホーキングが2つのブラックホールの衝突を研究したときは、ペン1本だけでコンピュータもなかった。
 1992年にはCray YMPという大きな計算機を使って10人で研究した。メモリは50MBであった。
 1995年には、15人で、50GBのメモリのコンピュータを使った。
 今は、Einstein Toolkitが、11カ国、29カ所、67人の協力で作られている。community+software+algorithm+hardwarだ。
 今後は、もっと複雑になる。LHCとかガンマ線バーストとか、重力波検出器LIGOとか。どんどんdata intensiveになる。
 現在の天文学は、もはや受動的ではない。○○は3日で全天をサーベイする。一晩に40TBのデータが溜まる。エクサバイトのデータだ。科学者はデスクトップでこれにアクセスする。
 こうなると学問の領域を越えた統合が必要である。複雑な問題のグランドチャレンジが必要である。これはデータの共有によって協力する。Publicationも変わる。科学と社会の関係はデータによって変貌する。Tony Heyはデータ科学を「第4の科学」と呼んだ。
 第2部では、どんな危機に対応すべきかを論じる。3つの危機がある。computationとdata visualizationとsoftwareだ。さらに2つある。organization for multidisciplinary computational sicnecesとeducationだ。教育が問題だというのは、すべてを学ぶことが出来なくなるからである。
 NSFはNatinal Cyber Infrastructure blueprintを書いた。NSF XSEDEは、キャンパスとインターネット[?]を接続することが出来る。
 第3部はRecommendationsだ。[内容はメモできず]
 第4部はFocus on Dataだ。See of dataの境界をどうなくすか。Creditをどうするか。NSFの方針は、データは誰にも公開すべきで、どこにいても利用可能で、適切な料金体系で利用できるということである。
 
16−2 Robert Marsh - Inveneo
"Addressing Development Challenges through Technology"
 2つめの総合講演はInveneoのRobert Marshであった。Inveneoは発展途上国、とくにアフリカにおける貧困な共同体のために、情報通信技術の援助を行っているNPOである。貧困に対し、技術はどう答えるか、という問題提起を行った。SCとどう関係するのかがよく分からなかった。
 
16−3 ATIP Supercomputing 2011 Luncheon
 会議場に隣接するSheraton SeattleのGrand Ballroomで、表記の昼食会が開かれた。これはATIP (Asuab Technology Information Program)がSC11, NVIDIA, Intelの支援を得て開いたもので、アジア各国の学生に、Student Cluster Competition (SCC)への参加を促すことを目的としている。学生だけではなく、アジア各国の教員も参加した。主として東アジアだったが、いろいろな人と会えておもしろかった。
 まずATIP会長のDavid Kahanerが開会し、IntelのStephen WheatとNVIDIAのSimon Seeが挨拶した。来年のSCC 2012のCo-ChairであるPeter Molnarが2012年のルールの変更について説明した。
 参加経験については、すでにSCCに何度も参加しているYeh-Ching Chung教授とChe-Rung Lee教授 (National Tsing Hua Univeristy, Taiwan)がくわしくSCCの経験を話した。遅れてきたBrent Gorda (Whamcloud CEO and SCC Founder、元LLNLでBG担当)がSCCの基本コンセプトについて述べた。
 最後に希望者をCordaがSCCの会場(6階の展示会場の入り口)に案内した。
 
16−4 Gordon Bell Finalists 2
 Gordon Bell省のfainalistsの残りの2件の講演は、この日1:30から行われた。うち1つは日本からのものであった。
"Petaflop Biofluidics Simulations On A Two Million-Core System"
Massimo Bernaschi, Mauro Bisson, Toshio Endo, Massimiliano Fatica, Satoshi Matsuoka, Simone Melchionna, Sauro Succi(Consiglio Nazionale delle Ricerche, Harvard University, 東工大、NVIDIA)
 
======17日木曜日======
17−1 Achim Bachem - Forschungzentrum Juelich (8:30)
"PRACE - a vision for a sustainable European HPC infrastructure"
 
 総合講演の前に、来年のSC12のSteering Committee ChairであるBarry V. Hess, Sandia National Laboratories が来年の宣伝をした。
 Salt Lake Cityはシミュレータの先駆的な会社であるEvans & Sutherland社の発祥の地である[創業者のDavid EvansもIyan SutherlandもUniversity of Utahの教授であった。ただし、スーパーコンピュータ分野に進出したが1989年に部門閉鎖。]。2002年の冬期オリンピックの開催地である。などいろいろ宣伝。ソフトウェアバレーと称してIT産業を発展させようとしている
 SC12のプロモーションビデオを上映した。気のせいか、ビールやワインやカクテルを飲んでいる映像がたくさんあった。ユタ州はアルコール飲料の販売を規制しているが、全然飲めない訳ではないことを強調しているようであった[食料品店やコンビニやスーパーでは買えず、州営の酒販売店でのみ購入できるとのこと]。
 
 今日の招待講演者であるユーリッヒのAchim Bachem氏はヨーロッパのスーパーコンピュータ連合であるPRACEを紹介した。PRACE (Partnership for Advanced Computing in Europe) は2010年4月に創立され、22カ国が加盟している。ESFRI (the European Strategy Forum on Research Infrastructures) の一部を構成している。2010年から2015年まで予算が確定し、Tier-0 serviceのために530 M Euro が支出される。
 2012年の資源は14.6 PFlopsである。BG/P, Bull, BG/Q, Cray, IBMなど。
 なぜPRACEが必要かというと、ヨーロッパには中央政府がないのでそれを補い、e-infrastructureを構築する。同様な位置にあるのが、DEISAというグリッドである。
 PRACEの3本柱は、scienceとindustryとvendorである。まず、science-drivenでなければならない。そして産業界は非常に重要である。多くの企業はtier-1のマシンのユーザだが、有能な企業はtier-0のマシンを使うところもある。ベンダとは、ハードやソフトのベンダを指す。アメリカ、日本、中国とは違う。
 Synergy(統合の効果)は、危険の軽減と分散インフラである。これにより、すべてのメンバ国にペタやエクサの資源を提供することが出来る。
 PRACEは2007年にMOU (Memorandum of understanding)が決まり、2008年から2009年に準備を重ねて、2010年に成立した。ブラッセルに本部があり、法的な存在である。scientific steering committeeが方針を決定する。
 Tier-0 computersへのアクセスは、一般に公募し、出された提案に対しtechnical peer reviewとscientific peer reviewとを3ヶ月間並行して行う。access committeeがpriorisationとresource allocationを決め、最終決定する。
 提案募集は年2回行う。多くの提案があったが、最初は厳しくやって60件を採用した。要求は7720 (million core hours)であったが、そのうち1805だけ認めた。プロジェクト当たり31.5である。
 分野としては、天文学が20、基礎物理が28など。
 産業界の利用について、ヨーロッパの90%以上はPRACE関連である[何のことか?]。ただし、トップ50のうち産業界は2%[1件]のみである。
 ESFRIはITERやFAIRやXFELなどが代表的だが、PRACEはこれとは異なる。一つのインフラ、一つの実験、一つのマシンではない。われわれとしてはESFRI cultureに挑戦をおこなっている。
 
17−2 Depei Qian - Beihang(北航)University (9:15)
"HPC and e-Infrastructure development in China"
 
 2つめの総合講演は、北京航空航天大学のDepei Qian(銭徳沛)教授の中国のHPCについての講演であった。かれは西安交通大学教授も兼務し、Sino-German Joint Software Instituteの所長でもある。非常に英語が上手であった。
 銭教授は、1996年から 国家863計画「高性能計算機及びネットワークサービス環境」重要プロジェクトに関わり、現在は責任者を務めている[中国の計画には3桁の数字がついているが、これは通し番号ではなく、86年3月に決定した計画であることを意味するらしい]。国家973計画[97年3月に決定、基礎科学研究により国家の発展を支援する]にも関係している。
 1990年に初めて並列処理が963計画に入った。1993年にはDawning 1が出来た。95年にはDawning 1000、96年には1000、2000年には3000ができた。2002年にはLenovoがDeepComp 1800 ができた。2004年にはDawning 4000A など。最初の頃(1987頃)は人工知能が中心であった。日本の第五世代計画に影響されたらしい。2006年からはHigh productive Computing and grid serviceに重点を置いている。
 主要な研究テーマは、productivity, low power consumption, cost effectivenessなどである。
 アーキテクチャとしては、ハイブリッドアーキテクチャ(アクセラレータとの)やHPP (Hyper Parallel Processor)である。技術的革新としては、ハードとソフトの連携が問題である。
 これまで、二つのフェーズでスーパーコンピュータを開発してきた。最初は、二つの100 TFlops (DawningとLenovo)である。その次に、3つの1000 TFlopsのマシン(Tianhe 1A, Dawning 6000, Sunway Blue Light)である。これらのマシンについて詳しく説明した。
 Grid service environment とくにChina Natinal Gridに触れた。11箇所にセンターがあり、ペタフロップスマシンを別にして450 TFlops以上、2900 TBのストレージがあり、1400人以上のユーザがいる。
 Jasminという並列プログラムフレームがあり、パソコンからペタフロップスマシンまでシームレスにつなぐ。
 中国の弱点が5つある。
 1) まだ発展中である
 2) カーネルとなる技術が不足している
 3) アプリに弱い
 4) 学際的な研究が必要
 5) 分野をまたぐタレントの不足
 第19次5カ年計画では、HPCとクラウドに重点を置く。また、グランドチャレンジやエクサフロップスでは国際協力を行う予定。
 
17−3 Technical Program Awards (12:45-13:00)
(準備中)
 
======18日金曜日======
(準備中)
 
===============================================================