VLDB 2015 会議参加報告の資料を公開しました
今年の8月に開催されたVLDB 2015の参加報告資料を公開しました。 今回のVLDB参加は、SIGMOD日本支部からトップ会議の調査派遣という形で参加しており、その報告として2015/12/12にSIGMOD日本支部大会で講演する際に使った資料を一部編集したものを公開しています。
データベース分野の研究においては、最難関の国際会議としてVLDB、SIGMOD、ICDEがトップ3として認知されています。これらの会議で発表される研究論文が、データベース分野において最先端かつ最もレベルの高い研究成果といっても過言ではありません。また、単に最も質の高い研究発表が行われるだけではなく、第一線の研究者が集い、交流を深める場所としても機能しており、新たな研究の種が生まれる場所にもなっているといえるでしょう。 SIGMOD日本支部(日本のデータベース分野における研究会)では、これら3つの会議に毎年若手研究者を調査派遣して、支部大会で詳細な会議報告の発表会をするという取り組みを長い間続けており、今年のVLDBに派遣する研究者として私にお声がかかった、ということになります。この取組は、世界レベルの最先端の研究の現場で何が起きているかを若手研究者が身をもって知るとともに、その内容を日本のコミュニティに伝えるという役割を果たしています。 VLDBに参加できる機会を頂けたことを、この場を借りてSIGMOD日本支部関係者の皆様に改めて感謝したいと思います。
今回のVLDBでは、キーノート講演やパネル討論など、普段は会議の参加者以外は聴講することの出来ない内容が、映像・スライド併せてほぼ全てオフィシャルサイトで公開されているので、そちらも併せて視聴することをおすすめします。 特にチューリング賞を受賞したMichael Stonebrakerの受賞記念講演は、データベースシステムに興味がある人はすべからく視聴すべきでしょう。
Debian wheezy と Haswell の不和
自宅サーバのOSとしてしばらくDebian wheezyを使っていたのだけれど、これまで色々と挙動が怪しい点があった。
- Ctrl-Alt-F1 でttyを表示しようとすると画面が真っ暗になり固まる
- rebootコマンドを実行すると、シャットダウンシーケンスに入る前に画面が真っ暗になり固まる
- メンテナンスのために gdm3 のサービスを停止すると画面が真っ暗になり固まる
普段はほとんど画面を直接見ることもなく再起動することもないので放置していたが、最近ちょっとOpenGLを使ったものを動かしたくなったので、ちゃんとアクセラレーションを有効にするために xorg.conf を X -configure
で生成しようとしたら、これが segmentation fault で落ちてしまって作業が進められない。
というわけでいよいよ放置できなくなってきたので調べてみたところ、どうもDebian wheezyでインストールできるintelのgraphics用ドライバはHaswell世代の内蔵GPUに対応していないというのが原因のようだった。
Haswellが2013年中旬に発売された一方で、Debian wheezyのintelドライバ(xserver-xorg-video-intel (2:2.19.0-6))は最後の更新が2012年9月だから対応してなくて当たり前ですな。
/var/log/Xorg.0.log
を見てみると、次のような出力になっていて IvyBridge までしかサポートしていないことがわかる。
15.711] (II) intel: Driver for Intel Integrated Graphics Chipsets: i810, i810-dc100, i810e, i815, i830M, 845G, 854, 852GM/855GM, 865G, 915G, E7221 (i915), 915GM, 945G, 945GM, 945GME, Pineview GM, Pineview G, 965G, G35, 965Q, 946GZ, 965GM, 965GME/GLE, G33, Q35, Q33, GM45, 4 Series, G45/G43, Q45/Q43, G41, B43, B43, Clarkdale, Arrandale, Sandybridge Desktop (GT1), Sandybridge Desktop (GT2), Sandybridge Desktop (GT2+), Sandybridge Mobile (GT1), Sandybridge Mobile (GT2), Sandybridge Mobile (GT2+), Sandybridge Server, Ivybridge Mobile (GT1), Ivybridge Mobile (GT2), Ivybridge Desktop (GT1), Ivybridge Desktop (GT2), Ivybridge Server, Ivybridge Server (GT2)
新しい xserver-xorg-video-intel 2:2.21 がbackportsにあるようなので、そこから入れても良かったかもしれないけど、折角なのでDebianをjessieにアップグレードすることにした。そろそろ常用するマシンでsystemdを使って慣れておいたほうが良いだろうし。
Debian jessieへの更新は、特に何も問題はなく、いつもの手順で /etc/apt/sources* を書き換え、apt-get update、apt-get upgrade、apt-get dist-upgrade で無事完了。security.debian.org のアクセスがやたら遅いのがちょっと煩わしかったくらいか。
Jessieに更新した後は、前述のようなXの問題もなくなり、OpenGLでもちゃんとハードウェアアクセラレーションが効くようになって良い感じ。 しかし、やはりグラフィクス周りはどうしてもWindowsから整備されていく分、Linuxは苦労することが多い印象。ヘッドレスなサーバに徹するのであれば問題ないけど、色々と使い回したい自宅機ではちょっと不便だなあ。
PGCon 2015 で計算機システムの性能評価について講演してきました
カナダのオタワ大学で開催されたPGCon 2015で、"The Art of Performance Evaluation" という題目で、計算機システム、とくにデータベースシステムに関する性能評価の基礎となる考え方と、基本となる3つの技能(モデリング、測定、シミュレーション)に関して講演を行ってきました。
PGConはPostgreSQL関係者の集う最もハイレベルなカンファレンスの一つで、世界中からPostgreSQLの主要開発者が集い、PostgreSQLの開発方針を議論したり、最新のPostgreSQLに関する技術動向が話し合われる場となっています。 PostgreSQLの開発や使い方など比較的具体論が取り扱われることが多い中、自分の講演はやや異色な発表ではありましたが、システムソフトウェアの開発において正しい性能評価の考え方を知ることは欠くことのできない重要な技能であるので、その点が評価されて講演に採択されたものであろうと思います。というわけで、自分がデータベースシステム研究をする中で培ってきた性能測定・評価に関する原理原則論を今一度整理し直して、そのエッセンスを抽出したものをまとめて発表してきました。
話の内容としては、2年前にJPUG勉強会で話した性能測定道が下敷きになっています。
余談
性能評価の基本については Raj Jain の The Art of Computer Systems Performance Analysis がいわゆる古典的名著であり、研究をしながら独学した後にこの本に出会い、より深く体系的に性能評価について理解することができました。ちなみに、なんと今年9月に新装第二版が出版されます。
- 作者: Raj Jain
- 出版社/メーカー: Wiley
- 発売日: 2015/09/21
- メディア: ハードカバー
- この商品を含むブログを見る
また、この講演の内容をどうしようかと色々思い悩んでいる際に、Sun出身でSolarisやLinux周りのパフォーマンスエンジニアとして有名なBrendan Greggが Systems Performance: Enterprise and the Cloud という本を出していることを知り、ざっと全体に目を通してみたのですが、これが大変良い本でした。
Systems Performance: Enterprise and the Cloud
- 作者: Brendan Gregg
- 出版社/メーカー: Prentice Hall
- 発売日: 2013/10/26
- メディア: ペーパーバック
- この商品を含むブログを見る
Jainの本は非常に学術的基礎に重きが置かれているものである一方で、Greggの本は学術的基礎も押さえつつ、 著者の Linux と Solaris の豊富な経験に基づく実践的な性能問題の解決に役立つ知見が詰まっており、自分のようなシステム周りの研究者にとっても、また計算機のインフラ周りで仕事をしているエンジニアにとって非常に学ぶことが多い内容が詰まっています。いずれもKindle版が出版されているのがありがたいですね。
よんだものWeekly 5月 1st
- Who's 'Cool' In Storage Now?
- Storiant, Infinidat, Maxta あたりは Storage Newsletter で最近よく名前を目にするので要チェックっぽい
- FizzBuzz In Too Much Detail — Tom Dalling
- Rubyでの行き過ぎたFizzBuzz
- Rubyのプログラミングテクニックという意味ではさらっと読んでおくと良い
- awesome-rubies/README.md at master · planetruby/awesome-rubies
- Microsoft Launches Visual Studio Code, A Free Cross-Platform Code Editor For OS X, Linux And Windows | TechCrunch
- 最近のMSは本当に生まれ変わったような感じ
- https://kabukky.github.io/journey/
- Go言語で書かれたブログエンジン
- 最近の「Go言語で○○を作ってみた」系の勢いが一時のRubyみたいものを感じる
- coocood/freecache
- How we boosted counting performance by 7410x with Redis
- MySQLの
COUNT DISTINCT
と同じことをRedisでやると7000倍以上早くなる - Redisは確率的に小さい誤差を許すことで高速にcount distinctionを計算するHyperLogLogを使っている
- MySQLの
- Microsoft Scales Data Lake into Exabyte Territory
- MSもData Lakeとか言い出した