TOP

Workflow Hacks! #1
クリップ
2015/12/14(月) 19:00 開催
東京都 渋谷

Workflow Hacks! #1

基本情報

日 時: 2015/12/14(月) 19:00 〜 23:00
会 場: イベント&コミュニティスペース dots.
住 所: 東京都渋谷区宇田川町20-17 NOF渋谷公園通りビル 8F
主 催: トレジャーデータ株式会社
参加枠参加費定員
一般
(先着順)
無料 171人 / 定員250人

イベント内容

Workflow Hacks! #1 

概要

ワークフローをプログラミングしてビッグデータ処理に挑む人(または、これから挑戦しようとする人)のための集まりです。ビッグデータという言葉が指すものには、データの大きさ(volume)、扱うデータの種類(variety)の多さ、解析の多様性(big/small analytics)、処理に要求されるスピード(velocity)など多様な意味が含まれます。このいずれかの要素が加わるだけで問題が途端に難しくなり、正しくワークフローを記述する、デバッグする、期日までに処理を終えるなどが困難になってきます。今回はゲストにビジネス、アカデミアの分野でビッグデータ処理の最前線で活躍されている神林氏、笠原氏、古橋氏をお招きし、Hadoop, Spark, スパコンなどでビッグデータを扱う現場の苦労や、その問題にワークフローを使ってどう立ち向かっているのかなど、貴重な経験についてお話ししていただきます。それらの経験を踏まえ、ビッグデータをいかに人が扱いやすい形にするか、将来必要となる技術についてパネルディスカッションを行い、ワークフローによるデータ処理の未来を占います。

(内容は予告なく変更されることがあります。)


タイムスケジュール

時間 講演内容
18:30 - 会場・受付開始
19:00 - 19:30
『イントロダクション・Workflow Hacks!』
 オープンソースのワークフロー技術(Airflow, Luigi, Sparkなどデータ処理DSL周辺の話題)について紹介し、ワークフローをプログラミングする基礎(フローの記述と実行の分離、再現性、冪等性など)について解説します。
Treasure Data, Inc. 斉藤 太郎
19:30 - 20:00
『業務系バッチ処理のデータフローの処理のポイント ~Asakusaの開発時点で考えたこと』
(株)ノーチラス・テクノロジーズ 代表取り締まられ役 神林飛志
20:00 - 20:10
休憩
20:10 - 20:40
『生命系ビッグデータ解析におけるチャレンジ 〜ゲノム配列情報爆発との戦い〜』

DNA配列シークエンサーはこの十年間で革命的な進歩を遂げ、日常的に取り扱うDNA配列量は約100億倍となりました。突如として大量のデータ解析を強制されることとなった業界の苦しみやワークフロー設計の(バッド?)ノウハウ・課題を紹介します。

東京大学大学院 新領域創成科学研究科 笠原 雅弘
20:40 - 20:50
『ワークフロー開発管理 実践編』
Fluentdの柔軟性、Embulkの使いやすさを、ワークフロー管理でも実現するにはどうするか。これまでのOSS開発やTreasure Dataでの経験に基づいて、開発環境からマルチリージョンの本番環境でも使えるワークフローの開発・運用手法を提案します。
Treasure Data, Inc. 古橋 貞之
20:50 - 21:50
 バネルディスカッション「ワークフローの未来」
ワークフロー構築の課題、デバッグの苦労など、そして今後必要な技術、また10年後にあるべき姿に関して、忌憚なく議論します。
~22:30
懇親会

持ち物

名刺1枚

本イベントは終了しました
  • Twitterでシェア
  • 0
    Facebookでシェア
  • 0
    Google+でシェア
  • 0
    はてなブックマークに追加

イベント参加者

タグに関連するイベント

2016/12/21(水) 15:00 〜 18:00
東京都 白金高輪
2016/12/14(水) 19:00 〜 21:00
東京都 六本木
2016/12/12(月) 18:30 〜 20:30
東京都 目黒

Facebookページ

dots.で申込可能なイベント