copied!

Google Cloud Next ‘24 参加レポート

Keita Sato

2024.4.18

copied!

参加レポート

タイトルの通りラスベガスにて4/9から11まで開催されていた Google Cloud Next’24 に参加してきました。

今回は Google Cloud Partner Top Engineer 2024 になった特典で参加費用無料で招待していただけたので、こりゃ行かなきゃ、ということで初の海外イベント参加をしてきました。

弊社スリーシェイクからは、社長の吉田、生賀、佐藤が参加しました。

弊社社長は海外経験があるのですが、他二人がほぼ0という状態でした。

今回のレポートが、そんな海外イベント経験が無い方が、次回以降海外イベントに参加したいと、モチベーションになるように、技術以外のチップスなどにも触れていきたいと思います。

0日目

現在ラスベガスへの直行便はありません。そのため、私達は、成田空港からデンバー10時間、デンバー空港で、次の飛行機を3時間ほどまち、デンバーからラスベガス2時間、という形で飛行機を乗り継ぎました。合計では大体16時間ほどです。

👉 機内での過ごし方
10時間乗っていると時差が辛くなってきます。睡眠導入剤、アイマスク、首枕、耳栓などを使ってでも寝たほうがいいです。ちなみに United Airline では有料の wifi があるので動画配信サービスで動画を見ることはできます。ちなみに、私は持ってきた Nintendo Switch で溜まっていた ~~ゲーム~~ タスクを消化しておりました。

デンバーで荷物を受け取り、入国審査をします。
- Business だと思ったよりちゃんと質問されることもあるので、英語が不安な方は、翻訳アプリを絶対に入れておきましょう
- アメリカの空港はマジででかいので、次にどこのゲートに行くのかなどは、ちゃんと確認しておきましょう。乗り継ぎの飛行機の搭乗口は出発前にわかっていないので、メールでの通知を受け取る、または、空港内の掲示板を見て、次に乗る飛行機のゲートを確認しましょう。ゲートによっては、移動に小さめの電車を使いますので、間違えると精神的に辛いです。
ラスベガスについたら荷物を受け取ります。
- 利用の会社ごとにそもそも受け取るターミナルが違います。間違えると、シャトルバスなどでターミナルを移動するということになります。

私達は、OYOHotel というホテルに連泊をしました。連泊のほうがいいです、絶対。

OYO Hotel & Casino Las Vegas | Hotels In Las Vegas

到着して間もなく Japan Welcome Party という Google Cloud Japan 様主催の懇親+ネットワーキングイベントがありました。会場は本番のイベントと同じく Mandarey Bay というホテルで行われ、プールサイドで海外の雰囲気そのままで十分に楽しむことができました。

MGM Resorts

👉 ちなみに、Google Map で見ている限りそこまで遠くないように見えます。このとき、わたしたちは歩いて会場まで行っていたのですが、想定の5倍以上かかっております。 Mandarey Bay まではトラムという無料の乗り物が近くを通っているのでそれを使うのがおすすめです。

1日目

時差ボケのせいなのか、そもそも眠れない人も多い中でイベント開始です。

Keynote: The new way to cloud

https://cloud.withgoogle.com/next/session-library?filters=vod-has-video,day-day-1&session=GENKEY-ASL#day_1

あまりに人が入りすぎて、keynote 会場に入れないという。keynote 会場は 3000人以上は入るんじゃないかという会場だったのに、仕方なく live 配信を別室で観覧しました。

Google Cloud 上での AI の作成をサポート、生成 AI を利用し機能について十分に押し出していた印象です。特に私が気になったのは以下の部分です。

Gemini 1.5 pro が Public Preview での提供開始
- 100万という大量のトークンで生成 AI を利用できるようになります。
- まだ回答精度や安定性の向上などのバージョンアップがあると思います。
  - gemini-1.5-pro-preview-0409 のような形で出ているのを見ると gemini-1.5-pro-001 という形になるのかと思います (text model の形式を見ている限り
Google Distribution Cloud での AI基盤作成
- Google Distribution Cloud は金融や医療などネットワークへ情報を出すことができない環境において、物理サーバごと Google Cloud から購入をして Google Cloud の機能を使えるというものです。
AMD チップの Google Axion や、TPU v5の作成
- Google Axion は従来のCPUチップと比べても高速ということです。そのうち Google Compute Engine などでも利用できるようになるはず。
- TPU v5は従来のものよりも進化しているのはもちろん、すでに BigQuery や Youtube などのサービスでは利用がされているということでした。
prompt version management
- プロンプトのバージョンを管理することができるようになりました。
- またそれを比較することができるようになりました。
  - API から利用できるのであれば CI で回せると思います。
Gemini cloud assist
- Gemini の大量トークンの利用ができる点を利用して、プロジェクト内の大量のコードそのものをプロンプトに利用できます。
- 今までは token の制限でコードの要約をする必要もあったのですが、この点がなくなり精度の高い回答が得られやすくなりました
text to live image model
- Open AI 社による sora に近いイメージですが、それより簡単な動画を作成できるイメージです。
BigQuery data canvas
- Table の処理を自然言語で書くことができます。
- 処理にはデータの探索としてのグラフ表示や、viewの作成などがあります。
- 図示してくれる部分を python でかいていくのも大変だったので、生成 AI でやってもらえるのはとても助かります。

Build RAG-based large language model applications with Ray on Google Kubernetes Engine

Google Kubernetes Engine の上で Ray というフレームワークを使い LLM モデルを作成し、そのフローについてお話していただけました。

そもそも k8s を MLOps として利用するのは、 Scaling やリソース管理でとても優れており、また GPU が利用できるのも強いということでした。
Ray 自体は model 作成の lifecycleに対応しており、以下のフェーズでアクターとして起動するということで紹介されていました
- data preprocess
- training
- tuning
- serving
RAG でつかわれるデータの embedding は初期で RayData の作成時に行い、追加するようです。
MarketPlace でも公開されており利用できるようですので、試しても良いかもしれません。
質疑としては Vertex AI の pipeline との違いなどが挙げられていました。値段面や、Vertex AIの作法に沿わなくても良い点では優れているという回答でした。

What’s next for data analytics in the AI era

Data Analytics 関係での事例紹介と Google Cloud の新規機能の紹介です。

https://cloud.withgoogle.com/next/session-library?session=SPTL202#day_1

事例
- Puma 様: BigQueryを利用して顧客の理解を深め、コンテンツをパーソナライズすることで、平均注文額を19％以上増加させました。
- Alaska Air 様: BigQueryとAIを活用して、リアルタイムデータに基づいた優れた顧客体験を提供し、搭乗手続きにかかる時間を5分未満に短縮しました。
- Snap 様: BigQueryを統合データプラットフォームとして活用し、複数のエンジンを単一のデータコピーで運用することで、MLパイプラインの効率化とパーソナライズされたユーザー体験を提供しています。
- Priceline.com 様: BigQueryとVertex AIを活用して、顧客データに基づいたコンテンツ生成や意思決定の迅速化を実現しています。
BigQuery
- Object Table を使っているユーザがとても増えていて、今回 Gemini との連携もできるようになり、より非構造データの分析についてはより増えると思われます。
- BigQuery continuous queries が追加になり、stream のような形で追加されたときに随時クエリを実行することができます。
Looker
- BI ツールの中に Gemini を入れて自然言語で分析できる環境が作成されました。LookerMLの AssistantAI により Gemini の Code Assistant と同じように補完などをしてくれます。
- またデータ探索やグラフ作成などもできるようになります。
Dataplex
- Data Catalog の機能が増えました（ firestoreも! ）。これにより BigQuery だけではなくいろんなデータソースのデータに対してガバナンスを聞かせられるようになります。

ランチ

会場にて、コーヒーやランチ、お菓子が提供されていました。ランチタイムは大体席が埋まってみんなセッションについて話していたり、商談していたりと活発な場になっていました。

Troubleshoot cloud applications in the AI era

https://cloud.withgoogle.com/next/session-library?session=OPS222#day_1

Cloud への移行に対するタイミングでたくさんの課題がある。その際 Gemini などの生成 AI を利用することで簡単にトラブルシュートができるということでした

その中で AI がトラブルシュートには以下のレベルがあると述べられています。

L1: 基本ガイドを元に回答をしてくれる
L2: 自分のシステムを元に回答をしてくれる
L3: ワークフローを参照し提案をしてくれる
L4: 半自動的に提案、実行してくれる

すでに L1 については Gemini でできるようになっております。とはいえそのままでは詳細を深ぼるなどが難しいです。

L2、L3 についてはもう少しで対応がされてくるようです。この中で、Gemini Cloud Assist が紹介されており、以下の対応ができるようです

モニタリングのデータからどういう問題があるのかについて質問をする
ログやアラートなどを自然言語を通して取得できる
latency test、connectivity test を走らせる
エラーメッセージの内容について、他の前提情報をもとに詳しく回答をする

L4 に関しての demo についても提供されておりモニタリングしたデータをもとに調査をしてくれる様子が表示されていました。

今後ではありますが、どのようにしてデータ鮮度を保つのかについてが大事になり o11y がより必要になり、そして、データの精度も必要になります。

とはいえ大量になりすぎるとコストが掛かりすぎるので、 log filter を使いうまく分ける必要があると思われます

2日目

何個か事前に申し込んでいたのですが、コーヒーの渋滞に巻き込まれ参加できず

👉 会場内はとても広く、またたくさんの人が行き交いするため遠い部屋になると15分は余裕でかかります。そのため、セッションの間は必ず30分程度いれ、移動しつつ休憩を挟むようにしましょう

Keynote: Fast. Simple. Cutting edge. Pick three.

後半はデモを踏まえて、Gemini での Code Assist について話をされていました。

最後は Gemini を使ったこのセッション要約で閉めるという形でした。

個人的に気になった点について

Continuous Queries
- BigQuery に対して Streaming で入ってきたデータに対して、処理を行うクエリを作成できるようになりました。
- 例えば、分析のため SNS などのデータを BQ に Streaming しているケースなどで、そのまま加工したい場合に利用できると思われます。
Cloud Run app canvas
- Cloud Run とその周辺コンポーネントとの接続などを Gemini をつかって構築し、図示化できるというものになります。
- Container Image の中身自体は自分たちで接続するようなコードを書かないといけないため、コンポーネントの全体構成を作りたいという際に利用できるかと思われます。
hugging face 連携
- Vertex AI Model garden で hugging face の model を GKE にデプロイするなどができるようになりました。
- 個人的にちょこちょこ利用しているサービスでもあるのでとても嬉しいです。
Spring Framework の Gemini plugin での利用
- 以前から Spring Framework を利用していたのもあり、Gemini に対する plugin があることを知ってテンション上がってました。
  - 他の言語と同じように利用できそうなので今度個人的に試してみようかと思います

Leading gen AI opportunities in Japan

日本人向けのセッションとして Quantiphi 様の AI 導入支援についてと Google Cloud を選択する理由について、また、弊社吉田も日本での生成 AI 利用における事例と Google Cloud の利用意義について話してくださいました。

https://cloud.withgoogle.com/next/session-library?session=PAR119#day_2

Google Cloud Japan 様
- 現状の生成 AI の業界の共有がありました。
- OpenAI が今のところ使われているが、使いたい/使ってみたいとものとしては Google のLLM が優勢ということです。
- PoC から実践をしていくというフェーズに入っており、パートナーの方にそれを支援してもらえるようにすると言われてました。
Quantiphi 様
- 英語での発表ではありましたが、ゆっくりと日本語の資料で発表していただいたので理解しやすかったです。
- 生成 AI の導入ステップは弊社でも参考になる部分が多いと感じています。
  - 例えば、企業における生成 AI 利用が、どの地点がどういう状態を表すかという評価についてもたれているのは、ほか企業と比べても進んでいる印象を持ちました。
3-shake
- SRE bot の戦略として社内の作業工数を減らす、そして、現場の SRE はより高度なチャレンジをし、そのナレッジを bot に与えるというものです。
  - bot は text input、diagram で terraform のコードの生成などをしてくれます。
- 今後社内検証フェーズを経て SaaS で提供をし、25年度に ISV として OEM の提供をしていくことを宣言されています。

What’s new with Google Cloud Marketplace

Marketplace の内部の仕様の変更や UI 変更についての説明がありました。

https://cloud.withgoogle.com/next/session-library?session=PAR105#day_2

ビジョン：

Google Cloud Marketplace を Google Cloud 製品購入の主要チャネルにする。
顧客が簡単に製品を発見、試用、購入、利用できるユニバーサルカタログを提供する。
パートナーにとって最適なコマース体験を提供する。

4つの主な投資テーマ：

ビジネスモデルの革新
- リセラーとの協業を強化。
- エージェンシーモデルへの移行。これにより、パートナーはより有利な契約条件、価格設定、払い戻し、幅広いソリューションの販売が可能となる。顧客はより多くのパートナーソリューションにアクセスでき、コミットメントの利用機会が増え、一貫した運用モデルが提供される。
顧客とパートナーの導入促進
- プライベートオファー機能の強化：新しいUI、履歴閲覧、PDFエクスポート、開始日のスケジュール設定、最大期間の延長など。
- レポート機能の改善：ISV向けの詳細な支払報告書、パートナーレポート通知、BigQueryエクスポートなど。
新しい分野や新興分野への拡大
- 生成AIモデルと製品：Anthropicモデルの提供など。
- データセット：Marketplaceカタログ内で商用データセットを検索・購入可能にする。Analytics Hubとの統合により、BigQueryのデータの収益化が可能。
- プロフェッショナルサービス：認定サービスプロバイダーネットワークへのアクセスを提供し、顧客のデジタル変革を支援。
Go-to-Marketとインセンティブ
- Marketplace Customer Credit Program (MCCP): 対象となるソフトウェアソリューションを初めて購入する顧客に3%のGoogle Cloudクレジットを提供。
- リセラー向け収益分配スケジュールの導入：取引規模や更新などの取引特性に基づいた収益分配スケジュールを設定可能に。

今後の展望：

2024年には、データセットとプロフェッショナルサービスがパブリックプレビュー版として提供される予定。
収益分配スケジュールに関する詳細情報も2024年に公開予定。

参加者への呼びかけ：

プライベートオファーやMCCPの詳細については、パートナーラウンジのMarketplaceブースを訪れる。
プライベートオファーのデモは、セッション「PARLT105 – Unlocking revenue growth with Google Cloud Marketplace Private Offers」で視聴可能。

👉 わからない単語が多すぎたのもあり、 gemini に要約をお願いしました

Why Google Kubernetes Engine uniquely supports the reliability-first approach

https://cloud.withgoogle.com/next/session-library?session=DEV306

GKE のコストやパフォーマンス、可用性についてどうサポートされているか、お話していただけました。

GKE の運用において以下をどうしていくかを考える必要があります。

Reliabillity issue をどう解消するか
マイクロサービスになっているアプリケーションのパフォーマンスの計測とそのリスクの抽出をどうやるか
コストのコストの計算をいい感じにやるにはどうするか
- 深夜に downscale したい
- workload の resize をする
  - pod 自体の request と limit を踏まえたチューニング
  - node に対する pod のチューニング

それぞれに対して以下のようなソリューションがあるという紹介がありました。

Reliabillity issue
- cloud logging へ流されるログを gemini に説明をしてもらうということで対応できる
performance
- GKE Workloads at Risk Dashboard
  - こちらは Google Cloud Monitoring で cpu や memory などの基本的に見たほうが良い観点での dashboard になります
    - https://console.cloud.google.com/monitoring/dashboards/integration/gke.gke-workloads-at-risk;duration=P14D
  - 設定ファイルの置き場所
- GK right sizing dashboard
  - cpu や memory のサイズを調整するうえで以下のドキュメントが参考になるということでした
    - https://cloud.google.com/kubernetes-engine/docs/tutorials/right-size-workloads-at-scale?hl=ja
- sample 集
  - https://github.com/GoogleCloudPlatform/monitoring-dashboard-samples/blob/master/dashboards/google-kubernetes-engine/README.md
cost optimization
- code insight
  - どのようにやるか以下の動画を参照してくださいと紹介がありました
    - https://cloud.withgoogle.com/next/session-library?session=OPS304&utm_source=copylink&utm_medium=unpaidsoc&utm_campaign=FY24-Q2-global-ENDM33-physicalevent-er-next-2024-mc&utm_content=next-homepage-social-share&utm_term=-#all
  - GKE に cost optimization 機能があるので、それを利用しましょうということになります
- Guardrails for GKE enterprise
  - cost や Reliability に対する policy を設けることができます
    - https://cloud.google.com/anthos-config-management/docs/how-to/using-cost-reliability-v2023?hl=ja
- cost breakdown for GKE enterprise
  - private preview ではありますが team ごとで作成したクラスタのコストを参照できるようになります
  - 大規模な開発環境であれば有用な機能かと思います
    - https://cloud.withgoogle.com/next/session-library?session=OPS304

Jaguer Party

Jaguer = Japan Google Cloud Enterprise の方々との交流がありました。

他のパーティより少人数とはいえ、文化様々な会社からの参加になり、Google Cloud が好きなユーザな方々ですので、大いに盛り上がっていました。

その後酔い冷ましで、歩いて Sphere まで。往復2時間程度かけて夜の街を歩いていました。

3日目

早いもので Google Cloud Next’24 最終日です。このときようやくトラムの存在を知りました。もっと早く知りたかった。

Using cloud responsible AI to cultivate representation

https://cloud.withgoogle.com/next/session-library?session=DEI102#day_3

生成 AI が責任を各国の文化など踏まえて回答するためにはどうすればいいのかなどについて話していただきました。技術ではなく、思想についてのセッションです。

弊社ではあまり関係の少ない分野ではあったのですが、そもそも ToC として chat bot などをサービスを提供する場合、必ず通る課題かと思います。

例えば、アメリカの独立記念日は他の国では祝日ではないというような、人からすれば当たり前のことがあります。また、ある人の誕生日や、命日は、他の人にとっては普通の日だったりもします。単純に AI のモデルを利用していくと、コンテキストを踏まえていない発言によるコンプライアンス違反やSNSでの炎上というのも多くあります。

このようなことが無いためには、個人レベルでの FineTuning が不可欠であることがあげられておりました。また、人間関係における Seven Generation Sustainability についても AI が挙げられており今後の世代にどう残していくかなどについても議論がされておりました。

How to define a storage infrastructure for AI and analytical workloads

https://cloud.withgoogle.com/next/session-library?session=ARC306#day_3

主に GKE + GCS Fuse を使った AI 基盤にて学習時間を減らす事によるコスト削減や、そもそものストレージ料金の削減について詳しくお話しいただけました。

基本的な AI/ML の学習 workload において Data Preparation、Training、Inference のフェースがありますが、その際に Anywhere Cache、Accelerated Dataloader、Parallelstore などでのストレージ周りでのコスト削減が聞いてくるというのが説明されておりました。

Woven by Toyota の方が実例として、コスト削減効果について数値を元に話していただき、ストレージコストとしては97%の削減、学習時間においては14%の削減と書かれていました。

また、 Fuse の Cache 効果も素晴らしく read/write が減って2回以降の Epoch 時間が 33% 削減、トータルで 20% の削減ということで書かれていました。

今後 AI/ML で GKE の利用実績も増えつつ、その際のデータの読み出しについては GCS Fuse を利用していくのが良いかと思われました。

Japan wrap up session

こちらは別会場で開催されました。Google Cloud Japan 様が、各要素ごとに今回全体を振り返ってのまとめをしていただきました。

内容については、Google Cloud Japan 様が資料を提供していただいているのでそちらを参照してください。

https://inthecloud.withgoogle.com/next24-lv-jp-session/dl-cd.html

私としては、このケアがあったのは本当に助かりました。やはり英語のリスニングに自信がないというのもあり、理解をすり合わせられました。

後に、懇親会が開催されました。イベントは非常に盛り上がっており、初日の welcome party 以上だったのではないかと思います。

このなかで、Google Cloud の Expert の方々とお話することができ、振り返りで出てきた内容について深堀りできたのも良かったです。

惜しむらくは、私の端末のネットワークが弱く、クイズ大会にうまく参加できなかったことぐらいです。

企業ブース

様々な出展企業を見て回っておりました。また、Google Cloud の新しい機能について様々なデモがでておりました。

そこまで時間はなかったので、実際にお話したのは一部ですが、全体としてやはり生成 AI をつかったサービスや、データマネージメント、BI 系の企業が多く見えました。

4日目

帰るだけといえば帰るだけではありますが、家に帰るまでが出張です。

日本からこられていた多くの方が朝7時の便など朝早くに行動されているようでした。私も同じく。

朝5:30から空港へ移動をしました。帰りはサンフランシスコを経由です。

乗り換え時に荷物の受け渡しはなく、手軽に飛行機に乗り込むことができました。

無事に帰還。疲れすぎて写真を取っていない。

参加した感想

Google Cloud としては AI や生成AI を作成、利用する基盤として今後も拡充していくと思われます。

Keynote デモありましたが、ユースケースが見え実際に利用している事例が増えてくると、今後より各社で独自の AI を作成、または利用してくことと思います。

その中で、データ分析ができる基盤や高速に仮説検証を回せる実行環境は必要不可欠です。

前者のデータ分析基盤で言えば、BigQuery における構造化データの分析基盤に加え、Object Table による非構造化データの分析できる環境ができつつ、かつそれらを Dataplex によりデータガバナンスができる基盤というのは他のクラウドで構築しようとすると、ものすごく大変な工数がかかると思います。

後者の仮説検証基盤として、Vertex AI を使ってのマネージドな環境での AI の利用をすることでビジネスにおける AI ループを早く回せるようになるはずです。また、新しい GPU/TPU の Compute や Single Source Truth のための Google Cloud Storage とそのオブジェクトアクセス速度の向上機能も出てきており、 AI/ML 基盤としての Google Kubernetes Engine の使い勝手向上が加わってきており、1 から構築している方々においても Google Cloud はとても良いソリューションを提供してくれると思います。

今回のイベント参加をして重ね重ねではありますが、 Google Cloud Japan 様にはとても感謝してもしきれないです。本当にお世話になりました。

4月19日には佐藤が以下の meetup でも上記内容をもう少し技術に深堀りしてお話しますのでご興味ある方がいらっしゃればご参加のほどお待ちしております。 Jaguer 会員限定配信になりますので Jaguer への登録を行って頂く必要があります。

https://jaguer.connpass.com/event/311933

「セキュリティ・キャンプ全国大会2024」にスリーシェイクのエンジニアが講師として登壇

[Kubecon EU 2024: Cloud Native AI Day] Pods Everywhere! InterLink: A Virtual Kubelet Abstraction Streamlining HPC Resource Exploitation の紹介