BigQuery マルチモーダルテーブルでデータを統合(Bridge the gap: Unify your data with BigQuery multimodal tables)

セッションリンク

https://cloud.withgoogle.com/next/25/session-library?session=BRK3-052#day_3

Overview

BigQueryマルチモーダルテーブルでデータ管理の未来を探求しましょう。構造化データと非構造化データ（テキスト、画像、動画など）を、完全なデータ操作言語（DML）サポート付きで単一テーブルに統合する方法をご覧ください。
このセッションでは、統合テーブルが、簡単な抽出とマージを通じて非構造化データの潜在能力を引き出し、後続のワークフローのためのVertex AI統合を簡素化し、全データにわたる検索によって統合されたデータ発見を可能にする方法をデモンストレーションします。

Explore the future of data management with BigQuery multimodal tables. Discover how to integrate structured and unstructured data (such as text, images, and video) into a single table with full data manipulation language (DML) support.
This session demonstrates how unified tables unlock the potential of unstructured data through easy extraction and merging, simplify Vertex AI integration for downstream workflows, and enable unified data discovery with search across all data.

セッション概要

構造化データと非構造化データの統合

構造化データと非構造化データ（画像、音声、動画など）をBigQueryで統合的に分析する新機能について説明しました。これにより、異なるデータソースからの情報を単一のクエリで分析できるようになり、分析の効率化と複雑性の軽減が期待されます。

• データはそれぞれの形態で存在する

• 構造化データと非構造化データのギャップ

• 構造化データと非構造化データの統合

• オブジェクトテーブル

• オブジェクトテーブルの分析

オブジェクトグラフとオブジェクトカラム

新しいオブジェクトカラムは、Google Cloud Storage内の非構造化データへの参照を格納し、構造化データテーブルに直接追加できます。 オブジェクトテーブルとは異なり、読み取り専用ではなく、スキーマの変更や複数のオブジェクトへの対応も可能です (00:05:36)。 複数のオブジェクトを配列としてネストができます (00:08:35)。

• オブジェクトテーブルの制限

• オブジェクトカラム

機械学習モデルとの統合

BigQueryの新しいオブジェクトカラムは、Vertex AIなどの機械学習モデルとのシームレスな統合を可能にします。
オブジェクトカラムを参照して、画像の分類、音声の感情分析、動画の安全性の評価などを行うことができます。 これらのモデルからの出力は、構造化データとしてBigQueryに返されます。

• SQLでの分析

アクセス制御とガバナンス

アクセス制御とガバナンス オブジェクトカラムは、既存のBigQueryのアクセス制御とガバナンス機能を継承しています。 行レベルセキュリティや列レベルセキュリティを適用し、データへのアクセスを制御できます。

• 行レベルのアクセス制御

• 列レベルのアクセス制御

今後の展望

オブジェクトカラムの機能拡張として、接続管理の簡素化、データライフサイクル管理の強化、データ共有機能の追加などを計画していることを明らかにしました。 また、Google Cloud Storage以外のデータソースへの対応も検討課題として挙げられました。

• 今後の展望

コスト

モデル呼び出しのコストは、Vertex AIで使用するモデルの種類と、モデルへの入力トークン数によって変動します。
BigQueryはバッチAPIを使用するため、オンラインAPIに比べてコスト効率が良い可能性があります。

最後に

• Takeaways

Expo

• Qucik Build Game Show

  • レゴブロックをプレーヤーが組み立てていく様子をAIが見て、何ができて行っているかを予測していました。

• Google Cloudのサービスで何が使われている？アンケート。

  • GKEがCloud Runより多いことに若干驚きました。

• Biggest pain point

  • 一件書いてきました。

• Next Store

  • ここでしか買えない（？）ものが売ってました。

• Developer Theater

  • ここでも生成AIに関して発表がされていました

• Github

  • Bug Crasherというゲームがありました。迫り来るバグを退治するゲームです。

• Datadog

  • ご存知Observabilityに関してです。

• Paloalto

  • ネットワークセキュリティに関しての展示がありました。

• VW

  • 詳細は立ち寄れておらず…

• Oracle

  • Googleと仲直りしたんですね。 Oracle Database 23aiやExadataに関しての展示がありました。

• Dogrun

  • Datadogではないです。かわいい

AIセキュリティとAPI：OWASP LLM/APIセキュリティリスク トップ10への対応(AI security and APIs: Address OWASP’s top 10 LLM and API risks)

セッションリンク

https://cloud.withgoogle.com/next/25/session-library?session=BRK3-008#day_3

Overview

APIはウェブの主流であり、全インターネットトラフィックの大部分を占めています。そして、AIの利用が増えればAPIの利用も増えます。なぜなら、APIはAIアプリケーション、AIエージェント、大規模言語モデル（LLM）との間でデータをやり取りするための重要な仕組みとして機能するからです。では、これらすべてのAPIの安全性をどのように確保できるでしょうか？
このセッションでは、OWASPによるAPIおよびLLMのセキュリティリスク トップ10を取り上げ、Apigee Model Armor、Cloud Armor、Google Security Operations、Security Command Centerを含むGoogle Cloudのセキュリティ製品群を使用してこれらのリスクを軽減する方法をご紹介します。

APIs dominate the web, accounting for the majority of all internet traffic. And more AI means more APIs, because they act as an important mechanism to move data into and out of AI applications, AI agents and large language models (LLMs).
So how can you make sure all of these APIs are secure? In this session we’ll take you through OWASP’s top 10 API and LLM security risks and show you how to mitigate these risks using Google Cloud’s security portfolio including Apigee Model Armor, Cloud Armor, Google Security Operations and Security Command Center.

セッション概要

API セキュリティ戦略とアーキテクチャ

ビジネス情報モデルに基づいたデータ定義と、API経由でのシステム間の通信を簡素化することで、10個のAPIから2000個以上に増加させ、消費量も大幅に増加させたことを報告しました。
この戦略によって、新規プロジェクトにおける既存サービスの再利用によるコスト回避も実現しています。さらに、モバイルデータソリューションやAIエージェントの開発など、API活用による新たな収益化や業務効率化にも取り組んでいます。

• データ寮の増加とAPI、消費量の増加

• ルノーのAPIアーキテクチャ

AI セキュリティにおける懸念事項と対策

AIエージェント利用におけるプロンプトインジェクション、データ漏洩、不正な出力処理、システムプロンプトの悪用といったセキュリティリスクを挙げました。
Google Cloudの各種サービス（Cloud Armor、Apigee、Model Armor）を活用し、これらのリスクへの対策を講じていると説明しました。
具体的には、キャッシュによる重複リクエストの削減、危険なクエリへの拒否応答、アクセス制御、不正行為検知などの機能が紹介されました。

• 生成AIのセキュリティ対策マップ

• AIエージェントのセキュリティリスク

• Model Armorを利用した対策

Apigee のセキュリティ機能

Apigeeを用いたAPIセキュリティ対策について、リスクアセスメント機能と不正行為検知機能を詳細に説明しました。
リスクアセスメント機能は、設定されたセキュリティポリシーに基づいてAPIのセキュリティ状況を評価し、改善策を提案します。 不正行為検知機能は、機械学習を用いたトラフィック監視、不正なアクティビティを検出します。これらの機能により、認証・認可、リソースアクセス、API構成、API消費に関するリスクに対処できると主張しました。
Apigeeの不正行為検知機能は、異常なトラフィックパターンを検出し、攻撃元IPアドレス、使用されたAPI、レスポンスコードなどの詳細情報を提供します。 検出された不正行為に対しては、トラフィック遮断、警告メッセージ表示、フラグ設定などの対応策が用意されています 。

• Apigee

• Google CloudとApigeeのセキュリティ対策

• Apigeeのリスクアセスメント機能

• 不正行為検知機能

Japan Session & Reception

最後にJapan Sessionとして、今回のGoole Cloud Next25のまとめが日本語でありました。
Receptionでは日本のお客様やパートナーが一同に集い、交流の場が設けられました。