目次
トレンド
生成AI
Snowflakeと協業するELTツールのFivetranの調査に寄ると、今後 2 年間で導入が加速すると予想されており、圧倒的多数 (97%) の組織がこの技術への投資を計画しており、これらの企業の幹部は AI に多大な信頼と資本を投入しているが、実際のところ、成果を向上させるための適切なデータ基盤が整っていないとのこと。
80%以上の組織が自社のAIモデルの出力を信頼していると回答した一方で、40%以上がAI出力におけるデータの不正確さ、幻覚、データの偏りを経験したことがあるとしています。
米国では、LLMを使用している企業から、50% でデータの不正確さと幻覚が報告されています。
データの幻覚は、十分な情報に基づかない意思決定につながり、LLM への信頼や従業員の 生成AIの 使用意欲を損ない、正確なデータを追跡する従業員の時間を無駄にし、アクセス不能で信頼性の低いデータという大きな問題に直面し続けているとのこと。
69%の組織がAIプログラムの実行に必要なすべてのデータへのアクセスに苦労しており、68%がデータを使用可能な形式にクレンジングするのに苦労しているともしています。
上級管理職の大多数（60％）が戦略的な意思決定に生成AIを使用しようとしているため、データの品質と信頼性の問題が引き続き成功を困難にしているとのこと。
ワールドワイドキャリア
Orange
HPEおよび仏スタートアップ企業 LightOn と提携し、生成AI製品を発表
1 つは「完全に統合された SaaS ソリューション」と説明されており、あらゆる規模の企業がドキュメント管理、レポート作成、コンテンツ生成などに使用でき、もう 1 つは「GPU as a Service」で、複雑なモデルのトレーニングに特化しており、「あらゆる種類の生成AI プロジェクトをホストできる信頼できるインフラストラクチャを完全に制御する必要がある」顧客を対象としているとのこと。
Orangeは、独自のLLMを構築するという非常に複雑な作業を行うのではなく、RAGや既存のモデルの微調整により、既存のLLMをより有効に活用することに重点を置いているとのこと。
RAG の欠点として、プロンプトとともに大量のデータを渡す必要があり、複雑なタスクに時間がかかり、コストがかかる可能性がある場合には、微調整の方が適切なアプローチだとしています。
Vodafone や Verizon も同様のアプローチであり、Deutsche Telekom と SK Telecom は 通信事業者固有の LLM を開発すると発表するなどキャリアによってアプローチが二分している状況です。
<参照URL>
https://www.lighton.ai/blog/lighton-s-blog-4/partnership-lighton-orange-business-52
Tech Giants
Amazon
Accenture、Anthropicと提携し、医療、政府、銀行向けにカスタマイズされたAIモデルの導入支援で提携
企業はAWS BedrockプラットフォームでAnthropicのClaude 3モデルにアクセスでき、Accentureが専門知識を活用して特定アプリケーション向けにモデルの微調整を支援します。
提携の一環として、1,400人を超えるAccentureのエンジニアがAWS上でAnthropicのモデルを使用するための
トレーニングを受け、E2Eの実装サポートを提供するとのこと。
コロンビア特別区保健局では、アクセスしやすい AI プラットフォームを通じて住民や従業員に正確な健康プログラムを情報提供する目的でカスタムの「ナレッジアシスト」チャットボットの開発を行い、実証試験をしているとしています。
なお、Accentureは、 3年間で10億ドルを投資してAIを活用した学習プラットフォーム「Accenture LearnVantage」を立ち上げると発表もしています。
<参照URL>
https://newsroom.accenture.com/news/2024/aws-accenture-and-anthropic-join-forces-to-help-organizations-scale-ai-responsibly
https://www.anthropic.com/news/accenture-aws-anthropic
Snowflakeとデータストリーミングパイプラインで提携
ストリーミング データ パイプラインにおけるストリーミングについて考えると、顧客は簡素化を望んでおり、コスト削減も望んでいるとし、Amazon Kinesis Data FirehoseとSnowflake Snowpipe Streamingを統合することで、最適化されたアプローチでデータをある場所から別の場所にストリーミングすることがより簡単に実行できるようになったとのこと。
Amazon Kinesis Firehose は、さまざまなソースからリアルタイムのストリーミング データを配信するためのAWS のフルマネージド サービスであり、Snowpipe Streaming は、外部ソースからリアルタイムで Snowflake テーブルにデータを取り込むことを可能にします。
Amazon Kinesis Data Firehose と Snowflake Snowpipe Streaming の統合前は、Amazon S3 を間に挟むことで、データレイクレイヤーを使用して AWS から Snowflake へのデータ ストリームを有効にでき、Kinesis Data Firehouse からのデータは、S3 に送られ、そこから Snowflake Snowpipe がデータを取得していました。
今回の統合により、Amazon Kinesis Data Firehose から Snowflake Snowpipe Streaming にデータが直接送信されるようになり、プロセスが簡素化されるとのこと。
＜参照URL＞
https://www.snowflake.com/wp-content/uploads/2024/03/The-Modern-Data-Streaming-Pipeline-Updated.pdf
企業
xAI
イーロン・マスクのｘAI、自社LLM Grok-1をオープンソースコードで公開
Grokは、ほとんどすべての質問に答え、さらにどのような質問をすべきかを提案することさえ意図されているとのこと。
公開されたのは、Grok の構造設計のうちネットワークアーキテクチャの一部で、レイヤーとノードがどのように配置され、相互接続されてデータを処理しているかが公開されています。
ベース モデルの重みは、特定のモデルのアーキテクチャ内のパラメーターであり、トレーニング中に調整され、学習した情報をエンコードし、入力データがどのように出力に変換されるかを決定します。
Grok-1 は、xAI によってゼロからトレーニングされた 3,140 億のパラメータを持つ「Mixture-of-Experts」モデルです。
Mixture-of-Experts モデルは、複数のエキスパートサブモデルの出力を組み合わせて最終的な予測を行い、各モデルの専門知識を活用してさまざまなタスクやデータ サブセットを最適化する機械学習アプローチです。
<参照URL>
https://x.ai/blog/grok-os
ベンダ
NVIDIA
GTC2024開催、新製品群を発表
Blackwellアーキテクチャ
H100 GraceHopperアーキテクチャの次世代、測定方法により2～30 倍高速に。
Transformer Engine も第 2 世代となり 、Nvidia TensorTT-LLM ・NeMo Megatronフレームワークにマイクロテンソルスケーリングやダイナミック レンジ管理アルゴリズムが追加、4bit浮動小数点 AI 推論によるより大規模なコンピューティングアルゴリズムと AI モデル サイズをサポート。
GPT-MoE-1.8T モデルの作成には、Hopperでは 8,000 個の GPU、15MW、90 日かかったが、Blackwellでは、2,000 個の GPU を使用し、消費電力は 25% に抑制できたとしている。
1兆パラメータのLLMを搭載したリアルタイム生成AIを実行できるように。
GB200 Grace Blackwell スーパーチップ
900 Gbps・低電力 NVLink を介して 2 つのNvidia B200 Tensor Core GPUと Nvidia Grace 中央処理装置を統合。
コンピューティング集約型ワークロード向けのマルチノード、液冷ラックスケールシステムであるNVIDIA SuperPOD DGX GB2000 NVL72プラットフォームの主要コンポーネント。
HPE/SuperMicroも搭載コンピューティングプラットフォームをリリース
Nvidia SuperPOD DGX GB2000 NVL72
72 個の Blackwell GPU と 36 個の Grace CPU、最大 36 個の GB200 Grace Blackwell スーパーチップと、BlueField-3 DPUが組み合わされます。
これにより、最大 1.4 エクサフロップスの AI パフォーマンスと 30 テラバイトの高速メモリを備えた単一の GPU
であるかのように実行できるように。
NVIDIA DGX Cloudサービスに加えて、AWS、Google、Microsoft各社が、パブリッククラウド上でBlackwell GPUへのアクセスを最初に提供する企業になるとのこと。(Indosat Ooredoo Hutchinson、Nexgen Cloud、Oracle EU Sovereign Cloudなども含む)
Quantum-X800 InfiniBand
800 Gbpsに対応、より多くの GPU をリンクすることで、AI やHPCワークロードの限界を押し広げ。
第5世代NVLink Switch
GPU あたり最大 1.8 Tbpsの双方向スループットを提供。
1 つのノードで最大 576 個の GPU 間の通信を高速化、これまでよりも複雑な LLM を実現。
AWS x Blackwell
Blackwell を Amazon の EFA ネットワーキング、Nitro 仮想化、EC2 UltraClusters と組み合わせることで、GB200 スーパーチップを数千個まで拡張でき、リソースを大量に消費する数兆パラメータの言語モデルの推論ワークロードを高速化できるように。
AWS サービスとして提供されるため、顧客は DGX サーバーに大金を費やすことなく、比較的小規模な環境から始めることができるとのこと。
またスーパーコンピュータープロジェクトのCeibaでは、GB200 NVL72と第5世代NVLinkを使用した20,736個のB200 GPUが、10,368個のNvidia Grace CPUに接続されるとしています。
二足歩行ヒューマノイドロボット用基礎モデル Project GR00T (Generalist Robot 00 Technology)
一般的なヒューマノイド ロボットの基礎モデルを構築することは、今日の AI で解決すべき最もエキサイティングな課題の 1 つとし、1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics、XPENG Robotics などロボット企業向けの AI プラットフォームを構築。
ヒューマノイドフォームファクターでシミュレーションワークフロー、GR00T などのマルチモーダル生成 AI モデルなどを実行するために設計された新しいSoC、Jetson Thorは、 8bit浮動小数点精度で 800 TFLOPSのパフォーマンスを実現するトランスフォーマー エンジンを備え、NVIDIA Blackwell アーキテクチャ GPU も含まれています。
統合された機能安全プロセッサ、高性能 CPU クラスター、100 GB のイーサネット帯域幅により、設計と統合の作業が大幅に簡素化されるとのこと。
加えて、強化学習シミュレーションの Isaac Lab と、コンピューティング オーケストレーション およびロボット ワークロード サービスであるOSMOを追加。
また、産業用ロボットアーム用の基礎モデルとライブラリIsaac Manipulator とAMRs (autonomous mobile robotics用の基礎モデルとライブラリIsaac Perceptorも合わせて発表しています。
NVIDIA Inference Manager (NIM)
事前トレーニング済みの AI モデルを本番環境に効率よく導入できるように設計、CUDA－X 上に構築された、NVIDIA Enterprise AIスイートのソフトウェアプラットフォーム。
開発者がモデルと推論エンジンをコンテナで展開するには数週間、場合によっては数か月かかるところ、モデルと最適化された推論エンジンを組み合わせてコンテナーにパックし、マイクロサービスとして簡単にアクセスできるように。
NVIDIA、A121、Adept、Cohere、Getty Images、Shutterstock のモデルのほか、Google、Hugging Face、Meta、Microsoft、Mistral AI、Stability AI のオープンモデルのサポートが含まれています。
Amazon、Google、Microsoft と連携して、これらの NIM マイクロサービスをそれぞれの SageMaker、Kubernetes Engine、Azure AI で利用できるようにしています。
また、Deepset、LangChain、LlamaIndex などのフレームワークにも統合される予定です。
推論エンジンに関しては、Nvidia は Triton Inference Server、TensorRT、TensorRT-LLM を使用します。
NIM で利用できる マイクロサービスには、音声および翻訳モデルをカスタマイズするための Riva、ルーティング最適化のための cuOpt、天気および気候シミュレーション用の Earth-2 モデルなどがあります。
NIM のユーザーは、Box、Cloudera、Cohesity、Datastax、Dropbox、NetApp などが挙げられています。
NVIDIA Edify
マルチモーダル生成 AI モデルが3D コンテンツを生成できるようになり、NIMでモデルをテスト可能になるとしています。
Edify を利用したツールに関してShutterstockおよびGetty Imagesと提携。
Shutterstock は、テキストと画像から仮想シーンの 3D オブジェクトを作成する、Edify 上に構築されたAPI への早期アクセスを提供、Getty Imagesは企業顧客がブランドガイドラインとスタイルに準拠したビジュアルを生成できるように、生成AI サービスにカスタム微調整機能を追加するとのこと。
Omniverse Cloud API
Omniverse は、開発者、アーティスト、エンジニアがプロジェクトの 3D モデルを生成するための共同「メタバース」プラットフォームとして機能します。
Omniverse 内でシミュレートされた「デジタル ツイン」 は、現実世界のオブジェクトの超現実的な物理シミュレーションで動作および反応し、このプラットフォームはユーザーとエンタープライズ チームに共同ソリューションを提供します。
Omniverse Cloud は、アーティスト、開発者、チームが世界中のどこからでもメタバースアプリケーションを
設計、公開、運用できるクラウドベースの SaaS ソリューション。
物理のリアルなデジタルツインを構築し、運用するためのオペレーティングシステムで、50兆ドル規模の重工業市場をデジタル化するとしています。
Omniverse Cloud API は、映画や視覚効果の製作でアニメーション 3D シーンを記述するOpenUSDを使用して、アプリケーションまたはワークフローを接続し、相互運用性を実現。
USD Render、USD Write、USD Query、USD Notification、Omniverse Channel を追加。(API は今年後半に Microsoft Azure で利用可能)
また、RTX クラウド レンダリング機能を使用して、Apple Vision Proにも対応するとのこと。
開発者はコンテンツ作成アプリケーションから Universal Scene Description (OpenUSD) で作成したシーンを
Nvidia Graphics Delivery Network (GDN) に簡単に送信できるとしています。
また、Omniverseを使用しているSiemensは、APIを自社 Xcelerator プラットフォームに組み込み、生成 AI で顧客を支援し、物理のデジタル ツインをさらに没入感のあるものにするとし、資産とプロセスを仮想的に設計、シミュレーション、構築、運用、最適化するデジタル ツインを作成することで、運用効率が向上し、数十億ドルとコストを節約できるとしています。
<参照URL>
https://www.nvidia.com/gtc/keynote/
https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/
https://www.nvidia.com/en-us/data-center/gb200-superchip/
https://developer.nvidia.com/blog/nvidia-gb200-nvl72-delivers-trillion-parameter-llm-training-and-real-time-inference/
Dell Technologies
PowerScale、PowerEdge XE9680 サーバー、Dell AI Factoryを発表
PowerScale シリーズは、DGX H100 をベースにした SuperPOD での使用が検証された最初の Ethernet ストレージ システム。
DGX H100 は、NVIDIA H100 GPU を 8 基搭載したアプライアンスで、SuperPOD は、DGX アプライアンスのクラスター。
合わせてDell Data Lakehouse プラットフォームが世界中で利用可能になったと発表しています。
PowerEdge XE9680は、NVIDIA B200 Tensor Core GPUを搭載して顧客に提供される予定。
このチップは、トレーニング済みの AI モデルを本番環境で実行する推論を、前世代のシリコンよりも最大 15 倍高速に実行でき、コスト効率も優れるとのこと。
B200 は、新GPU アーキテクチャBlackwell に基づいています。
PowerEdge XE9680 サーバーは、LLMを実行するために最適化された H100 の強化バージョンH200 Tensor Core や他の Blackwell ベースのチップもサポート、またQuantum-2 および Spectrum-X スイッチ と連携、InfinibandとRoCEv2に対応します。
Dell AI Factoryは、AIモデルのトレーニング、チューニング、実行のためのE2EのAIエンタープライズソリューションとされています。
またDell Generative AI Solutions with NVIDIA – Model Training は、企業がドメイン固有のタスクに最適化されたカスタム AI モデルをより簡単にトレーニングできるようになります。
Dell Generative AI Solutions with NVIDIA – Retrieval-Augmented Generation は、RAG 機能を備えた AI モデルを構築している企業向けです。
AI アクセラレータは、一般的なCPUよりもはるかに多くの熱を発生する可能性があり、NVIDIA Grace Blackwell Superchip をベースにしたラックスケールの液冷式 AI プラットフォームをNVIDIA と共同で開発しているともしています。
<参照URL>
https://www.dell.com/ja-jp/blog/ai-nvidia-ai/
Crowdstrike
Falcon XDRでNVIDIA AIコンピューティングを利用するため戦略的提携を発表
Falconのデータが、NVIDIAのGPU、Morpheus、NIMと統合され、CrowdStrikeとNVIDIAの両顧客に安全なカスタム生成AIモデルの作成を提供するとのこと。
Falcon プラットフォームのコンテキストデータと組み合わせることで、ペタバイト単位のログを処理して脅威ハンティングを改善し、サプライ チェーン攻撃を検出し、ユーザー行動の異常を特定し、新たなエクスプロイトや脆弱性に対してプロアクティブに防御できるAI 搭載アプリケーションなどを作成できるとしています。
<参照URL>
https://www.crowdstrike.com/press-releases/crowdstrike-nvidia-generative-ai-collaboration/
Databriks
テキストデータセット管理ツールを提供するスタートアップ Lilac AIを買収
AI モデルを開発するには、大量のテキストを収集して分析する必要があります。
開発者はモデルをトレーニングするためのドキュメントのコレクションを作成する必要があり、トレーニングが完了したら、出力を レビューして、生成されたテキストが精度要件を満たしているかどうかを判断する必要があります。
データセットを調査して理解することは、高品質の GenAI アプリを構築する上で非常に重要です。
一方で、非構造化テキストデータの分析はスケーラビリティに欠ける手作業によっており、非常に面倒で極めて困難になる可能性があるとのこと。
Lilac AI は、タスク効率化のオープンソース ツール Lilac を開発、Databricks、Cohere などによって使用されています。
Lilac は、組み込みの AI モデルを利用したいわゆるクラスタリング機能で、テキスト データセットを構成するドキュメントを分析し、類似のドキュメントをグループに整理。
不要な項目を削除して、トレーニングを高速化、AI 応答の精度が向上できるとしています。
また、ダッシュボードで、データセットの更新の影響を評価できるとしています。
Snowflake
AI スタートアップ企業Rekaと提携し、独自のモデルを自社のデータ プラットフォームに導入することを発表
Snowflake Data Cloud 上のSnowflake Cortexにテキスト入力だけでなく画像や動画にも対応するRekaのマルチモーダルLLMを導入するとのこと。
利用されるLLMは２つあり、Reka Flashは、最先端の 210 億パラメータ モデルであり、多くのLLMのパフォーマンスに匹敵し、Reka Coreは、パフォーマンスで GPT-4 や Gemini Ultra に匹敵する、最もパフォーマンスの高いモデルとされます。
＜参照URL＞
https://www.snowflake.com/blog/multimodal-llm-snowflake-reka/
Confluent
Apache Kafka ベースのストリーミングエンジンのユーザーがApache Iceberg テーブル形式でデータを保存することを容易にするConfluent Tableflowを発表
コストパフォーマンスに優れ、安定した方法でデータを分割し、消費し、S3に書き出す方法を考える必要があるとし、Confluent Tableflow を使用すると、ユーザーはワンクリックで Kafka トピック、関連スキーマ、メタデータをIceberg テーブルに変換でき、データレイクとDWHでの分析のフィードをより適切にサポートできるとのこと。
＜参照URL＞
https://www.confluent.io/blog/introducing-tableflow/
Redis
ストレージエンジンのスタートアップ Speedb を買収
Redis はデータをストレージではなくメモリに保存することで高速化を実現しており、キャッシュとしてよく使われています。
Speedb は、オープンソース ストレージ エンジンを提供。
ストレージ エンジンは、Redis などのデータベースがレコードの作成、編集、読み取り、削除のプロセスを管理するために使用するソフトウェア コンポーネントです。
Redis の Speedb 実装は、データベースに割り当てられた各プロセッサコアを使用して、1 秒あたり最大 10,000 のデータ操作を実行できるとのこと。
Qualcomm
Snapdragon 7+ Gen 3を発売し、AI on Deiviceを加速
Llama 2、Gemini Nano、Baichuan-7Bなどの生成AIモデルをサポート、このチップを搭載したスマートフォンは、これらのモデルに基づくさまざまなアプリケーションを駆動できるようになり、CPUパフォーマンスが15％向上し、GPUのパフォーマンスが45％向上したとのこと。
Stability AI
静止画像を 3D オブジェクトや動画に変換できる AI モデルStable Video 3Dを発表
＜参照URL＞
https://stability.ai/news/introducing-stable-video-3d
様々なゴタゴタの結果、トップ研究者に続き、CEOが辞任へ
＜参照URL＞
https://stability.ai/news/stabilityai-announcement
Cisco Systems
Splunkの28億ドルでの買収が完了
<参照URL>
https://investor.cisco.com/news/news-details/2024/Cisco-Completes-Acquisition-of-Splunk/default.aspx
https://blogs.cisco.com/news/a-new-day-for-data-cisco-and-splunk
