Azure HDInsight上のHadoop、Spark、およびData Lake Storage Gen2へのアップデート

2018年6月27日 [Updates to Hadoop, Spark, and Data Lake Storage Gen2 on Azure HDInsight]粗訳

Azure HDInsightは、Azureでオープンソースの分析フレームワークを実行するためのMicrosoftのプレミアムマネージドオファリングです。

今日、Apache Spark、Apache Kafka、Machine Learning Services、Azure Data Lake Storage Gen2のアップデート、およびEnterprise Security Packageの機能拡張について発表します。これらの新しい機能は、引き続き多くのユーザーの節約を促進します。さらに、MicrosoftはApache Hadoopエコシステムへのコミットメントを深め、Hortonworksとの提携を拡大し、Apache Hadoopとオープンソースの大規模なデータ分析をクラウドにもたらしました。spark

詳細については、ブログ投稿Enterprises get deeper insights with Hadoop and Spark updates on Azure HDInsight(英語)を参照してください。

広告

Azure app (プレビュー)のご紹介

2017年5月10日 [Introducing the Azure app (preview)]粗訳

新しい Azure Mobile app プレビューは、いつでも、どこからでも、お使いの Azure リソース へ接続できます。このアプリケーションでは以下を行えます:

  • Azure リソースの状況と、重要なメトリックの確認
  • 重要な運用状況問題に関する通知とアラートの取得
  • シンプルな操作で、主要な問題を解決

Favorites tab gives you quick access to your most important resources View Azure health and resource metric alerts on the Notifications tab Azure Cloud Shell in the mobile app

Azure app の詳細は、ブログ(英語)投稿をご覧ください。

パブリックプレビュー:Apache Spark 2.1 をサポートした Azure HDInsight 3.6

2017年2月28日 [Public preview: Azure HDInsight 3.6 with Apache Spark 2.1] 粗訳

Azure HDInsight 3.6 がパブリックプレビューとなり、Apache Spark 2.1 についてのフィードバックをお願いします。Azure HDInsight のノートブックを使用すると、高機能なエクスペリエンスと、Apache Spark 2.1 オープンソースリリースで利用可能なすべての機能をお試しいただけます。

オープンソースの Apache Spark 2.1 リリースでは、開発者にとって大きな改良がありました。改良点には、構造化ストリーミングから、Apache Kafka ( version 0.10)が使える様になることが含まれます。

詳細については、Getting started with Azure HDInsight 3.6 and Apache Spark 2.1 (英語)ブログポストをご覧ください。

新しい Azure Marketplace エクスペリエンス

2017年2月6日 [Announcing the new Azure Marketplace experience] 粗訳

Azure Marketplace の新しいインタラクティブエクスペリエンスをリリースしました。以下を行えます:

  • 1クリックでの、製品の検索・デプロイ
  • 予測検索、カテゴリ、国別フィルタ、推奨事項などの機能を利用した製品の検索
  • 技術文書・スクリーンショットの入手や、価格情報・提供元の推奨による最適なサービスの決定のための詳細情報入手
  • テスト体験版を使ったハンズオンラボ環境

新しいエクスペリエンスの詳細については、ブログ投稿(英語)をご覧ください。ぜひ、Azure Marketplace エクスペリエンス をご体験ください。

一般提供開始:HDInsight 上の R Server

2016年11月16日 [General availability: R Server on HDInsight] 粗訳

本日、Azure HDInsight 上の R Server が一般提供開始になりました。このリリースでは、Azure HDInsight クラスタ上で、R言語でのスケーラブルな機械学習が可能となり、いくつかの新機能が初めて利用可能になります。

R Server のコア機能は、統計分野の R 言語の生産性と、大規模なデータセットの統計および機械学習モデルを実行する多くの業界の要件との間のギャップに対応します。 R Server を使用すると、R 言語モデルを別の言語で再コーディングする必要なく、本番環境に直接展開することができます。これは、データサイエンティストの共通の問題です。R Server のスケールと堅牢性は、Apache Spark で使用されているコンピュータのクラスタ全体に計算を分散する機械学習アルゴリズムの高速並列化ライブラリによって実現されます。 HDInsight 上の R Server のこのリリースには、次の機能が含まれています:

  • Microsoft R Server 9.0.1 の新しいバージョン
  • Spark 2.0 へのアップグレード
  • R Server のプログラムが Hadoop および Spark のデータソースへ直接アクセスするための新しい RxHiveData および RxParquetData 機能
  • Azure Data Lake Store のサポート
  • R Studio Server Commutation Edition 開発ツールのプレインストール

詳細について:

一般提供開始:HDInsight 上の Spark

2016年6月6日 [General availability: Spark on HDInsight] 粗訳

本日、Azure HDInsight 上の Spark の一般提供開始を告知いたします。このリリースでは、オープンソースの Apache Spark に向けた、可用性、スケーラビリティ、生産性の改善が含まれます。

ビッグデータは、Spark で扱いが容易になるのは、業界での一般的な意見です。Spark は、より少ない変更で、ビッグデータのワークロード向けに、ETLからSQLへ、さらに、機械学習に統合するプラットフォームを提供します。加えて、Azure HDInsight 上の Sparkは以下を提供します:

  • 企業向けワークロードにご利用いただける、業界でトップクラスの99.9%SLAの提供
  • Azure Data Lake ストアを通じた、スケーラブルなストレージ層の提供
    • データの調査と開発、すべての段階の生産性の高いツール。カスタマイズされた Spark カーネルを利用した Jupyter notebooks は、インタラクティブなデータの調査を可能にします。Power BI、Tableau、Qlik のような BI ダッシュボードとの統合は、すばやいデータ共有と継続的なレポートに良いソリューションです。IntelliJ プラグインは、長期開発や開発済みのコードのデバッグに、信頼できるオプションです。

詳細については、以下をご覧ください:

一般提供開始:IntelliJ 向け HDInsight ツール

2016年6月6日 [General availability: HDInsight Tools for IntelliJ] 粗訳

IntelliJ向け HDInsight ツールプラグインが一般提供開始になりました。

Azure HDInsight 上で Java Spark アプリケーションを開発している方にとって、IDE でのSpark アプリケーションの開発サイクルは、長期にわたり退屈です。IntelliJ 向け HDInsight ツールによって、ユーザーは、数分で、HDInsight 上の Spark の利用を開始できます。Spark の利用経験のある開発者は、すばやく、簡単に開発サイクルをイテレートできます。

プラグインは、Spark ジョブライフサイクルをサポートするように、IntelliJ を拡張します:HDInsight 上の Spark クラスターへ、ジョブの作成、編集、デバッグ、サブミットが可能です。Azure と統合されているので、ユーザーは、Spark クラスターの操作、Azure Storage アカウントを参照できます。

高い生産性のため、プラグインは、Spark ジョブのヒストリの参照、詳細ジョブログの参照、ジョブの出力の表示機能を提供します。

IntelliJ リポジトリに行き、HDInsight を検索することで、プラグインをインストールできます。すでにプラグインがインストール済みの場合、IntelliJは、最新のアップデートを表示します。

image

詳細については、以下をご参照ください:

ご質問、フィードバック、コメント、バグレポートなどは、hdivstool@microsoft.com (英語)にメールをお願いします。