パブリックプレビュー:Apache Spark 2.1 をサポートした Azure HDInsight 3.6

2017年2月28日 [Public preview: Azure HDInsight 3.6 with Apache Spark 2.1] 粗訳

Azure HDInsight 3.6 がパブリックプレビューとなり、Apache Spark 2.1 についてのフィードバックをお願いします。Azure HDInsight のノートブックを使用すると、高機能なエクスペリエンスと、Apache Spark 2.1 オープンソースリリースで利用可能なすべての機能をお試しいただけます。

オープンソースの Apache Spark 2.1 リリースでは、開発者にとって大きな改良がありました。改良点には、構造化ストリーミングから、Apache Kafka ( version 0.10)が使える様になることが含まれます。

詳細については、Getting started with Azure HDInsight 3.6 and Apache Spark 2.1 (英語)ブログポストをご覧ください。

新しい Azure Marketplace エクスペリエンス

2017年2月6日 [Announcing the new Azure Marketplace experience] 粗訳

Azure Marketplace の新しいインタラクティブエクスペリエンスをリリースしました。以下を行えます:

  • 1クリックでの、製品の検索・デプロイ
  • 予測検索、カテゴリ、国別フィルタ、推奨事項などの機能を利用した製品の検索
  • 技術文書・スクリーンショットの入手や、価格情報・提供元の推奨による最適なサービスの決定のための詳細情報入手
  • テスト体験版を使ったハンズオンラボ環境

新しいエクスペリエンスの詳細については、ブログ投稿(英語)をご覧ください。ぜひ、Azure Marketplace エクスペリエンス をご体験ください。

一般提供開始:HDInsight 上の R Server

2016年11月16日 [General availability: R Server on HDInsight] 粗訳

本日、Azure HDInsight 上の R Server が一般提供開始になりました。このリリースでは、Azure HDInsight クラスタ上で、R言語でのスケーラブルな機械学習が可能となり、いくつかの新機能が初めて利用可能になります。

R Server のコア機能は、統計分野の R 言語の生産性と、大規模なデータセットの統計および機械学習モデルを実行する多くの業界の要件との間のギャップに対応します。 R Server を使用すると、R 言語モデルを別の言語で再コーディングする必要なく、本番環境に直接展開することができます。これは、データサイエンティストの共通の問題です。R Server のスケールと堅牢性は、Apache Spark で使用されているコンピュータのクラスタ全体に計算を分散する機械学習アルゴリズムの高速並列化ライブラリによって実現されます。 HDInsight 上の R Server のこのリリースには、次の機能が含まれています:

  • Microsoft R Server 9.0.1 の新しいバージョン
  • Spark 2.0 へのアップグレード
  • R Server のプログラムが Hadoop および Spark のデータソースへ直接アクセスするための新しい RxHiveData および RxParquetData 機能
  • Azure Data Lake Store のサポート
  • R Studio Server Commutation Edition 開発ツールのプレインストール

詳細について:

一般提供開始:HDInsight 上の Spark

2016年6月6日 [General availability: Spark on HDInsight] 粗訳

本日、Azure HDInsight 上の Spark の一般提供開始を告知いたします。このリリースでは、オープンソースの Apache Spark に向けた、可用性、スケーラビリティ、生産性の改善が含まれます。

ビッグデータは、Spark で扱いが容易になるのは、業界での一般的な意見です。Spark は、より少ない変更で、ビッグデータのワークロード向けに、ETLからSQLへ、さらに、機械学習に統合するプラットフォームを提供します。加えて、Azure HDInsight 上の Sparkは以下を提供します:

  • 企業向けワークロードにご利用いただける、業界でトップクラスの99.9%SLAの提供
  • Azure Data Lake ストアを通じた、スケーラブルなストレージ層の提供
    • データの調査と開発、すべての段階の生産性の高いツール。カスタマイズされた Spark カーネルを利用した Jupyter notebooks は、インタラクティブなデータの調査を可能にします。Power BI、Tableau、Qlik のような BI ダッシュボードとの統合は、すばやいデータ共有と継続的なレポートに良いソリューションです。IntelliJ プラグインは、長期開発や開発済みのコードのデバッグに、信頼できるオプションです。

詳細については、以下をご覧ください:

一般提供開始:IntelliJ 向け HDInsight ツール

2016年6月6日 [General availability: HDInsight Tools for IntelliJ] 粗訳

IntelliJ向け HDInsight ツールプラグインが一般提供開始になりました。

Azure HDInsight 上で Java Spark アプリケーションを開発している方にとって、IDE でのSpark アプリケーションの開発サイクルは、長期にわたり退屈です。IntelliJ 向け HDInsight ツールによって、ユーザーは、数分で、HDInsight 上の Spark の利用を開始できます。Spark の利用経験のある開発者は、すばやく、簡単に開発サイクルをイテレートできます。

プラグインは、Spark ジョブライフサイクルをサポートするように、IntelliJ を拡張します:HDInsight 上の Spark クラスターへ、ジョブの作成、編集、デバッグ、サブミットが可能です。Azure と統合されているので、ユーザーは、Spark クラスターの操作、Azure Storage アカウントを参照できます。

高い生産性のため、プラグインは、Spark ジョブのヒストリの参照、詳細ジョブログの参照、ジョブの出力の表示機能を提供します。

IntelliJ リポジトリに行き、HDInsight を検索することで、プラグインをインストールできます。すでにプラグインがインストール済みの場合、IntelliJは、最新のアップデートを表示します。

image

詳細については、以下をご参照ください:

ご質問、フィードバック、コメント、バグレポートなどは、hdivstool@microsoft.com (英語)にメールをお願いします。

Azure HDInsight 向け新しい Dv2 インスタンス

2016年4月29日 [New Dv2 instances for Azure HDInsight] 粗訳

Azure HDInsight 向けに拡張した新しい Dv2 シリーズをアナウンスします。D5 v2 は、16コア56GB メモリを備えています。現在、Dv2シリーズノードは、オーストラリア東部、オーストラリア南東部、米国西部、米国東部、米国東部2、米国中南部、米国中北部、米国中部、北ヨーロッパ、西ヨーロッパ、東アジア、東南アジア、東日本でお使いになれます。詳細については、HDInsight および HDInsight の価格 ページをご覧ください。

HDInsight での実行中のクラスタのカスタマイズ

2016年4月5日 [HDInsight enables customizations to live, running clusters] 粗訳

Azure HDInsight の最新の拡張により、クラスターの終了や再作成無しに、実行中のクラスターに Script Action を使える様になりました。この拡張は、Azure ポータル、PowerShell、CLI、SDKを利用して、すべての HDInsight Linux クラスター(Hadoop、HBase、Storm、Spark)でご利用いただけます。

この機能を利用するには、Azure ポータル にアクセスし、設定配下の Script Actions をお探しください。

この拡張についての詳細や、そのほかの Script Action 機能については、以下をご覧ください:

Azure HDInsight の機械学習向けRのサポートと、SparkとHadoopのアップデート

2016年4月1日 [Azure HDInsight supports R for machine learning and new updates to Spark and Hadoop] 粗訳

マイクロソフトが提供するマネージ Hadoop-as-aservice、Azure HDInsight (英語)に大規模な投資をおこないました。HDInsight は、機械学習向けに100%オープンソースのRを実行でき、また、Hortonworks による最新の Hadoop および Spark コンポーネントの更新が加わりました。

  • R Server for HDInsight in Azure Data Lake は、100%管理された、クラウド上のスケーラブルな R ソリューションを提供します。これは、データサイエンティストにとって、予測モデリングや機械学習において、HDInsight 上の Hadoop および Spark を使った大容量のデータを分析をするために、最も人気のあるプログラミング言語を利用することを簡単にします。
  • Spark for HDInsight in Data Lake, 以前パブリックプレビューとして告知されたとおり、Apache Spark 1.6 editionで利用可能です。これはパフォーマンスの素晴らしい改善と、新しいデータサイエンス機能を提供します。Spark for HDInsight によって、完全で高いインタラクティブ性のユーザーエクスペリエンスのフルマネージの企業向けソリューションを提供します。
  • Hortonworks Data Platform 2.4 上のHDInsight 、Apache Hadoop エコシステムの最新バージョン

R Server は、HDInsight の Premium レベルの一部です。価格についての詳細は、HDInsight の価格 をご覧ください。

パブリックプレビュー:IntelliJ 向け HDInsight Tools

2016年2月19日 [Public preview: HDInsight Tools for IntelliJ]粗訳

IntelliJ 向け HDInsight Toolsのパブリックプレビュー がご利用いただけるようになりました。これは、HDInsight Spark 開発者にとって、興味があるはずです。

HDInsight 上で、Spark アプリケーションを開発しているユーザーにとって、最初のアプリケーションを構築することはかなり大変な作業で、IDE での SPark アプリケーションの開発サイクルは、時間がかかり退屈な作業です。

このツール利用することで、数分で、HDInsight Spark を使い始めることができます。経験のある Spark 開発者は、開発サイクルを、素早く簡単に繰り返せます。 IntelliJ と深くインテグレーションされているため、 誰もが、Scala や Japan Spark アプリケーション向けネイティブサポートを活用いただけます。

このツールは、以下の機能も提供します:

  • Azure サブスクリプション内の Spark クラスタの表示
  • 関連づけられている Storage Account への誘導
  • IntelliJ (主に Scala ・ Java ) からのネイティブオーサリングサポートによる、Spark アプリケーションの開発
  • ローカル環境による Spark アプリケーションの検証
  • Spark アプリケーション のクラスターへのサブミットと結果のAzure に深く統合された表示

詳細については以下をご覧ください:

ご質問、フィードバック、コメント、バグレポートは、 hdivstool@microsoft.com (英語)までご連絡ください。

Screenshot (130)

Screenshot (131)

Azure HDInsight における新しい世代のDシリーズインスタンスの活用

2016年2月4日 [Azure HDInsight leverages new generation of D-Series instances] 粗訳

Azure HDInsight において Dv2 と呼ばれる新しい世代のDシリーズインスタンスが利用可能になりました。これらの Dv2 シリーズインスタンスは、現在のDシリーズと同等のメモリとディスク構成ですが、より協力なCPUを備えています。

これらは、現在のDシリーズと比較し、最大35%構想ですが、同一価格です。

Dシリーズ・Dv2シリーズインスタンスは、高速なCPU、快適なディスク性能、多くのメモリをそなえているため、ビックデータ向けに理想的です。あたらしい Dv2シリーズインスタンスは、米国中部、米国中北部、米国中南部、米国西部、米国東部、米国東部2、北ヨーロッパ、西ヨーロッパ、東アジア、東南アジア、東日本、オーストラリア東部、オーストラリア東南部、インド中部リージョンでご利用いただけます。Dシリーズは引き続きお使いいただけますが、Dv2シリーズをお勧めします。

追加情報については、HDInsight ページをご覧ください。価格については HDInsight の価格ページを御覧ください。