Azure Batch 更新情報

2017年10月13日 [Azure Batch updates]粗訳

前回の更新より、以下の機能が、Azure Batch に追加されました:

Since the previous update, we have added the following capabilities to Azure Batch:

  • カスタムイメージと仮想ネットワーク
    • Batch は、以前より、カスタムイメージと仮想ネットワークをサポートしていました。今回、カスタム仮想マシンイメージを利用して作成されたプール、または、仮想ネットワークを参照するプールを作成するために、”User Subscription” Batch アカウントは不要になりました。デフォルトの Batch アカウントを利用できます。
    • ”Batch Service” アカウントは、カスタムイメージと仮想ネットワークを使用できるため、カスタムイメージと、ロープライオリティ仮想マシンを組み合わせて使用できます。
    • カスタムイメージは、 Blob VHD ファイルではなく、イメージリソースを使用して作成されます。Batch は、管理対象ディスクを使用して、プール仮想マシンを作成するので、結果として、イメージリソースを利用しています。つまり、カスタムイメージで作成された、プール内の仮想マシンの数に制限はありません。また、大規模プール用の VHD blob の複数コピーが不要になることも意味します。カスタムイメージプールの作成や拡張は簡単です。最新のドキュメントがご覧いただけます。
    • カスタムイメージ、または、仮想ネットワークを使用するには、Azure Active Directory 認証を使用する必要があります。アカウント名・キーによる認証は利用できません。
  • ロープライオリティ Batch 仮想マシン
    • ロープライオリティ仮想マシンが、パブリックプレビューから一般公開になりました。プレビュー料金設定は、数ヶ月間有効です。通常の仮想マシンと同様、地域毎の価格設定となる予定で、一部の地域では、わずかに価格が上昇する可能性があります。
  • Batch レンダリングプラットフォーム
    • プレインストールされたレンダリングアプリケーションを使用して Batch プールを利用し、分単位の課金で利用する機能が一般提供開始となりました。詳細については、レンダリングプラットフォームのドキュメントをご覧ください。
  • コンテナ
    • Batch コンテナプールを作成し、コンテナ イメージタスクを実行できます。プールが作成されると、1つ以上のコンテナイメージを指定し、仮想マシンにコピーできます。タスクが実行されると、コンテナイメージが指定され、コンテナの実行オプションが提供されます。タスク環境変数とフォルダは、コンテナにマップされます。プール仮想マシン構成には、新しいコンテナ設定(英語)があります。新しいコンテナ設定(英語)は、Batch タスクで使用します。Windows の場合、 Azure Marketplace にある “Windows Server 2016 with Containers” が利用されます。
  • Azure Hybrid Use Benefit
    • Batch を Windows 仮想マシンプールで作成する場合、Azure Hybrid Use Benefit ライセンスを利用できます。 Azure Hybrid Use Benefit が指定されている場合、仮想マシン価格に割引が適用されます。新しいライセンスタイププロパティ(英語)が仮想マシン構成に追加されています。
  • プール仮想マシンデータディスク
    • 仮想マシン構成のひとつを新しいデータディスク構成(英語)を使って、1つもしくは複数の空のデータディスクをプールの仮想マシンに接続できます。
  • 新しい仮想マシンサイズ
    • 最近追加された、Dv3 シリーズ、Ev3シリーズを Batch はサポートしています。これらの仮想マシンサイズは、一部のリージョンで利用可能です。

すべての API についての更新情報の概要については、以下のドキュメントをご覧ください:

広告

パブリックプレビュー:Azure Batch AI

2017年10月13日 [Public preview: Azure Batch AI]粗訳

Azure Batch AI は、GPU と CPU のクラスタを使用して、深層学習や、その他、機械学習モデルのトレーニングに役立ちます。

すでに利用されたリソースやコンピュートを使う場合、追加コストは発生しません。Batch AI は、標準、および、ロープライオリティ仮想マシンをサポートします。米国東部の Linux 仮想マシンがプレビューでサポートされています。

詳細については、Batch AI ページ(英語)をご覧ください。

Azure Cloud シェル:新しく追加されたツールと、フォントサイズの選択

2017年9月21日 [Azure Cloud Shell: New CLI tools added and font-size selection]粗訳

マイクロソフトは、Linux シェルインタプリター、Azure ツール、テキストエディタ、ソースコントロール、ビルドツール、コンテナツール、データベースツールなど、よく利用される CLI ツールを定期的にメンテナンスし、更新しています。

過去数ヶ月において、以下の CLI ツールを Bash 環境に追加しました:

  • AzCopy:簡単なコマンドを使い、最適なパフォーマンスで、Microsoft Azure Blob、File、Table のデータをストレージ間でコピーします。
  • Sqlcmd ユーティリティ:Transact-SQL ステートメント、システムプロシージャ、スクリプトファイルをコマンドラインで実行します。
  • Batch Shipyard (英語):Azure Batch コンピューティングプールで、バッチ処理と、HPC Docker ワークロードをプロビジョニング、および、実行します。
  • Helm(英語):事前に設定された Kubernetes リソースのパッケージである Kubernetes チャートを管理します。

また、Cloud Shell に Terraforum と Cloud Foundry のサポートが追加され、以下の、CLI ツールが追加されました:

最後に、Azure Portal の Cloud シェルツールバーに、フォントサイズに変更機能を追加ました。

Azure Batch アップデート

2017年8月17日 [Azure Batch updates]粗訳

前回のアップデートから、以下の機能が、Azure Batch に追加されました:

  • Azure Batch Rendering、 SIGGRAPH 2017 にて、Azure Batch Rendering のパブリックプレビューを発表しました。Azure Batch Rendering は、利用分に対する支払いを基本とした、クラウド規模レンダリング機能を備えた Batch になりました。インストール済みの、1つ、または、複数のレンダリングアプリケーションを使い、Batch プールを簡単に作成できます。独自のライセンスとライセンスサーバーを使用するのではなく、Azure アカウントを使用して、分単位に対応アプリケーソンを利用し、支払うことが可能です。初期の対応アプリケーションは、Autodesk Maya、3ds、Arnold です。また、近日中に、Chaos Group V-Ray がサポートされます。Maya 用のバッチプラグインを利用すると、Maya から Batch にジョブを送信できます。詳細については、ブログ投稿(英語)、および、Batch ドキュメントをご覧ください。
  • Job  タスクカウント、 一般的な監視は、タスクカウント(ステートごとのタスク数)を取得することです。ジョブには、何千ものタスクが存在する可能性があり、List API を使って、タスク数を計算することは、必要以上に遅くなる可能性があります。そのため、ジョブのタスク数を、すばやく取得するためのサポートが追加されました。詳細については、REST API(英語) および C# API(英語) ドキュメントをご覧ください。
  • 外部からのアクセスを可能にするための、プールノード上のポート公開、 NAT プールのリストを構成できるように、ネットワークコンフィグレーションを強化しました。プロトコル、ポート、および、ネットワークセキュリティグループ(NSG)を指定できます。詳細については、REST API (近日追加予定、英語)、および、C# API(英語) ドキュメントをご覧ください。

すべての、API アップデートの概要については、以下のドキュメントをご覧ください。

Azure Batch アップデート

2017年7月12日 [Azure Batch updates]粗訳

Azure Batch に以下の拡張が加えられました:

  • VirtualMacineConfiguration で作成されたプールへのアプリケーションパッケージ適用:この拡張以前は、CloudServiceConfiguration で作成されたプールに対してのみ、アプリケーションパッケージを指定できましたが、この拡張により、CloudServiceConfiguration プールと VirtualMachineConfiguration プールの両方にアプリケーションパッケージを指定できます。
  • 低いプライオリティ仮想マシン向けのメトリックス:最近リリースされた、低プライオリティ仮想マシンに対応するため、新しいメトリックが追加されました。新しいメトリックは、低優先度ノードカウント低優先度コアカウント、および、先取りノードカウントです。
  • Azure CLI を使った、コマンドラインによる、コード記述無しでのプールの作成と実行(プレビュー):Azure CLI を利用して、Batch プール、ジョブ、タスク を作成できる Batch テンプレート JSON ファイルの作成が可能です。ジョブ入力ファイルを Batch アカウントに関連づけられたストレージアカウントに簡単にアップロードできます。ジョブ出力ファイルは、簡単にダウンロードできます。詳細については、Azure Batch CLI ドキュメント (英語)をご覧ください。

新しい Azure Batch の機能

2017年4月17日 [New Azure Batch capabilities]粗訳

過去数週間において、Azure Batch に新しい機能を追加しました:

    バッチタクスを実行する ID の 複数のタスクに対し設定と固定

    • 今回のアップデート以前は、タスクに使用する ID は自動生成されていました。 Windows プールの場合、ID は、個々のタスクにスコープが設定され、各タスクは、個別の ID で実行されます。Linux の場合、同一のプール上で実行されている、すべてのタスクで同一の ID が使われるため、ID は、プールにスコープされていました。Windows の ID 、特に、タスクごとに自動再生されることにより、タスクでのファイル共有が困難でした。このアップデートで、Windows プールのすべてのタスクで同一の ID を利用することができます。また、利用している ID の設定も可能です。
    • ジョブタスクに userIdentity (英語)プロパティが追加されました。このプロパティには、 autoUser(英語)サブプロパティがありあす。

Viカスタムイメージを試用した仮想マシンプールの作成

  • ソフトウェアのインストールや OS の設定に時間がかかることがあり、特に、利用時間の短い仮想マシンでは、仮想マシンの使用率と効率が大幅に低下する場合があります。状況によっては、プール用の仮想マシン用にカスタム仮想マシンイメージを作成した方がよい場面があります。そこで、プールの仮想マシン構成(英語)で、カスタムイメージ VHD ファイルを指定できるようになりました。カスタムイメージを使うには、プール割り当てモードが UserSubscription に設定されたバッチアカウントが必要です。アカウントの作成方法は、ブログ投稿(英語)、および、この記事をご覧ください。

仮想マシンプールの仮想マシンの仮想ネットワークへの参加

利用しているサブスクリプションへの、仮想マシンプールの仮想マシンの直接作成

  • 新しい poolAllocationMode プロパティは、プールの仮想マシン作成に使用するサブスクリプションを制御できます。このプロパティが、 BatchService に設定している場合、デフォルトのプールは、背後の Batch サービスのサブスクリプションに作成されます。このプロパティを UserSubscription に設定すると、プール仮想マシンは、Batch アカウントと同じサブスクリプションに直接作成されます。UserSubscription アカウントの場合、Azure ポータルを使用してプール仮想マシンの割り当てにしようされる  Virtual Machine Scale setを表示できます。UserSubscription アカウントは、カスタムイメージを使用してプールを作成したり、仮想マシンプールの仮想マシンを仮想ネットワークの一部とするために必要です。
  • このウェブページでは、新しい Batch アカウントのプール割り当てモードを指定する方法の詳細を説明しています。

Azure Active Directory 認証

    • Batch アカウント名とキーでの認証に加え、Azure Active Directory (Azure AD) を使用して Batch クライアントAPIを認証基盤として使用できます。例えば、.NET を使用し、Azure AD トークンを介して BatchClient を取得できます。詳細については、ウェブページ をご覧ください。

タスク依存性の改善

  • 最近まで、依存するタスクがあるタスクは、それらのすべての依存するタスクが成功したときのみ実行されるようにスケジュールされていました。今回の改善で、タスクの依存関係を構成できるようになり、依存するタスクが成功しても失敗しても、依存するタスクが完了した際にタスク実行できるようになりました。詳細についてはウェブページをご覧ください。

Batch SDK のアップデート

  • Java API for Batch の一般提供開始。
  • .NET SDK は数回更新され、現在のバージョンは、6.1.0です。いくつかのバージョンでは、下位非互換性があります。詳細は、更新履歴(英語)をご覧ください。
  • Azure CLI 2.0 での Batch サポート。
  • Batch API とコマンドラインツールのリストは、Batch API とツールの概要をご覧ください。

デフォルトアカウントのクォータ

  • サブスクリプション毎、各リージョン毎に 作成できる Batch アカウント数が、1から3に引き上げられました。
  • Batch と プロセスのクォータを引き上げる方法については、ウェブページをご覧ください。

タスク認証トークンの生成

  • 状況により、Batch API を使用して状態を取得したり、他のタスクを作成したりする必要があります。タスクの資格情報を渡す代わりに、トークンを含む環境変数が作成され、タスクを作成したジョブに対する操作のみが許可されるようにタスク構成で指定できるようになりました。
  • タスク(英語)の新しい設定が追加されました。

Windows Server 2016 Cloud Services プールのサポート

  • Windows Server 2016 ベースのファミリ 5 を Cloud Services のプールとして使用できます。

R セッション向けに Batch の利用

  • Azure Batch 上に構築されたライトウェイトな R パッケージをリリースしました。R セッションから柔軟な Azure コンピューティングリソースを簡単に利用できます。詳細は、ブログ(英語)をご覧ください。

新しい VM サイズのサポート

2016年10月3日 [Support for new VM sizes] 粗訳

最近、Azure Batch にご利用いただける新しい2つの VM が利用可能となりました。Hシリーズは、コンピュート集中型ワークロード向けで、MPIワークロード向けのRDMA バックエンドネットワークと最高のパフォーマンスを提供します。Nシリーズは、プレビューとしてアナウンスされ、GPUで高速化されるコンピュートやGPUビジュアライゼーション向け最高のGPUを提供します。両方のVMシリーズは、Azure Batch プールで利用されます。

Hシリーズは、Azure Cloud Services と Azure Virtual Machines プールの両方で利用可能で、cloudServiceConfiguration もしくは virtualMachineConfiguration を利用した Batch プールで指定できます。Nシリーズは、Virtual Machines のみで利用可能で、virtualMachineConfiguration を利用した、Batch プールで指定できます。

利用可能な、VM サイズについては、以下のドキュメントをご覧ください:

HシリーズおよびNシリーズは、単一のリージョン(米国中南部)でのみご利用可能で、必要に応じた Batch アカウントのコア数クォータのリクエストが必要です。既存の Batch アカウントのクォータはご利用いただけません。これらの VM サイズは、新しい Batch プールを作成する際に、Azure Portal 内では表示されません。VM が他のリージョンで利用可能になる際には、このプロセスは不要になります。既存の Batch アカウントのコアクォータが利用され、プールを作成する際に、これらの VM サイズが表示されます。

こららの新しい VM サイズを利用するには、新しい Batch アカウントの作成とコアクォータを増やすサポートリクエストが必要です。Batch のコアクォータを増やす方法については、Azure Batch サービスのクォータと制限をご覧ください。コア数に加えて、利用したいVM (NCシリーズ、NVシリーズ、Hシリーズ)をご連絡ください。

Azure Batch 新機能

2016年9月5日 [New Azure Batch capabilities] 粗訳

過去数週間、Azure Batch Service にいくつかの重要な機能追加をいたしました:

  • Linux 仮想マシン、および、VMスケールセットでの、Batch プールのサポートが一般提供開始に:
    4月にプレビューとして、Linux および Windows 仮想マシン向けにサポートしていた機能が一般提供開始になりました。数多くの仮想マシン向けのパフォーマンスと堅牢さを備えるプールの確保方法が、プレビュー期間中に改善されました。
  • Linux MPI:
    2015年12月、Windows 仮想マシン向けに、MPI アプリケーションのサポートが開始されていました。今回、Linux 仮想マシン向けに MPI のサポートを追加します。詳細については、ブログ投稿(英語)をご覧ください。
  • タスクアプリケーションパッケージ:
    プール向けにアプリケーションパッケージのリストを指定する機能に加えて、タスク向けに、アプリケーションパッケージのリストを指定できるようになりました。詳細については、MSDN のドキュメント および、Azure 記事 をご覧ください。
  • Windows 仮想マシン向け、Virtual network のサポート:
    プール内のすべての仮想マシンは、Azure virtual network に参加できます。詳細については、MSDN のドキュメントをご覧ください。
  • ジョブ自動完了:
    ジョブに関連づけられたすべてのタスクが終了した際、ジョブを完了状態に自動的に移行するためのジョブを設定できます。従来は、すべてのタスクを監視し、ジョブが終了したことを確認する必要がありました。詳細については、ジョブの追加に関する文書をご覧ください。
  • Azure Storage へのジョブおよびタスクの出力の永続化:
    新しい .NET クラスライブラリを使用すると、ジョブとタスクの出力ファイル、ログファイルを、接続した Azure Storage アカウントに保存できます。
  • Azure Portal:
    機能とモニタリングの能力の改良のため、基本的に、毎週、Azure Portal 内での Batch の扱いを更新していきます。

Azure Batch サービスの新しい機能

2016年6月16日 [New capabilities available on the Azure Batch service] 粗訳

過去数ヶ月において、Azure Batch サービスに、以下を含む数多くの新しい機能を追加いたしました。

加えて、以下を含む、新しい Azure portal での使い勝手の改良をいたしました:

  • ポータルでの、コンピュートノードのプールの作成、更新、削除
  • ポータルでの、ジョブとタスクの、作成、実行、終了
  • ポータルでの、タスクログの閲覧
  • アプリケーションパッケージの作成と管理
  • コンピュートノード管理の改良(削除、リイメージ、接続)
  • リンクされたストレージアカウントのサポート

これら新しい機能やその他 Batch についての詳細は、Batch のドキュメント ページをご覧ください。