Azure Data Lake Analytics にパイプライン管理と定期ジョブの追加

2017年10月2日 [Azure Data Lake Analytics introduces capabilities to manage pipelines and recurring jobs]粗訳

Azure Data Lake Analytics サービスは、パイプラインの一部として、また、定期実行している Data Lake Analytics ジョブから、インサイトを簡単に管理し、取得するのに役立ちます。以下が新機能です:

  • 実行に失敗するパイプラインジョブ、もしくは、予想よりも時間がかかる可能性のあるパイプラインジョブを素早く認識
  • パイプライン、または、定期的なインスタンスの集計された統計(ジョブ数、成功した AU 時間と、失敗した AU 時間など)を取得、リソース消費と、コストの傾向を理解できます

Azure Data Factory V2 パイプラインの一部として、サブミットされた Data Lake Analytics ジョブは、追加作業なしで、新しい機能を自動的に活用します。 Azure Data Factory V1 を試用して、1つ以上の Data Lake Analytics アクティビティで構成されるパイプラインを作成している場合(もしくは、Azure で、データの移動と、ジョブオーケストレーションサービスをお探しの場合)、Data Factory V2 の検討をお勧めします。

広告

Azure Data Lake Analytics で、ポリシーベースのコンピュータリソース管理が利用可能に

2017年7月18日 [Azure Data Lake Analytics support for policy-based compute resources management]粗訳

Azure Data Lake Analytics で、ポリシーベースのコンピュータリソース管理が利用可能になりました。ビジネス上の SLA および、財務上の要件に対応するために、ポリシーをカスタマイズ可能です。

この機能は、コンピュータリソースを管理するために、以下のポリシーの 2つのレベルを提供しています:

  • アカウントレベルポリシーコントロール:同時実行可能なジョブ数、ジョブに対する AU の数、など
  • ジョブレベルポリシーコントロール:各ユーザーや、セキュリティグループの、AUの最大値、実行されたそれぞれのジョブの優先度、など

詳細については、以下をご覧ください:

Azure Data Lake アップデートアナウンス

2016年5月13日 [Azure Data Lake update announcement] 粗訳

Azure Data Lake エンジニアチームは、サービスをより洗練させ、最近のいくつかのアップデートでは、全体の基本的な改善を提供しました。以下のリリースノートでは、すべての更新の詳細をお読みになれます:

これらの更新の中で、以下の点で、注目していただきたいことがいくつかあります:

  • U-SQL スクリプトが出力を Azure Storage blobに送信する際、他のツールとのよりよい互換性を提供します
  • Azure SDK には、Azure Data Lake Tools for Visual Studio が含まれます。これは、以前よりも簡単に、必要なツールを一カ所から入手できることを意味します。
  • Azure Data Lake Store と Azure Data Lake Analytics は、診断ログの保存をサポートしています。これは、サービルが利用されているか?の監査を行う際に、非常に便利です。

Data Lake Store、Data Lake Analytics 、Azure HDInsight に関する技術文書は、Azure Data Lake blog (英語)でご覧いただけます。もし、ご提案やフィードバックがある場合は、feedback ページ (英語)にて、エントリーを作成してください。Data Lake ついてのご質問は、MSDN forum (英語)にてお願いします。

Data Factory 向けの新しい 監視・管理ユーザーインターフェース リリース

2016年2月12日 [New Data Factory monitoring and management UI now available] 粗訳

一般公開を開始した Azure Data Factory 向けの新しい監視・管理ユーザーインターフェースをお試しください。エラーの発見と修正、パイプラインの中断・再開が簡略化されており、また、新しいトラブルシューティングビュー、グローバルタイムフィルタ-、警告の簡単な管理が追加されています。一度にすべてのデータパイプラインを監視・管理できるこのシンプルで直感的なインターフェースをご利用くださいAzure portal より Azure Data Factory のリンク をクリックすることで、新しい監視ユーザーインターフェースへのアクセスができます。

Visual Studio 向けAzure Data Lake ツール:12月アップデート

2016年1月8日 [Azure Data Lake tools for Visual Studio: December update] 粗訳

Azure Deta Lake 開発者向けに、開発者エクスペリエンスの改善を実施しました。12に月追加されたのは以下の機能です。

U-SQL ローカル実行の拡張

U-SQL ローカル実行のための DataRout の構成変更。設定するには、Menu > Data Lake > Options and Settings をクリックします。

サーバーエクスプローラでのローカル開発でのエクスペリエンスは、クラスター開発のエクスペリエンスと同一です。メタデータの作成および削除オペレーションを、データベース、アセンブリ、スキーマ、テーブルに対して実行できます。

Server Explorer Expeirence for Local Run[1]

エラーメッセージスクリーンアップデート

以下の画像の表示のとおり、より明確にジョブエラーが参照できます:

Error Message Update

* カラムの拡張

*にむけたカラムの拡張のため、エディタでのサポートを追加しました。カーソルでポイントすることにより、(ネームスペースを追加したC#のように)ヒントを参照できます。カラムを拡張するために、C#同様のショートカット(Alt + シフト + F10)も使えます。

Expand Columns[1]

Azure Data Lake ストア、および、 Azure Data Lake 分析のAzure Data Factory との統合

2015年11月18日 [Azure Data Lake Store and Azure Data Lake Analytics integration with Azure Data Factory] 粗訳

新しくリリースしたパブリックプレビューサービスである、Azure Data Lake Store (英語)とAzure Data Lake Analytics (英語)は、ビッグデータの加工と分析のシンプル化、ダイナックなスケールとよりアクセス可能な仕組みを提供します。様々なデータソースを Data Lakeに双方向に移動するために、データパイプラインを作成する手段として Azure Data Factory (英語)をお使いいただけます。また、Data Lake 分析を使って、クエリーを実行できます。

これらの作業は、簡単にData Factoryパイプラインに組み込め、ご使用中のビッグデータワークロードと同様に、一カ所でスケジューリング、管理、モニタングができることを意味します。

Data Factory の試用し、パイプラインの構築を開始するには、Azure Data Factory のラーニング パス  をご参照ください。もし、Data Factoryについて、機能についてご要望やフィードバックがありましたら、Azure Data Factory (英語)をご訪問ください。