先日、「KNIME Analytics Platform」および、「KNIME Server」がバージョンアップされました！バージョンアップで追加された新機能や、改善点を紹介いたします。

「KNIME Analytics Platform 4.1」はこちらからダウンロードできます。

新機能一覧

KNIME Hub

• プライベートスペースとパブリックスペース
• コンポーネントへのアクセス

KNIME Analytics Platform

• ワークフローキャンバスでのナビゲーション（検索）
• 機械学習
• コンポーネント
• ガイド付きラベリング
• ノード、ノード、ノード
• KNIMEデータベースエクステンション
• コミュニティとパートナーのエクステンション
• 技術的な改善
• ビッグデータ
  • Databricks
  • Google Cloud
  • Apache Knox

KNIME Sever

• 構成ダイアログ
• ワークフローアクションを呼び出す
• エンタープライズ機能

KNIME Hubの新機能

プライベートスペースとパブリックスペース

今回のリリースでは、「KNIME Hub」にプライベートスペースとパブリックスペースを導入しました。

まだ公開したくないワークフローをプライベートスペースにアップロードすることで、どこからでもアクセスして編集を行うことが可能となります。

編集が終わり次第、パブリックスペースへアップロードすることで全体に共有できます。

コンポーネントへのアクセス

「KNIME Hub」からコンポーネントへのアクセスを可能にすることで、ワークフローの構築をより簡単に行うことができるようになりました。

コンポーネントをパブリックスペースにアップロードして「KNIME Hub」で共有し、同僚、友人、KNIMEコミュニティに既存のノードを組み合わせた構成を提供して、複雑なデータサイエンス作業を簡単に行えるようになります。

パブリックスペースにアップロードされたコンポーネントは検索可能なため、必要なコンポーネントをすぐに探し出すことができます。

KNIME Hubの詳細については、こちらをご覧ください。

KNIME Analytics Platformの新機能

ワークフローキャンバスでのナビゲーション（検索）

今回のリリースで、ワークフロー内のアクティブなノードを検索できるようになりました。ショートカットキー「Ctrl+F（Macの場合はCommand+F）」で検索可能です。

また、ワークフローキャンバスにマジックボーダー（余白、以下の図の黄色部分）が追加され、ワークフローが大きいために画面からはみ出してしまうような場合でも、ノード追加がしやすくなりました。

ファイルメニューには、ワークスペースで最近開いたワークフローが一覧表示されます。

機械学習

バイナリ分類検査ノード

モデルの選択に関しては、特定のユースケースにあった最適なモデルを見つけるのは簡単ではありません。

2項分類問題では、分類しきい値を調整してモデルを分類タスクに最適化することが必須です。

新しい「Binary Classification Inspector」ノードとその対話型ビューを使用すると、異なる機械学習アルゴリズムごとに最適なしきい値を適用して、バイナリ分類器を比較できます。

「ML Interpretability」拡張機能に新しく追加されたこの機能では、しきい値から背景色までのすべてをカスタマイズできます。

「KNIME Hub」に掲載されている「Binary Classification Inspector」ノードのサンプルワークフローはこちら。

AWSパーソナライゼーションサービス

今回のリリースでは、「Amazon Personalize service」を追加することで、「Amazon Web Services(AWS)」の統合を拡張しました。

このサービスでは推薦モデルを簡単に構築でき、それを使ってパーソナライズされたレコメンデーションを得ることができます。

※これは有料サービスであり、AWSの認証が必要です。

コンポーネント

「KNIME Hub」または、ローカルワークスペースで共有コンポーネントをダブルクリックすることで、コンポーネントの編集が可能です。

さらに、コンポーネントの説明は、コンポーネントの説明書きを使用して簡単に変更できるようになりました。これには、カスタムコンポーネントのアイコンとカテゴリを選択する機能が含まれます。

入力フィルタリングと検証

「Column Filter Configuration」および「Column Selection Configuration」ノードが拡張され、コンポーネントのダイアログでコンポーネントのユーザーが選択できる列のタイプを指定できるようになりました。

「Column Filter Configuration」ノードの場合、選択した列の最小数を要求することも可能になりました。 

ガイド付きラベリング

機械学習アルゴリズムの多くは、大量のラベル付きトレーニングデータを必要としますが、とても手間がかかります。

ガイド付きラベリングでは、ラベルのないデータにラベルを付ける2つの補完的なアプローチを提供します。

アクティブラーニング

アクティブラーニングでは、機械学習モデルは選択したモデルにとって最も有益なデータポイントのラベルを提供するようにユーザーに繰り返し要求することにより、インタラクティブにトレーニングされます。

モデルが利用可能なデータを最大限に活用できるように、モデルの不確実性の活用と特徴選択の両方に対してノードが用意されています。

「KNIME Hub」に掲載されているドキュメント分類のためのアクティブラーニングのサンプルワークフローはこちら。

Weak Supervision

「Weak Supervision」では、「Weak Supervision」の複数のソースを単一の確率的ラベルに結合します。これは、勾配ブーストツリーおよびロジスティック回帰学習ノードで使用できます。

「Weak Supervision」ソースは、関連するデータセット、既存の知識ベース、またはアクティブな学習ノードを使用してデータにラベルを付けるユーザーでトレーニングされたモデルからのものです。このリリースでは、「KNIME Weak Supervision Extension」を追加しました。

「KNIME Hub」に掲載されている「KNIME Weak Supervision Extension」のサンプルワークフローはこちら。

ノード、ノード、ノード

MDF

MDF（Measurement Data Format）はバイナリファイル形式で、測定およびキャリブレーションシステムの事実上の標準になっています。

その目的は、測定後の処理のために記録されたデータを保存することです。「MDF Reader」ノードを使用すると、これらのファイルをKNIMEワークフローで読み取ることができます。

設定ダイアログで関連するデータチャネルを選択し、特定の時間フレームを読み込むために提供されているフィルタオプションから選択、異なる周波数で記録された測定値を統合するために提供されているリサンプリング方法から選択することができます。

Power BI

新しい「Send to Power BI」ノードを使用すると、KNIMEで作成したデータを「Power BI」に簡単にアップロードできます。

ノードのダイアログでOAuthベースの認証を使用し、データをアップロードするワークスペース、データセット、およびテーブルを選択、ノードを実行すると、すべてのデータがPower BIダッシュボードで利用可能になります。

Row Filter (Labs)

この新しい「Row Filter (Labs)」ノードを使用すると、行インデックスや行IDなど、複数の列の条件を含む複雑なクエリに基づいて行をフィルタリングできます。

これらは、選択した列のタイプに応じてさまざまな条件から選択できる対話型ダイアログで簡単に作成できます。

この新しいノードは「KNIME Labs Extensions」にあります。複数の条件に基づいてデータをフィルタリングする場合は、ぜひ試してみてください。

ウェブページ検索

この「Webpage Retriever」ノードは、HTTP GETリクエストを発行し、リクエストされたHTML Webページを解析します。

たとえば、「XPath」ノードを使用して取得したWebページをさらに処理し、必要な情報を抽出することができます。

また、WebページからCookieを抽出したり、リクエストにCookieを含めることもできます。

Top k Selector

「Top k Selector」ノードのノードダイアログで指定されたソート基準に従って、上位のk行を選択できます。以前は、「Active Learning extension」の「Element Selector」ノードとして知られていましたが、今回のリリースで完全リニューアルしました。

これにより、以前よりはるかに高速かつ柔軟になり、任意の列タイプのソート条件を指定したり、複数の列によるソートが可能になりました。

ビッグデータ

Databricks

新しい「Create Databricks Environment」ノードは、「Microsoft Azure」もしくは「Amazon AWS クラスター」で実行されている「Databricks」クラスターへの接続が可能です。

また、「Amazon AWS Databricks Delta」、「Databricks File System」、「Apache Spark」と視覚的に対話するだけでなく、クラスターを作成することができます。

Google Cloud Support

「Google BigQuery Connector」 ノードと 「Google Cloud Storage Connection」 ノードが追加されたことで、 「Google BigQuery」 「Google Cloud Storage」 「Google Cloud Dataproc」 などの人気の高いGoogle Cloudサービスとスムーズにやり取りできるようになりました。

「KNIME Hub」に掲載されている 「Google BigQuery Connector」 ノードのサンプルワークフローはこちら。

Apache Knoxサポート

「REST API」や「Apache Hadoop」インターフェースのUIと安全にやりとりするためのアプリケーションゲートウェイである「Apache Knox」をサポートするようになりました。

このリリースでは、「Apache Knoxゲートウェイ」の背後で「Apache HDFS」、「Apache Hive」、「Apache Spark」を操作できます。

KNIMEデータベース拡張

今回のリリースで「Vertica Connector」ノードと「Amazon Athena Connector」ノードをリニューアルしました。これらのノードを使用することで、既存のDBコネクタは不要となります。

また、「DB Connection Extractor」ノードなど、いくつかの新しいユーティリティノードも追加しました。

大きな改善点は、トランザクション管理のサポートです。「DB Transaction Start」ノードを使用して、既知のKNIME使用パターンでデータベーストランザクションエンドを指定できるようになりました。

「KNIME Hub」に掲載されている 「Working with Database Transactions」ノードのサンプルワークフローはこちら。

最後になりましたが、ワークフロー移行ツールにさまざまな新しいルールが追加されました。

ルールが追加された新バージョンのノードが含まれている場合には以下のように通知されます。

コミュニティとパートナーの拡張

新しいパートナー拡張機能：Redfield Privacyノード

信頼できるパートナーである「Redfield」の新しい「Redfield Privacy」ノードエクステンションを使用すると、重要なデータを匿名化できるだけでなく、データセットに適用される匿名化の品質を評価することもできます。

技術的な改善

動的ポート

今回のリリースでは、必要に応じてポートを追加および削除できるノードをいくつか提供しています。

左下隅に3つの黒い点があるノードが、ポートを変更可能であることを示しています。

新しいフロー変数タイプ

「KNIME Analytics Platform 4.1」では、新しいタイプのフロー変数が導入されています。テストされたフロー変数型string、integer、およびdoubleは、新しいboolean、long、およびarray型によって補完されるようになりました。

「TableRow to Variable」などの多くのフロー変数処理ノードは、これらの新しいタイプをサポートしています。また、KNIMEの各ノードは、これらの新しい変数によって制御できます。たとえば、配列変数を使用して多数の列をフィルタリングできます。

KNIME Serverの新機能

構成ダイアログ

「KNIME Server」実行ダイアログから構成ノード（KNIME Analytics Platform 4.0で導入）の設定値にアクセスできるようになりました。これは、アドホック実行またはスケジュールで実行するために、構成およびその他の値をジョブに渡すことができることを意味します。

ワークフローアクションを呼び出す

「KNIME Server」の実行ダイアログに新たに追加された機能により、現在のワークフローが終了したら、1つ以上の新しいワークフローを呼び出すことができます。

さらに、これらの追加のワークフローは条件付きで呼び出すことができます。元のワークフローが正常に終了した場合、失敗した場合、またはその両方の場合に実行するかどうかを決定します。

エンタープライズ機能

OAuth / OpenID Connect

「KNIME Server」は、OAuth / OpenID Connect機能を備えたIDプロバイダーでユーザーを認証することにより、シングルサインオン（SSO）をサポートするようになりました。

「KNIME Server」用にセットアップされている場合、SSOは「KNIME Analytics Platform」クライアントからの接続でもサポートされます。

「KNIME WebPortal」の場合、これはOpenID Connect対応ユーザーが構成済みのIDプロバイダーにリダイレクトされ、既存の資格情報を使用してログインし、サーバー構成に従ってユーザー情報にアクセスする「KNIME Server」を承認できることを意味します。認証に成功すると、それらは「KNIME Server」にリダイレクトされます。

「KNIME Analytics Platform」クライアントから「KNIME Server」に接続するとき、ブラウザーウィンドウでも認証が行われます。

サーバー管理のカスタマイズの改善

今回のリリースでは、サーバー管理のカスタマイズも改善しました。

特に、サーバー管理のカスタマイズを介して複数の更新サイトを設定したり、デフォルトの更新サイトを無効にしたりできるようになりました。

これは、プロキシの制限のためにユーザーが当社の更新サイトに直接接続することができなかった企業顧客の多くからの一般的なリクエストによるものです。

サーバー管理のカスタマイズを使用すると、独自のネットワークで1つ以上の更新サイトをホストできるようになり、追加のエクステンションをインストールする必要があるすべてのユーザーに簡単にアクセスできます。