ブログ

先日、「KNIME Analytics Platform」および、「KNIME Server」がバージョンアップされました！バージョンアップで追加された新機能や、改善点を紹介いたします。

 

「KNIME Analytics Platform 4.2.0」はこちらからダウンロードできます。

※以前のバージョンをご利用中の場合でも、本バージョンの導入には新規にインストールする必要があります。

 

新機能および、改善内容

KNIME Hub

１．KNIME Hub Community & Spaces

・Spaces
・ユーザープロフィールページとコミュニティ

 

KNIME Analytics Platform

１．新しいコネクタノードとファイル処理機能

・Salesforce
・SharePoint
・Amazon DynamoDB拡張（Labs）
・SAP Reader（Theobald）
・New File Handling Framework (Labs)

２．TensorFlow 2 Integration

３．パフォーマンスの改善

・Pythonのスピードアップ
・Simple File Reader
・Joiner Node

４．UXの改善

・Table Difference Finder
・String Manipulation (Multiple Column)
・Dynamic Ports（動的ポート）
・Tableau
・PowerBI
・R
・Database nodes

５．コミュニティとパートナーのエクステンション

・RedfieldによるConformal Prediction
・TarentによるCumulocity Connectorのエクステンション
・Neo4J by Redfield
・GenentechによるGenentechノード

６．JavaランタイムとKNIME Analytics Platformのアップグレード手順の変更

・変更または削除された機能
・APIの変更

 

KNIME Server

１．Integrated Deployment

２．Elastic and Hybrid Execution

・Executor Groups
・Executor Reservation
・AutoScaling on AWS（KNIME Server LargeでAWS(BYOL & PAYG)上での自動スケーリング）
・Hybrid Installation
・KNIME Server Large BYOL on AWS
・監視機能の強化

３．Workflow Summary

４．Guided Analytics（ガイド付きアナリティクス）

・New WebPortal

５．IT Administrators

・OAuth
・Apache Tomcat
・Qpid

 

KNIME Hub

KNIME Hub（スペースとユーザープロフィールページの刷新）

・KNIME Hub（スペース）

KNIME Hubでは、複数のスペースを作成し、好きなように名前を付け、公開か非公開かを定義することができるようになりました。

ここにtschmidtさんのスペースがあります。彼は他の人と一緒に作業している様々なプロジェクトのためにパブリックスペースを作成しています。BIRTレポート、クラスタリング分析、解約予測分析プロジェクトなどです。また、ロックアイコンで示されているように、個々のプロジェクトのためのプライベートスペース、My Private Analysisも作成しています。

※スペースを見るにはサインインする必要があります。

他の人が提供したコンテンツに感謝の意を示すこともできるようになりました。コメントの追加に加えて、ワークフロー、ノード、コンポーネント、エクステンション、および スペースを「いいね！」できるようになりました。これらはすべてKNIME Analytics Platformからも行えます。

 

・KNIME Hub：ユーザープロフィールページとコミュニティ

新しいユーザープロフィールページをご紹介します。自分のスペースやエクステンション、他のユーザーのスペースを見つけることができます。ユーザープロファイルページには3つのセクションがあります。

Overview　：あなたの統計情報
Extensions ：エクステンションを開発した場合、ここに表示されます
Spaces　　：あなたが作成した様々なスペース

tschmidtさんのプロフィールページです。彼は21のワークフロー、6つのコンポーネントを公開しており、5つの「いいね！」をもらっています。

 

Extensionsセクションには、アップロードしたエクステンションが表示されます。ここでは、例えばRedfieldさんのページです。RedfieldはKNIMEパートナーであり、様々なKNIMEエクステンションを開発しています。

 

KNIME Analytics Platform

新しいコネクタノードとファイル処理機能

・Salesforce

KNIME Labsは現在、最も人気のあるCRMシステムの1つからデータを読み取るためにSalesforce – Salesforceインテグレーション-に接続するためのノードのセットを提供しています。

認証は、OAuth2対話型のWeb認証、またはユーザー名とパスワードを提供することで行うことができます。ユーザーは、Salesforce Object Query Language (SOQL) を使用して、シンプルでありながら強力なクエリ文字列を構築し、読み込むデータを定義することができます。

 

・SharePoint

新しいファイル処理フレームワークで新たに統合されたファイルシステムの1つにMicrosoft SharePointがあります。新しいSharePoint Connectorノードを使用して、KNIME Analytics Platform内からSharePoint上のファイルを管理、読み取り、書き込みすることができます。

 

・Amazon DynamoDB拡張（Labs）

Amazon DynamoDBのノードを利用することで、KNIME Analytics Platform内からキーバリューデータベースやドキュメントデータベースを活用することができます。このエクステンションには、Amazon DynamoDB内のデータやテーブルにシームレスにアクセスして操作できるノードが付属しています。

 

・SAP Reader（Theobald）

SAPインテグレーションの世界的なエキスパートであるTheobald Software社と提携し、様々なSAPシステムからデータを抽出できるKNIMEノードを開発しました。新しいSAP Reader（Theobald）ノードは、市販のTheobald Xtract Universal Serverに接続して、SAP S/4HANA、SAP BW、SAP ERP/ECC、SAP R/3、mySAPなどのデータをKNIMEに抽出します。SAP Readerは、一般的なWebサービスのデスティネーションを含むTheobald Xtract Universal Serverライセンスでのみ使用できることに注意してください。

 

・New File Handling Framework (Labs)

これは新しいファイルハンドリングフレームワークの最初のノードセットです。これにより、ローカル、KNIME Server、オンプレミスの共有ドライバ、クラウドストレージのいずれの場合でも、KNIME内でのファイル操作がより簡単になります。

また、既存のリーダ・ライタノードの多くを、異なるファイルシステムとの互換性を持たせるために改訂しました。使い勝手を改善し、ファイルプレビューやディレクトリ内の複数ファイルの読み込みなどの新機能を追加しました。

ワークフローを共有する際に、KNIME Serverリポジトリ、ワークフローリポジトリ、またはワークフロー自体のファイルやフォルダを参照する際に、KNIME URLを記述する必要がなくなりました。代わりに、開始点を選択し、必要なファイルを参照します。KNIMEワークフローでは、専用のデータエリアが提供されるようになり、ワークフローとのデータ共有が容易になります。

新しいノードは、KNIME Labs -> File Handling (Labs) カテゴリにあります。より多くのノードとファイルシステムは近日中にリリースされる予定です。ぜひお試しいただき、たくさんのフィードバックをお寄せください。

 

・TensorFlow 2 Integration

新しいTensorFlow 2 Integrationにより、少数の専用ノードとDLのPythonノードでTensorFlow 2のPythonパッケージを使用できるようになりました。

TensorFlow 2 Network Readerノードは、SavedModel形式とH5形式のネットワークを任意のソースから読み込むことができます。TensorFlow 2 ネットワークは、TensorFlow Keras レイヤーから簡単に組み立てることができますし、カスタムレイヤーの実装や強力な TensorFlow-Hub レイヤー（BERT など）を使用して複雑な機能を実行するように慎重に設計することもできます。DL Python Network Learnerでネットワークを訓練データにフィットさせた後、TensorFlow 2 Network Executorを使用して、見えないデータの予測を実行することができます。学習したネットワークはTensorFlow 2 Network Writerノードで保存し、他のワークフローやアプリケーションで使用することができます。

 

パフォーマンスの改善

・Pythonのスピードアップ

パフォーマンスの改善は、複数のPythonノードが互いに追従していたり、ループ内にあったり、多くのデータを伴わないノード実行の場合に特に関連しています。Python scriptingノード、deep learning Python scriptingノード、Kerasノード、MDF Readerノードを実行する際の起動時間が著しく短縮されました。

これは2つの重要な変更によって実現されました。

(1) KNIMEは個々のPythonノードが使用するためにバックグラウンドでPythonプロセスのプールを初期化して維持します。

(2) 人気のAnacondaやMiniconda Pythonディストリビューションを使用している多くのユーザーのために、KNIMEは最初に設定スクリプトを実行するというコストのかかる遅延なしにPythonを直接起動します。

 

・Simple File Reader

Simple File Readerは、File Readerに代わる選択肢です。利用可能な状況は少ないですが、File Readerより良いパフォーマンスを発揮します。Simple File Readerノードは、File Readerノードより平均して3倍高速であり、特定の入力では、より一般的なFile Readerノード上の10倍のスピードアップを達成することができます。

 

・Joiner Node

新しいJoinerノードがLabsでリリースされました。ベンチマークでは、以前の実装と比較して、インメモリ結合の速度が約2倍から6倍に向上していることが示されています。また、新しい機能も提供されています。

・スプリット出力

Joinerは、マッチした行とマッチしていない行（左右）を別々の出力ポートに出力するように設定でき、データの品質とJoinerの設定の両方をチェックしやすくなります。

・結合列のマージ

外部結合を使用する場合、結合列のペアを1つの列に結合するようにJoinerを設定することができ、より簡潔な出力が得られます。これにより、下流のカラムマージノードが不要になり、外部結合を行う際に前のJoinerノードのデフォルト設定でよくある落とし穴を回避することができます。

 

UXの改善

今回のリリースでは、新しいノードを追加し、既存のノードの数を増やしてユーザーエクスペリエンスの向上を図りました。

・Table Difference Finder

この新しいノードでは、2つのKNIMEデータテーブルの構造やデータを比較し、その違いを出力することができます。

 

・String Manipulation (Multiple Column)

Similar to the Math Formula (Multi Column)ノードと同様に、新しいString Manipulation (Multiple Column) ノードでは、複数のカラムに対して自動的に文字列操作を行うことができます。

 

・Dynamic Ports（動的ポート）

The Column Appenderおよび、Merge Variables ノードで、入力ポートを動的に追加できるようになりました。

 

・Tableau

この Tableau 統合は、新しい Tableau Hyper API をベースに構築されており、より優れた互換性と簡単なインストールを保証します。

 

・PowerBI

2019年12月にリリースされた統合をベースに、PowerBI Extensionのダイアログは、準拠したデータセット、すなわちプッシュデータセットのみを自動的に表示し、ワークスペースに非準拠のデータセットが含まれている場合は情報を表示します。

 

・R

すべてのRノードで、「Advanced」タブからデフォルト環境とは異なるR環境を設定できるようになりました。

 

・Database nodes

ユーザーからの要望に応えて、データベースノードを中心に様々な改善が実装されました。改善点としては、DB Loader ノードを使用する際の Microsoft SQL Server のバルクコピーのサポート、DB Row Filter ノードでのブーリアンカラムのサポート、有効なデータベース接続がない場合やRemote Workflow Editorを使用している場合に、ほとんどのデータベースノードのダイアログを開くことができるようになりました。

 

コミュニティとパートナーのエクステンション

ここでは、KNIME Analytics Platform 4.2.0で利用可能な新しいコミュニティおよびパートナーエクステンションを紹介します。

 

・RedfieldによるConformal Prediction

パートナーのRedfieldが開発したConformal Predictionエクステンションは、KNIME Analytics Platformのユーザーがワークフローにコンフォーマル予測技術を適用できるようにします。Conformal Predictionとこのエクステンションの詳細については、このウェビナーの録画をご覧ください。

 

・TarentによるCumulocity Connectorのエクステンション

パートナーのtarentが開発したCumulocity Connectorエクステンションを使用すると、KNIME Analytics PlatformからSoftware AGのCumulocity IoTプラットフォームに接続することができます。

 

・Neo4J by Redfield

パートナーのレッドフィールドが開発したNeo4Jエクステンションを利用すると、Neo4Jグラフデータベースに接続して、データベースからデータを抽出したり、データベースに書き込んだりすることができます。

 

・GenentechによるGenentechノード

Genentechが開発したChemalotエクステンションを使用すると、リモートインフラストラクチャ上で実行されるコマンドラインツールからワークフローを構築することができます。このエクステンションは、ユーザーが提供した xml ファイルに基づいてノードを生成します。

 

JavaランタイムとKNIME Analytics Platformのアップグレード手順の変更

KNIME Analytics Platform 4.2.0は、Java（1.8.0.252-b09）およびEclipse（2020-03 / 4.15）のアップデート版で配布されています。これらの変更により、KNIMEアップデートマネージャを介した旧バージョンのKNIME Analytics Platformからのアップデートはサポートされていません。完全な新規インストールが必要です。

・変更または削除された機能

・Eclipse のアップデート（上記参照）により、Windows 32bit のサポートが終了しました。

・異なるバージョンのChrome間でAPIが変更されたため、JavaScriptのビューを表示するために外部（プリインストールされた）Chromeを使用することはできなくなりました。代わりに、KNIMEアップデートサイトから提供されているChromiumバイナリ（LinuxとWindowsにプリインストールされています）を使用してください。

・MacOSでは、Appleの公証手続きのため、Chromiumバイナリはプレインストールされなくなりました。ファイル」→「KNIMEエクステンションのインストール」で個別にインストールすることができます。

・Spotfire (Labs)のエクステンションが削除されました。この機能はTibcoが提供するパートナーエクステンションで利用できるようになりました。

・APIの変更

KNIME Analytics Platform 4.2.0では、サードパーティのエクステンションでノードと型を見つけるために「Buddy Classloading」を使用しなくなりました。ノードと型は、それぞれのエクステンションポイントを介して適切に登録する必要があります。

この問題の例示的な修正については、このコード変更を参照してください。これを行わないと、これらのノードを含む (古い) ワークフローが “missing node placeholder” を使用してこれらのノードをロードしてしまう可能性があります。

ノードエクステンションAPI自体は安定しています。しかし、Eclipseのアップデートによる変更は、サードパーティのエクステンション（例えば、Apache Batikなどへの依存関係）にトリクルダウンする可能性があります。ほとんどの場合、依存関係宣言を修正するだけで問題は解決します。

 

無料でオープンソースのKNIME Analytics Platform 4.2.0をダウンロードして、これらの新機能をお試しください。

 

KNIME Server

Integrated Deployment

新しいIntegrated Deploymentエクステンションにより、本番環境での実行に必要なワークフローの部分をキャプチャすることができます。これらのキャプチャされたサブセットには、関連するすべての設定と変換が含まれています。

これらは、互いに組み合わせて実行し、ローカルワークフローとして保存し、KNIME Serverにデプロイすることができます。統合デプロイメントにより、以下のことが可能になります。

・ワークフローの設計と配置の自動化
・モデル作成から生産プロセスの展開への移行に伴うエラーのリスクを低減
・生産ワークフローを自動的に更新

KNIME Hubから統合デプロイメントの新しいノードを特徴とするワークフローの例をダウンロードしてください。

 

Elastic and Hybrid Execution

KNIME Executorsは実際にワークフローを実行します。例えば、ユーザーがREST API、スケジューリング、またはWebPortalを介して、KNIME Server上でワークフローを開始した場合などです。

KNIME Server 4.11のリリースにより、KNIME Executorsの機能が拡張されました。新機能として、Executor GroupsとExecutor Reservation、AutoScaling on AWS、Hybrid Installationなどが追加されました。これにより、多数の多様なユーザーにサービスを提供したいと考えている企業の要件を満たすことができるようになりました。

 

・Executor Groups

ExecutorグループはKNIME Executorsを強化する新機能で、ユーザーは異なる部門やビジネスユニットの実行者の専用グループを作成することができます。ワークフローは、特定のビジネスユニットに適切なレベルのリソースを持つ正しいグループに自動的にルーティングされます。各グループには、1つまたは複数のExecutorを含めることができます。

また、Executorグループはスケーリングプロセスを簡素化します。組織全体を1つのKNIME Server上に配置し、各組織ごとに個別のExecutorグループを持つことが可能になりました。下の図は、例えば、マーケティング、財務、エンジニアリングの各部門のExecutorグループを示しています。

 

・Executor Reservation

Executorの予約機能を使用すると、特別な要件を持つジョブを適切な実行者に確実に送ることができます。これは既存のワークフローのピン留めを超えたもので、特定の要件を満たさない限り、実行者はジョブの受け入れを拒否することができるようになりました。

このようにして、実際には必要のないワークフローが特別なリソースをブロックしないようにすることができます。例えば、基本的なETLジョブを持つ強力なGPU executorをブロックする必要はありません。

 

・AutoScaling on AWS（KNIME Server LargeでAWS(BYOL & PAYG)上での自動スケーリング）

KNIME ExecutorsがAWSマーケットプレイスにBYOL(bring-your-own-license)とPAYG(pay-as-you-go)として追加されたことで、自動的かつ動的に新しいExecutorsを起動できるようになりました。AWS Auto Scalingを利用することで、例えばシステム負荷が高い場合（スケールアウト）など、新しいKNIME Executorsを起動する必要があるかどうかを検知することができます。逆に、負荷が減ると再びExecutorsがシャットダウンされます（スケールイン）。PAYGの場合、ダイナミックスケーリングにより、インスタンスコストとライセンスコストの両方を節約することができます。

 

・Hybrid Installation

新しいマーケットプレイスの提供では、オンプレミス/クラウドのハイブリッドセットアップを実行する可能性も紹介されています。KNIME Serverをオンプレミスにインストールし、必要に応じてクラウドでExecutorsを起動することができます（オンデマンドPAYG）。これにより、特殊なハードウェアを年間を通してメンテナンスすることなく、特殊な目的のExecutors(GPUなど)を起動することができます。

 

・KNIME Server Large BYOL on AWS

KNIME Server LargeがBYOLサービスとしてAWS Marketplaceに追加されました。これをベースイメージとして使用することで、オンデマンドの従量課金型のExecutorsを追加して弾力的なスケーリングを行うことができます。

 

・Improved Monitoring（監視機能の強化）

KNIME ExecutorsとExecutor Group間の活動レベルをより良く監視するために、ロギングを改善しました。

 

Workflow Summary

ガバナンス、コンプライアンス、レポーティング要件をサポートするために、ワークフローサマリー機能は、実行情報、ワークフローメタデータ、ノード設定から、モデルを介して、使用され、作成されたデータソースやフィールドの詳細に至るまで、ワークフローに関するすべての詳細をKNIMEから抽出し、エクスポートします。ワークフローサマリーはプルダウンメニューから抽出するか、KNIME Serverと連携してワークフローサマリーの抽出を自動化し、定期的にレポートを生成することができます。KNIME WebPortalを統合すると、レポート作成をインタラクティブに行うことができます。

ワークフローサマリーは、単一のJSONまたはXMLドキュメントとしてエクスポートすることができます。抽出される情報のハイライトは以下の通りです。

・ランタイム環境（インストールされているプラグイン、システムプロパティ）
・ワークフローのメタデータ
・ワークフローの注釈
・以下のようなプロパティを持つすべての含まれているノードのリスト

– 名前、タイプ、状態、…
– ノード出力とその仕様のリスト
– ノードの後継者のリスト（ノードID別）

・出力データの要約（希望して利用可能であれば） – データそのものではない

以下のいずれかの方法で生成可能

– ファイルメニューエントリを使用
– ジョブのサマリーを生成するためのサーバーRESTエンドポイント

 

KNIME Hubの例には、REST API自動化の例の他に、レポートやインタラクティブな例があり、コンポーネントを使用してサマリーから情報を抽出します。これらの例は、組織のニーズに合わせて変更・拡張することができます。KNIME Hubからワークフローの例をダウンロードしてください。

 

 

Guided Analytics（ガイド付きアナリティクス）

・New WebPortal

KNIME WebPortalは、Guided AnalyticsのためのKNIMEのメインエンドユーザーアプリケーションであり、この度、ユーザーインターフェースとユーザーエクスペリエンスに焦点を当てて、新たに実装され、再設計されました。ウィジェットノードの大部分が書き換えられ、新鮮な見た目になりました。

色、フォント、ロゴは、新しいテーマ設定機能で簡単に調整することができます。これにより、新しいWebPortalとウィジェットの一貫したブランディングとスタイリングが可能になります。既存のワークフローは、新しいWebPortalとウィジェットとの下位互換性があることに注意してください。

 

IT Administrators

・OAuth

2019年12月には、OAuth/OpenID Connect機能を備えたIdentity Providerでユーザーを認証することで、シングルサインオン（SSO）を利用できる機能を初めて導入しました。KNIME Server 4.11では、利用可能な機能に多くの機能が追加されました。例えば、以下のような機能があります。

・自動OIDCエンドポイント検出
・クレームからグループへのマッピング（userinfoエンドポイントからの設定可能なクレームをグループ情報として使用するように設定できるようになりました）
・OIDCログインのランディングページ

 

・Apache Tomcat

以前のリリースでは、KNIME ServerのアプリケーションサーバーコンポーネントはApache TomEE – Apache TomcatのJava Enterprise Editionをベースにしていました。

このリリースでは、TomEEは標準のApache Tomcatに置き換えられています。標準のApache Tomcatへの切り替えに伴い、KNIME Serverに接続するための古いEJBマウントポイントの使用は、新しいREST実装のために推奨されていません。RESTマウントポイントへの移行は非常に簡単です。

既存のEJBマウントポイントでログインするだけで、ワンクリックでRESTに切り替えることができるプロンプトが表示されます。RESTはEJBと比較して多くの利点を提供します。特にパフォーマンスと安定性の面での利点があります。

 

・Qpidに切り替え

KNIME Server の以前のリリースでは、アプリケーションサーバと実行者間の接続を確立するために RMI を使用していました。RMIは現在、Apache Qpidをベースにした埋め込みメッセージキューに置き換えられています。

アプリケーションサーバと実行者の間で直接通信を行うのではなく、ジョブ実行のリクエストなどのイベントはメッセージキューを介して渡されます。Qpid 技術は KNIME Server インストーラにバンドルされているので、追加のセットアップは必要ありません。