KNIME Analytics Platform 4.6.0およびKNIME Server 4.15の新機能　～より洗練されたUI、より優れたPythonスクリプト機能、新しい可視化ノード、Snowflakeとの統合の改善など～

リリースノート 2022.6.17

原文：https://www.knime.com/whats-new-in-knime-46

１．ハイライト

KNIMEモダンUIプレビュー(Labs)

KNIME Analytics Platformが新しく生まれ変わります。今回のリリースでは、新しいインターフェイスをプレビューするエクステンションが含まれています。

エクステンションはこちらに掲載されており、インストール後に画面右上に表示される「Open KNIME Modern UI Preview」ボタンをクリックすると切り替わります。

これまでの最大の変更点をご紹介します。

・アップグレードされたルック＆フィール。

・ノードリポジトリにフィルタリングと高度な検索機能が追加されました。ノードもワークフローと同じようにリポジトリに表示され、デフォルトのポートで表示されます。

・新しいワークフロー・ブレッドクラムにより、ユーザーはワークフローのコンテンツをブラウズすることができます。

このエクステンションはプレビュー版で、現在開発中のものです。私たちは、より良いユーザーエクスペリエンスを提供することに力を注いでいます。KNIME forumで、良い点や改善の余地がある点などのフィードバックを共有してください。詳細な技術情報については、こちらのドキュメントをご参照ください。

KNIMEの新しい可視化ノード(Labs)

新データを探索し、データアプリを構築するための全く新しい可視化ノードが、KNIME Views (Labs)エクステンションでプレビューとして利用可能です。これらのノードは、以前の4つの可視化ノードを置き換え、より一貫した体験を提供します。コミュニティからのフィードバックにより、今後さらに多くのノードを置き換える予定です。

主な機能は以下の通りです。

・設定ダイアログの横にビジュアライズのライブプレビューが表示されるようになりました。

・設定ダイアログの横にノードの説明が表示されるようになりました。

・フロー変数で制御される設定はすべて表示され、自動的にアイコンが表示されます。

バンドルされたPython環境

私たちは、Pythonスクリプターのための機能を改善し続けています。KNIME Python (Labs) Extensionは現在、独自のPython環境を含んでいるので、KNIMEですぐにPythonスクリプトを始めることができ、追加のソフトウェアインストールは必要ありません。

設定に関しては、新しい Python (Labs) 設定ページがあり、新しい「Bundled」オプション、または以前から利用可能な「Conda」や「Manual」Python 環境を選択することができます。含まれるPythonパッケージの全リストはドキュメントを参照してください。

ピュアPython KNIMEノード(Labs)

このリリースは、KNIMEノードが初めて完全にPythonで書かれ、他のKNIMEエクステンションと同様にチーム内で共有することができるようになったことを示します。これは、ダイアログの定義やノードビューと同様に、ノードの構成と実行を含みます。

これらのノードの設計を支援するために、我々はKNIME内のPythonic APIとデバッグ機能を紹介します。また、ローカルに構築された更新サイトを使用して、実行に必要なPython環境を含む純粋なPython KNIMEノードをデプロイする手段を提供します。このデモビデオで、本格的なKNIMEノードを定義するための簡単な例をご覧ください。

このチュートリアルとAPIドキュメントはこちらをご覧ください。

Snowflake H2O 機械学習モデルのプッシュダウン

SQLなどのコーディング経験がほとんどないビジネスユーザーでも、KNIMEの直感的なローコード・ノーコードインターフェイスを使って、Snowflakeのデータから洞察を得ることができるようになりました。

今回の最新リリースでは、KNIME Analytics Platformは、H2OモデルをSnowflakeに直接プッシュダウンすることをサポートするようになりました。これは、ユーザーがSnowflakeデータを使用して機械学習モデルを構築し、さらにSnowflakeでこれらのモデルを実行できるようになったことを意味します。

これにより、データがSnowflakeにとどまるため、大量のデータに対する予測を数秒で得ることができます。

サンプルワークフローについては、このブログ記事をご覧ください。また、詳細については、Snowflake Extension Guideをご覧ください。

２．注目の改善点

DBフレームワークの強化

KNIME Database Frameworkでは、KNIME内でSQL文を視覚的に構築することで、データが存在する実行部分をプッシュダウンし、データベースの処理能力を活用することができます。

まず、KNIME Database Frameworkを利用して、接続性を向上させました。

1.必要なデータベースドライバーがすべて統合され、KNIMEサーバーでKerberosベースの認証をサポートするようになったため、Oracleデータベースを使い始めることが非常に簡単になりました。

2.内蔵ドライバは、Amazon Redshift、H2、Microsoft Access、MySQL、PostgreSQL、SQLiteのセキュリティ向上と機能追加のために更新されています。

さらに、人気の高いリクエストに基づいて、4つの新しいデータベースノードでビジュアルクエリとデータ操作の機能を拡張しました。

1.「DB Concatenate」ノードでは、複数のデータベースクエリを1つのクエリに簡単に連結することができます。

2.「DB Looping」ノードでは、入力値のリスト内の任意の値にマッチするクエリ（INクエリなど）をサポートします。

3.「DB Delete (Filter)」ノードでは、データベーステーブルから削除すべき行を特定するためのフィルタ基準を指定することができます。

4.最後に、DB Data Spec Extractor ノードは、データベースのテーブル仕様を KNIME テーブルに抽出し、この情報を分析に使用できるようにします。

「DB Looping」ノードで、レガシーデータベースフレームワークの最後のノードを移行しました。次のリリースでは、レガシーデータベースフレームワークは廃止されます。

もし、まだレガシーデータベースノードを使用している場合は、現在のフレームワークに移行するタイミングです。

フレームワークや移行に関する詳しい情報はKNIME Database Extension Guideを参照してください。

Microsoft Azureサービス

KNIME Analytics Platformは、Microsoft Azureの様々なサービスにシームレスにアクセスすることができます。

今回のリリースでは、KNIMEデータベースフレームワークを使用してSQL文を記述することなく、Azure Synapse Analytics上のサーバーレスおよび専用SQLプールと視覚的に対話することができるようになりました。

・「Microsoft SQL Server Connector」ノードを使用してこれらのプールに接続し、「DB Loader」ノード経由で高スループットのデータアップロードを実行します。

・KNIME ファイル処理フレームワークを使用して、Azure Synapse ストレージアカウントのデータファイルを管理します。

このリリースでは、新規リストの作成または既存リストの削除のサポートを追加することで、SharePoint Onlineとの統合も拡張しています。

最後に、Microsoft Authenticationノードが拡張され、カスタムアプリケーションIDと認可エンドポイントをサポートして、セキュリティ要件に対応できるようになりました。

Column Expression と Multi-Row Formulas

「Column Expressions」ノードは、単純な式に基づいて新しい列を計算するための万能ツールです。以前は現在の行からこれらの新しい値を導き出すことに限られていましたが、新しい関数 column(name, offset) が追加され、前後の行から値を読み取り、効果的に複数行の式を可能にしました（KNIME Hub でサンプルをご覧ください）。

さらに、新しい関数と機能により、KNIME Analytics PlatformでPath型のデータと変数の操作と作成が簡単にできるようになりました。標準的なファイルシステム変数とデータを作成するための新しい関数は、ノード内で直接新しいファイルパスを作成することを可能にします。

XGBoost

XGBoostの統合は、3つの主要なアップデートにより、ようやくラボから移動しました。

・行の重みは、学習者がデータセットの個々の行に割り当てる重みを制御することができます。これは、クラスの不均衡を是正したり、データの特定のサブセットを優先させたりするのに非常に便利です。

・ビット＆バイトベクトルサポートは、テキスト処理やライフサイエンスなど、データのベクトル表現が一般的な領域でのノードの適用性を向上させます。

・XGBoost Tree Ensemble LearnerノードのFeature Importance Outputは、学習されたモデルに対して各特徴がどの程度重要であるかを示す様々なメトリックスを提供する出力表です。

この機能を実演するサンプルワークフローは、KNIME Hubをご覧ください。

Sparkサポートの拡張

H2O Sparkling Waterのサポートを含め、Spark 3.1および3.2のサポートを追加しました。

ローカルでテストやプロトタイピングを行うための完全な機能のビッグデータ環境を作成するCreate Local Big Data Environmentは、Spark 3.2を使用するようになりました。

その他のアップデート

KNIME Serverでワークフローをリセットする

KNIME Serverに保存されているワークフローを、最初にワークフローを開くことなく、KNIME Explorerから直接リセットすることが可能になりました。

この新機能は、特に大量のデータをアップロードするワークフローを扱う場合、ユーザーの時間を大幅に節約することができます。

リリースノート

KNIME 4.6.0は、Java, 17.0.3がベースです。以前のバージョン（4.5と4.4）はJava 11を使用しています。
KNIMEから提供されたすべての拡張機能はこの新しいバージョンに更新されていますが、いくつかのコミュニティやパートナー拡張機能はまだ更新中です（そしてまだ利用できません）。
カスタムエクステンションの開発者向けアップデートは多くの場合簡単ですが、「reflective access」に関する警告が発生した場合に備えて、knime.iniに追加の記述を行う必要がある場合もあります（GitHubのコード例を参照してください）。

Linuxのみ：KNIME 4.5から4.6への既存インストールからのアップグレード後の再起動は、ユーザーがアプリケーションの再起動を促されたときにLinux上で重大ではありませんがエラーを引き起こします。KNIME は手動で起動する必要があります（アップグレードは正常に完了します）。

統合デプロイメント Integrated Deployment ノード (Capture Workflow Start および Capture Workflow End) を介してキャプチャされたワークフローは、特にこれらのワークフローに外部入力 (PortObject Reference Reader) がある場合、以前 (4.5.x 以前) とは異なる順序でフロー変数を出力する可能性があります。
この順序は、元のワークフロー内のフロー変数の順序と一致するようになりました（AP-18630）。

Generic Web Service Clientは、Apache CXFライブラリの最新バージョンを使用するように更新されました (AP-5490)。
テストは互換性の問題を明らかにしていませんが、完全なテストカバレッジを保証するためには、Webサービスのフレーバーがあまりにも多く存在します。

KNIME H2Oの統合。H2Oライブラリの古いバージョン(3.10.5.2, 3.20.0.2)のサポートを除去しました。
これらのバージョンで学習されたモデルは、より新しいH2Oバージョンで再学習されるか、KNIME Analytics Platformの古いバージョンを使ってMOJOに変換する必要があります。
MOJOは特定のH2Oのバージョンに縛られることはありません。

ノード開発者。org.knime.core.node.NodeDescription クラスのカスタム拡張は、もはや4.5へのバイナリ後方互換性がなく、再コンパイルが必要です。また、追加の API メソッドが追加されました。

ノード開発者。NodeSetFactory でカテゴリを使用して定義されたカテゴリが、同じプラグインによって定義されていない場合、ロックされたカテゴリに追加することができなくなりました。さらに、カテゴリが NodeSetFactory によって使用され、それ以外に登録されていない場合、DEBUG メッセージがログに記録されます。

「KNIME Analytics Platform 4.6.0」はこちらからダウンロードできます。
　※ご利用中のバージョンによっては、新規にアプリをインストールする必要があります。

ブログ