ブログ follow us in feedly

最新情報をお届けします。

KNIME Analytics Platform 4.5およびKNIME Server 4.14の新機能 ~Excel連携の改善、S3他コネクター追加、Python Scriptノードの高速化など~

  • 2021.12.8
  • 目次

    1.ハイライト
     ・より多くの接続と利便性
      – Excel連携の改善
      – コネクターの追加
      – 利便性の向上
     ・新しくなったデプロイの可能性
      – サービスとしてのワークフロー
      – KNIME Edge
      – ダイナミックデータアプリの強化
      – 新しいWebPortalログイン
     ・PythonとKNIMEの統合

    2.注目の改善点
     ・ワークフロー実行の高速化
     ・認証機能の強化

    3.その他のアップデート
     ・KNIME Hubの改良点
     ・その他の改良点

    より多くの接続と利便性

    Excel連携の改善

    新しい「ExcelCell Updater」ノードでは、既存のExcelスプレッドシート内の任意のセルに、書式を保持したまま値を挿入することができます。

     

     

    また、「Excel Writer」ノードでは、既存のシートの末尾にデータを追加できるようになりました。

     

    コネクターの追加

    新しい「Generic S3 Connector」を使って、S3互換のファイルシステム(MinIOなど)に接続できます。
    また、新しい「SharePoint Online List Reader」ノードはLabsで利用できます。

    標準的なファイルシステム用の新しいコネクターにより、特定のファイルシステムを使用してワークフローを試作できるようになりました。
    これまでは、各ノードのファイルシステムを更新する必要がありましたが、1つのノードを置き換えるだけで、
    すべてのファイル処理ノードが新しいファイルシステムを使用するようになりました。

    これらには、Local File System ConnectorKNIME Workflow Data Area Connector、およびKNIME Mountpoint Connectorがあります。

     

     

    新しい「SetFiles / Folders Permission」ノードを使用して、SSH や HDFS などの POSIX ファイル パーミッションが
    サポートされているファイルシステムのパーミッションを管理します。
    また、既存の「Files / Folders Meta Info」ノードは、POSIXファイルのパーミッションを取得できるようになりました。

     

    利便性の向上

    DB Loader」がAmazon Redshiftにも対応したことで、既存のRedshiftテーブルに数百万行を数秒でロードできるようになりました。

    また、MongoDB Integration では、従来の1行実行に比べて最大50倍の速度で実行できるようになりました。
    これは、コマンドを一括実行するオプションを介して、すべてのデータ操作ノードに適用されます。

     

     

    ・新しい「MongoDB Aggregation」ノードを使用して、KNIMEにデータを取得する前にMongoDB内でデータを集計するパイプラインを定義して実行します。
      KNIME Hubのサンプルワークフローはこちら

    ・新しい「MongoDB Run Command」ノードを使用すると、KNIME Analytics Platform内からMongoDBでデータベース管理コントロールを実行できます。
      KNIME Hubのサンプルワークフローはこちら

    ・また、新しい「Parameter Optimization Loop Start」ノードでは、ハイパーパラメータを別のノードで定義し、テーブルとして1つまたは複数のノードに供給することができます。   
      KNIME Hubのサンプルワークフローはこちら

     

    その他

    ・XMLやJSON Reader/Writerなど、既存のリーダーやライターのノードを新しいフレームワークに移行する作業を続けています。

    ・Apache Parquetライブラリが更新され、ParquetのMAPタイプと同様に新しいタイプアノテーションのサポートが追加されました。

     

    新しくなったデプロイの可能性

    サービスとしてのワークフロー

    ワークフローサービスにより、他のワークフローからKNIMEワークフローを呼び出すことが非常に簡単になりました。
    標準化された(しかし制限のある)JSONベースのAPIを呼び出すのではなく、KNIMEネイティブAPIのエンドポイントに直接接続することが可能になりました。

    これは、JSONで表現できなかった、より多くのKNIMEデータタイプを共有できることを意味します
    (例:テキストドキュメント、決定木、ディープラーニングモデルなど)。
    新しい「Call Workflow Service」ノードを使って、これらのノードを効率的に呼び出すことができます。

     

     

    匿名化されたデータを処理するワークフローサービスのサンプルワークフローはこちら

    匿名化ワークフローサービス
    匿名化ワークフローサービスの利用者

     

    KNIME Edge

    データチームとITチームは、KNIME Edgeを使って推論ワークフローをサービスとして提供できるようになりました。
    KNIME Edge上でモデルを適用することは、コスト削減、レイテンシーの最小化、信頼性の向上、
    複数の地域での推論サービスの展開を可能にするなど、多くの要件を満たす技術的ソリューションです。
    KNIME Edgeのユースケースについては、ブログで詳しくご紹介しています。

    ダイナミックデータアプリの強化

    これまで「Refresh Button Widget」ノードでのみ提供されていた機能と同様に、ウィジェットに新しい再実行機能が追加されました。
    データチームは、データアプリのUXをより柔軟にすることができ、以下のような特定のウィジェットの値が変更されたときに自動的に再実行を行うことができます。

    Boolean Widget
    Column Selection Widget
    Column Filter Widget 
    Multiple Selection Widget 
    Nominal Row Filter Widget
    Single Selection Widget 
    Value Selection Widget

    設定が適用されると、ノードの右上にこの設定が有効であることを示すアイコンが表示されます。

     

     

    新しいWebPortalログイン

    WebPortalには新しいログインページが追加され、会社やチームの要件に合わせてカスタマイズできるようになりました。

     

     

    PythonとKNIMEの統合

    新しい「Python Script」ノード(Labs)は、PythonをKNIMEでも他の場所と同じように高速化する新しいバックエンドを備えています。

     

    新しいPython Script Node (Labs)で使用されている新しいPython APIは、Apache Arrow形式または、
    pandas DataFrameとしての行の個々のバッチに接続することで、メモリよりも大きなテーブルへのアクセスを提供します。
    新しいPython APIバックエンドを使ったPythonスクリプトのサンプルワークフローはこちら
    詳細は、KNIME Python Integrationドキュメントをご覧ください。

    スクリプトノードでサポートされるPythonのバージョンが増えました。
    pandasの新しいバージョンを含むPythonバージョン3.6から3.9をサポートしています。

     

    注目の改善点

    ワークフロー実行の高速化

    Columnar Backendは、KNIMEテーブルへのより効率的なインメモリーアクセスを提供します。
    この機能は、ワークフロー実行のパフォーマンスをさらに向上させるために、現在はLabではなく正式リリースされています。

     

    認証機能の強化

    従来のシングルサインオン対応を以下のサービスに拡張しました。

    KNIME REST Client ExtensionによるREST
    ・「SAP Reader(Theobald Software)」ノードによるSAP
    ・MS SQL ServerやPostgreSQLなどの各種データベース

    また、Azure Active Directory(MFAを含む)のログインのサポートを以下のサービスに拡張しました。

    ・Microsoft SQL Server
    ・Snowflake

     

    その他のアップデート

    KNIME Hubの改良点

    KNIME Hubに高度な検索機能が追加されました。KNIME Hubの2つのアップデートにより、ノードやワークフローをより簡単に見つけられるようになりました。

    ・検索ページのタグによるフィルタリングでは、1つまたは複数のタグに基づいて結果をフィルタリングすることができます。
    ・As-you-type resultsでは、クエリを完了させずに、探しているページにすぐにジャンプすることができます
    ・最近の検索では、以前の結果ページに素早く戻ることができます

     

     

    その他の改良点

    Spark MLlibをベースにしたロジスティック回帰と線形回帰用の2つの学習ノードが追加され、
     自動的に名目値をエンコードし、豊富なモデル統計情報を提供します。
    ・Switch & Loopノードが、コンテキストメニューで設定できるダイナミックポートをサポートしました。
     その結果、「CASE Switch Start」などのノードでは、より多くのポートタイプがサポートされます。
     また、「Loop End」などのLoopノードは、複数の入力をサポートするようにカスタマイズできるようになりました。

     

     

    ・「Model to Binary Object」および「Binary Object to Model」ノードにより、バイナリデータをサポートするあらゆるデータベースに機械学習モデルを格納することが可能になりました。


     

    リリースノート

    文字を含むパスのエンコードが修正されました。
    これまでは、「/tmp/foo+bar」のようなファイルパスが正しくURLエンコードされていませんでした(「+」が「’」になっていました)。
    このようなパスはコーナーケースと考えられますが、過去には問題がありました。

    knime.ini に新しいオプションが追加されました: -Dknime.xml.disable_external_entities=true.
    これは、保存されたワークフローに含まれるようなXMLファイルのxml文字列を解析する際に、すべてのDOCTYPE宣言を無視することで、強力なセキュリティを実現します。
    また、破損したワークフローを読むときなどに、XML外部エンティティ(xxe)攻撃を防ぐことができます。
    この潜在的なセキュリティリスクを報告してくれたNATO(Dawid Czarnecki)に感謝します。

     

    「KNIME Analytics Platform 4.5」はこちらからダウンロードできます。
     ※ご利用中のバージョンによっては、新規にアプリをインストールする必要があります。

     

    KNIME は無料でダウンロードが可能です。
    ぜひお試しください。

    セミナー
    お申込み
    お見積り依頼 紹介資料ダウンロード お問い合わせ

    このサイトでは、クッキー (cookie)などの技術を使用して取得したアクセス情報等のユーザ情報を取得しております。
    この表示を閉じる場合、プライバシーポリシーに同意いただきますよう、お願いいたします。