導入バージョン: v22.2.0
UTF-8 以外でエンコードされた入力文字列の文字セットを検出します。
この関数は実験的機能であり、今後のリリースで予期しない後方互換性のない変更が加えられる可能性があります。
有効にするには、allow_experimental_nlp_functions = 1 を設定してください。
String
例
基本的な使い方
SELECT detectCharset('Ich bleibe für ein paar Tage.')
この関数は実験的機能であり、今後のリリースで予測できない後方互換性のない変更が加えられる可能性があります。
有効にするには allow_experimental_nlp_functions = 1 を設定してください。
text_to_be_analyzed — 解析対象のテキスト。String
戻り値
検出された言語の2文字の ISO コードを返します。その他に返される可能性がある値: un = 不明 (どの言語も検出できない) 、other = 検出された言語に2文字コードがない。String
例
複数言語が混在するテキスト
SELECT detectLanguage('Je pense que je ne parviendrai jamais à parler français comme un natif. Where there\'s a will, there\'s a way.')
detectLanguage 関数と似ていますが、detectLanguageMixed は、テキスト内で各言語が占める割合を、2 文字の言語コードをキーとする Map として返します。
この関数は 実験的機能 であり、今後のリリースで予測不可能な後方互換性のない変更が加えられる可能性があります。
有効にするには、allow_experimental_nlp_functions = 1 を設定してください。
Map(String, Float32)
例
複数の言語が混在する場合
SELECT detectLanguageMixed('二兎を追う者は一兎をも得ず二兎を追う者は一兎をも得ず A vaincre sans peril, on triomphe sans gloire.')
detectLanguage 関数と似ていますが、detectLanguageUnknown 関数は UTF-8 以外のエンコーディングの文字列を扱える点が異なります。
文字セットが UTF-16 または UTF-32 の場合は、こちらのバージョンを優先して使用してください。
この関数は 実験的機能 であり、今後のリリースで予測不能な後方互換性のない変更が加えられる可能性があります。
有効にするには allow_experimental_nlp_functions = 1 を設定してください。
detectLanguageUnknown('s')
un = 不明 (どの言語も検出できない) 、other = 検出された言語に 2 文字のコードがありません。String
例
基本的な使い方
SELECT detectLanguageUnknown('Ich bleibe für ein paar Tage.')
制限事項現時点でこの関数は、埋め込みの感情辞書を使用しており、ロシア語でのみ動作します。
この関数は実験的機能であり、今後のリリースで予測不能な後方互換性のない変更が加えられる可能性があります。
有効にするには allow_experimental_nlp_functions = 1 を設定してください。
Float32
例
ロシア語の感情分析
SELECT
detectTonality('Шарик - хороший пёс'),
detectTonality('Шарик - пёс'),
detectTonality('Шарик - плохой пёс')
この関数は実験的機能であり、今後のリリースで予測不能な後方互換性のない変更が加えられる可能性があります。
有効にするには、allow_experimental_nlp_functions = 1 を設定してください。
String
例
英語のレンマ化
SELECT lemmatize('en', 'wolves')
String or Array(String)
例
単一の単語をステミングする
SELECT stem('blessing', 'en') AS res
SELECT stem(['blessing', 'disguise'], 'en') AS res
SELECT stem(toFixedString('blessing', 10), 'en') AS res
SELECT stem(toNullable('blessing'), 'en') AS res
plain 拡張機能タイプでは、シンプルなテキストファイルへのパスを指定する必要があります。このファイルでは、各行が特定の同義語セットに対応します。
この行内の単語は、スペースまたはタブ文字で区切る必要があります。
wordnet 拡張機能タイプでは、WordNet シソーラスを含むディレクトリへのパスを指定する必要があります。
シソーラスには WordNet の sense index が含まれている必要があります。
この関数は実験的機能であり、今後のリリースで予測不能な後方互換性のない変更が加えられる可能性があります。
有効にするには allow_experimental_nlp_functions = 1 を設定してください。
Array(String)
例
同義語を検索する
SELECT synonyms('list', 'important')
['important','big','critical','crucial']
