新しい文字列メトリックス として、StringTools[HammingDistance], StringTools[EditDistance], StringTools[PrefixDistance], StringTools[SuffixDistance], StringTools[SimilarityCoefficient] が提供されています。

with( StringTools ):

Warning, the assigned name Group now has a global binding

HammingDistance( "Mathematics", "Mathematische" );

EditDistance( "Mathematics", "Mathematische" );

PrefixDistance( "Mathematics", "Mathematische" );

SuffixDistance( "Mathematics", "Mathematische" );

SimilarityCoefficient( "Mathematics", "Mathematische" );

パターンマッチングルーチン Search と SearchAll が拡張され、複数のテキストの同時検索が可能になりました。これにより、Search の処理を分けて行うことにより、map2 を使用して Search を 1 回コールするよりも効率的になりました。

Pattern := Random( 1000, 'lower' ):
Texts := [seq]( Random( 5000, 'lower' ), i = 1 .. 5000 ):
evalb( Search( Pattern, Texts ) = map2( Search, Pattern, Texts ) );

time( Search( Pattern, Texts ) );

time( map2( Search, Pattern, Texts ) );

さらに、1 つのテキストについて複数のパターン検索を行うことが可能です。

SearchAll( [ "bac", "ab" ], "abcdababacef" );

P := [seq]( ThueMorse( i ), i = 5 .. 10 );

SearchAll( P, Random( 200, 'binary' ) );

続くパターンリストに対する複数パターン検索は、PatternDictionary サブパッケージにより提供されます。このパッケージは、パターンのリストに対して、続く (外部の) 検索データ構造を処理するように設計されたプロシージャをエクスポートします。Search や SearchAll のみでは実現できない複数パターンマッチングを、パターン前処理の手間をかけずに繰り返し実行することができます。 辞書は、コンストラクタ PatternDictionary[Create] を使用することにより作成されます。入力ワードリストが1度処理されると、それ以降、PatternDictionary[Search] を使用するすべての検索に使用されます。プロシージャ PatternDictionary[Get] と PatternDictionary[Size] により、辞書からマッチするパターンを検索することができます。

ReadWordList := fname -> remove( type, StringTools:-Split( readbytes( fname, 'TEXT', infinity ) ), "" ):
DICT := PatternDictionary:-Create( ReadWordList( "/usr/share/dict/words" ) ):
PatternDictionary:-Size( DICT );

PatternDictionary:-Get( DICT, 666 );

PatternDictionary:-Search( DICT, "childbirth" );

map2( PatternDictionary:-Get, DICT, map2( op, 2, [ % ] ) );

PatternDictionary サブパッケージは、また、パターンの辞書による文字列のファクタリングアルゴリズムを提供します。 文字列 s と 辞書 dict が与えられると、プロシージャ PatternDictionary[Factors] は、dictによる s の分解、つまり、文字列 s の連結をもつパターンの列を dict から計算します。

dict := PatternDictionary:-Create( 'builtin' ):
PatternDictionary:-Factors( "linearalgebra", dict );

このリリースには、glob スタイルのパターンマッチングを実行する新規ツール WildcardMatch があります。パターン言語 は、UNIX シェルで使用されているパターン言語に類似しており、一般に ファイルとディレクトリのリスティングに適用できます。

WildcardMatch( "a*b", "accccb" );

WildcardMatch( "a[c-z]b", "acccc" );

WildcardMatch( "a[c-z]??b", "acccc" );

WildcardMatch( "a[c-z]??b", "acccb" );

select( curry( WildcardMatch, "maple.???" ), listdir( `if`( nops( [ libname ] ) = 1, libname, libname[ 1 ] ) ) );

新規プロシージャ RegSplit を使用すると、正規表現にマッチする部分文字列の文字を分けることができます。

RegSplit( "(a|b)+", "xabyazbaabubav" );

プロシージャ StringTools[RegSub] により、 文字列における正規表現の置換を行うことができます。しかし、一般のアプリケーションでの使用は、そのアプリケーションが基づく C APIs に非常に似ているため不便です。新規プロシージャ StringTools[RegSubs] は、この機能により良いユーザインタフェースを提供します。コーリングインタフェースは、組み込みのコマンド subs に類似します。

RegSubs( "b" = "&&&", "abc" );

RegSubs( "[ \t]+" = " ", "Some text   \twith\t\t    too much  white     space.   " );

4 つの新規プロシージャが approximate pattern matching、すなわち、あいまいさを伴うテキスト検索をサポートします。2 つのエラーモデルがサポートされています。  Hamming 距離に関する Approximate searching は、プロシージャ StringTools[HammingSearch] と StringTools[HammingSearchAll] により提供されます。これらは、それぞれ、Search と SearchAll に類似しますが、 マッチ内のミスマッチ (Hamming 距離) の最大の許容数を 3 番目の引数として非負整数で指定します。同様に、StringTools[ApproximateSearch] と StringTools[ApproximateSearchAll] は、 マッチする ``近さ(closeness)'' のメトリックとしてedit (Levenshtein) 距離を使用して approximate パターンマッチングを実行します。

Search( "maths", "mathematical" );

HammingSearch( "maths", "mathematical", 1 );

ApproximateSearch( "maths", "mathematical", 1 ); # reports END of match

新規プロシージャ StringTools[IsSubSequence] を使用して 1 つの文字列が他の文字列のサブシークエンス であるかどうかテストすることができます。

IsSubSequence( "abc", "abracadabra" );

文字列の比較が新規ルーチン StringTools[NGrams] を使用して、n-grams に基づき実行されます。

NGrams( "abracadabra", 2 ) ; # 2-grams or digrams

nops( % ) / nops( convert( %, 'set' ) );

NGrams( "abracadabra", 3 ) ; # 3-grams or trigrams

nops( % ) / nops( convert( %, 'set' ) );

Porter's stemming algorithm が、新規プロシージャ Stem で実現されました。

Stem( "hopeful" );

自然言語 (特に英語) のテキストを操作するように設計されたルーチンとして、StringTools[Words], StringTools[WordCount], StringTools[Metaphone], StringTools[SyllableLength] があります。

Words( "Dimension implies direction, implies measurement, implies the more and the less." ); # - Edwin E. Abbot, "Flatland"

WordCount( "Dimension implies direction, implies measurement, implies the more and the less." );

Metaphone( "Cline" );

Metaphone( "Kline" );

SyllableLength の出力する値 は、あるワードについて辞書にある語彙の音節の長さにマッチしません。

SyllableLength( "antidisestablishmentarianism" );

文字列に関する組み合わせ操作に対して、現在、多くのプロシージャが提供されています。

Permute プロシージャは、文字列に含まれる文字に 任意の順列を適用します。長さ n の文字列について次数 n の対称群の操作を定義します。

Permute( "abc", [ 1, 3, 2 ] );

2つの特別な場合が、プロシージャ Rotate と Exchange で提供されています。 前者は、(123...n) の形の順列を長さ n の文字列に適用し、 後者は、文字列に置換を適用します。

seq( Rotate( "abc", i ), i = -3 .. 3 );

Exchange( "abc", 1, 3 );

文字列の文字 (実際には、文字列のバイトコードポイント) は、プロシージャ Shift を使用して、同時に固定数シフトすることができます。これは、本質的に 一般の Caesar 暗号です。

Shift( "abc", 2 );

Shift( "abc", -1 );

プロシージャ Generate を使用して、定まった文字集合から指定した長さのすべての文字列を作成することができます。ユーザは、生成する文字列の長さと 文字列を生成する``アルファベット'' を指定します。文字列の数は、長さとアルファベットサイズとともに急速に大きくなるため、サイズが大きくない入力に対して使用する場合に限り、実用的です。  

Generate( 3, "abc" );

プロシージャ Repeat は、繰り返し連結を実現します。

Repeat( "some text ", 4 );

Support ユーティリティは、文字列で起こる文字のセットを決定するのに使用されます。

Support( "foobar" );

プロシージャ numboccur に類似して、StringTools パッケージのプロシージャ NumbOccur は、文字列の文字の数をカウントします。

seq( NumbOccur( "foobar", ch ) , ch = Support( "foobar" ) );

プロシージャ Trim, TrimLeft, TrimRight は、文字列から初めと終わりの空白を除きます。新規プロシージャ Center, PadLeft, PadRight は、文字列に初め や 終わりに 空白を追加することにより、これらのテキストに逆の操作を行います。これらの各ルーチンの 2 番目の引数として幅 を指定する必要があります。

PadLeft( "foo", 10 );

PadRight( "foo", 10 );

Center( "foo", 10 );

多くの新規プロシージャは、(文字列として表される) ワードの組み合わせに関する調査をサポートします。

Thue-Morse and Fibonacci (半無限) ワードの初期セグメントは、それぞれ、StringTools[ThueMorse] と StringTools[Fibonacci を使用して構成することができます。

seq( ThueMorse( n ), n = 1 .. 10 );

seq( Fibonacci( n ), n = 1 .. 5 );

map( length, [ % ] );

プリミティビティ (Primitivity) は、 StringTools[IsPrimitive] を使用して検出され、ワードの primitive rootは、StringTools[PrimitiveRoot] を使用して取り出されます。

IsPrimitive( "abc" );

IsPrimitive( "ababab" );

PrimitiveRoot( "abc" );

PrimitiveRoot( "ababab" );

free semigroup のconjugacy (256より少ない零以外のバイト値) は、StringTools[IsConjugate] を使用してテストされます。与えられたワードのconjugacy class における (辞書編集の) 最小要素は、StringTools[MinimumConjugate] を使用して、有効に計算されます。

IsConjugate( "bca", "abc" );

IsConjugate( "bac", "abc" );

MinimumConjugate( "bca" );

MinimumConjugate( "bac" );

各文字列は、一意的な非増大の分解を部分文字列に持ちます。それぞれは、最小の conjugate です。 これらのファクタは、 文字列の Lyndon factors と呼ばれます。この分解は、プロシージャ StringTools[LyndonFactors] を使用して、計算することができます。

L := LyndonFactors( Fibonacci( 8 ) );

cat( op( L ) );

Fibonacci( 8 );

evalb( % = %% );

andmap( w -> evalb( w = MinimumConjugate( w ) ), L );

seq( evalb( L[ i ] <= L[ i - 1 ] ), i = 2 .. nops( L ) );

パッケージにより提供される 2 つめの分解は、ワードの単調なファクタへの分解です。

MonotonicFactors( Fibonacci( 8 ) );

andmap( IsMonotonic, % );

回文は、プロシージャ StringTools[IsPalindrome] を使用して認識することができます。(回文は、s = Reverse( s ) であるような文字列 s です)

IsPalindrome( "abc" );

IsPalindrome( "aba" );

ワード (文字列) の周期性 は、パターンマッチング同様、ワードの組み合わせ論で重要な役割を果たします。正の整数 k は、i = 1 .. n-kに対して s[ i ] = s[ i + k ] の場合、文字列s の周期です。ここで、n は、s の長さです。プロシージャ StringTools[IsPeriod] を使用して k が s の周期であるかどうかテストすることができます。文字列 s の最小周期は、s の周期です。 文字列の周期 をプロシージャ StringTools[Period] を使用して計算することができます。

IsPeriod( "abcab", 2 );

IsPeriod( "abcab", 3 );

Period( "abcab" );

Period( "abcde" );

2 つの文字列の間の最大のオーバラップの長さは、プロシージャ StringTools[Overlap] により計算されます。

ワードのボーダーは、ワードの接頭辞 および 接尾辞になる最も長いサブワードです。 ワードのボーダーは、プロシージャ StringTools[Border]を使用して計算されます。 効率のために、StringTools[BorderLength] を使用して、ボーダーを実際に構成せずにその長さを計算することができます。ワードのボーダー配列は、接頭辞のボーダーの長さのリストです。

Border( Fibonacci( 8 ) );

seq( evalb( Border( Fibonacci( n + 2 ) ) = Fibonacci( n ) ), n = 1 .. 10 );

BorderArray( Fibonacci( 6 ) );

Overlap( "abc", "bcd" );

f8 := Fibonacci( 8 ):
Overlap( f8, f8 );

新規プロシージャ StringTools[IsVowel] は、英語の母音 a, e, i, o, u の大文字と小文字を認識します。

Select( IsVowel, "facetious" );

プロシージャ StringTools[CamelCase] は、つぎの例で示すような変換を実行します。

CamelCase( "linearalgebraicgroups" );

新規プロシージャ StringTools[Visible] は、制御文字を含む文字列を調べる ために使用します。これは、プリントされない文字を ASCII エスケープコードで置き換えます。

Visible( Random( 10 ) );

新規プロシージャ StringTools[Anagrams] は、ワード (文字列) のリストから、指定したワード (文字列) のつづり換えを見つけます。

Anagrams( "edit", [ "foo", "diet", "bar", "tide", "baz", "edit", "dite", "foobar" ] );