スキップしてメイン コンテンツに移動

Perl 6 Language Documentation を読む - Sets, Bags and Mixes

ラベル:

この記事について

先日の稿で Perl 6 の解説を書こうと思っているなどと書いて言質を振り出してしまったので果たさねばならない。 Perl 6 の言語自体を解説するアップデートされた日本語資料は大変乏しいので、とりあえず Perl 6 Documentation を読んで紹介するだけでもいくらか価値があるだろうと思う。

率直に言って僕の英語の読解力は甚だ貧しいので、近頃話題になった「腐った翻訳」になるのを避けるためにドキュメントを読んでから試行した結果に基いて解説を書くことにする。 翻訳ではないので文章自体は元の文書とは対応しないが、とにかく Rakudo Perl 6 上での挙動としては正しい解説になるはずである。

読む順番は決めていないが、簡単そうな文書の中で面白そうなものから進めていきたい。

本文の前書き

近頃の言語は集合型が必要なことになっている。厳密にいえば数学的な集合というより、順序付けられておらず要素が重複しないコンテナがプログラムの構成部品として便利だということである。

Ruby も Python も Swift も、C++ の STL にだって (それが本当に集合と呼べるかは別にして) [Ss]et がある。

Sets, Bags, and Mixes は Perl 5 には標準で備わっていなかった集合の操作をサポートする Perl 6 のクラスとロール群について解説している。

Set は単純な集合、Bag は重複可能な集合 (つまり multi set) で、Mix は要素に重みを持たせた集合を表す。 これらは一種の連想配列で、つまり要素に対して Set はそれが自身の要素かという真偽値、Bag はその要素をいくつ持っているかという整数値、そして Mixはその要素に割り当てられた重みを実数値で対応させる。真偽値を 0/1 と対応させれば Set の一般化が Bag だし、さらにその一般化が Mix とみなせる。

Bag や Mix を使えば重みに応じて確率的に要素をサンプリングするような処理も可能なため、各種のアルゴリズムやビジネスロジックの記述にも便利だろう。

Set、Bag そして Mix はすべて不変クラスである。対応する可変クラスとして SetHash、BagHash そして MixHash というクラスが存在する。

型システム上は不変クラスも可変クラスもそれぞれ Setty、 Baggy そして Mixy (mixi ではない) というロールを適用しているため同じインタフェースを持つ。Mixy は Baggy を適用しているため Mix は Bag の真のスーパーセットである。Setty だけ孤立しているのは多分 Bool が数値型でないため実装の都合だろう。

可変クラスの不変クラスとのふるまい上の違いは、連想配列としてアクセスしたときに要素に再代入可能か (i.e., $set_hash<foo> = False) と、要素を破壊的に非復元抽出するメソッドである grab と grabpairs が例外を投げないことの2点。後者はそもそも個別のクラスでなくロールにメソッドがあるのが変だと思う。

初期化

リストから型変換メソッドを使って生成するのが最も簡単である:

> <foo bar bar baz>.Set
set(foo, baz, bar)
> <foo bar bar baz>.Bag
bag(foo, baz, bar(2))
> <foo bar bar baz>.Mix
mix(foo, baz, bar(2))

Set は要素の個数を覚えないが Bag と Mix は bar が2回与えられたことが判別できる。

そういうわけで、Bag-of-Words は文字通りである:

> my $str = "Humpty Dumpty sat on a wall\nHumpty Dumpty had a great fall\n"
Humpty Dumpty sat on a wall
Humpty Dumpty had a great fall

> $str.words.Bag
bag(a(2), great, Humpty(2), had, wall, fall, Dumpty(2), sat, on)

ただしこの方法だと Mix は整数値の重みしか取れないので Bag と変わりない。実数の重みを与えるにはペアのリストに対して .Mix メソッドを呼ぶ:

> (foo => 1.0, bar => 3.14, baz => 2.72).Mix
mix(foo, baz(2.72), bar(3.14))

ペアのリストを Set や Bag に変換することもできるが、その場合ペアの値はそれぞれ Bool と Int に型変換されて解釈される:

> (foo => True, bar => False, baz => True).Set
set(foo, baz)
> (foo => 2, bar => 1, baz => 0).Set
set(foo, bar)
> (foo => 0, bar => 2.72, baz => 3.14).Set
set(baz, bar)
> (foo => True, bar => False, baz => True).Bag
bag(foo, baz)
> (foo => 2, bar => 1, baz => 0).Bag
bag(foo(2), bar)
> (foo => 0, bar => 2.72, baz => 3.14).Bag
bag(baz(3), bar(2))

不変クラスの場合 &set、&bag そして &mix というサブルーチンも提供されている:

> set <foo bar bar baz>
set(foo, baz, bar)
> bag <foo bar bar baz>
bag(foo, baz, bar(2))
> mix <foo bar bar baz>
mix(foo, baz, bar(2))

サブルーチンにペアのリストを渡すときは名前付き引数と解釈されないように記法に注意が必要である:

> mix(foo => 1.0, bar => 3.14, baz => 2.72)
Unexpected named parameter 'foo' passed
> mix: foo => 1.0, bar => 3.14, baz => 2.72
mix(foo, baz(2.72), bar(3.14))

要素の等値性

要素同士の等値性は === の意味で判定される。 つまり Str や Num のような値型はその内容で、Array などの参照型は同じオブジェクトへの参照か否かで同値か判定される:

> set <foo bar bar baz 1 2 3 3 4>
set(4, foo, 1, baz, 3, bar, 2)
> (set ['foo'], ['foo'], { bar => 1 }, { bar => 1 })
set(bar => 1, bar => 1, foo, foo)
# REPL の出力 (.gist) だと構造が分かりにくいのでソースコードダンプ
> (set ['foo'], ['foo'], { bar => 1 }, { bar => 1 }).perl
set(["foo"],["foo"],{:bar(1)},{:bar(1)})

メソッド

先述のとおりどのクラスもよく似たインタフェースを持っている。 連想配列として使うためのメソッドと、集合からランダムに要素をサンプリングするメソッドが提供されている:

> my $b = bag <foo bar bar baz>
bag(foo, baz, bar(2))

> $b.kv
foo 1 baz 1 bar 2

# 存在しない要素の値は 0 になる (Set の場合は False)
> $b<foo>
1
> $b<bar>
2
> $b<quux>
0

# pick は非復元抽出
> $b.pick
bar
> $b.pick
baz
# 最大で要素数まで取れる
> $b.pick(*)
baz bar foo bar
> $b.pick(*)
bar foo baz bar

# roll は復元抽出
> $b.roll
bar
> $b.roll
foo
> $b.roll(10)
baz bar bar bar foo bar bar bar bar foo
> $b.roll(10)
baz baz foo bar bar bar bar baz bar foo
# 要素数を * にすると遅延無限リストが返ってくる
> $b.roll(*)

組み込み演算子

集合関連の操作は演算子として提供されている。ちょっと信じられないことに Perl 6 は組み込み演算子が ASCII 外の文字である場合がままあるが集合演算はその極致で、全部の演算が集合演算記号にマップされている。 幸い大部分には ASCII の同義語が定義されているので、あまり頻用する場合以外はそちらを使う方が良いと思う。基本的にスカラ同士の似た操作の演算子を () で囲ったものが集合演算子である(e.g., &infix:<(|)> が集合の和、&infix:<(<)> が部分集合のテスト、など。)

Perl 6 で高度な集合演算を記述する場合は LaTeX チートシートと SKK を用意しよう。

以下の演算子は集合の要素や部分集合の述語である:

  • &infix:<<∈>> (&infix:<<(elem)>>)
  • &infix:<<∉>>
  • &infix:<<∋>> (&infix:<<(cont)>>)
  • &infix:<<∌>>
  • &infix:<<⊂>> (&infix:<<(<)>>)
  • &infix:<<⊄>>
  • &infix:<<⊆>> (&infix:<<(<=)>>)
  • &infix:<<⊈>>
  • &infix:<<⊃>> (&infix:<<(>)>>)
  • &infix:<<⊅>>
  • &infix:<<⊇>> (&infix:<<(>=)>>)
  • &infix:<<⊉>>

以下の2つは ⊆、⊇ の Baggy 版で、要素の有無に加えて対応する重みも比較される:

  • &infix:<<≼>> (&infix:<<(<+)>>)
  • &infix:<<≽>> (&infix:<<(>+)>>)

以下の演算子はそれぞれ集合の和、積、差そして対称差である。なお対称差とは集合 A と B が与えられたときの (A ＼ B) ∪ (B  A) のこと:

  • &infix:<<∪>> (&infix:<<(|)>>)
  • &infix:<<∩>> (&infix:<<(&)>>)
  • &infix:<<＼>> (&infix:<<(-)>>)
  • &infix:<<⊖>> (&infix:<<(^)>>)

以下の2つ (判読困難だがそれぞれ U+228D と U+228E) は ∩、 ∪ の Baggy 版で、重みの積と和をそれぞれ取る:

  • &infix:<<⊍>> (&infix:<<(.)>>)
  • &infix:<<⊎>> (&infix:<<(+)>>)

まとめ

Perl 6 の集合関連のクラスとロールについて説明した。

Perl 5 では集合計算や数の集計、重みに応じた要素の乱択などあらゆる操作にハッシュが広く用いられていた。ハッシュは単純な非順序付け連想配列であり必ずしも理想的な実装ではなかった。 用途に応じて Set::Object などの CPAN モジュールも利用されたが、新しい演算子を定義できないとか tie が低速であるといった Perl 5 の言語及び実装上の制約により、組み込み型であるハッシュほど利便性が高くなかった。

Perl 6 は用途に応じて選択できる複数のコンテナを提供し、操作は新しい演算子の導入によって簡潔に記述できる (やりすぎの感があるが。)

閑話

ところで Set、Bag および Mix は組み込み型だが Perl 6 で実装されている。これは組み込み型のインタフェースをユーザ定義型でも同様に実装できることを示唆している。 Perl 6 においては配列やハッシュもコンテナクラスの1つに過ぎず、そのインタフェースは単なるメソッドや演算子である。 組み込みデータ型が明確に区別され、同様のインタフェースで操作するには tie という追加操作を必要とした Perl 5 とはこの点でも大きく異なる。

コメント

コメントを投稿

このブログの人気の投稿

C の時間操作関数は tm 構造体の BSD 拡張を無視するという話

久しぶりに C++ (as better C) で真面目なプログラムを書いていて引っかかったので備忘録。 「拡張なんだから標準関数の挙動に影響するわけねえだろ」という常識人は読む必要はない。 要旨 time_t の表現は環境依存 サポートしている時刻は UTC とプロセスグローバルなシステム時刻 (local time) のみで、任意のタイムゾーン間の時刻変換を行う標準的な方法はない BSD / GNU libc は tm 構造体にタイムゾーン情報を含むが、tm -> time_t の変換 ( timegm / mktime ) においてその情報は無視される 事前知識 C 標準ライブラリにおいて時刻の操作に関係するものは time.h (C++ では ctime) ヘッダに定義されている。ここで時刻を表現するデータ型は2つある: time_t と tm である。time_t が第一義的な型であり、それを人間が扱い易いように分解した副次的な構造体が tm という関係になっている。なので標準ライブラリには現在時刻を time_t として取得する関数 ( time_t time(time_t *) ) が先ずあり、そこから time_t と tm を相互に変換する関数が定義されている。 ここで time_t の定義は処理系依存である。C / C++ 標準はそれが算術型であることを求めているのみで (C11 からは実数型に厳格化された)、その実体は任意である。POSIX においては UNIX epoch (1970-01-01T00:00:00Z) からのうるう秒を除いた経過秒数であることが保証されており Linux や BSD の子孫も同様だが、この事実に依存するのは移植性のある方法ではない。 一方で tm は構造体であり、最低限必要なデータメンバが規定されている: int tm_year : 1900 年からの年数 int tm_mon : 月 (0-based; 即ち [0, 11]) int tm_mday : 月初からの日数 (1-based) int tm_hour : 時 (Military clock; 即ち [0, 23]) int tm_min : 分 int tm_sec : 秒 (うるう秒を含み得るので [0...
コメントを投稿
続きを読む

BuckleScript が ReScript に改称し独自言語を導入した

Via: BuckleScript Good and Bad News - Psellos OCaml / ReasonML 文法と標準ライブラリを採用した JavaScript トランスパイラである BuckleScript が ReScript に改称した。 公式サイトによると改称の理由は、 Unifying the tools in one coherent platform and core team allows us to build features that wouldn’t be possible in the original BuckleScript + Reason setup. (単一のプラットフォームとコアチームにツールを統合することで従来の BuckleScript + Reason 体制では不可能であった機能開発が可能になる) とのこと。要は Facebook が主導する外部プロジェクトである ReasonML に依存せずに開発を進めていくためにフォークするという話で、Chromium のレンダリングエンジンが Apple の WebKit から Google 主導の Blink に切り替わったのと似た動機である (プログラミング言語の分野でも Object Pascal が Pascal を逸脱して Delphi Language になったとか PLT Scheme (の第一言語) が RnRS とは別路線に舵を切って Racket になったとか、割とよくある話である。) 公式ブログの Q&A によると OCaml / ReasonML 文法のサポートは継続され、既存の BuckleScript プロジェクトは問題なくビルドできるとのこと。ただし現時点で公式ドキュメントは ReScript 文法のみに言及しているなど、サポート水準のティアを分けて ReScript 文法を優遇することで移行を推進していく方針である。 上流である OCaml の更新は取り込み、AST の互換性も維持される。将来 ReScript から言語機能が削除されることは有り得るが、OCaml / ReasonML からは今日の BuckleScript が提供する機能すべてにアクセスできる。 現時点における ReScript の ...
コメントを投稿
続きを読む

js_of_ocaml の使い方

js_of_ocaml (jsoo) は Ocsigen が提供しているコンパイラである。その名の通り OCaml バイトコードから JavaScript コードを生成する。 これを使うことで OCaml で書いたプログラムを Web ブラウザや node.js で実行することができる。 インストール 単に OPAM を使えば良い: $ opam install js_of_ocaml js_of_ocaml-ocamlbuild js_of_ocaml-ppx バージョン 3.0 から OPAM パッケージが分割されたので、必要なライブラリやプリプロセッサは個別にインストールする必要がある。 とりあえず使うだけなら js_of_ocaml と js_of_ocaml-ppx の二つで十分。後述するように OCamlBuild でアプリケーションをビルドするなら js_of_ocaml-ocamlbuild も入れると良い。 これで js_of_ocaml コマンドがインストールされ、OCamlFind に js_of_ocaml 及びサブパッケージが登録される。 コンパイルの仕方 以下ソースファイル名は app.ml とし、ワーキングディレクトリにあるものとする。 手動でやる場合 一番安直な方法は、直接 js_of_ocaml コマンドを実行することである: $ # バイトコードにコンパイルする。js_of_ocaml.ppx は JavaScript オブジェクトの作成や操作の構文糖衣を使う場合に必要 $ ocamlfind ocamlc -package js_of_ocaml,js_of_ocaml.ppx -linkpkg -o app.byte app.ml $ # 得られたバイトコードを JavaScript にコンパイルする $ js_of_ocaml -o app.js app.byte OCamlBuild を使う場合 OCamlBuild を使う場合、.js 用のビルドルールを定義したディスパッチャが付属しているので myocamlbuild.ml でこれを使う: let () = Ocamlbuild_plugin . dispatch Ocamlbuild_js_of_ocaml . dispatcher $ # app.ml -...
コメントを投稿
続きを読む

OCaml で Web フロントエンドを書く

要旨 フロントエンド開発に Elm は堅くて速くてとても良いと思う。昨今の Flux 系アーキテクチャは代数的データ型と相性が良い。ところで工数を減らすためにはバックエンドも同じ言語で書いてあわよくば isomorphic にしてしまいたいところだが、Elm はバックエンドを書くには現状適していない。 OCaml なら js_of_ocaml でエコシステムを丸ごとブラウザに持って来れるのでフロントエンドもバックエンドも無理なく書けるはずである。まず The Elm Architecture を OCaml で実践できるようにするため Caelm というライブラリを書いている。俺の野望はまだまだこれからだ (未完) Elm と TEA について Elm というプログラミング言語がある。いわゆる AltJS の一つである。 ミニマリスティクな ML 系の関数言語で、型推論を持ち、型クラスを持たず、例外機構を持たず、変数の再代入を許さず、正格評価され、代数的データ型を持つ。 言語も小綺麗で良いのだが、何より付属のコアライブラリが体現する The Elm Architecture (TEA) が重要である。 TEA は端的に言えば Flux フロントエンド・アーキテクチャの変種である。同じく Flux の派生である Redux の README に TEA の影響を受けたと書いてあるので知っている人もいるだろう。 ビューなどから非同期に送信される Message (Redux だと Action) を受けて状態 (Model; Redux だと State) を更新すると、それに対応して Virtual DOM が再構築されビューがよしなに再描画され人生を書き換える者もいた——という一方向の流れはいずれにせよ同じである。 差異はオブジェクトではなく関数で構成されていることと、アプリケーション外部との入出力は非同期メッセージである Cmd / Sub を返す規約になっていることくらいだろうか。 後者は面白い特徴で、副作用のある処理はアプリケーションの外で起きて結果だけが Message として非同期に飛んでくるので、内部は純粋に保たれる。つまり Elm アプリケーションが相手にしないといけない入力は今現在のアプリケーションの完全な状態である Model と、時系列イベ...
コメントを投稿
続きを読む

大規模なデータをそれなりに効率良く計数できる Algorithm::LossyCount を書いた

要旨 Algorithm::LossyCount というモジュールを書きました。これを使うとそこそこメモリ効率良く大規模なデータの計数ができます。アクセスランキング集計とかに使えるんじゃないでしょうか。 Github MetaCPAN 動機 例えばブログホスティングサービスで HTTP サーバのアクセスログを集計して人気のあるブログ記事ランキングを出したいとします。 Perl でデータの出現頻度を計数するのはハッシュを使うのが鉄板なので、適当に書くとだいたいこんな感じのコードになると思います: #!/usr/bin/env perl use v5.18; my %access_counts; while (<>) { chomp; my $access_log = parse_access_log($_); next if is_article_request($access_log); ++$access_counts{$access_log->{requested_article}}; } my @popular_articles = ( sort { $b->[1] <=> $a->[1] } map { [ $_ => $access_counts{$_} ] } keys %access_counts )[0 .. 49]; say "Rank\tURL\tFreq."; for my $i (0 .. $#popular_articles) { say join "\t", $i + 1, @{ $popular_articles[$i] }; } sub is_article_request { ... } sub parse_access_log { ... } シンプルですね。 しかしブログの記事数はサービス全体で数千万から数億のオーダになります。一定期間に全記事にアクセスがあるわけではないにしろ、逐次計数していくとハッシュのキーが数千万件になってメモリが貧弱なマシンだと残念なことになります。 ところで Web ページのアクセス傾向に関しては Zipf の法則 1 が当てはまるこ...
コメントを投稿
続きを読む