スキップしてメイン コンテンツに移動

Perl 5 to 6 - 一般的なPerl6データ処理イディオム

これはMoritz Lenz氏のWebサイトPerlgeek.deで公開されているブログ記事"Perl 5 to 6" Lesson 27 - Common Perl 6 data processing idiomの日本語訳です。

原文はCreative Commons Attribution 3.0 Germanyに基づいて公開されています。

本エントリにはCreative Commons Attribution 3.0 Unportedを適用します。

Original text: Copyright© 2008-2010 Moritz Lenz

Japanese translation: Copyright© 2011 SATOH Koichi

NAME

"Perl 5 to 6" Lesson 27 - 一般的なPerl6データ処理イディオム

SYNOPSIS

# キーと値のリストからハッシュを作る:
# 方法1: スライス
my %hash; %hash{@keys} = @values;
# 方法2: メタ演算子
my %hash = @keys Z=> @values;

# 配列の各要素に真を対応づけたハッシュを作る:
my %exists = @keys Z=> 1 xx *;

# 値を指定された範囲に制限する。ここでは範囲は 0..10
my $x = -2;
say 0 max $x min 10;

# デバッグ用: 変数の内容を変数名込みでSTDERRに書き出す
note :$x.perl;

# 大文字小文字を区別せずにソートする
say @list.sort: *.lc;

# 必須アトリビュート
class Something {
    has $.required = die "Attribute 'required' is mandatory";
}
Something.new(required => 2); # エラーなし
Something.new()               # ブーン

DESCRIPTION

ある言語で生産性を発揮するには言語仕様を学ぶだけでは不十分です。むしろ具体的な問題の解法を覚えておく必要があります。 イディオムと呼ばれる一般的な使用法のパターンは、あなたが問題に直面したときに毎回車輪の再発明をしなくとも良いように手助けしてくれます。

そこでPerl6でデータを扱う一般的なイディオムをいくつか集めました。

ハッシュ

# キーと値のリストからハッシュを作る:
# 方法1: スライス
my %hash; %hash{@keys} = @values;
# 方法2: メタ演算子
my %hash = @keys Z=> @values;

最初の方法はPerl5で使われていたものと同じです: スライスへの代入です。 2番目の方法はZip演算子Zを使っています。これはリストをジッパーのように連結します: 1, 2, 3 Z 10, 20, 301, 10, 2, 20, 3, 30になります。 Z=>はメタ演算子で、Zipを=>(ペア生成演算子)と組み合わせています。つまり1, 2, 3 Z=> 10, 20, 301 => 10, 2 => 20, 3 => 30と評価されます。これをハッシュ変数に代入するとハッシュに変換されます。

存在チェックの場合、ハッシュの値はそれが真理値コンテキストでTrueと評価されさえすれば何でも良いことがしばしばあります。 このような場合に配列あるいはキーのリストからハッシュを初期化する良い方法は

my %exists = @keys Z=> 1 xx *;

これは右辺に遅延評価される1の無限リストを使っており、Zは短い方のリストが使い切られた時点で止まることを利用しています。

数値

どこからか数値を取得し、予め決めた範囲内に収まるよう切り詰めたいことが時々あります(例えば配列の添字として使えるように)。

Perl5では結局$a = $b > $upper ? $upper : $bともう一つ下限の条件を付けることでしばしば対処してきました。 中値演算子maxminを使えば、これはかなり簡潔化できます

my $in-range = $lower max $x min $upper;

$lower max $xはどちらか大きい方の数値を返すので、範囲の下限に切り詰めることになります。

minmaxは中置演算子なので、演算子自体も切り詰められます:

$x max= 0; $x min= 10;

デバッグ

Perl5にはData::Dumperがあり、Perl6には.perlメソッドがあります。 これらは元のデータ構造を可能な限り忠実に再現するコードを生成します。

:$varはペア(「コロンペア」)を生成し、変数名をキーとして使います(ただしシジルは除きます)。つまりこれはvar => $varと同じです。 note()は標準エラーストリームにデータを改行付きで書き出します。したがってnote :$var.perlはデバッグ用に変数の値を名前と一緒に表示する手軽な手段になります。

ソート

Perl5と同様に、組み込みのsortは2引数の比較関数を取ることができ、その比較にしたがってソートを行います。 Perl5と違ってこれはちょっと賢く、関数が引数を1個しか取らない場合は自動的に変換を行ってくれます。

一般に、変換を通した値同士で比較を行いたければPerl5では次のようにできました:

# 注意: ここからPerl5コード
my @sorted = sort { transform($a) cmp transform($b) } @values;

# あるいは、いわゆるシュワルツ変換を使って:
my @sorted = map { $_->[1] }
             sort { $a->[0] cmp $b->[0] }
             map { [transform($_), $_] }
             @values

最初の方法は変換を繰り返し書く必要がある上、比較毎に変換が実行されます。 2番目の方法は変換された値を元の値と一緒に保持することでその問題を回避していますが、コード量がかなり多くなります。

Perl6は変換関数が1引数の場合、2番目の方法を自動化(し、値毎の配列生成を避けることで少しだけ効率化)します:

my @sorted = sort &transform, @values;

必須アトリビュート

アトリビュートの存在を強制する典型的な方法は、コンストラクタ内——複数存在する場合は全コンストラクタ内——で存在確認をすることです。

Perl6でもこれは動きますが、各アトリビュートのレベルで必須にする方が簡単かつ安全です:

has $.attr = die "'attr' is mandatory";

これはデフォルト値の機構を利用しています。値が与えられた場合はデフォルト値生成コードは実行されないのでdieも呼ばれません。 いずれかのコンストラクタが値をセットし損ねると例外が投げられます。

MOTIVATION

N/A

コメント

このブログの人気の投稿

C の時間操作関数は tm 構造体の BSD 拡張を無視するという話

久しぶりに C++ (as better C) で真面目なプログラムを書いていて引っかかったので備忘録。 「拡張なんだから標準関数の挙動に影響するわけねえだろ」という常識人は読む必要はない。 要旨 time_t の表現は環境依存 サポートしている時刻は UTC とプロセスグローバルなシステム時刻 (local time) のみで、任意のタイムゾーン間の時刻変換を行う標準的な方法はない BSD / GNU libc は tm 構造体にタイムゾーン情報を含むが、tm -> time_t の変換 ( timegm / mktime ) においてその情報は無視される 事前知識 C 標準ライブラリにおいて時刻の操作に関係するものは time.h (C++ では ctime) ヘッダに定義されている。ここで時刻を表現するデータ型は2つある: time_t と tm である。time_t が第一義的な型であり、それを人間が扱い易いように分解した副次的な構造体が tm という関係になっている。なので標準ライブラリには現在時刻を time_t として取得する関数 ( time_t time(time_t *) ) が先ずあり、そこから time_t と tm を相互に変換する関数が定義されている。 ここで time_t の定義は処理系依存である。C / C++ 標準はそれが算術型であることを求めているのみで (C11 からは実数型に厳格化された)、その実体は任意である。POSIX においては UNIX epoch (1970-01-01T00:00:00Z) からのうるう秒を除いた経過秒数であることが保証されており Linux や BSD の子孫も同様だが、この事実に依存するのは移植性のある方法ではない。 一方で tm は構造体であり、最低限必要なデータメンバが規定されている: int tm_year : 1900 年からの年数 int tm_mon : 月 (0-based; 即ち [0, 11]) int tm_mday : 月初からの日数 (1-based) int tm_hour : 時 (Military clock; 即ち [0, 23]) int tm_min : 分 int tm_sec : 秒 (うるう秒を含み得るので [0...

BuckleScript が ReScript に改称し独自言語を導入した

Via: BuckleScript Good and Bad News - Psellos OCaml / ReasonML 文法と標準ライブラリを採用した JavaScript トランスパイラである BuckleScript が ReScript に改称した。 公式サイトによると改称の理由は、 Unifying the tools in one coherent platform and core team allows us to build features that wouldn’t be possible in the original BuckleScript + Reason setup. (単一のプラットフォームとコアチームにツールを統合することで従来の BuckleScript + Reason 体制では不可能であった機能開発が可能になる) とのこと。要は Facebook が主導する外部プロジェクトである ReasonML に依存せずに開発を進めていくためにフォークするという話で、Chromium のレンダリングエンジンが Apple の WebKit から Google 主導の Blink に切り替わったのと似た動機である (プログラミング言語の分野でも Object Pascal が Pascal を逸脱して Delphi Language になったとか PLT Scheme (の第一言語) が RnRS とは別路線に舵を切って Racket になったとか、割とよくある話である。) 公式ブログの Q&A によると OCaml / ReasonML 文法のサポートは継続され、既存の BuckleScript プロジェクトは問題なくビルドできるとのこと。ただし現時点で公式ドキュメントは ReScript 文法のみに言及しているなど、サポート水準のティアを分けて ReScript 文法を優遇することで移行を推進していく方針である。 上流である OCaml の更新は取り込み、AST の互換性も維持される。将来 ReScript から言語機能が削除されることは有り得るが、OCaml / ReasonML からは今日の BuckleScript が提供する機能すべてにアクセスできる。 現時点における ReScript の ...

js_of_ocaml の使い方

js_of_ocaml (jsoo) は Ocsigen が提供しているコンパイラである。その名の通り OCaml バイトコードから JavaScript コードを生成する。 これを使うことで OCaml で書いたプログラムを Web ブラウザや node.js で実行することができる。 インストール 単に OPAM を使えば良い: $ opam install js_of_ocaml js_of_ocaml-ocamlbuild js_of_ocaml-ppx バージョン 3.0 から OPAM パッケージが分割されたので、必要なライブラリやプリプロセッサは個別にインストールする必要がある。 とりあえず使うだけなら js_of_ocaml と js_of_ocaml-ppx の二つで十分。後述するように OCamlBuild でアプリケーションをビルドするなら js_of_ocaml-ocamlbuild も入れると良い。 これで js_of_ocaml コマンドがインストールされ、OCamlFind に js_of_ocaml 及びサブパッケージが登録される。 コンパイルの仕方 以下ソースファイル名は app.ml とし、ワーキングディレクトリにあるものとする。 手動でやる場合 一番安直な方法は、直接 js_of_ocaml コマンドを実行することである: $ # バイトコードにコンパイルする。js_of_ocaml.ppx は JavaScript オブジェクトの作成や操作の構文糖衣を使う場合に必要 $ ocamlfind ocamlc -package js_of_ocaml,js_of_ocaml.ppx -linkpkg -o app.byte app.ml $ # 得られたバイトコードを JavaScript にコンパイルする $ js_of_ocaml -o app.js app.byte OCamlBuild を使う場合 OCamlBuild を使う場合、.js 用のビルドルールを定義したディスパッチャが付属しているので myocamlbuild.ml でこれを使う: let () = Ocamlbuild_plugin . dispatch Ocamlbuild_js_of_ocaml . dispatcher $ # app.ml -...

OCaml で Web フロントエンドを書く

要旨 フロントエンド開発に Elm は堅くて速くてとても良いと思う。昨今の Flux 系アーキテクチャは代数的データ型と相性が良い。ところで工数を減らすためにはバックエンドも同じ言語で書いてあわよくば isomorphic にしてしまいたいところだが、Elm はバックエンドを書くには現状適していない。 OCaml なら js_of_ocaml でエコシステムを丸ごとブラウザに持って来れるのでフロントエンドもバックエンドも無理なく書けるはずである。まず The Elm Architecture を OCaml で実践できるようにするため Caelm というライブラリを書いている。俺の野望はまだまだこれからだ (未完) Elm と TEA について Elm というプログラミング言語がある。いわゆる AltJS の一つである。 ミニマリスティクな ML 系の関数言語で、型推論を持ち、型クラスを持たず、例外機構を持たず、変数の再代入を許さず、正格評価され、代数的データ型を持つ。 言語も小綺麗で良いのだが、何より付属のコアライブラリが体現する The Elm Architecture (TEA) が重要である。 TEA は端的に言えば Flux フロントエンド・アーキテクチャの変種である。同じく Flux の派生である Redux の README に TEA の影響を受けたと書いてあるので知っている人もいるだろう。 ビューなどから非同期に送信される Message (Redux だと Action) を受けて状態 (Model; Redux だと State) を更新すると、それに対応して Virtual DOM が再構築されビューがよしなに再描画され人生を書き換える者もいた——という一方向の流れはいずれにせよ同じである。 差異はオブジェクトではなく関数で構成されていることと、アプリケーション外部との入出力は非同期メッセージである Cmd / Sub を返す規約になっていることくらいだろうか。 後者は面白い特徴で、副作用のある処理はアプリケーションの外で起きて結果だけが Message として非同期に飛んでくるので、内部は純粋に保たれる。つまり Elm アプリケーションが相手にしないといけない入力は今現在のアプリケーションの完全な状態である Model と、時系列イベ...

大規模なデータをそれなりに効率良く計数できる Algorithm::LossyCount を書いた

要旨 Algorithm::LossyCount というモジュールを書きました。これを使うとそこそこメモリ効率良く大規模なデータの計数ができます。アクセスランキング集計とかに使えるんじゃないでしょうか。 Github MetaCPAN 動機 例えばブログホスティングサービスで HTTP サーバのアクセスログを集計して人気のあるブログ記事ランキングを出したいとします。 Perl でデータの出現頻度を計数するのはハッシュを使うのが鉄板なので、適当に書くとだいたいこんな感じのコードになると思います: #!/usr/bin/env perl use v5.18; my %access_counts; while (<>) { chomp; my $access_log = parse_access_log($_); next if is_article_request($access_log); ++$access_counts{$access_log->{requested_article}}; } my @popular_articles = ( sort { $b->[1] <=> $a->[1] } map { [ $_ => $access_counts{$_} ] } keys %access_counts )[0 .. 49]; say "Rank\tURL\tFreq."; for my $i (0 .. $#popular_articles) { say join "\t", $i + 1, @{ $popular_articles[$i] }; } sub is_article_request { ... } sub parse_access_log { ... } シンプルですね。 しかしブログの記事数はサービス全体で数千万から数億のオーダになります。一定期間に全記事にアクセスがあるわけではないにしろ、逐次計数していくとハッシュのキーが数千万件になってメモリが貧弱なマシンだと残念なことになります。 ところで Web ページのアクセス傾向に関しては Zipf の法則 1 が当てはまるこ...