Windows版HaskellとCygwinの文字コード

Windows版HaskellをCygwinから使っていて文字コードでトラブったので、その備忘録です。

きっかけは

main = putStrLn "ℕ"

が

a.hs: <stdout>: commitBuffer: invalid argument (invalid character)

というエラーを吐いたことです。"ℕ"じゃなくて"あ"なら出るんです。

ここで「なんだ、Haskellはユニコードをまともに扱えないのか」と思ってしまいました。ユニコード使いまくりの自作言語を作ってみたかったので「じゃあRubyでやるか」となったのですが、Raccでもℕが期待通りに動かなかったので、もう一度Haskellで試してみることにしました。

unicode-showをcabalから入れて、uprintを試すも、特に変化なし。

{-# LANGUAGE UnicodeSyntax #-}を付けてみるも変化なし。

setLocaleEncoding utf8を試すとエラーは出なくなるけど文字化けする。

ここで

import GHC.IO.Encoding

main = do
  getLocaleEncoding >>= print

の結果がCP932でした！！！

「えっ？なんで？だってCygwinのターミナルはutf-8のはずでは？だったら"あ"とかも出ないはずでは？」と思いぐぐってみると20190222: Cygwin - ターミナルエミュレータと文字化けというページがありました。

どうやら、conhostというのが勝手に変換しているようなのです！そして、パイプでつなぐと最後のコマンドの文字コードが変換の根拠になるもよう。ということで、

utf-8.hs
import GHC.IO.Encoding

main = do
  setLocaleEncoding utf8
  getLocaleEncoding >>= print
  putStrLn "あいうえおℕ"

をrunghc utf-8.hs | catで実行したら正常に出た！！！

どうやら、最初の例でエラーになったのはcp932にℕが無いからのもよう。単純にutf-8.hsを実行するとconhostがプログラム中でエンコーディングを変更したのを認識せずにcp932だと思ってutf-8に変換するからのもよう。| catを付けるとCygwinのコマンドが最後に実行されたのでutf-8だと判断して素通しにするもよう。全部推測でしかありませんが…

これはCygwinがやっているのかとも思いましたが、cmdからWSLを使って日本語文字列をパイプで扱うとcmdのコードページが壊れるというページがあって、Cygwinと関係なく起こる事象のようです。どうやら、WSLの導入にあたってWSL側の文字コードとcmd側の文字コードの違いに悩まなくていいように自動変換が導入されたみたいですね。勝手にやるなよ…

Haskellのプログラム中でsetConsoleOutputCP 65001の指定でも正常に動きました。setLocaleEncodingはプログラム中で使うエンコードの変更で、SetConsoleOutputが出力するエンコードの指定なのかと思ったけど、どうやら後者はchcp 65001と同じ動作のようです。でも、なんでそれで動くのかよくわからない。

ちなみにCygwinからchcpを使うときはchcp.com 65001みたいに.comを付けて使うようです。DOSからだと.exeと.comは補ってくれるけど、Cygwinからは.exeだけということでしょうか？

Haskellでimport System.Win32.Consoleとかはhidden packageだから明示的に指定しないと使わせないというエラーを出すんですね。そこまでわかっているなら使わせてくれても良さそうだけど…

b.hs:5:1: error:
    Could not load module eSystem.Win32.Consolef
    It is a member of the hidden package eWin32-2.6.2.1f.
    You can run e:set -package Win32f to expose it.
    (Note: this unloads all the modules in the current scope.)
    Use -v (or :set -v in ghci) to see a list of the files searched for

そして、runghc -package Win32とやってもエラーになる。どうやらrunghc --ghc-arg=-package=Win32 b.hsとやらなければならないもよう。なんでこうなっているのだろう？

ぐぐって調べている途中で見つけたのですが、HaskellとPythonはユニコードのコードポイントを内部表現で使っていて、Javaとかは特定のエンコーディングが指定されているみたいですね。Rubyは変態でCSIというコードの情報を持つバイト列みたいです。ユニコードのコードポイントを使う方式もUCSの一つということになるのでしょうか？

Windowsのデフォルト文字コードをutf-8に変更することもできるみたいです。というか、まだなっていなかったのか。でも、なにがあるかわからないからこのままでいいか。

コメント

コメントを投稿

このブログの人気の投稿

五十音配列付き新下駄配列

イメージ
keyboard layout editorデビューしました。ファイルが複数になると管理がめんどうなので、このブログの内容はSVGファイルに直接書いてますが、これでいいんだっけ？まあ、消えなければ後からなんとでもなるからいいか。 と思ったら、SVGは日本語に対応していないみたいです。しくしく。 レイアウトは新下駄配列に覚えやすい五十音配列を加えたものです。アルファベット自体をいじってますが、qtypをちょっと動かしただけです。bntyを親指で押すシステムなんですが、けっこう快適です。ErgoDox EZだと斜めになっているキーが親指に当たるので取ってしまっています。アルファベットの長押しに制御キーやレイヤーキーを割り当ててしまえば30%で十分なんですね。ほとんど手首を動かさずに入力できます。 日本語配列は新下駄配列の拗音以外はそのままなので、覚え直すことなく使えます。五十音部分は左手で行を指定して、右手で段か拗音を指定する方式です。新下駄配列で使用しているsdklはそのまま残してあるのでさ行、た行がありませんが、それは新下駄の方を使ってください。拗音は新下駄のものをそのまま使うこともできたのですが、左手で行を指定する方式なのを活かして、右手で拗音を指定する方式にしました。各行に拗音とくっつくのはひとつしかないんですね。不思議な感じです。 欠点はロールオーバーミスが起こりまくることです。「うんち」と入力しようとして「にち」になるようなことがよく起こります。新下駄配列でもsdklioがからむと起こるのですが、それ以外にもシフトキーを増やしたので大幅に起こりやすくなっています。そういう配列なのでそこはあきらめてください。スピードを犠牲にして脳の負荷を抑えた配列です。ただ、ローマ字テーブルからfj同時押しで「に」の項目を消してしまえばそうはならないので、いろいろカスタマイズできるかもしれません。この配列でスピードを目指すならステノワードのような方向になるでしょう。脳の負荷が増えてしまいますが。 良い点は、左手で行を指定する方式なので数字行にはみ出していたみゃ行等を30%の範囲に取り込めたことでしょうか。もう一つ、頻度の低い文字は五十音の方を使うことにすれば、空いた所にいろいろ突っ込めるところでしょうか。かなり気に入ってます。 ∨ Source mar...
続きを読む

WSLでの親指シフトはどうやらMozcで実現可能と気がつくまで

WindowsではAutoHotKeyを使って疑似親指シフトで日本語を入力しています。もともとかな打ちだったんですが、キーボードをErgoDox EZに変えたら「ろ」とかのキーが足りなくなって、どうしようか悩んで親指シフトを見つけてきました。疑似なのは同時押しではなくて、親指でファンクションキーを押しながらアルファベットキーを押すことで出しているからです。AutoHotKeyを使って同時押しを実現しているものがあるのは知っていますが、とりあえずNICOLA配列を試しつつ今まで引っ張ってきた感じです。 Windowsではそれで満足していたのですが、WSLを使うようになって困りました。AutoHotKey(以下AHK)ではIMEの状態を取ってきてオンの場合には出力を変えているのですが、WSLだとAutoHotKeyからMozcの情報を取ってこられる気がしません。WSL側で検知してWindows側から読める位置にファイルを置くような、トリッキーな方法を使えばできなくはないような気もしますが、そこまでしてAHKに頼るのも変な感じです。 ということで、WSL側で親指シフトを使えるようにしようとぐぐって出てきたのは oyainput というやつでした。しかし、これがWSLでは動かない。エラーコードから察するに、 /proc/bus/input/devices が空なのでキーボードの情報が取れないのでだめみたいです。まあ、WSLですし。 しかたがないので、今度はWSLのEmacsでWindows側のIMEが使えるという「 emacs-mozc を動かすための設定（WSL 設定編） 」のmozc_emacs_helperというのを試してみました。で、苦労して動かしてみたものの、Windows側の辞書を使って変換はしているようですが、AHKがIMEの状態を把握できないので親指シフトモードに切り替わらないのは同じでした。残念。 いったんは諦めてMinGW版のEmacsを使うことにしたのですが、ぐぐってみたら「 [Question] Possible to (properly) implement simultaneous (custom) Kana-input layout? #512 」というMozcに新下駄配列を実装する話が出てきました。 新下駄配列は知らなかったのでぐぐ...
続きを読む

親指シフト新下駄配列の可能性

Google日本語入力の「シフトキーでの入力切り替え」をオフにして、ローマ字テーブルに大文字で登録すると、登録されたとおりに出力されます。当たり前ですが。これで「L」に「l」とは別に「じ」や「しかし、」や「𝕏」を割り当てることができます。 NICOLAなどの親指シフトとは違って、たんに大文字かどうかを見ているだけなのでシフトキーの左右を区別はできませんが、いろいろな使い方が考えられそうです。例えば、「X」に「𝕏」を割り当てるとか、「A」に「∀」とか。「L」に「しかし、」とかの接続詞を割り当てて入力時間の短縮もできるかもしれません。「L」に「じ」を割り当てて、「じ」に割り当てられている場所に別の文字なども考えられそうです。左右を混ぜて、シフトキーを押している間だけ全く別のマップでアルペジオとかも考えられます。覚えるのが大変ですけど。数字キーに割り当てられている文字をアルファベットに割り当てれば40%キーボードでも3点押しなしに入力することもできます。 このように、いろいろな可能性がありますが、実はまだ使っていません。まだ新下駄配列に慣れていないので、それどころじゃないんですよね。まずは新下駄配列に慣れて、その中で困ったことが起きたら解決に使う感じかな？
続きを読む