【Linux】WindowsのテキストファイルをLinux用に変換する方法

WindowsからLinux間でテキストファイルの送信を行うとエンコード等で問題が出てくることがあります。

Windowsで作成したファイルがShift_JISだったり、改行コードがCRLFだったり…。

文字コード：Shift_JIS＋改行コード：CRLFから文字コード：UTF-8＋改行コード：LFにする方法をまとめてみました。

nkfで変換する場合

文字コード変換としてよく使用されているnkfです。CentOSで入っていない場合yumでインストールできます。

#yum install nkf

nkf -Lu -x -w80 【変換元ファイル】 > 【保存先ファイル】

-w80はBOMなしUTF-8です。シェルスクリプトではBOMありファイルは正常に読み子もない場合があるのでBOMなしが無難なようです。

-xをつけないと半角カナが全角カナに変換されるようなので注意

BOMありを選ぶならば-w8 でいけるようです。

上書き保存する場合は--overwriteが必要。

nkf -Lu -x -w80 --overwrite【変換元ファイル】

--overwriteを指定せず変換元と保存先を同じにすると中身が空っぽになるので注意。

他にも色々引数の設定ができるみたいなので次回以降にまとめようと思います。

nkfコマンドが入っていない場合、vimで代用することもできます。
vimで保存元ファイルを開き、文字化けが発生している場合は文字化けを直します。

まずはvimでファイルを読み込み、「:e」コマンドで文字コードを指定して再表示します。

:e ++enc=ms932

:e ++ff=dos

改行コードは下記の通りで指定します。

文字化け、改行コードを修正したらフォーマットを変更します。

:set fileencoding=utf-8

:set fileformat=unix

:set nobomb

bomb?…BOMの有無確認

bomb…BOM付きに変換

nobomb…BOMなしに変換

fileencodingをfenc、fileformatをffと略すことも可能みたいです。

別ファイルに保存したい場合は:w 【保存先ファイル】で保存することができます。

vimの場合:wを押すまで設定した文字コードや改行コードが反映されないので注意。

RedHatにインストールされているiconvでも変換することができます。

iconv -f SJIS -t UTF8 【変換元ファイル】 -o 【保存先ファイル】

一番シンプル。しかし、シンプルな為に色々できないっぽいです。

改行コードの変換ができない、BOMを付けたり消したりできない。

さらに変換元ファイルがUTF-8の場合BOM有りだとエラーになる等々

もちろん上書きもできません。

全ての文字がきちんと変換できるっていうわけでもないです。

SJISのCSVファイルをEXCELで開き、環境依存文字を入力するとか（そもそも保存時に文字化けするけど）

チルダ問題とか

MACの濁点問題とか

外字なんてきたらどうしようもない（自作スクリプト作るぐらいしか対応なし？）

変換する際は変換前文字がどうなってるのか確認してから変換するのがベストだと思います。

改行コードぐらいなら問題なさそうですけどね。