トークン毎のデータ抜き出し、日本語処理

トークン毎にデータを抜き出し、表示する例題です。

セパレータ文字（" ",",","/",";",":" etc）等で区切ることができない場合にも対応することができるよう、英語と日本語の入力の境目で区切る処理も加えています。
今回の例題では、iskanji 関数により SJIS の漢字か英語かどうかを判定しています。

word1.txt

in front of,・・・の前で
in vain,無駄に
in spite of,・・・にもかかわらず

word2.txt

in front of ・・・の前で
in vain 無駄に
in spite of ・・・にもかかわらず

実行結果