Skelton: Perl script to visualize syntactic structure of Japanese text

An one-liner JPerl (Shift JIS) script to mask Kanji, Katakana, Greek, and some kinds of symbol characters in Japanese texts.

    jperl -pe "s/[〇ー々０-９Ａ-Ｚａ-ｚァ-ヶΑ-Ωα-ω亜-熙]+/□/g"

Broadly speaking, you can obtain an output containing punctuations, Hiragana, and ASCII characters by processing your text with this script. The following is an example of output:

□から□までのそれぞれの□を□に□す。□に□い□の□が□された□や、□がわからなくなった□などは□を□っていない。それらの□は、□2では、「□せず」の□に□した。□2の「□」の□としては、□の□1879を□の□として□っている。□とも、□した□のなかに、□の□として□となったものが3□ないし4□あった。それらをのぞいた□な□は、□2□ (2010□) では1622、□3□ (2011□) では1555、□4□ (2012□) では1515、□5□ (2013□) では1594であった。□3□と□4□の□がやや□である。ただし、いちばんすくない□4□でも、□は1500□を□できている。

In usual Japanese texts, Hiragana characters always indicate syntactic structure (such as suffixes, particles, auxiliaries, and conjunctions). By contrast, Kanji characters provide substantive meaning (such as nouns, verbs, adjectives, and adverbs). The script accordingly extracts syntactic structure without semantic inference. It thus offers a handy way to evaluate the readability of the text in terms of syntax.

日本語文章の漢字、カタカナ、ギリシャ文字、および一部の記号を □ に変換する簡単な JPerl (Shift JIS) スクリプト。

    jperl -pe "s/[〇ー々０-９Ａ-Ｚａ-ｚァ-ヶΑ-Ωα-ω亜-熙]+/□/g"

これを日本語文章に適用すると、句読点、ひらがな、ASCII文字だけをのこした出力がえられる。 たとえばつぎのような感じである:

□から□までのそれぞれの□を□に□す。□に□い□の□が□された□や、□がわからなくなった□などは□を□っていない。それらの□は、□2では、「□せず」の□に□した。□2の「□」の□としては、□の□1879を□の□として□っている。□とも、□した□のなかに、□の□として□となったものが3□ないし4□あった。それらをのぞいた□な□は、□2□ (2010□) では1622、□3□ (2011□) では1555、□4□ (2012□) では1515、□5□ (2013□) では1594であった。□3□と□4□の□がやや□である。ただし、いちばんすくない□4□でも、□は1500□を□できている。

日本語の通常の文章では、ひらがなは主として統語構造を示すために使われる (活用語尾、助詞、助動詞、接続詞など)。 一方、漢字は、実質的な意味をあらわすことが多い (名詞、動詞、形容詞、副詞など)。 上記のスクリプトは、意味的な推測のきかない状態で統語構造だけを取り出すことになる。 「□の□を□の□として□っている」などのような文を読みあげてみて、構文が即座につかめるかどうかのテストをしてみるとよい。