セピア写真の修正

古い写真を整理する必要があり、いろいろと眺めながら適正な保存方法を考えた。
まずは電子化でHDに保存と考え、スキャンした。
ピントボケはどうしようもないが、セピアになった色合いを何とかしようと考え、Webで探ったが、PhotoShopElementなどでの作業を推薦してある。

d.hatena.ne.jp


近年adobeは「CC」とか称して永久ライセンスではなく、期間限定のライセンスいわゆる月額使用料方式になっているので少し抵抗がある。

しかしよく調べると、いつも使っている下記NikonCaptureNX-Dでも下のような作業ができる。

f:id:greengreengrass:20170916145703p:plain

右下にある「ブラックポイントの設定」を選び、どこでもいい修正する画像の特に黒いと思われる部分をワンタッチするだけ。

f:id:greengreengrass:20170917102730p:plain


下記は元画像

f:id:greengreengrass:20170916205413p:plain


「ブラックポイントの設定」でワンタッチ修正済みが下記の画像

f:id:greengreengrass:20170916205438p:plain

 

探索の流儀

REMEMBER3.11

QGIS電子地図操作 第4回

QGISの操作 第4回です。
Dissolve(融合)について前回(QGIS電子地図操作 第3回 - 紙つぶて 細く永く)は結果が出るまで20分から30分としましたが、その後いくつかファイルを作成したのですがなぜか経過時間が不安定になります。
 「京都府滋賀県奈良県三重県和歌山県でフィルターをかけていたので作成時間が短縮された」としましたが、そうでもないようです。
推理するに、Dissolveするデータ量というのは思った以上に市区部によって偏りがあるということも原因ではないか。
例えば北海道小樽市島嶼が多く623のデータにわかれるが、札幌市は10のデータとなる。実際にDissolve操作をしてみると、北海道は数時間、青森は20分程度という結果になる。
 GISのベテランの方が書いていたが、shpファイルを構成するファイルに「dbf」形式のファイルがある。

f:id:greengreengrass:20170901085910p:plain
この形式が古い年代物らしく処理に時間がかかるとのこと。
それにしても国土地理院あるいは国交省の国土数値情報に行政区分としての都道府県単位もきちっと整備すればと思うのだが。

しっかりとったデータではないが、Dissolveはざっと以下のような時間だった。
(PCスペック:IntelCore i5-3330 2.7GHz、メモリ8GB、Windows10の条件下)

f:id:greengreengrass:20170908084501p:plain



重いのは北海道、岩手県長崎県、鹿児島県だった。北海道は上記5時間で途中断念。そこで何とかデータをまとめた岩手県を除く北海道・長崎県・鹿児島県については国土地理院都道府県別ファイルをダウンロードした。

f:id:greengreengrass:20170905165505p:plain

(国土数値情報を元にBlog主が加工)

すると、上記図のように都道府県ファイルなのに市区町村支庁区分線が表示される。少し見ずらい。

 

探索の流儀

REMEMBER3.11

QGIS電子地図操作 第3回

QGISには融合というツールがある、と私のテキスト「QGIS入門 第二版」に書いてある。
しかしQGISは「進化」をしているので、現在私が使っているバージョン「2.18.9」には「融合」はない。同じところに「Dissolve」というものがあり、翻訳すると「溶かす」という意味があった。つまり「融合」が「Dissolve」に名称変更したのだ。
 「Disssolve」これの意味はレイヤを、ある項目でまとめるということになる。ツールには名称「統合」というものもある。こちらは二つのレイヤを一つにまとめるものだ。

下記今回使った「Dissolve」を例で説明するならば、
まず国土数値情報の「行政区域」データ(以下にある)

国土数値情報ダウンロードサービス

には地方公共団体の区域が掲載されている。「東京都杉並区」や「大阪府大阪市」という区分だ。それの近畿を現すと、

f:id:greengreengrass:20170816111520p:plain
(国土数値情報を元にBlog主が加工)
のようになる。(この図には京都府滋賀県奈良県三重県和歌山県でフィルターをかけている)これに別途ダウンロードした鉄道(Railload.shp)を重ね合わせると以下になる。

f:id:greengreengrass:20170816111257p:plain国交省国土数値情報を元にBlog主が加工)

 

ちょっと区分が細かく見た目に煩雑になる。これを見やすく加工したい。ここで融合=Dissolveの登場となる。
「行政区分」の属性テーブルを開くと、中に「N03_001」がある。ここに東京都や大阪府、北海道等の県名が入ってるので、この項目でまとめるということだ。
メニューバー「ベクタ」をクリックするとドロップダウンリストが開く。

f:id:greengreengrass:20170816133348p:plain
その中の「空間演算ツール」にマウスカーソルをあてると右側にメニュが開く。その中に「Dissolve」がある。これをクリックすると、以下のウィンドウが開くので、入力レイヤを指定(この場合N03-17_170101)

f:id:greengreengrass:20170816133819p:plain
「Dissolve All」のチェックボックスをオフにし、N03_001を選択し最後に「Run」をクリックする。
重要なのはこの融合には時間がかかるということだ。全国の地方公共団体1718をさらに地名で分けたと思われる116023のデータ(国土地理院の話では例えば地方公共団体でも島嶼に分かれているものなど多数のデータを持つものがある)となっているので、下記ブログによると「IntelCore i5、メモリ4GB、Windows10の条件下で6時間」となっている。

QGIS – 融合(Dissolve) – TauStation


私のPCは他は同条件であるがメモリが8GB、この環境で20分から30分かかった。(もっともこの時間差は属性テーブルにフィルタ「"N03_001" = '京都府' OR "N03_001" = '滋賀県' OR "N03_001" = '奈良県' OR "N03_001" = '和歌山県'OR "N03_001" = '三重県'」をかけていたことにも一因があるのかもしれない)

そのDissolveの結果をレイヤに使って上記図を再度構成すると、以下になる。 

f:id:greengreengrass:20170817112126p:plain国交省国土数値情報を元にBlog主が加工)

ぐっと見やすくなった。

QGIS電子地図操作 第2回 - 紙つぶて 細く永く

QGIS電子地図操作 第1回 - 紙つぶて 細く永く

探索の流儀

REMEMBER3.11

QGIS電子地図操作 第2回

鉄道の路線図は表示できた。これでは地図の上の位置が不明確なので、国土地理院から日本地図を入手する。但しデータをダウンロードしスタンドアローンで使う場合は申請許可が必要で有料となる。そこでKMLサーバーからネットワークにて使用することにする。国土地理院のHP以下から「ライブラリー入口」をクリック

f:id:greengreengrass:20170627151800p:plain
次のウィンドウで「地理院地図KML」をクリック

f:id:greengreengrass:20170627151820p:plain
開いたページにある「標準地図」のURLをクリックすると、仮ダウンロードが始まる。ただしこれはサーバーへのリンク情報となっている。申請済み許可があればクリックするとダウンロードが始まる。

f:id:greengreengrass:20170627151836p:plain
PCのダウンロードフォルダに「GSI_map_elevation.kml」というファイルで解凍される。QGISを展開すると、「ブラウザパネル」に「WMS」というフォルダが作成され中に「地理院地図」がありその中に「標準地図」があるのがわかる。

f:id:greengreengrass:20170627155225p:plain
「標準地図」を選択し右クリック、そして「レイヤの追加」をすれば地図ビューに標準地図が表示される。(注意 上記は全体を表示するために地図を少し回転させている)

これに前回国土交通省の「国土数値情報」をダウンロード(こちらはまさしくダウンロード)した「N02-15_RailroadSection.shp」と「N02-15_Station.shp」をレイヤの追加し、

f:id:greengreengrass:20170627162623p:plain

f:id:greengreengrass:20170627162215p:plain
上記のプロパティで設定すれば地図の上に鉄道が表示される。

f:id:greengreengrass:20170627162259p:plain
表示されるのは「レイヤパネル」にある順(上を優先)に表示されるので上記「標準地図」を下位にすると上位のレイヤが表示される。
 また次の例のように上位にある「標準地図」のチェックを外すと下位の白地図が表示される。

f:id:greengreengrass:20170627163330p:plain

QGIS電子地図操作 第1回

QGIS電子地図操作 第3回


探索の流儀

REMEMBER3.11

QGIS電子地図操作 第1回

GPSを備えている腕時計を使ってログをとると電子地図上に走破ルートが表示できる、これを利用して鉄道乗りつぶし路線図を考えようと思った。
 すでにWeb上に乗りつぶしについてのサイトがあるが、JRから外れると私鉄となり別ジャンルになる。少し面白くないので自作をと考えた。

まずは国交省に「国土数値情報」というものが用意されている。これをダウンロードしGISソフトで読み込む。すると表示はこうなる。
このデータは2015(平成27)年12月31日時点のデータとなっているので北陸新幹線金沢までが記載されている。

f:id:greengreengrass:20170624082918p:plain
QGISはオープンソースなのでみんなで改良できる。専門集団がいるそうでたえず進化している。最初ダウンロードしたのはバージョン2.16「Nødebo」だったが最新は2.18愛称「Las Palmas」
上記画像を少し加工。このままだとやや見かけが悪いので路線の色を変える。
まず「レイヤパネル」に表示されたレイヤリストの「N02-15RailroadSection」を選択し右クリックし「属性テーブル」を選択する。

f:id:greengreengrass:20170624093151p:plain

開いたテーブルに属性が表示される。鉄道の場合「N02_003」が路線名となっているのでこの分類で色を変える。

f:id:greengreengrass:20170624093837p:plain
下記の「N02-15RailroadSection」をダブルクリック

f:id:greengreengrass:20170624094327p:plain
すると下記レイヤースタイルが表示されるのでまず上部「単一シンボル」を「分類された」に変更する。

f:id:greengreengrass:20170624094920p:plain

そしてカラムで「N02_003」を指定

f:id:greengreengrass:20170624094623p:plain

 「シンボル」を選択すると太さや実線、破線等が選択できる。そしてその下「色調」はデフォルトで「ランダムカラー」となっているがお好きに変更し「分類」をクリック

f:id:greengreengrass:20170624095527p:plainすると各路線別の色調が表示されるので、よければ下の「OK」ボタンをクリック
これで各路線色別に区分された。路線別色別が完成

f:id:greengreengrass:20170624100236p:plain

QGIS電子地図操作 第2回

QDIS電子地図操作 第3回 - 紙つぶて 細く永く


探索の流儀

REMEMBER3.11

Excell和暦と西暦

Excellの小技です。
また書籍の表をOCRにかけたところ、「s39.5.26」という表記があった。
もちろん昭和39年5月26日という意味ですが、これをセルの書式設定で西暦に変換できる。

f:id:greengreengrass:20170607122433p:plain


当初はこれで読み替えても駄目であった。
しかたなくいったん「s」を外したがsが無いことには年号と認識できない。
なぜ読み替えないのか、なんのことはないここにも見えない改行符合が入っていた。

「=VALUE(TRIM(CLEAN(A1)))」でその符合を削除したところ綺麗に読み替えた。

f:id:greengreengrass:20170607123246p:plain

補足
上記画像の中に「s39.11.5」と見えるセルがあり、これがエラーとなっているが、これもOCRのなせる技で、「11」を「II」と読んでいる。
さすがにこれは手入力で「11」に変えました。そして無事「1964年11月5日」となりました。 

 

探索の流儀

REMEMBER3.11

Excell消えない半角スペース

書籍の表をスキャンしエクセルに取り込む。
印刷されたものはワープロ(古いな)で打ち込んだものとは少し異なるスペースがある。
 たとえば改行のタイミングで句読点「、」や「。」がある場合は、行頭に句読点を用いずに、少し行の長さ(文字と文字の間の空間)を短縮し句読点を行内に納め、他の行と高さを合わせる。
 今回は表を取り込もうとした。上下にしか罫線がないという、罫線が少ない表だったのでなおの事、OCRが利かなかった。
 wordに変換すると、(計算結果が異なった時に)修正がし辛いので、エクセルに読み込んだ。
スキャンしOCRをかけたところ下図のようになった。

f:id:greengreengrass:20170606155533p:plain


このままエクセルに吐き出すとひとつのセルの中に青線内の文字がすべて入ってしまう。そこで補助線ツールで補助線を引いてやる。

f:id:greengreengrass:20170606155859p:plain


こんな具合だ。
そしてエクセルに吐き出すと、修正は必要だが労力ははるかに少ない。
ところがエクセルで半角スペース削除の修正をかけたもののどうしても修正できないセルが出てきた。下図のようにSubsutitute関数を使い、半角スペースを削除するができない。

f:id:greengreengrass:20170606160346p:plain


見えない改行符号かと思い、改行符合の削除も行った。

Office TANAKA - Excel Tips[セル内の改行を削除する]


これでもダメだったので、そこでCODEにより文字コードを表示した。

f:id:greengreengrass:20170606161949p:plain


結果上図のセルC2は「160」と表示つまり、セルB2後ろから3文字目はchar(160)の改行符合だった。OCRの結果こんなものが入るんだ。そこで次にchar(160)を削除する。

f:id:greengreengrass:20170606162948p:plain

これで完了。
下記サイトを参考にさせてもらいました。

www.excel.studio-kazu.jp

 

 

探索の流儀

REMEMBER3.11