mcommit's message

大阪でソフトウェア開発の仕事をしている simotinといいます。記事の内容でご質問やご意見がありましたらお気軽にコメントしてください\^o^/

farポインタとポインタの違い

RL78マイコンを使っていてポインタと__farのついたポインタサイズの違いを意識する必要がありましたので書いておきたいと思います。

結論

__far付きのポインタと(__farのつかない)ポインタでは型のサイズが異なる場合があり、その場合アクセスできる領域も当然違ってきます。(ここでの __farはRL78のコンパイラ(CS+用)でのキーワードです)

そもそも far とは何か?

16bit・32bit・64bitなどCPUのビット幅の違いとして、使用できるメモリの容量をよく耳にすることがあると思います。

パソコンだと、
「32bit版のWindowsだとメモリは4GBまでだけど、64bit版だと4GB以上メモリを搭載できる」

という話は皆さんご存知かと思います。

32bitで表現できる値は0~4294967295になりますのでアドレス空間に換算すると4GBの領域を表現できることになります。
64bitですと、0~18446744073709551616になり16EB(エクサバイト)まで表現可能です。
実際には16EBまでをアドレス空間として認識するOSはないと思いますが。

では、16bitではどうでしょうか?
16bitで表現できるアドレスは、0~65535 になりますので単純にアドレス空間に換算すると64KBになります。

しかしながら世の中に存在する16bitのCPUにはアクセスできるアドレス空間は1MBというCPUがよくあります。
有名どころですと、Intelの8086も1MBのアドレス空間を利用可能ですし、取り上げているRL78も1MBのアドレス空間にアクセス可能ですし、同じくルネサスのM16Cも16bitで1MBのメモリ空間にアクセス可能です。

1MBのアドレス空間が利用できると言っても、

16bitでどうやって64KBより大きなアドレスを表現するのか?64KBが上限じゃないのか?

という疑問が湧いてくると思います。

セグメントレジスタ

では、どのようにして16bitCPUが1MBのアドレス空間にアクセスしているかというと、RL78もIntel8086もセグメントレジスタというレジスタがあり、このレジスタを使って64KBより大きいアドレスにアクセスすることが可能になります。

具体的には、セグメントレジスタのうち4bitを上位アドレスとして使うことで64KBより大きいアドレスへのアクセスを可能にしています。

要するにアドレスを決めるためのレジスタを2個使う(16bit×2レジスタ)というのが、16bitCPUで64KBを超えるアドレスへのアクセスのからくりです。

farポインタとポインタでは変数のサイズが違う

一般的にはポインタ変数のサイズCPUのレジスタのサイズによって決まります。

例えば、ポインタサイズを確認するC言語のコードは以下のようなコードになります。

#include <stdio.h>

int main(int argc, char **argv) {
	int ptr_size;

	ptr_size = sizeof(int *);

	printf("ptr_size:%d\n", ptr_size);

	return 0;
}

32bit環境であれば、「ptr_size:4」と表示されますし、64bit環境であれば「ptr_size:8」と表示されます。

※64bit OS上でビルドしても、ビルドの設定が32bit用になっていれば「ptr_size:4」と表示されますので注意してください。

C言語からはレジスタに直接アクセスできない!

さて、セグメントレジスタを使うことで16bitでは表現しきれないアドレスの表現ができることは理解して頂けたかと思いますが、実際にC言語でそのようなコードを書く場合はどうなるのでしょうか?

例えば0X0FFFFFに 1234を書き込むコードは以下のようなコードになります。

    *((int *)(0X0FFFFF)) = 1234;
    

のようになります。

ところが、このコードは16bitCPUでポインタ型2byteの場合、警告がでて、そのままでは意図した結果になりません。

ポインタ型が2byteであればアクセス先は0xFFFFに丸められてしまいます。

0x0FFFFFにアクセスする場合、
セグメントレジスタには、0x000Fを設定してあげる必要があるのですが、C言語にはCPUのレジスタにアクセスする手段はありません。
※厳密にはインラインアセンブラの機能を持つコンパイラであれば可能ですが。

さて、ここでタイトルの通り、farポインタ(__farキーワード)の登場です。

RL78コンパイラで上記の例をfarポインタアクセスする場合、

    *((int __far *)(0X0FFFFF)) = 1234;

という書き方になります。

__farをつけることで、コンパイラに対し、

「これは64KBを超えるアドレスへアクセスしたいんだからね!アドレッシング気を付けてね!」
「ちゃんとセグメントレジスタを使ってね」

と要求することになります。

上記の__far というキーワードはあくまでRL78コンパイラによって定義されているものですのでパソコン上のコンパイラ(GCC等)ではコンパイルエラーになります。

まとめ

現代のプログラマーは、普段プログラミングをしている限り、farポインタ について理解しておく必要はあまりないと思います。

しかし、組み込みソフトの開発で使われるマイコンには今でも16bit CPU/1MBアドレス空間のようなCPUがあります。
ただし、そのようなCPUであっても普通にプログラミングをしている場合はポインタのサイズやアクセス先がメモリ空間のどこに位置しているかを意識する必要はありません。

意識する必要が出てくるのは、上記のコードのようにアドレスを直接指定するようなコードを書くときぐらいでしょうか。

インテル8080伝説

インテル8080伝説

はじめて読む8086―16ビット・コンピュータをやさしく語る (アスキーブックス)

はじめて読む8086―16ビット・コンピュータをやさしく語る (アスキーブックス)

abrAsusの小さい財布を買ってみた

abrAsusの小さい財布を買ってみました。

財布を買うのは数年ぶりなのと、今までに使ったことのないタイプの財布なのでテンションが上がったので記事として書いておきたいと思いました。

買い換えた経緯

私はいつも財布をズボンの右後ろのポケットに入れているのですが、先週1週間で2回ズボンから落としてしまいました。
今まで使っていた財布はかれこれ5年程使っていたのですが、長年の使用による経年劣化のためか表面がツルツルになっており、何かの拍子で落としやすい状態になっていたようです。

1回目に落とした時は、近くにいた方が指摘してくださったのですが、2回目は仕事中にオフィスのトイレに行った際に落としたようで、自分でも気付かず、隣のオフィスの方がビル管理人の方に届けてくださいました。

1週間に2回落としたことにショックを受け、根本的に財布の持ち方について改める必要があると考えて新しい財布を購入することにしたという次第です。

選定条件

そもそも、これまでにも何度か財布を落としたことがあり、財布の状態以前に、ズボンの後ろポケットに入れていることが落とすことの要因になっていると感じましたので次に買う財布については、ズボンの前側のポケットに入れるということを前提に考えました。

ちなみにズボンの後ろのポケットに財布を入れている人って結構いると思うんですけど、実際のところどうなんでしょう。同じように財布をよく落とす方の参考になればと思います。

さて、前ポケットに入れるとなるとそれなりに小さい財布であることが条件になるのですが、以前に「薄い財布~GoogDesign賞受賞~」という項目をみたことを覚えていたので、この薄い財布というが真っ先に候補に挙がっていました。

広告を見る限り、薄くて使いやすいという印象を受けましたが実際に使った人のレビューなどを見ていると小銭の保存具合はあまりよくないという評価も結構見受けられました。

薄い財布のabrAsusからはいくつか財布が販売されているのですが、今回購入した「小さい財布」は、薄い財布と比べると大きさや厚さは大きくなりますが、比較的レビューの評価もよく、私の目的としている用途に合っている要でしたので購入してみました。

続きを読む

高知県のおすすめスポットについて

このブログのアクセス内容を見ていると、去年(2016年)、高知県の栢島に行った時のことを書いた記事を最近よく閲覧頂いているようです。

mcommit.hatenadiary.com


高知県出身者としてはとてもありがたく感じております。
栢島はとてもきれいで、楽しい時間が過ごせたので今年もできれば行きたいと思います。

皆さんにもぜひ栢島に行って頂きたいという気持ちと同時に、せっかくなので高知県のほかのおすすめスポットについても一応ですが「地元民」として紹介させて頂ければと思います。

私の大雑把な主観ですが、高知市(高知駅周辺)からの移動時間の目安も記載しておきます。それほど的外れな時間感覚ではない自信はありますが、渋滞してると時間がかかる場合もあると思いますのであくまで目安としてお考え下さい

  • 秦山公園
  • 国虎屋
  • 日ノ御子河川公園キャンプ場
  • ヤシィパーク
  • 番外編(おすすめのお土産)
  • まとめ

秦山公園

f:id:simotin13:20170610014743j:plain

子供連れのファミリーにはぜひおすすめの公園です。
私も帰省した際にはいつも行っています。遊具も多く、人気の公園なので祝日や休みの日は結構にぎわっていますが、混んでるからといって遊べないということはないと思います。
駐車場(無料)も2か所ほどあり、私の経験では満車になっていたことはありません。

www.city.kami.kochi.jp

大きな滑り台とトランポリンが見所です。
他にも遊具がたくさんありますので小学生低学年までの小さいお子さん連れの方はぜひ遊びに行ってみてください。

移動時間の目安:30分~40分(高知市から)

続きを読む

HHKB Professional BT(日本語配列)を1か月使ってみた

1か月ほど前に購入したので使用感を書いておきたいと思います。

購入のきっかけ

BluetoothタイプではないHHKBのProfessional JPをここ5年くらい使っています。

普段使っているPCはノートPCだったので優先のキーボードで特に問題はなかったのですが、最近デスクトップ型のPCを買うことになり合わせてBluetoothタイプのHHKBが欲しくなりました。

多くの方がそうだと思いますが、デスクトップPCは机の下(足元)に置く形になります。

その場合、キーボードのUSBケーブルがそれなりに長いケーブルが必要になるのですが、机の上にはそれでなくてもUSBケーブルや基板やら、LANケーブルやらはんだごてなどが居座っているので少しでもすっきりさせたいという思いで購入しました。

よかった点

基本的にはHHKBと同じなので今更あえてHHKBの良さを語るのはやめておきたいと思います。

上記の

机の上をすっきりさせたい!

という目論見は大成功で、気持ちよく作業ができます。

「USBケーブルがいらない」

というBluetoothのメリットが最大限生かせているのでいい感じです。

いまいちと感じた点

非常に満足しているBluetoothタイプのHHKBですが、1点想定外のデメリットというか困った点がありました。

それは、

長時間キーボードを放置した場合、キーボードの電源スイッチを長押ししなければならない

という点です。
Bluetooth機器なので長時間放置された場合は節電のために自動的に電源が切れるようになっています。

再度復帰させる場合はキーボード本体のスイッチを長押ししてあげる必要があります。
毎回PCを使うたびにこの作業が必要になるのですが、これが地味に面倒です。(スイッチも小さいので押しやすくはないですし)

スイッチの長押しではなくて特定のキーボードを何回か押したらとかだったらなぁ・・・と思います。
(例えばエンターキー3回とか)

しかし、よくよく考えてみるとHHKB以外にもBluetoothタイプのキーボードはあるのですが今まで使ったことがなかったです。他のBluetoothタイプキーボードも同じようなスイッチとか押す必要があるんだろうか・・・

HHKBを使う理由

私がHHKBを使う理由は単純で、

  1. 「ctrl」キーが通常のキーボードの「caps lock」の位置にある。(所謂UNIX配列)
  2. キータッチが軽い

の2点です。

そういえば同じ理由でMacbookを使っています。
エディタでemacsを使ったりターミナルで「ctrl」キーをよく使うので「ctrlキー」は「A」の横にあってほしいというシンプルな理由です。

どのOSでもソフトで切り替えたりもできますが、そういったことをいちいちする手間がないというだけでとてもありがたいです。

英語配列日本語配列か?

キーボードに対するこだわりとして「英語配列」がいいという方がいらっしゃいますが、私はまだ英語配列のキーボードを触ったことがありません。

日本語を扱う以上、「半角/全角」の切り替えが必ず必要になりますが英語配列の場合複数キーの組み合わせで切り替えをする必要があるようで、なんとなくそれが使いにくそうだなぁという印象があり日本語配列のキーボードを使っています。

英語配列は慣れると生産性が高いという声をよく聞くので機会があれば触ってみたいものです。

感想

HHKBはとても使い勝手のよいキーボードですのでこれからもずっと愛用していくことになりそうです。
両方のタイプを使ってみた感想として、同じHHKBとして比較する場合、BluetoothタイプもUSBケーブルもそれぞれメリットデメリットがありますので一概にどちらがいいとは言えないかと思いました。

作業する机の上の状況や使用するPCのタイプに合わせて検討してみるとよいかと思います。


/*~*/ コメントアウトを除去するコードをRubyで書いてみた

タイトルの通り、C言語系の複数行 /* ~ */ コメントを除去するコードを書いてみました。
Rubyで書いていますが状態遷移が基本になるのでどの言語でも同じように書けそうです。

# コメントアウトの除去
def delete_comment_out code
  status = :STATUS_WAIT_START_SLASH
  tmp = ""
  comment_out_code = ""
  code.each_char do |c|
    case status
    when :STATUS_WAIT_START_SLASH
      if (c == '/')
        tmp = c
        status = :STATUS_WAIT_START_ASTR
      else
        comment_out_code << c
      end
    when :STATUS_WAIT_START_ASTR
      if (c == '*')
        status = :STATUS_WAIT_END_ASTR
      else
        status = :STATUS_WAIT_START_SLASH
        comment_out_code << tmp
        comment_out_code << c
      end
    when :STATUS_WAIT_END_ASTR
      if (c == '*')
        status = :STATUS_WAIT_END_SLASH
      end
    when :STATUS_WAIT_END_SLASH
      if (c == '/')
        status = :STATUS_WAIT_START_SLASH
      end
    end
  end
  if status != :STATUS_WAIT_START_SLASH
    puts "status error"
  end
  comment_out_code
end

# テスト
code = File.read("test.c")
puts "--------------- before ------------------"
puts "#{code}"

comment_out_code = delete_comment_out(code)

puts "---------------  after ------------------"
puts "#{comment_out_code}"

元コード

#include <stdio.h>

// スラスラコメントは消えないよ
float func(void)
{
  float f = 1 * 2 / 3;
  int n = 1*2/3;

  /*
   * 複数行コメントも大丈夫
   */

   /* 掛け算・割り算も大丈夫 */
   return 1 * 2 / 3;
}

変換後コード

#include <stdio.h>


// スラスラコメントは消えないよ
float func(void)
{
  float f = 1 * 2 / 3;
  int n = 1*2/3;

  

   
   return 1 * 2 / 3;
}

状態遷移表

正規表現でもできると思っていたのですが、複数行でのマッチングがうまくできなかったのでコードで書いてみました。これくらい何も考えなくても10分くらいあれば書けるだろうと思っていたのですが、意外とパッと手が動かなかったので、まじめに状態遷移表を書いてからコードに落としてみました。

f:id:simotin13:20170513012803p:plain

感想

C言語の場合、コメント行の除去処理はプリプロセッサの仕事ですが、こうしてコードを書いてみると*/がない場合のエラー検出はコンパイル前に検出できますね。当たり前と言えば当たり前なんですが「コンパイルエラー」がどこで検出できるかまではあまり意識していないのでなんか新鮮な気持ちになりました。

AWS kinesis GetRecords の正しい呼び出し方

AWSのサービスの1つであるKinesis Streamを使う機会がありました。

APIを使ったデータのアップロードとダウンロードをする際にいくつか気を付けないといけない点があったので挙げておきたいと思います。

Kinesisの特徴

Kinesisの特徴はデータのリアルタイム処理ができることでクラウドにアップロードしたデータは基本的に24時間の間アクセスできます。
RDBと違って永続的に保存されるわけではなく、あくまでストリームに流したリアルタイムなデータに対して何らかの解析を行うというのがサービスの用途のようです。

データをアップロードするAPI

さて、kinesisへのデータのアップロードは、

  1. PutRecord
  2. PutRecords

という2つのAPIによって行います。

両者の違いは文字通り1つのデータか複数データかになります。

ちなみに、PutRecordsはAPIの仕様を読む限り、複数レコードのアップロードのうち、一部のデータのみアップロードに成功し、一部は失敗するということがあるようです。

トランザクション的な機能が無く、またレスポンスの内容からはどこからどこまでが成功でどこからどこまでが失敗なのかが分からないようです。手堅くデータをあげるのであればPutRecordをつかえということなのかもしれません。

データの取得はどうするのか?

アップロードしたデータを取り出す時はどうすればいいかですが、

  1. GetShardIterator

docs.aws.amazon.com

  1. GetRecords

docs.aws.amazon.com

というAPIの呼び出しによりデータの取得が可能です。


さて、このGetShardIteratorとGetRecordsの使い方ですが、単純に

「こっからここまでのデータをくれ」

という感じでの呼び出しにはなりません。

特にGetRecordsの呼び出しは一般的なWebAPIにおけるデータ取得とは少しイメージが異なる形です。

細かい説明はAPIのリファレンスを見て頂ければ分かると思いますが、ここではRubyaws-sdkを使ったPutRecordとGetRecordsを呼び出すような、サンプルプログラムを上げておきたいと思います。
特に、データを取得する処理に関して、GetRecordsを使われる方のご参考になれば幸いです。

require 'aws-sdk'

# AWS の設定用定数
REAGION = 'リージョン名'
ACCESS_KEY_ID = 'アクセスキー'
SECRET_ACCESS_KEY = 'シークレットアクセスキー'
STREAM_NAME = "ストリーム名"

Aws.config.update({
  region: REAGION,
  credentials: Aws::Credentials.new(ACCESS_KEY_ID, SECRET_ACCESS_KEY)
})

kinesis = Aws::Kinesis::Client.new(region: REAGION)

# PutRecordで上げるデータはBase64エンコードする必要がある
# →従って、文字列だけでなくバイナリデータもあげることができる
enc_data = ["123"].pack('m')

resp = kinesis.put_record({
  stream_name: STREAM_NAME,
  data: enc_data, # required
  partition_key: "key-test", # required
})

# shardIdにはputRecordのレスポンスに格納されているShardIdを設定する
# シャード数が1であれば恐らく "shardId-000000000000"になっている
shd_id = resp.shard_id
puts "shard_id:#{shd_id}"
puts "sequence_number:#{resp.sequence_number}"

resp = kinesis.get_shard_iterator({
  stream_name: STREAM_NAME, # required
  shard_id: shd_id,        # required
  shard_iterator_type: "TRIM_HORIZON"
}
)

shd_it = resp.shard_iterator

resp = kinesis.get_records({shard_iterator: shd_it, limit: 10000})

loop do
	resp = kinesis.get_records({shard_iterator: shd_it, limit: 10000})
  resp.records.each do |record|
	puts record
    end
    # millis_behind_latest が0になった場合に終了させる
    # get_records自体はデータがなくても成功する
    break if resp.millis_behind_latest == 0
    break if resp.next_shard_iterator.nil?
    shd_it = resp.next_shard_iterator
end

ポイント

GetRecordsの呼び出しで注意しないといけないポイントがあります。
GetRecordsのレスポンスとして返ってくるデータには必ずしもデータが入っているとは限りません。
NextShardIteratorがある限り呼び出しを行わないといけないのですが、実はNextShardIteratorだけでチェックしてもデータが全てとり終わったのかどうかが分かりません。

全てのデータがとり終わったかどうかは、MillisBehindLatestが0かどうかでチェックする必要があります。
このチェックがないとGetRecordsをいつまで呼び出していいか分からず無限ループにはまってしまいます。

感想

サンプルコードを書いてみたはいいのですが、私の中でkinesisやMQTTのようなサービスやプロトコルのメリットが今一つ理解できていない部分があります。
世の中には永続化すべきデータとそうでないデータがあり、両方合わせると莫大な量になるが、「とりあえず集めるだけ集めて必要なデータだけを残そう」という思想なのかもしれません。

IoTが広がるにつれてkinesisのようなサービスはこれからどんどん使われるようになるのかもしれません。。


Amazon Web Services 基礎からのネットワーク&サーバー構築 改訂版

Amazon Web Services 基礎からのネットワーク&サーバー構築 改訂版

Amazon Web Services実践入門 (WEB+DB PRESS plus)

Amazon Web Services実践入門 (WEB+DB PRESS plus)

注意点

Kinesis Streamはデータの通信量による課金とは別に、作成したストリーム単位でも費用が発生するので、ほったらかしにしないよう注意してください。

4月の振り返りと読書録

4月が終わってGWに突入しました。

今年の自分の目標として、月に2本ブログに記事をあげることを1つのノルマとしているのですが、特に書くとがないので振り返りや読書録等を上げておきたいと思います。

書くことが無いというよりは、書きたい気分にならないというべきかもしれません。

この3月、4月は桜の景色を楽しむ暇もない忙しい春でした。

特に4月は子供達が小学校や幼稚園に入ることもあって私用も多く、また新しい仕事の引き合いも頂いて神経を使った1か月でした。

仕事の引き合いを頂いた場合、今取り組んでいる仕事の時間を削って新しい仕事に向けた時間を確保する必要があります。

お客様への満足度が下がらないように同時に物事を進めるというのはとても疲れることですし、結果としてうまくいかない場合もあります。

4月に忙しかったせいでなんだかどっと疲れたでたというかGWはのんびりと勉強したり普段できないことに時間を使いたいと思います。

最近読んだ本

書きたい気分ではないということもあるので最近読んだ本・読んでいる本を感想と一緒に上げておきたいと思います。


流通王・中内功とは何者だったのか

流通王・中内功とは何者だったのか

kindle本で読みました。
中内功さんは私の好きな経営者です。家系が土佐の方だと知ってすごく親近感がわきました。

ダイエーは結果として衰退しましたが中内さんの生き方・考え方にあこがれる部分があります。


ディープラーニングの勉強のために読んでみました。
私は文系出身なので数学は数ⅡBまでしか学んでいません。ディープラーニング人工知能について勉強するためには行列の勉強からやるべきと思いよんでみました。
マンガということもあって分かりやすいのですが、この手の数学の入門書籍を何冊か読んでみて思ったことですが、数学はやはり自分で手を動かして計算してみてなんぼだということです。
自分で紙と鉛筆を用意して計算してみないと身につきませんね・・・


電話はなぜつながるのか 知っておきたいNTT電話、IP電話、携帯電話の基礎知識

電話はなぜつながるのか 知っておきたいNTT電話、IP電話、携帯電話の基礎知識

kindle本で読みました。
CTI関係の仕事の話があったのですが、VoIP関係のプロトコルはもちろんの事、電話に関してはハードレベルのことなど何も分かっていません。
この本は電話や通信の基本的なレベルの内容から丁寧に説明されてとても分かりやすいです。
まだ読んでいる途中で、つまみ読みしかできていませんが、この本を一冊きちんと読めば電話に関する基礎知識はしっかりと身につくのではないかと思います。

振り返り

仕事が忙しくなればなるほど色々な本を読みたくなりついつい本屋さんやamazonで買ってしまうのですが読まずに終わる本も増えてしまいます。
GWは読書と勉強の時間をしっかり取って5月も頑張ろう。