Data conversion

データ変換
2014-06-23
presented by

⽬目標: 4D 2003/4からv14にデータベースをアップグレード
FAQ

A. このセミナーで紹介する内容をしっかり踏まえて臨臨めば⼤大丈夫です。
Q: アップグレードは難しいのでしょうか?

A. いいえ。
Q: 途中のバージョンを経由しなければならないのでしょうか?
注記: v13を経由すれば，より効率率率的な作業ができますが，必須ではありません。（後述）

A. いいえ。
Q: その場合，中間バージョンのライセンスも購⼊入する必要があるのでしょうか?
注記: v14は30⽇日間無償で試⽤用することができます。
※2003/4の試⽤用版には，デザインモードで編集できるテーブル・メソッド・フォーム等の数に制限がありました。
v11以降降，そうした制限は撤廃されましたが，試⽤用できるのは，その時点で販売中のバージョンに限られます。
つまり，v11の試⽤用は現在できません。
!

A. v14のデータファイルはv12まで戻すことができます。
Q: 変換後，もう昔のバージョンには戻れないのでしょうか?
注記: ストラクチャファイルは変換を取り消しすることができません。
※v13には「v14データファイルを開く」というオプションがあります。同じように，v12には，「v13データファイル
を開く」というオプションがあります（データベース設定）。ただ，初期バージョン（12.1, 13.1など）には，そのオ
プションがありません。ひとつ前のバージョンの戻った後，データファイルを圧縮すれば，そのデータは完全に前バー
ジョンのものとなり，さらにひとつ前のバージョンまで戻すことができます。

A. はい。
Q: 変換前にデータのバックアップを作成したほうが良良いでしょうか?
注記: ⼀一般的なファイルコピーで⼗十分です。
※v2003/4までのアップグレードとは違い，v11以降降の変換では，新規データファイル・新規ストラクチャファイルが
作成され，そこにデータベースのコピーが書き込まれます。元のファイルは書き換えられません。したがって，何度度で
も同じデータベースをアップグレードすることができます。とはいえ，念念のため，データファイル・ストラクチャファ
イルのバックアップを作成することが推奨されています。

A. はい。
Q: 変換前にデータの修復復を実⾏行行したほうが良良いでしょうか?
注記: タグによる修復復はしないでください。
※4D Toolsによる通常の修復復は，レコードやテーブルの構造的な⼀一貫性をチェックし，問題があればそれを修正しま
す。修復復は，圧縮も兼ねているので，続けて圧縮も実⾏行行する必要はありません。⼀一⽅方，タグによる修復復は，構造的な問
題を修復復するのではなく，開けないデータベースが開けるようにするため，データベースの構造を強制的に書き換える
緊急⼿手段です。データベースが開けるのであれば，（4D Toolsが提案したとしても）実施は慎重に判断するべきです。

A. いいえ。
Q: サブテーブル/サブレコードは廃⽌止されたのでしょうか?
注記: 変換前から存在するサブテーブルは使い続けることができます。
※4Dのデータベースエンジンは，⾼高速・⼤大容量量・他⾔言語に対応するため，v11で刷新されました。このデータベース
は，サブテーブル型のフィールドをサポートしていませんが，サブテーブルについては，標準的なテーブルに変換し，
サブテーブルコマンドやサブフォームがこれまでどおり動作するよう，疑似的なサブテーブルとして扱います。ただし，
4D v2以前で可能だった多階層のサブテーブルには対応していません。

A. はい。
Q: データとストラクチャは別々にアップグレードできるのでしょうか?
注記: catalog.xmlファイルの使⽤用が必要になるケースもあります。
※v11以降降のストラクチャとデータは，固有識識別⼦子が⼀一致しない組み合わせで開くことはできません。固有識識別⼦子は，
v2004以前のデータベースを変換したときに新しく発⾏行行され，カタログファイルに記録されます。ストラクチャとデー
タを別々にアップグレードした場合，別々の固有識識別⼦子が発⾏行行されるため，ふたつを組み合わせて使⽤用することができ
ません。それを防⽌止するには，アップグレード前のストラクチャの隣隣にカタログファイルを配置します。

A. はい。
Q: 新ストラクチャで旧データを開けば⾃自動的に変換されるのでしょうか?
注記: プライマリーキーアシスタントが起動するケースもあります。（後述）
※v14以降降のジャーナル（ログ）ファイルには，レコード番号の代わりにプライマリーキーが記録されます。プライマ
リーキーは，ログに加え，4D Mobile，SQL REPLICATE（複製と同期），4DSYNCを有効にするためにも必要です。
ログファイルが有効にされているのに，テーブルにプライマリーキーが設定されていない場合，そのテーブルをログの
対象から除外するか，プライマリーキーを設定するか，決定しなければなりません。

A. はい。
Q: 引き続きShift_̲JISで⽇日本語を扱うことはできるのでしょうか?
注記: とはいえUnicodeモードは有効にするべきです。（後述）
※v11以降降，⽇日本語はすべてUTF-‐‑‒16エンコーディングで管理理されています。データファイルの内容もUTF-‐‑‒16です。
アップグレード直後，Unicodeモードは無効に設定されていますが，すでにデータはUTF-‐‑‒16に変換済みであることに
留留意ください。この場合，データは都度度4D 2004の共通⽂文字コード（Apple/Microsoft混合）に変換されています。
Unicodeモードを有効にすることにより，Shift_̲JISをはじめ，さまざまな⽂文字コードが指定できるようになります。

PRIMARY KEY

基本①: ジャーナルにはデータ更更新の履履歴が記録されている
更更新: 作成，変更更，削除，および確定されたトランザクション。
※ログとジャーナルは同義

基本②: ジャーナルにはデータ更更新がどこよりも先に記録される
①ジャーナルファイル（.journal）
②キャッシュ（RAM）
③データファイル（.4DD）

基本③: ジャーナルはデータ復復元の有⼒力力な⼿手段
ジャーナルファイル（.journal）
バックアップ（4BK）
データファイル（4DD）

復復元

統合

参考: ジャーナルはミラーリングにも使⽤用される
データファイル（4DD）データファイル（4DD）
統合

基本④: v14のジャーナルファイルにはプライマリーキーが記録されている

参考: v13以前のジャーナルファイルにはレコード番号が記録されていた

基本⑤: v14でジャーナルファイルを使⽤用するためにはプライマリーキーが必須

Q: 既存のIDフィールド（例例: 顧客番号）は有効なプライマリーキーですか?
A. いいえ。
注記: プライマリーキーは理理論論上，重複・NULL・変更更不不可でなければなりません。
※プライマリーキーは，ビジネスロジックやフィールドデータ（⼊入⼒力力値）からは独⽴立立したものであるべきです。ビジネ
スロジック上，レコードを⼀一意に特定するIDフィールド（⾃自然キー，ナチューラルキー）が存在するとしても，ジャー
ナリングの性格上，それとは別にデータベース設計上のプライマリーキー（代理理キー，サロゲートキー）を設定するこ
とが勧められています。

Q: 既存の内部IDフィールド（例例: GUID）は有効なプライマリーキーですか?
A. いいえ。
注記: フィールドにプライマリーキー属性が設定されていなければなりません。
※プライマリーキー属性は，v11以降降，存在するものですが，これまで4Dでは特に必要ではなかったため，⼤大多数の
データベースでは使⽤用されていないと思われます。v14で必須になるプライマリーキーは，単にレコードを特定する⾃自
然キー/代理理キーであるというだけでなく，実際にこの属性が設定されたフィールドでなければなりません。そのよう
なフィールドには，ストラクチャエディター上で下線が表⽰示されます。

Q: どのようにプライマリーキーを作成すれば良良いのでしょうか?
A. データベースの規模に合わせて選ぶことができます。
注記: ⼩小~∼中規模のデータベースであれば，アシスタントが便便利利です。
※4Dのプライマリーキーは，倍⻑⾧長整数またはUUID型でなければなりません。⾃自動インクリメント/⾃自動UUIDに設定す
るかどうかは任意です。いずれにしても，重複不不可，NULL不不可で，インデックスが必要とされています。新規テーブ
ルに備わっているキー，あるいはプライマリーキーマネージャーで作成したキーは，⾃自動インデックスが設定されてい
ます。⼀一⽅方，13.5以降降，重複不不可属性が設定されたフィールドには，B-‐‑‒TREEインデックスが⾃自動的に作成されます。
SQLで作成されたプライマリーキーは後者に該当します。もっとも，結果的に作成されるインデックスは同⼀一です。

① ストラクチャーエディター

② プライマリーキーマネージャー

③ SQL
ALTER TABLE TABLE_̲1
ADD MYUUID UUID AUTO_̲GENERATE PRIMARY KEY;
ALTER TABLE TABLE_̲1
ADD PRIMARY KEY (MYUUID);
※SQLでプライマリーキーを作成するメリットは，コードが再利利⽤用できることにあります。たとえば，プライマリー
キーとなるフィールド名を何度度も⼊入⼒力力しなくて済みます。多数のテーブル，あるいは複数のストラクチャを変更更しなけ
ればならないとしても，SQLであれば，汎⽤用的なコードで対応することができます。

$numTables_̲l:=Get last table number
!
For ($curTable_̲l;1;$numTables_̲l)
$statement_̲t:=""
If (Is table number valid($curTable_̲l))
$tableName_̲t:=Table name($curTable_̲l)
$statement_̲t:=$statement_̲t+"ALTER TABLE ["+$tableName_̲t+"] "
$statement_̲t:=$statement_̲t+"ADD myUUID UUID AUTO_̲GENERATE
PRIMARY KEY;"
Begin SQL
EXECUTE IMMEDIATE :$statement_̲t;
End SQL
End if
End for
http://kb.4d.com/assetid=76991

Q: プライマリーキー付きのv14ストラクチャでv13データを開いても⼤大丈夫ですか?
A. はい。
注記: その場合，最初にプライマリーキーチェックが実⾏行行されることになります。
※プライマリーキーチェックは，いくつかのステップから成っています。はじめに，ジャーナルファイルが有効である
かチェックし，もし有効であれば，すべてのテーブルにプライマリーキーが設定されていることをチェックします。プ
ライマリーキーのないテーブルがあれば，ジャーナルファイルの使⽤用を停⽌止（コンパイルモード），またはアシスタン
トを起動します。プライマリーキーが設定されている場合，すべての値が有効（重複なし・NULLなし）であることを
チェックします。問題がある場合，ジャーナルファイルの使⽤用を停⽌止（コンパイルモード），またはアシスタントを起
動します。

プライマリーキーチェック
①: プライマリーキーフィールドにNULLがないかチェック。
注記: NULLチェックは，インデックスの有無に関係なく，シーケンシャル検索索です。
②: プライマリーキーフィールドに重複がないかチェック。
注記: v13.5以降降，重複不不可フィールドには強制的にB-‐‑‒TREEインデックスが設定されています。
③: プライマリーキーフィールドのNULLを是正。
注記: ⾃自動インクリメントまたは⾃自動UUIDプライマリーキーフィールドに限られます。

Q: プライマリーキーチェックには時間がかかりますか?
A. はい。

Windows 7
i7-‐‑‒4770 (3.4GHz, 4 Core)
32GB RAM
Samsung 840 Pro 500GB SSD
データファイル: 8GB
テーブル数: 255
フィールド数: 12,444
レコード数: 5,114,973
!
チェック所要時間: 14:43

Windows 7
i7-‐‑‒4770 (3.4GHz, 4 Core)
32GB RAM
⼈人為的なデータベース
フィールドタイプは⽂文字列列のみ
ほぼ断⽚片化なし
レコード数: 5,114,973
!

Windows 7
i7-‐‑‒4770 (3.4GHz, 4 Core)
32GB RAM
レコード数: 5,114,973
!
レコード数: 13,386,172
!
チェック所要時間: ?
GET TABLE FRAGMENTATION
断⽚片化: 5%~∼65%
（3テーブルは100万件以上で30%以下）

Windows 7
i7-‐‑‒4770 (3.4GHz, 4 Core)
32GB RAM
レコード数: 5,114,973
!
レコード数: 13,386,172
!
チェック所要時間: 1:19:28
GET TABLE FRAGMENTATION
断⽚片化: 5%~∼65%
（3テーブルは100万件以上で30%以下）

Q: どうすればダウンタイムを最少限に抑えられますか?
A. 変換時に既存のフィールドをプライマリーキーに設定することができます。

Windows 7
i7-‐‑‒4770 (3.4GHz, 4 Core)
32GB RAM
レコード数: 5,114,973
!
チェック所要時間: 14:43→2:17
プライマリーキーアシスタントを使⽤用
既存のフィールドをプライマリーキーに

Windows 7
i7-‐‑‒4770 (3.4GHz, 4 Core)
32GB RAM
レコード数: 5,114,973
!
チェック所要時間: 14:43→2:17
プライマリーキーアシスタントを使⽤用
既存のフィールドをプライマリーキーに
レコード数: 13,386,172
!
チェック所要時間: 1:19:28→14:15

Q: 変換時に既存フィールドをプライマリーキーにすることにはリスクが伴いますか?
A. はい。
※プライマリーキーチェックで例例外が検出された場合，ジャーナルファイルの使⽤用が停⽌止されます。ですから，データ
変換時に既存のフィールドをプライマリーキーに設定するのであれば，そのフィールドに重複あるいはNULL（⾃自動イ
ンクリメントあるいは⾃自動UUIDが設定されていない場合）がないことを事前にチェックしなければなりません。ま
た，ジャーナルを使⽤用するためには，再度度バックアップが必要になる，したがって余計なダウンタイムが発⽣生すること
にも留留意してください。

Q: では，どうすれば良良いのですか?
A. 変換前，v13でプライマリーキーを作成し，有効な値を保存しておきます。
※既存のビジネスロジックやリレーション設定に⼲干渉しないよう，新たなプライマリーキーフィールドを作成すると良良
いでしょう（サロゲートキー）。その場合，既存のレコードは，NULLになるので，有効な値を代⼊入して更更新します。
v13のデータをv14で開いた場合，すでにプライマリーキーが設定されていたとしても，チェック⾃自体は実⾏行行されます。
しかし，新しい値を発⾏行行しなくても良良いのでチェック時間は最少限，また無効な値によりログファイルの設定が不不意に
外されることを回避することができます。アシスタントはv13コンポーネントとしても公開されています。
ftp://ftp-‐‑‒public.4d.fr/Components/4Dv13/4Dv13_̲PK_̲Manager_̲Component

IMAGES

Q: PICT形式の画像フォーマットはv14でもサポートされていますか?
A. いいえ。
注記: 画像形式はv13でまとめて変換することができます。
※v11以降降，PICTを含む画像のフォーマットは，CONVERT PICTUREで変換することができます。しかし，v14以降降，
PICT形式はサポートされていません。v13.2以降降，4D PackのAP Is picture deprecatedコマンドにより，変換の必要
なPICTフォーマットのピクチャを事前に検出することができます。変換せずにv14にアップグレードした場合，ピクチャ
の代わりに「サポートされない画像フォーマット」という⽂文字列列が表⽰示されます。14R3以降降，その拡張⼦子またはタイ
プ（4⽂文字以内）が表⽰示されます。

Q: PICT形式の透過属性はv14に持ち越すことができますか?
A. はい。
注記: 14R2で透過PNGに変換することができます。
※v11以降降，PICTでフォーマットは，特定のカラー（通常はホワイト）を透明の代替⾊色として指定することができまし
た。そのようなピクチャをv13でPNGに変換した場合，透過部分はホワイト等になります。14R2のCONVERT
PICTUREは，透過ピクセルとして処理理するべきRGBカラーを指定することができます。これにより，よりクオリティ
の⾼高い⾮非PICT画像フォーマットにアイコンなどを変換することができます。コマンドは，似たような仕様のBMPを始
め，どの画像フォーマットに対して有効です。

Q: QuickTimeのインストールは必要ですか?
A. いいえ。
注記: インストールすれば，QuickTime形式の画像も扱えるようになります。
※v2004までは，Windows版でJPEGなどの画像を扱うためにはQuickTimeのインストールが必要でした。v11以降降，
JPEGやPNGなどの代表的な画像フォーマットは直接4Dで処理理することができます。しかし，以前にQuickTime経由で
取り込まれたJPEGピクチャの表⽰示には，引き続きQuickTimeが必要です。そのため，QuickTimeがインストールされ
ているWindowsマシンまたはMacで画像をPNGに変換することが勧められています。そうしておけば，以後，
QuickTimeがインストールされていないWindowsでも画像が表⽰示できるようになるからです。

Q: ピクチャライブラリはv14でもサポートされていますか?
A. はい。
注記: Resourcesフォルダーに画像を移動すれば，パフォーマンスが向上します。
※Resourcesは，v11以降降，画像，テキスト，その他のストラクチャー共有リソースを管理理するためのフォルダーで
す。ここに置かれた画像ファイルは，参照カウントという仕組みにより，メモリの使⽤用が最適化されます。また，GIF
アニメは，フォーム上で実際に動きます。余裕があれば，ピクチャライブラリの中⾝身をPNG形式でエクスポートし，
Resourcesフォルダーに移動することを検討しても良良いでしょう。（GitHubリンク参照）
https://github.com/miyako/4d-‐‑‒utility-‐‑‒resources-‐‑‒kit

SUBTABLES

ポイント①: サブテーブルは標準テーブルに変換されます。
Order
id
title
Details
Details
item
quantity
price
Order
id
title
Details
Order_̲Details
id_̲added_̲by_̲converter
item
quantity
price

ポイント②: サブテーブルは変換された標準テーブルに対する疑似APIです。
[Order]Details //サブテーブル
[Order_̲Details] //テーブル
Order
id
title
Details
Order_̲Details
item
quantity
price

ポイント③: サブレコードコマンドを使⽤用すればサブテーブルのように扱えます。
Order
id
title
Details
Order_̲Details
item
quantity
price
ALL SUBRECORDS([Order]Details)

ポイント④: 標準コマンドを使⽤用すれば標準テーブルのように扱えます。
Order
id
title
Details
Order_̲Details
item
quantity
price
QUERY([Order_̲Details];[Order_̲Details]id_̲added_̲by_̲converter=Get
subrecord key([Order]Details))

ポイント⑤: サブセレクションとセレクションは連動していません。
Order
id
title
Details
Order_̲Details
item
quantity
price
Records in subselection([Order]Details)
Records in selection([Order_̲Details])

ポイント⑥: サブテーブルのリンクを切切断した後は元に戻せません。
Order
id
title
Details
Order_̲Details
item
quantity
price

1. サブテーブルのリンクを切切断するメリットを評価する
書き出し/読み込み
SQLアクセス
ユーザーインタフェース（リストボックス等）
ポイント⑦: サブテーブルから標準テーブルの移⾏行行は計画的に進める
2. サブテーブルコマンドを使⽤用している箇所は⼀一連の処理理を書き換える
サブセレクション→セレクション
サブレコード→レコード
サブフォームのデータソース（サブテーブルフィールド→テーブル）
3. サブテーブルコマンド/サブフォームが完全に無くなったところでリンクを切切断

参考: サブテーブルを（敢えて）作成する⽅方法
PA_̲CreateElementsFromXMLDeﬁnition((PA_̲Unistring*)(pParams[0]));
https://github.com/miyako/4d-‐‑‒plugin-‐‑‒structure-‐‑‒access/

TEXT

ポイント①: データファイルの⽂文字コードはアップグレード時に変換されます。
Shift_̲JIS UTF-‐‑‒16

ポイント②: ⾮非Unicodeモードは変換されたデータに対する疑似APIです。
10=Length(“あいうえお”)

ポイント③: UnicodeモードはON/OFFを切切り替えることができます。※再起動が必要。
5=Length(“あいうえお”)

ポイント④: Shift_̲JISからUnicodeの移⾏行行は計画的に進める
USE CHARACTER SET("Windows-‐‑‒31J";0)
USE CHARACTER SET("Windows-‐‑‒31J";1)
!
SEND PACKET(…)
EXPORT TEXT(…)
!
USE CHARACTER SET(*;0)
USE CHARACTER SET(*;1)

ポイント④: Shift_̲JISからUnicodeの移⾏行行は計画的に進める
If (Get database parameter(Unicode mode)=0)
$len:=Length($value)
Else
CONVERT FROM TEXT($value;”Windows-‐‑‒31J”;$valueData)
$len:=BLOB Size($valueData)
End if

EXTRA

参考: 消費税の計算，実数，イプシロン値
Q: 消費税改定後の実数計算で注意することがありますか?
A. はい。
注記: 実数は近似値であることを忘れないでください。
※Alturaツールボックスが実数を表⽰示するときには，実数から⽂文字列列に変換するSANE (Standard Apple Numeric
Environment) 変換ルーチンと同様の丸め処理理が適⽤用されていました。68KとPPCのCPUでは，実数の内部データ⻑⾧長が
違うためです。この設定は，データベースパラメーターのReal Display Precisionで変更更することができました。v14
は，システムライブラリで実数を処理理しているため，このセレクターは不不要となっています。⼀一⽅方，イプシロン値
(SET REAL COMPARISON LEVEL) は引き続き有効であり，デフォルトは10-‐‑‒6
です。

ポイント: 差がイプシロン値 (10-‐‑‒6
) 以内の実数値は等価とみなされます。
0.00002 -‐‑‒ 0.00001 = 0.00001 = 10-‐‑‒5
> 10-‐‑‒6
//0.00002 # 0.00001
0.000002 -‐‑‒ 0.000001 = 0.000001 = 10-‐‑‒6
= 10-‐‑‒6
//0.000002 = 0.000001

ポイント: イプシロン値はSET REAL COMPARISON LEVELで変更更できます。
SET REAL COMPARISON LEVEL(10^-‐‑‒7) 
0.000002 -‐‑‒ 0.000001 = 0.000001 = 10-‐‑‒6
> 10-‐‑‒7
//0.000002 # 0.000001

ポイント: コンピューター演算における実数値は近似値です。
$r1:=-‐‑‒1700*1.08
$r2:=-‐‑‒1700*108/100
!
SET REAL COMPARISON LEVEL(10^-‐‑‒12)
$comp1:=$r1=$r2//True
!
SET REAL COMPARISON LEVEL(10^-‐‑‒13)
$comp2:=$r1=$r2//False
解説: 1.08と108/100は同じ値ですが，上記の例例で分かるように，⼩小数点以下第13位で誤差が発⽣生しています。メ
ソッドエディター等に1.08と⼊入⼒力力した場合，その内部的な値は，1.0800000000001かもしれないということです。

ポイント: Intは切切り捨て関数ではなく，丸め関数です。
$negative:=Int(-‐‑‒1.08)//-‐‑‒2 
$positive:=Int(1.08)//1
注記: 負の値はゼロから遠い数値に実数を丸めます。

ポイント: 実数，負の値，Intの組み合わせには注意が必要です。
$bad:=Int(-‐‑‒1700*1.08)//-‐‑‒1837

ポイント: 実数を整数に変換することにより，誤差を切切り捨てることができます。
$good:=Floor(-‐‑‒1700*1.08)//-‐‑‒1836
C_REAL($1)

C_LONGINT($0)

!
$0:=$1

ポイント: 整数値で計算した後，実数に変換する⽅方法も有効です。
$good:=Int(-‐‑‒1700*108/100)//-‐‑‒1836

ポイント: ⽂文字列列に変換することでも誤差を切切り捨てることができます。
$good:=Int(Num(String(-‐‑‒1700*1.08)))

Data conversion

More Related Content

More from kmiyako (20)

Data conversion