PythonでテキストをJSONにした話(PyCon mini sapporo 2015)
3 likes3,337 views
PyCon mini sapporo 2015で発表した資料です。 PythonでテキストをJSONに変換したときのつらみ。
![30
def parse_main(self):
：
for line in self.lines:
# ---- --- 的なのが出たら取得開始
if re.search(sep_str, line):
val_flg = True
# ---- --- を[0,4,8..]的に変換
sep_posit_list = self.get_splited_position(line)
continue
# ---- --- 的なのがでるまで無視
if not val_flg:
continue
# データ部分を[0,4,8..]的な位置で分割しながら格納
line_row_list.append(self.split_str_by_posit(line, sep_posit_list))](https://image.slidesharecdn.com/20150912pyconshare-150912083311-lva1-app6892/85/Python-JSON-PyCon-mini-sapporo-2015-30-320.jpg)
![32
def parse_main(self):
:
for line in self.lines:
:
# カンマ、空白、小数点を除いた後、数値だけの行か
# データのブロックの開始判定
if self.is_only_int_line(line):
# SQL文の行ではないのでフラグを初期化
sql_l_flg = False
:
# 文字列バッファの初期化
sql_str = u""
buf_str = u""
# 数値データは、固定長なので通常通り区切って格納
row_list.append(self.split_str_by_posit(line, sep_posit_list))
# モジュール名の行を取得
elif re.search(u"Module:s.+", line):
row_list[-1].append(line.strip()[8:])
# 以降の行はSQL文
sql_l_flg = True
elif sql_l_flg:
sql_str += line.strip()
else:
buf_str += line.strip()](https://image.slidesharecdn.com/20150912pyconshare-150912083311-lva1-app6892/85/Python-JSON-PyCon-mini-sapporo-2015-32-320.jpg)
![37
import unittest
import StatspackParser
import sys
# とりあえず対象のレポートを渡したかった
FILE_NAME= sys.argv[1]
class LogicTest(unittest.TestCase):
def setUp(self):
self.file_name = FILE_NAME
def test_parse(self):
sp = StatspackParser(self.file_name)
parsed_data = sp.do_parse()
# テストファイルの該当セクション最後のSQLをチェック
self.assertEqual(parsed_data["SQL_ordered_by_Gets"][-1]["SQL_TEXT"], "select * from emp")
# その他もろもろ
:
if __name__ == '__main__':
# unittest自体の引数ではないので消す
del sys.argv[1]
unittest.main()](https://image.slidesharecdn.com/20150912pyconshare-150912083311-lva1-app6892/85/Python-JSON-PyCon-mini-sapporo-2015-37-320.jpg)
![44
def parse_date(self, date_string):
# 見つけたフォーマットを全部いれておく
formats = [
u"%d-%m月 %H:%M:%S",
u"%d-%m月 %H:%M",
u"%d-%m月-%y %H:%M", # like 24-12月-14 07:35
:
u"%d-%m? %H:%M", # like 24-12月-14 07:35
u"%d-%m? %H:%M:%S", # like 24-12月-14 07:35
]
# パース出来るまで頑張る
for format_pat in formats:
try:
# unicodeでできないのでstrにする
ret = datetime.datetime.strptime(date_string.encode(self.encode),
format_pat.encode(self.encode))
break
except ValueError:
pass
else:
# 全滅なら投げといて、後でフォーマットを追加する
raise NoMatchDateFormatException(date_string.encode(self.encode))
return ret
手当たりしだい試すことにした](https://image.slidesharecdn.com/20150912pyconshare-150912083311-lva1-app6892/85/Python-JSON-PyCon-mini-sapporo-2015-44-320.jpg)
![48
処理失敗時パーサを切り替える事にした
retry_flag = True
while retry_flag:
try:
# 解析したディクショナリを取得する
parser_inst.reformat()
result_dict = parser_inst.parse_main()
if result_dict:
if len(result_dict.values()[0]) > 0:
return_dict["PARSED_DATA"][result_dict.keys()[0]] = result_
# 処理は成功しているがデータがとれていない
else:
raise NoValidDataException(parser_inst)
# ここまできたらリトライしない
retry_flag = False
# バージョン差異でパースエラーになる可能性はある
except (IndexError, NoMatchDateFormatException, NoValidDataException):
try:
# 予備のパーサを取得してリトライ
parser_inst = parser_inst.get_sub_parser_inst()
except NoSubParserException as e:
# 予備のパーサが出尽くした
retry_flag = False](https://image.slidesharecdn.com/20150912pyconshare-150912083311-lva1-app6892/85/Python-JSON-PyCon-mini-sapporo-2015-48-320.jpg)
PythonでテキストをJSONにした話(PyCon mini sapporo 2015)
- 1. 1 PyCon mini Sapporo 2015 山田 聡 @denzowill
- 6. 6 これを Snapshot Snap Id Snap Time Sessions Curs/Sess ~~~~~~~~ ---------- ------------------ -------- --------- Begin Snap: 32987 27-5月 -15 09:25:01 477 21.8 End Snap: 32988 27-5月 -15 10:25:01 472 22.7 Elapsed: 60.00 (mins) Av Act Sess: 4.0 DB time: 237.82 (mins) DB CPU: 105.44 (mins)
- 7. 7 こうしたかった { "Elapsed": 60, "Av_Act_Sess": 4, "DB_time": 237, "DB_CPU": 105.44, "Begin_Snap": { "Snap_Id": 32987, "Snap_Time": "27-5月 -15 09:25:01", "Sessions": 477, "Curs_Sess": 21.8 }, "End_Snap": { "Snap_Id": 32988, "Snap_Time": "27-5月 -15 10:25:01", "Sessions": 472, "Curs_Sess": 22.7 } }
- 10. 10 構造化したい？
- 11. 11 構造化したい！
- 14. 14 みるところ
- 16. 16 Avg %Total %Tim Total Wait wait Waits Call Event Waits out Time (s) (ms) /txn Time ---------------------------- ------------ ---- ---------- ------ -------- ------ buffer busy waits 12 0 6 499 12.0 37.6 Disk file operations I/O 77 0 3 39 77.0 18.7 control file sequential read 920 0 3 3 920.0 17.7 rdbms ipc reply 25 0 1 45 25.0 7.1 db file sequential read 51 0 1 15 51.0 4.7 control file parallel write 85 0 0 3 85.0 1.6 固定長データ、列の区切り目を 取得すればよさそう。 データは文字列と数値。 素直なデータ
- 17. 17 CPU Elapsd Old Buffer Gets Executions Gets per Exec %Total Time (s) Time (s) Hash Value --------------- ------------ -------------- ------ -------- --------- ---------- 10,074 67 150.4 31.6 0.11 0.08 335360792 select file#, block#, blocks from seg$ where type# = 3 and ts# = :1 3,808 685 5.6 12.0 0.02 0.01 2482976222 select intcol#,nvl(pos#,0),col#,nvl(spare1,0) from ccol$ where c on#=:1 1,294 1 1,294.0 4.1 0.09 0.38 2522684317 Module: SQL*Plus BEGIN statspack.snap; END; 少しクセのあるデータ 基本固定長データなのは同じ だけど空行区切りの、複数行構成 数字行を開始ともみなせる でもModule:の行があったりなかったり…
- 20. 20 実際につくったら...
- 25. 25 になりました。
- 26. 26 パーサどうなった？
- 27. 27 class ParserBase(object): def __init__(self, lines=None): # unicodeで取得したセクションの各行 self.lines = lines # データの整形 def reformat(self): # 子クラスでの実装をする raise Exception("Plz Implement") # 実際の解析処理 def parse_main(self): # 子クラスでの実装をする raise Exception("Plz Implement") reformat/parse_mainを 継承先で実装していく 基底クラス
- 28. 28 後は継承して ひたすらre
- 29. 29 Avg %Total %Tim Total Wait wait Waits Call Event Waits out Time (s) (ms) /txn Time ---------------------------- ------------ ---- ---------- ------ -------- ------ buffer busy waits 12 0 6 499 12.0 37.6 Disk file operations I/O 77 0 3 39 77.0 18.7 control file sequential read 920 0 3 3 920.0 17.7 rdbms ipc reply 25 0 1 45 25.0 7.1 db file sequential read 51 0 1 15 51.0 4.7 control file parallel write 85 0 0 3 85.0 1.6 固定長データ、列の区切り目を 取得すればよさそう。 データは文字列と数値。 素直なデータ
- 30. 30 def parse_main(self): ： for line in self.lines: # ---- --- 的なのが出たら取得開始 if re.search(sep_str, line): val_flg = True # ---- --- を[0,4,8..]的に変換 sep_posit_list = self.get_splited_position(line) continue # ---- --- 的なのがでるまで無視 if not val_flg: continue # データ部分を[0,4,8..]的な位置で分割しながら格納 line_row_list.append(self.split_str_by_posit(line, sep_posit_list))
- 31. 31 CPU Elapsd Old Buffer Gets Executions Gets per Exec %Total Time (s) Time (s) Hash Value --------------- ------------ -------------- ------ -------- --------- ---------- 10,074 67 150.4 31.6 0.11 0.08 335360792 select file#, block#, blocks from seg$ where type# = 3 and ts# = :1 3,808 685 5.6 12.0 0.02 0.01 2482976222 select intcol#,nvl(pos#,0),col#,nvl(spare1,0) from ccol$ where c on#=:1 1,294 1 1,294.0 4.1 0.09 0.38 2522684317 Module: SQL*Plus BEGIN statspack.snap; END; 少しクセのあるデータ 基本固定長データなのは同じ だけど空行区切りの、複数行構成 数字行を開始ともみなせる でもModule:の行があったりなかったり…
- 32. 32 def parse_main(self): : for line in self.lines: : # カンマ、空白、小数点を除いた後、数値だけの行か # データのブロックの開始判定 if self.is_only_int_line(line): # SQL文の行ではないのでフラグを初期化 sql_l_flg = False : # 文字列バッファの初期化 sql_str = u"" buf_str = u"" # 数値データは、固定長なので通常通り区切って格納 row_list.append(self.split_str_by_posit(line, sep_posit_list)) # モジュール名の行を取得 elif re.search(u"Module:s.+", line): row_list[-1].append(line.strip()[8:]) # 以降の行はSQL文 sql_l_flg = True elif sql_l_flg: sql_str += line.strip() else: buf_str += line.strip()
- 37. 37 import unittest import StatspackParser import sys # とりあえず対象のレポートを渡したかった FILE_NAME= sys.argv[1] class LogicTest(unittest.TestCase): def setUp(self): self.file_name = FILE_NAME def test_parse(self): sp = StatspackParser(self.file_name) parsed_data = sp.do_parse() # テストファイルの該当セクション最後のSQLをチェック self.assertEqual(parsed_data["SQL_ordered_by_Gets"][-1]["SQL_TEXT"], "select * from emp") # その他もろもろ : if __name__ == '__main__': # unittest自体の引数ではないので消す del sys.argv[1] unittest.main()
- 38. 38 いろいろみつかった orz
- 39. 39
- 40. 40 →崩れてた
- 41. 41 Foreground Wait Events DB/Inst: ORCL/ORCL1 Snaps: 32987-32988 -> Only events with Total Wait Time (s) >= .001 are shown -> ordered by Total Wait Time desc, Waits desc (idle events last) Avg %Total %Tim Total Wait wait Waits Call Event Waits out Time (s) (ms) /txn Time ---------------------------- ------------ ---- ---------- ------ -------- ------ db file sequential read 281,434 0 5,788 21 0.4 37.5 direct path read 14,550 0 1,005 69 0.0 6.5 enq: TX - index contention 168 0 627 3735 0.0 4.1 : : Foreground Wait Events DB/Inst: ORCL/ORCL1 Snaps: 32987-32988 -> Only events with Total Wait Time (s) >= .001 are shown -> ordered by Total Wait Time desc, Waits desc (idle events last) Avg %Total %Tim Total Wait wait Waits Call Event Waits out Time (s) (ms) /txn Time ---------------------------- ------------ ---- ---------- ------ -------- ------ KJC: Wait for msg sends to c 776 0 0 0 0.0 .0 なんかヘッダが何回もでる
- 42. 42 # 繰り返しのヘッダを取り除く def remove_duplicate_header_and_info(self): # ヘッダ行を取得 head = self.guess_header_block() # 文字列として再整形 total_header_string = u"n".join(head) # 構成行から一括して削除 # 属性としては1行1要素のリストで持ってたので再度文字列として取得する line_string = self.get_line_string() headerless_string = line_string.replace(total_header_string, u"") # 再度ヘッダを頭にだけ付け直して再設定 self.set_line_string(u"n".join(head) + u"n" + headerless_string) 取り除く前処理追加
- 43. 43 Begin Snap: 1 20-8月 -15 06:59:18 →割と普通 Begin Snap: 1 08-Aug-15 15:33:11 →英語表記 Begin Snap: 1 20-8譛-15 10:33:18 →なんか化けてる(届いた時点で) Begin Snap: 1 14-7? -15 23:00:01 →もはや化けてるとかのレベルじゃない 日付ばらばら
- 44. 44 def parse_date(self, date_string): # 見つけたフォーマットを全部いれておく formats = [ u"%d-%m月 %H:%M:%S", u"%d-%m月 %H:%M", u"%d-%m月-%y %H:%M", # like 24-12月-14 07:35 : u"%d-%m? %H:%M", # like 24-12月-14 07:35 u"%d-%m? %H:%M:%S", # like 24-12月-14 07:35 ] # パース出来るまで頑張る for format_pat in formats: try: # unicodeでできないのでstrにする ret = datetime.datetime.strptime(date_string.encode(self.encode), format_pat.encode(self.encode)) break except ValueError: pass else: # 全滅なら投げといて、後でフォーマットを追加する raise NoMatchDateFormatException(date_string.encode(self.encode)) return ret 手当たりしだい試すことにした
- 45. 45 Buffer wait Statistics DB/Inst: ORCL/ORCL1 Snaps: 32987-32988 -> ordered by wait time desc, waits desc Class Waits ------------------------------------------------------------------ ----------- Total Wait Time (s) Avg Time (ms) ------------------- ------------- data block 7,134 75 10 undo header 5 0 0 2nd level bmb 2 0 0 ------------------------------------------------------------- 環境によっては折り返されてる
- 48. 48 処理失敗時パーサを切り替える事にした retry_flag = True while retry_flag: try: # 解析したディクショナリを取得する parser_inst.reformat() result_dict = parser_inst.parse_main() if result_dict: if len(result_dict.values()[0]) > 0: return_dict["PARSED_DATA"][result_dict.keys()[0]] = result_ # 処理は成功しているがデータがとれていない else: raise NoValidDataException(parser_inst) # ここまできたらリトライしない retry_flag = False # バージョン差異でパースエラーになる可能性はある except (IndexError, NoMatchDateFormatException, NoValidDataException): try: # 予備のパーサを取得してリトライ parser_inst = parser_inst.get_sub_parser_inst() except NoSubParserException as e: # 予備のパーサが出尽くした retry_flag = False