Sqlite3

Intro json파일을 sqlite3에 import하는 방법 json -> csv -> sqlite3 순서로 진행한다. jq, sqlite3가 사전에 설치되어 있어야 한다. jq는 경량 명령라인 json 관리 프로그램이다. Requirement $ sudo apt install sqlite3 $ sudo apt install jq Getting the CSV $ cat data.json {"uri":"/","user_agent":"example1"} {"uri":"/foobar","user_agent":"example1"} {"uri":"/","user_agent":"example2"} {"uri":"/foobar","user_agent":"example3"} $ head -1 data.json | jq -r 'keys | @csv' "uri","user_agent" $ jq -r 'map(tostring) | @csv' < data.json "/","example1" "/foobar","example1" "/","example2" "/foobar","example3" $ % (head -1 data.json | jq -r 'keys | @csv' && jq -r 'map(tostring) | @csv' < data.json) > data.csv Loading it into sqlite3 $ sqlite3 somedata.db sqlite> .mode csv sqlite> .import data.csv my_table sqlite> select * from my_table where ... Links https://stackoverflow.com/questions/46407770/how-to-convert-a-json-file-to-an-sqlite-database ...

Intro csv 파일을 sqlite3 기본기능으로 불러 테이블에 저장할 수 있다. sqlite3의 interactive, command mode 사용법 Howto $ cd data/ $ sqlite3 mydata.db # 저장할 db를 정하고 실행 sqlite> .mode csv # csv모드로 전환 sqlite> .import data.csv mytable # mytable 테이블로 data.csv를 변환 sqlite> .dbinfo # db 정보확인 sqlite> .tables # 테이블 확인 sqlite> .schema mytable # mytable의 스키마 확인 sqlite> .mode column # 컬럼표시 sqlite> .headers on # 헤더표시 sqlite> select * from mytable where ... # 테이블 쿼리 sqlite> .q # 종료 $ ls -l mydata.db # DB사이즈 확인 명령라인에서 확인할 수도 있다. $ sqlite3 mydata.db -header -column "select x from y;"