Oficina postgresql avançado_consegi2010
0 gostou355 visualizações
1) O documento apresenta uma oficina sobre PostgreSQL avançado ministrada por Fabrízio de Royes Mello. 2) A agenda inclui tópicos como preparação de servidor, usuários e permissões, backup e restore, e rotinas de manutenção básicas. 3) O documento fornece detalhes sobre como configurar e gerenciar bancos de dados, usuários, permissões, backups e tarefas de manutenção no PostgreSQL.
![CONSEGI 2010 Oficina PostgreSQL Avançado Fabrízio de Royes Mello [email_address]](https://image.slidesharecdn.com/oficinapostgresqlavanadoconsegi2010-100821174027-phpapp01/85/Oficina-postgresql-avancado_consegi2010-1-320.jpg)
![Apresentação Fabrízio de Royes Mello ( [email_address] )](https://image.slidesharecdn.com/oficinapostgresqlavanadoconsegi2010-100821174027-phpapp01/85/Oficina-postgresql-avancado_consegi2010-2-320.jpg)
Oficina postgresql avançado_consegi2010
- 1. CONSEGI 2010 Oficina PostgreSQL Avançado Fabrízio de Royes Mello [email_address]
- 2. Apresentação Fabrízio de Royes Mello ( [email_address] )
- 4. Bacharel em Informática pela URCAMP
- 5. Experiência Profissional 5 anos como Gerente de CPD Prefeitura
- 7. Desenvolvimento de Software desde 1993
- 8. Experiência em PostgreSQL desde 1999
- 9. Experiência em PHP desde 2002
- 10. Desenvolvedor do Software Público e-cidade
- 13. Backup e Restore
- 16. Ambiente Oficina Ubuntu 10.04 Desktop
- 17. PostgreSQL 8.4
- 18. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Preparação Servidor Instalação e Configuração
- 19. Usuário ”postgres” sistema Operacional
- 20. Entendendo e Trabalhando com Clusters
- 21. Iniciando/Parando o Servidor PostgreSQL
- 22. Instalação e Configuração Repositórios Ubuntu 10.04 $ su – serpro (senha no quadro)
- 23. $ sudo apt-get install postgresql-8.4 Verificando se as coisas estão OK! $ pg_lsclusters Listar Bases de Dados $ psql -U postgres -l
- 25. Instalação e Configuração Configurar pg_hba.conf $ sudo vim /etc/postgresql/8.4/main/pg_hba.conf
- 26. Trocar ident e md5 por ”trust” e salvar
- 27. $ sudo /etc/init.d/postgresql-8.4 reload Listar Bases de Dados (novamente) $ psql -U postgres -l ( gravem isso !!)
- 28. Agora sim!!!!
- 29. Usuário ”postgres” S.O. Encapsular atividades em um único usuário Usuário ”postgres” que executa binários
- 30. Arquivos de configuração e datafiles tem owner e group = ”postgres” Uma breve ”verificação” $ ls -al /etc/postgresql/8.4/main
- 31. $ ls -al /var/lib/postgresql/8.4
- 32. $ ps aux | egrep '^postgres'
- 33. Entendendo e Trabalhando com Clusters Cluster = agrupamento de bancos de dados
- 34. Gerenciado por um ”processo servidor"
- 35. Listar clusters (debian based - pg_common) $ pg_lsclusters Criar clusters (debian based - pg_common) $ pg_createcluster http://www.postgresql.org/docs/8.4/static/app-initdb.html
- 36. Apagar clusters (debian based - pg_common) $ pg_dropcluster
- 37. Entendendo e Trabalhando com Clusters Exercício Criar um cluster chamado ”consegi”
- 38. Criar um cluster chamado ”oficina”
- 39. Configurar autenticação clusters (pg_hba.conf)
- 40. Listar clusters
- 41. Apagar cluster ”oficina” Respostas
- 42. $ sudo pg_createcluster 8.4 consegi
- 43. $ sudo pg_createcluster 8.4 oficina
- 44. $ sudo vim /etc/postgresql/8.4/**/pg_hba.conf
- 45. $ pg_lsclusters
- 46. $ sudo pg_dropcluster --stop 8.4 oficina
- 47. Iniciando/Parando Servidor PostgreSQL Iniciando Servidor $ sudo /etc/init.d/postgresql-8.4 start Parando Servidor $ sudo /etc/init.d/postgresql-8.4 stop Reiniciando Servidor $ sudo /etc/init.d/postgresql-8.4 restart Recarregando Configurações $ sudo /etc/init.d/postgresql-8.4 reload http://www.postgresql.org/docs/8.4/static/app-pg-ctl.html
- 48. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Usuários e Permissões Preparando Ambiente
- 49. Criando Usuários
- 53. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Preparando Ambiente wget -c http://bit.ly/aXIywX createdb -U postgres consegi2010 bunzip2 -c dump_consegi2010.sql.bz2 | psql -U postgres consegi2010 psql -U postgres -l psql -U postgres consegi2010 consegi2010=# \d
- 54. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Criando Usuários Considerações Usuários e Grupos no PostgreSQL são chamados ROLES Usuário = Role Com Login
- 55. Grupo = Role Sem Logim São GLOBAIS para o Cluster inteiro
- 56. Podem receber permissões (USAGE, INSERT, UPDATE, DELETE, etc) ou ”herdar” permissões de outras roles http://www.postgresql.org/docs/8.4/static/user-manag.html
- 57. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Criando Usuários Utilitário ”createuser” $ createuser -U postgres -P consegi http://www.postgresql.org/docs/8.4/static/app-createuser.html
- 58. SQL ”CREATE ROLE” $ psql -U postgres
- 59. postgres=# CREATE ROLE consegi LOGIN PASSWORD 'consegi'; http://www.postgresql.org/docs/8.4/static/sql-createrole.html
- 60. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Grupos de Usuários Utilitário ”createuser” $ createuser -U postgres -L grupo_consegi http://www.postgresql.org/docs/8.4/static/app-createuser.html
- 61. SQL ”CREATE ROLE” $ psql -U postgres
- 62. postgres=# CREATE ROLE grupo_consegi NOLOGIN; http://www.postgresql.org/docs/8.4/static/sql-createrole.html
- 63. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Definindo Permissões GRANT - Concedendo Permissões $ psql -U postgres consegi2010
- 64. consegi2010=# GRANT SELECT ON customer TO consegi; http://www.postgresql.org/docs/8.4/interactive/sql-grant.html
- 65. REVOKE - Revogando Permissões $ psql -U postgres consegi2010
- 66. consegi2010=# REVOKE SELECT FROM customer TO consegi; http://www.postgresql.org/docs/8.4/interactive/sql-revoke.html
- 67. Exercícios Criar 2 Usuários
- 68. Criar 1 Grupo
- 69. Conceder permissão de SELECT e INSERT para um usuário criado
- 70. Conceder permissão de UPDATE para o grupo criado
- 71. Conceder permissão do Grupo criado para o outro usuário
- 72. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Autenticação (pg_hba.conf) Localização $ psql -U postgres consegi2010
- 74. hba_file
- 77. (1 linha) http://www.postgresql.org/docs/8.4/interactive/client-authentication.html
- 78. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Autenticação (pg_hba.conf) Editar
- 79. $ sudo vim /etc/postgresql/8.4/main/pg_hba.conf
- 80. Opções Type
- 81. Database
- 82. User
- 83. CIDR-ADDRESS
- 84. Method
- 85. Options
- 86. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Rotinas de Manutenção A rotina de ”Vacuum”
- 88. A rotina de ”reindex”
- 89. Manutenção arquivo de log
- 90. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina de ”Vacuum” Recuperar espaço em disco perdido por DELETEs/UPDATEs
- 91. Atualizar estatísticas do planejador de consultas (+ANALYZE)
- 92. Prevenir falha de ”ID wraparound” XID de uma transação é sempre no futuro
- 93. Valor de 32bits
- 94. Erro ocore qdo ocorrer mais de4 bilhões de transações sem rodar um VACUUM
- 95. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina de ”Vacuum” Utilitário ”vacuumdb” $ vacuumdb -U postgres -v -z consegi2010 http://www.postgresql.org/docs/8.4/interactive/app-vacuumdb.html
- 96. SQL ”VACUUM” $ psql -U postgres consegi2010
- 97. consegi2010=# VACUUM ANALYZE VERBOSE; http://www.postgresql.org/docs/8.4/interactive/sql-vacuum.html
- 98. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com O processo autovacuum Realiza manutenção regular de acordo com uso das ”relações” da base de dados
- 100. Como isso ocorre?
- 101. limiar_vacuum = autovacuum_vacuum_threshold + autovacuum_vacuum_scale_factor * reltuples
- 102. if (pg_stat_*_tables.n_dead_tup > limiar_vacuum)
- 103. execute o VACUUM
- 104. O mesmo vale para o ANALYZE!!
- 106. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina ”reindex” Diminuir inchaço (bloat) dos índices
- 107. Melhorar acesso ao índice
- 108. Porque? Uma página de disco contém várias chaves
- 109. Se uma chave não for eliminada a página inteira continua alocada
- 110. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com A rotina ”reindex” Utilitário ”reindexdb” $ reindexdb -U postgres consegi2010 http://www.postgresql.org/docs/8.4/interactive/app-reindexdb.html
- 111. SQL ”REINDEX” $ psql -U postgres consegi2010
- 112. consegi2010=# REINDEX DATABASE consegi2010; http://www.postgresql.org/docs/8.4/interactive/sql-reindex.html
- 113. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Manutenção arquivo de log Onde estão os logs?
- 114. psql -U postgres consegi2010 -c ”
- 115. select name, setting
- 116. from pg_settings
- 117. where name in ( 'data_directory', 'log_directory',
- 118. 'log_filename') ”
- 119. name | setting
- 122. log_directory | pg_log
- 123. log_filename | postgresql-%Y-%m-%d_%H%M%S.log
- 125. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup e Restore Backup Físico off-line
- 128. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Físico off-line Backup: $ sudo /etc/init.d/postgresql-8.4 stop $ time sudo tar cjvf /tmp/pgbkp-fisico-main-20100820.tar.bz2 /var/lib/postgresql/8.4/main /etc/postgresql/8.4/main ATENÇÃO!!! INCLUIR TABLESPACES, SE EXISTIR!!!
- 129. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Físico off-line Restore: $ sudo /etc/init.d/postgresql-8.4 stop $ sudo mv /etc/postgresql/8.4/main /etc/postgresql/8.4/main.old $ sudo mv /var/lib/postgresql/8.4/main /var/lib/postgresql/8.4/main.old $ cd / $ time sudo tar xjvf /tmp/pgbkp-fisico-main-20100820.tar.bz2 $ sudo /etc/init.d/postgresql-8.4 start Atenção, pode ser necessário ajustar permissões caso seja uma instalação diferente!
- 130. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Lógico (plain-sql) Backup: $ time pg_dump -U postgres consegi2010 | bzip2 -c > /tmp/pgbkp-logico-consegi2010-20100820.sql.bz2 Restore: $ createdb -U postgres consegi2010-restore-logico $ time bunzip2 -c /tmp/pgbkp-logico-consegi2010-20100820.sql.bz2 | psql -U postgres consegi2010-restore-logico 2> /tmp/erros1.txt
- 131. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Backup Binário (dump) Backup: $ time pg_dump -U postgres -Fc -Z9 consegi2010 -f /tmp/pgbkp-binario-consegi2010-20100820.backup Restore: $ createdb -U postgres consegi2010_restore_bin $ time pg_restore -U postgres -Fc -v -d consegi2010_restore_bin /tmp/pgbkp-binario-consegi2010-20100820.backup
- 132. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Básico sobre Monitoramento Ferramentas padrões *nix
- 133. O coletor de estatísticas
- 134. Configurando o coletor de estatísticas
- 136. Uso do disco
- 137. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Ferramentas padrões *nix Verificar espaço em Disco df -h du Manipulação de processos top (ver processos, alterar prioridade, kill) ps, pg_top kill ( NUNCA -9 no postmaster ) Utilitários find, grep
- 138. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com O coletor de estatísticas Processo $ ps aux | grep ^postgres | grep "stats ” Configuração $ sudo vim /etc/postgresql/8.4/main/postgresql.conf http://www.postgresql.org/docs/8.4/interactive/monitoring-stats.html http://www.postgresql.org/docs/8.4/interactive/runtime-config-statistics.html
- 139. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Consultando estatísticas coletadas Visões pg_stat_* SELECT * FROM pg_stat_activity; SELECT * FROM pg_stat_user_tables; http://www.postgresql.org/docs/8.4/interactive/monitoring-stats.html
- 140. Fonte: Manoel Pimental Medeiros - visaoagil.wordpress.com Uso do disco Sistema Operacional df -h du PostgreSQL psql -U postgres consegi2010 consegi2010=# SELECT pg_database_size('consegi2010'); consegi2010=# SELECT relname, pg_relation_size(relname) FROM pg_class WHERE relkind = 'r'; http://www.postgresql.org/docs/8.4/interactive/functions-admin.html#FUNCTIONS-ADMIN-DBSIZE
- 144. Internacionais
- 145. http://www.postgresql.org ( Site oficial )
- 147. Dúvidas/Críticas/Sugestões!!! Fabrízio de Royes Mello [email_address] http://fabriziomello.blogspot.com