/blog

Resumo do AWS re:Invent 2013 e dicas das novidades

Participamos do Reinvent 2013 – o evento mundial do AWS em Las Vegas – e gostaríamos de compartilhar as novidades e dicas que encontramos por lá.

Lançamentos principais

  • Amazon Workspaces – desktop na nuvem. Não precisa dizer muita coisa 🙂
  • Amazon Appstream – executa uma aplicação na nuvem e faz o ‘stream’ para qualquer tipo de aparelho – PC, tablet, celular. Veja mais detalhes neste link;
  • Amazon Cloudtrail – geração de arquivos de log JSON no S3 de todas as chamadas de APIs;
  • PostgreSQL no RDS – AWS passa a gerenciar sua base PostgreSQL. Inclui PostGIS, fulltext search, entre outros. Clique no link para todos os detalhes!
  • Amazon Kinesis – serviço para processamento massivo de dados em tempo real. Basicamente uma forma padronizada para ajudar a processar um fluxo gigantesco e contínuo de dados de forma contínua. Foi demonstrada uma aplicação que consome os dados do Twitter em tempo real;
  • Instâncias C3 – nova geração para instâncias com melhor custo/benefício para quem precisa de mais CPU – veja dicas logo abaixo;
  • Instâncias I2 – nova geração para instâncias que exigem muito I/O – em breve;
  • MySQL – Read Replicas entre regiões – é possível criar uma instância ‘read-only’ de MySQL em outra região – ainda serão divulgadas mais informações;
  • Cópia de snapshot de Redshift entre regiões;
  • Índices secundários globais no DynamoDB – qualquer coluna pode ser ter índice e pode haver mais de uma combinação de ‘hash + range key’ por tabela. Esta característica acaba com a necessidade de ‘scan’;

Curiosidades

  • Este post resume bem o que aconteceu além dos lançamentos técnicos 🙂
  • Para quem não tinha visto anteriormente: Quadrante mágico do Gartner – AWS é 5 maior que todas as 14 empresas concorrentes listadas e somadas!
  • Um dos cases mostrados da empresa Dropcam, que faz upload de vídeo para a nuvem (S3 da Amazon), já coloca mais vídeos por minuto do que o Youtube!
  • Outro case do AirBNB, afirma que a empresa possui mais de 1.000 com somente 5 pessoas cuidando de todos eles…

Dicas – coletamos algumas dicas das palestras técnicas que assistimos e de bate-papos com os gerentes de produto do AWS:

  • Esqueça as instâncias grandes da geração passada (tipo ‘m1’). Utilize as instâncias C3. Veja uma comparação entre o m1.medium e o c3.large. Por cerca de 25% a mais de custo em US$, ganha-se 300% de performance de CPU!

instancias-c3

    • OBS 1: notem que o C3 começa em c3.large. É bem possível que no futuro sejam lançadas instâncias menores…
    • OBS 2: se você usa instance-store ou então ephemeral disk, as instâncias C3 rodam em SSD. Ou seja a performance de disco local é altíssima!
    • OBS 3: dá para habilitar ‘networking avançado’ para melhor performance de rede, mas ainda não é imediato. Confira.
    • OBS 4: o Cloud8 já suporta as instâncias C3 na criação, upgrade/downgrade e agendamento de servidores 🙂
  • PostgreSQL. É muito recomendado migrar sua base PostgreSQL para o RDS. Um dos grandes problemas que o PostgreSQL possui quando executado no EC2 é que a realização periódica do ‘vacuum’ (otimização e compactação dos dados) muda praticamente todos os blocos do storage. A posterior realização do backup/snapshot deste servidor irá duplicar todo o disco gerando custo desnecessário, além de elevar o tempo de backup (as vezes em horas!)
  • TestDrive: o AWS está preparando ‘stacks’ completos para se testar. Você pode provisionar em minutos uma estrutura completa – VPC, load balancers, servidores, storage – de Exchange Server 2013 em Alta Disponibilidade sem necessidade de conhecimento do passo a passo do setup.
  • Serverless: com o lançamento do SDK para Javascript, ‘Web Identity Federation‘ e integração das permissões IAM diretamente nas colunas do DynamoDB, já dá para criar aplicações que não precisam de servidor como intermediário.
  • CloudFormation: para quem ainda não conhece, vale muito a pena estudar este recurso e se aprofundar. Ele permite tratar ‘infraestrutura como código’. Versionamento, deploy, etc.

Em breve o AWS deve publicar todos os vídeos das sessões técnicas. Fiquem de olho!

Equipe Cloud8

Compartilhamento de imagens, gráficos de custos melhorados, dicas de instâncias reservadas

Seguem as últimas novidades.

CloudConf 2013 – Confira nossa participação! (começa aos 39:00 min)

Compartilhamento de imagens/backups

Já imaginou trabalhar com várias contas no AWS e compartilhar imagens/backups de forma segura entre elas?

Para que outra conta na Amazon possa criar servidores a partir desta imagem compartilhada, selecione a imagem/backup e pelo menu direito, escolha “Compartilhar com outra conta/provedor”.

imagem-shared-1

Em seguida basta inserir o ID da conta (12 dígitos) e/ou quais provedores utilizados dentro do Cloud8 e compartilhar a imagem/backup.

imagem-shared-2

 

As imagens/backups que são compartilhados aparecem na lista com uma identificação especial.

Alguns casos de uso que podem ser usados neste compartilhamento:

  • Desenvolvimento X Produção: desenvolver, homologar e testar uma imagem e em seguida compartilhar com produção para que seja usada em novos servidores;
  • Múltiplas contas de clientes: usar uma conta base de desenvolvimento e compartilhar com outras contas (de clientes) para publicar novas versões de aplicativos;
  • Colaboração com terceiros: compartilhar o seu trabalho com uma conta conhecida e colaborar juntos.

Melhorias nos gráficos de custos

Melhoramos a usabilidade dos gráficos de custos. É possível separar ou unir visões acumulada e diária. Deixamos mais dinâmico e interativo e a área de custos dos detalhes por tags foi oficialmente promovida para produção.

Veja como ficou:

imagem-shared-3

E os detalhes das tags:

imagem-shared-5

Dicas de Instâncias Reservadas

Recentemente a Amazon passou a permitir a modificação de instâncias reservadas após a contratação. Esta possibilidade retira parte do receio de se comprar uma reserva por 1 ou 3 anos, depois não usá-la mais e perder o investimento. Agora é permitido:

​Fique à vontade, sem medo, de modificar as instâncias e depois acompanhar pelo Cloud8! Nós lhe diremos se as instâncias estão bem utilizadas e avisaremos do vencimento e de sua subutilização!

Outros

  • ​Atualizamos a lista de imagens com as mais recentes Amazon Linux (2013.09) e Windows com patches de outubro;
  • Avisos por email das atualizações de imagens;
  • Mostramos as instâncias reservadas que estão com pagamento pendente pelo AWS;
  • Diversas melhorias internas e aumento da escalabilidade para acomodar mais clientes e mais tarefas agendadas.

Possui sugestões ou críticas? Não deixe de nos contactar!

Obrigado!
Equipe Cloud8

Novidades: Custos com níveis, estatísticas de uso para os discos e proteção de servidores

Seguem as últimas novidades!

Custo por serviço com níveis

O Cloud8 informa os custos em 2 níveis: Serviço (EC2, Banco de Dados RDS, Transferência de dados, etc) e Detalhes (Horas de servidor, I/O de disco, transferência IN/OUT e muitos outros).

Atendendo a pedidos, passamos a quebrar o nível ‘Serviço’ em mais detalhes:

  • EC2: Servidores sob Demanda
  • EC2: Reservas Heavy
  • EC2: Reservas Medium/Light
  • EC2: Load Balancing
  • EC2: Discos
  • EC2: Backups
  • EC2: IPs Elasticos
  • RDS: Banco de dados
  • RDS: Reservas Heavy
  • RDS: Reservas Medium/Light
  • RDS: Discos e snapshots

Veja um exemplo, de como ficaria seu relatório por email. Lembrando que os relatórios gráficos também refletem esta mudança.

novas-estatisticas-3

Notas: 1. Um aspecto que notamos assim que passamos a enviar esta informação, é como o custo de backup é barato. Confira o seu custo também e não deixe de realizar os backups agendados!
2. Estamos trabalhando junto com a Amazon para entender como trazer ainda mais detalhes e identificar a contribuição no custo de cada componente do seu cloud.

Melhorias em Estatísticas de uso

As estatísticas de uso dos servidores permitem acompanhar a utilização do servidor e entender se ele está dimensionado corretamente.

Modificamos a lista de servidores para incluir todos os discos conectados a ele. Agora conseguirá visualizar e comparar os servidores e discos na hierarquia: Provedor->Servidor->Discos. Confira como ficou.

novas-estatisticas-1

Segue um exemplo de comparação de 2 discos conectados no mesmo servidor.

novas-estatisticas-2

Sugestões de análise:

  • comparar discos entre servidores de contas/provedores diferentes;
  • comparar discos com I/O otimizado e um disco comum conectados no mesmo servidor;
  • comparar como a performance mudou quando se muda o tamanho do servidor (há mais performance de disco para tamanhos maiores);
  • visualizar todos os discos de um array RAID 10 para ver se os I/Os estão bem distribuidos.

Proteção de servidores

Deixamos mais claro se um servidor está protegido contra destruição (acidental ou não). Esta proteção, uma vez habilitada pelo Cloud8, bloqueará o término do servidor também no console AWS e no uso das APIs. Recomendamos fortemente que habilite esta proteção em todos os servidores importantes. Basta clicar no botão direito, selecionar a lista de servidores que deseja proteger e executar a ação.

Na lista de servidores mostramos o ícone de proteção:

novas-estatisticas-4

E na lista de discos, fizemos o mesmo. A proteção dos discos evita que eles sejam apagados, mesmo que o servidor seja destruido.

novas-estatisticas-5

Possui sugestões ou críticas? Não deixe de nos contactar!

Gerenciamento de instâncias reservadas AWS – reservas estão realmente sendo utilizadas?

No último post, informamos que passamos a mostrar e avisar sobre a data de vencimento das instâncias reservadas de sua conta. Agora também passamos a acompanhar se elas estão sendo utilizadas efetivamente.

Nota: Lembramos que uma instância reservada não é um servidor. É uma “posição” reservada que se compra, onde pode ou não haver um servidor rodando. Não existe “migração” de um servidor para ela. Ou a reserva está sendo ocupada por um servidor ligado ou não. Não há um critério claro de como o AWS ocupa estas posições e dependendo do número de servidores que tiver e da frequência com que são criados e destruídos, a alocação pode variar muito. Para esta alocação deve se atentar para:

  • a zona de disponibilidade;
  • se está em VPC;
  • tamanho da instância;
  • sistema operacional;
  • se há um software especifico rodando no servidor.

Veja um exemplo, gentilmente cedido por um de nossos clientes, de como o AWS faz a alocação de servidores em uma reserva. Este cliente utiliza Auto-Scaling em conjunto com as reservas que adquiriu.

instancia-reservada-controle-1

Neste cenário, os servidores vão sendo criados pelo Auto-Scaling e são alocadas nas reservas. Quando o número de servidores do Auto-Scaling já não ocupa as reservas, a Amazon passa a utilizar servidores que ele mantém ligado o tempo todo.

Caso já tenha comprado instâncias reservadas, acesse o painel do Cloud8 e clique no link “Instâncias Reservadas” abaixo do item “Custos” no menu à esquerda e confira como está o uso.

Email de alerta de uso das instâncias reservadas

Você passará a receber um email de alerta semanal se alguma instância reservada estiver sendo subutilizada:

  • Heavy Utilization: se uso estiver abaixo de 100%;
  • Medium Utilization: se uso estiver abaixo de 40%;
  • Light Utilization: se uso estiver abaixo de 25%.

Integração da lista de servidores com as instâncias reservadas

Deixamos mais claro na lista de servidores se por acaso ele foi utilizado por alguma reserva. Esta alocação, como falado anteriormente, pode variar e a estrela representará o último utilizado por uma reserva de sua conta. Com esta visualização, combinado com a coluna da data em que o servidor foi ligado, dá para se fazer uma análise de como está o uso ‘sob demanda’ vs. ‘reservado’ e se valeria adquirir uma nova reserva.

instancia-reservada-controle-2

Mais novidades

  • Melhorias para contas consolidadas;
  • Como usar o Cloud8 com uma credencial de segurança customizada;
  • Custos: Amazon Import/Export;
  • Custos: Amazon Elastic Transcoder;
  • Diversas melhorias e correções internas.
Possui sugestões ou críticas? Não deixe de nos contactar!

Obrigado!
Equipe Cloud8

AWS Summit, acompanhamento de instâncias reservadas, fechamento financeiro

AWS Summit 2013

Gostaríamos de agradecer a todos que nos visitaram em nosso stand no AWS Summit 2013 e a Amazon que nos apoiou e divulgou nosso serviço.

Veja algumas fotos em nosso perfil no Facebook. Não deixe de curtir a nossa página!


Seguem as últimas novidades, sempre atendendo a pedidos.

Acompanhamento de instâncias reservadas

Passamos a mostrar e a acompanhar as instâncias reservadas para cada provedor de sua conta. Acesse o link “Instâncias Reservadas” abaixo do item “Custos” no menu à esquerda e veja as contratadas.

 

instancia-reservada-1

Acompanhamos os seguintes tipos:

  • Servidores EC2;
  • Banco de dados RDS;
  • Instâncias ElastiCache.

Quando a data estiver próxima de vencer, enviaremos um email de lembrete e assim poderá decidir se deseja ou não renová-las.

Relatório de fechamento ao fim do mês

A Amazon costuma fechar os dados de custos alguns dias após o fim do mês e em seguida gera a cobrança. O Cloud8 intercepta o momento da criação e envia um email com os custos detalhados, quebrado por serviço e os detalhes finais das tags daquele mês. Com este relatório terá uma visão final de todos os custos do mês.

instancia-reservada-2

instancia-reservada-3

 

Método de cálculo para quem usa Conta Consolidada

É possivel definir o tipo de cálculo que será usado para contabilizar os custos dos serviços.

  • Com rateio: é o padrão que o AWS utiliza. É mostrado nas páginas de atividade de cada conta consolidada. Significa que se várias contas usarem muitos recursos como armazenamento S3, instâncias reservadas, etc, o rateio será distribuido por todas as contas de forma igual;
  • Sem rateio: somente a conta que usar os recursos é que beneficiará dos descontos.

A soma final que será paga pela conta principal é a mesma nos dois cenários. A habilitação da visualização do modo ‘sem rateio’ é indicado para empresas que tem clientes diferentes. O modo ‘com rateio’ (padrão do AWS) é usado quando todas as contas são da mesma empresa, ou então, não importa o valor consumido no AWS para o cliente final pois há um outro modelo de negócios por trás.

Mais novidades

  • Quem possuiu múltiplos provedores deve ter notado que as listas de componentes ficaram mais amigáveis com a possibilidade de se ordenar pelo provedor;
  • Custos: suporte a Amazon SWF (Simple Workflow);
  • Novas imagens padrão Windows e Linux;
  • Diversas melhorias e correções internas para acomodar o crescimento expressivo que tivemos nas últimas semanas.

Obrigado!
Equipe Cloud8

Novidades: Perfil ‘devops’, instâncias reservadas nos relatórios e histórico de custos

Seguem as últimas novidades, sempre atendendo a pedidos.

Instâncias reservadas nos relatórios de custos

O Cloud8 separou os custos do serviço “EC2 – Servidores, Discos, Backups” entre o que é “sob demanda” e as instâncias reservadas do tipo “Heavy Utilization”. Desta forma, aumentamos o grau de transparência de onde está gastando e conseguimos fazer uma previsão melhor de gastos para o fim do mês.

Veja como ficou o email. Os gráficos via painel também estão atualizados.

reserved-1
Histórico de custos no dashboard

O Cloud8 irá mostrar o histórico de custos mês a mês dos dados disponíveis e a variação porcentual. Simples e rápido. Estamos planejando incrementar colocando em forma gráfica em um futuro breve.

reserved-2

Novo perfil: Devops

Ideal para o cliente que precisa liberar acesso técnico a todas as características do Cloud8, mas não deseja mostrar os custos com a Amazon e dar acesso administrativo (criação de novos usuários, cobranças Cloud8, etc).

Casos de uso:

  • Acesso técnico para a equipe de desenvolvimento;
  • Acesso técnico para desenvolvedores/empresas terceiras;
  • Novos funcionários.

reserved-3

Obrigado!
Equipe Cloud8

Caso de uso AWS: servidor inacessível, o que fazer?

Gostaríamos de compartilhar um episódio que ocorreu este fim de semana com um cliente. Ele  sofreu uma pane no servidor do seu site e depois nos contou a estória.

A Amazon costuma enviar emails quando vai realizar uma manutenção em uma instância. Este email chega com um título como:

“Amazon EC2 Instance scheduled for retirement [AWS Account: xxxxxxxx]”

Geralmente é um pedido para desligar e ligar o servidor (não é reboot) dado que o ‘host’ em que ele se encontra vai ser aposentado. Este reinício faz com ele seja iniciado em outro ‘host’ físico e novo.

“Recebemos este email para realizar este procedimento em nosso site e para nossa surpresa, mesmo após diversos comandos de ‘desligar’ e ‘desligar forçado’, o servidor não parou. Esperamos 10 minutos e o servidor continuou com o status ‘desligando’.”

O que fazer numa situação em que o servidor não está mais acessível?

  • se tiver o suporte técnico contratado pode abrir um ticket pedindo para analisar por que o servidor não foi desligado. Se for o suporte ‘Developer’, o melhor tempo de resposta são 12 horas (se bem que todas as vezes que precisamos de suporte, este tempo foi bem menor);
  • se não tiver o suporte, o jeito é postar nos foruns. Em inglês ou português.
  • mas sendo o site crítico e não podíamos perder tempo, resolvemos restaurar o backup.

Temos nossos backups realizados pelo agendador do Cloud8. Como já visto em outro post, o Cloud8 organiza os backups por data e guarda as configurações.

Ao se restaurar o backup, bastou selecionar o IP Elástico original e pedir a criação do novo servidor. O Cloud8 criou o servidor com as mesmas configurações anteriores e depois associou o IP. O servidor voltou ao ar em poucos minutos.

Depois de mais de 45 minutos, o antigo servidor finalmente parou e poderia então ter sido reiniciado.

Lições aprendidas

  • tenha backup sempre. Não importa se é uma cópia de servidor como a Amazon faz ou então um script ou agente interno que copie os dados para outro local;
  • guarde as configurações dos servidores. Em uma situação de crise e urgência, a última coisa que quer fazer é ficar procurando quais são as configurações do servidor (IP, Grupo de Segurança, Chave de Acesso, VPC). A urgência é colocá-lo de volta no ar e da maneira CERTA;
  • tenha uma cópia independente e externa ao servidor. Isto é, não dependa de um disco extra conectado ao servidor. Se ocorrer um problema e não conseguir acessar o disco ou então da mesma forma que o servidor não parou, o disco poderia ficar em um estado de ‘desconectando…’ por diversos minutos;
  • separe sempre servidores web e banco de dados. Neste caso o cliente não tinha dados críticos neste servidor e portanto a criação de um novo não impactou em perda de dados. Mesmo assim, ainda é possível iniciar o servidor que sofreu a pane, depois que ela for resolvida e resincronizar os dados desde o último backup;
  • mundo ideal: tenha seu site/sistema de forma redundante e resiliente. Existem diversos artigos de como fazer (veja o Web Application Hosting: Best Practices)

 

Novidades: Melhorias na gestão de grupos de segurança do AWS

Complementamos a gestão dos grupos de segurança do AWS (o equivalente ao “firewall” dos servidores), adicionando e estendendo as seguintes funcionalidades:

  • Documentação de regras por IP/Rede/Grupo: acaba com o problema de se cadastrar vários IPs e não ter documentação ou então manter uma documentação paralela…
  • Suporte a VPC: regras IN e OUT configuradas em um único passo;

– criação e edição de grupo de segurança dentro de uma VPC;

  • Suporte a grupos dentro de grupos: é possível cadastrar permissão a um outro grupo da conta, VPC ou de uma conta diferente;

secgroups-1

  • Emails de sincronização. se houver uma mudança pelo console, você receberá um email detalhado;
  • Logs de auditoria melhorados: informa quais regras foram adicionadas, removidas e como ficou o grupo no final. Muito mais fácil fazer o tracking de auditoria;
  • Informa se um grupo de segurança foi conectado ou desconectado a um servidor (só é possivel fazer esta operação de mudanças em servidores em VPC);

secgroups-2

Em breve teremos mais novidades sobre os grupos de segurança!

Bom proveito!

Como economizar na nuvem AWS da Amazon usando o agendador do Cloud8

Um dos recursos mais populares do Cloud8 é o agendador. Ele permite que se agende tarefas uma única vez ou de forma recorrente. Já falamos anteriormente de como utilizá-lo para gerenciar backups. Agora vamos compartilhar melhores práticas para economizar.

Criar um agendamento

Para criar um agendamento é muito simples. Basta arrastar o mouse na área das data para o servidor que deseja criar o agendamento. Uma janela para a configuração se abrirá:

agendador-1

(aba de agendamento com tela criação das tarefas)

agendador-2

(aba de recorrência dentro da tela de criação de tarefas)

No exemplo acima, agendamos para as 5:00 da madrugada de todos os fins de semana até 31 de Julho as seguintes tarefas: desligar o servidor, fazer um downgrade para ‘m1.small’, backup e em seguida religá-lo. Se o servidor possuir um IP Elástico ou estiver em uma VPC, a ação de ligar irá associar o IP corretamente.

Economia

Para economizar, os clientes utilizam o agendador basicamente de duas formas:

  • desligar servidores: ideal para ambientes de testes que podem ser desligados de madrugada e/ou de fim de semana. Veja uma tabela com as economias:

agendador-3

  • upgrade/downgrade: diminuir o perfil quando tiver menos tráfego. A tabela leva em conta que o downgrade é feito com o perfil imediatamente inferior. Dependendo do seu tráfego, dá para diminuir e economizar ainda mais!

agendador-4

* custos em US$ referentes a US-Virgínia (us-east-1)

Dicas

  • desligue o servidor de 10-15 minutos antes da hora cheia. Isto garante que o servidor não entrará ligado na próxima hora e portanto será cobrado pela Amazon. Exemplo: no lugar de parar as 21:00, pare as 20:50.
  • ligue o servidor alguns minutos após a hora cheia.  Não há como saber se o relógio dos servidores do Cloud8 estão perfeitamente sincronizados com os relógios da Amazon. Ex: no lugar de ligar as 07:00, ligue as 07:02
  • o mesmo vale para upgrade/downgrade;

Levando em conta que o custo de se contratar o Cloud8 é bem inferior ao benefício, você certamente sairá no lucro!

Novidades: AWS Summit 2013, limpeza automática de backups, tags nos servidores

AWS Summit 2013

Gostaríamos de anunciar que somos patrocinados do AWS Summit 2013 que ocorrerá em São Paulo, no dia 30 de julho. Todos estão convidados a se inscreverem gratuitamente e divulgar o evento.

http://aws.amazon.com/pt/aws-summit-2013/sao-paulo/

 

Limpeza automática de backups e snapshots

Esta semana colocamos uma característica que completa a nossa ferramenta de backup/restore de servidores: o rotacionamento, ou se preferir, limpeza automática de backups, imagens e/ou snapshots. Principais detalhes:

  • funciona com backups, imagens e snapshots criadas manualmente, via agendador ou via script externo. Se você já tem um script que faz backup automático na Amazon e não quer usar o backup agendado do Cloud8, a limpeza automática irá ajudá-lo a limpar os componentes mais antigos;
  • configuração de limpeza por provedor. Tenha regras de limpeza diferentes para provedores de clientes e contas. Ex: limpeza atua de forma diferente quando ambientes forem de testes e/ou produção;

limpeza-backup-1

  • marcação de determinadas imagens, backups ou snapshots como ‘protegidos’ contra a limpeza automática. O caso de uso de negócios é manter determinados backups que são importantes e estratégicos e nunca apagá-los automaticamente. Você pode marcar um componente como ‘protegido’ durante a criação do backup manual ou então modificar a qualquer momento. Os componentes protegidos irão aparecer com um ícone de cadeado;

(Edição de configuração de um backup)

limpeza-backup-4

(Edição de configuração de um backup)

limpeza-backup-3

(Criação manual de um backup)

limpeza-backup-2

(Visualização da lista de backups – cadeado informa que backup está protegido contra a limpeza automática)

 

Criação e edição de tags de servidores

Agora é possível criar tags durante a configuração de novos servidores e editá-las posteriormente.

limpeza-backup-6

 (tela de resumo da criação de um novo servidor)

limpeza-backup-5

 (tags associadas durante a criação deste servidor)

Bom proveito!