/blog

Novidades: Backup Status, logins, + gestão de custos

Backup Status

O Cloud8 implementa todo o ciclo de gestão de backup/restore:

  • backups agendados e monitorados (alerta de sucesso ou erro);
  • backups de servidores (AMI) ou discos individuais (snapshots);
  • múltiplas políticas de retenção: GFS e rotacional (número de dias);
  • servidores EC2 e RDS;
  • catálogo histórico com configurações;
  • restore de servidores com configurações originais ou customizadas;
  • log de auditoria dos eventos de backup;
  • cópia para outras regiões;
  • política de retenção diferenciada para as cópias.

Para completar e incrementar ainda mais a gestão de backups, lançamos um relatório onde se pode buscar quais servidores (EC2 e RDS) estão sem backup e assim tomar as devidas providências – veja o link “Backup Status” no menu à esquerda do painel.

Veja uma captura de tela – o relatório em si é bem auto-explicativo 🙂

backup-status-2

Pontos a ressaltar:

  • Checagem de dias é dinâmico. À medida que mudar os dias, automaticamente o Cloud8 regera o relatório. Por default são 2 dias, mas cada usuário no Cloud8 pode escolher o seu próprio limite;
  • Filtros: buscar por conta AWS, nome, status, etc;
  • Filtro de ‘Favoritos’ – se houver algum servidor que não precisa monitorar o backup e não quiser que ele apareça mais, basta clicar na estrela que ele será desmarcado do relatório padrão;
  • Últimos AMIs ou snapshots – link com as informações sobre o último backup realizado em cada linha de servidor.

Alerta com logins mais detalhados

O Cloud8 já alerta sobre os logins que ocorrem no console AWS bem como das mudanças do IAM, sejam quais forem elas. Este tipo de visibilidade tem sido utilizada para monitorar a segurança, garantindo que não há acessos indesejados e que as mudanças no IAM são acompanhadas (sem backdoors!).

Atendendo a pedidos, incluimos novas informações nos alertas de login no console. Veja um exemplo:

backup-status-3

Está incluso nas notificações:

  • Quem logou – conta master ou usuário IAM que tem acesso ao console;
  • Data e o IP que logou;
  • Meio que logou – sistema operacional browser com versão. Se utilizar um aplicativo pelo celular também é mostrado;
  • MFA: uso ou não – AWS sempre recomenda habilitá-lo!

Com estas informações, você pode acompanhar quem e quando usou o console e se a localização é válida (já imaginou um login de uma conta com um IP estranho ou fora do Brasil? Será que não houve uma brecha e o login vazou?). Também pode validar se o sistema operacional e a versão do browser estão atualizados (alguém usando IE antigo? Ubuntu com Chrome/Firefox desatualizado?)

Nota: Para quem esta monitoração funcione com todos os detalhes, é necessário ter o CloudTrail habilitado.

Análise de custos por servidores: generalização

As informações sobre o custo individual de cada servidor EC2, RDS, disco e DNS trouxe um enorme entendimento do uso de recursos para nosso clientes.

Atendendo novamente a pedidos, ampliamos a análise para contemplar a estória de qualquer item que gerou custos para o componente. Veja um exemplo:

backup-status-1

Você pode escolher qualquer elemento que gerou custo e fazer o mesmo tipo de análise que faria com o custo total.

Mais novidades

Continuamos a implementar novas melhorias em todas as funcionalidades do Cloud8.

  • Billing: suporte a IoT, Elasticsearch, WAF,CloudTrail;
  • Novo tipo EC2: t2.nano;
  • Novos tipos RDS: db.t2.large, db.m4 e novos preços db.r3;
  • RDS: suporte a MariaDB, inclusive agendamentos de economia;
  • Atualização dos componentes de interface – melhor performance e mais funcionalidades;
  • Mais eventos de banco de dados: Chaves KMS, replicação externa, falha em troca de senha, MultiAZ realizado após falha no BD;
  • Servidores: lista de servidores mostra subnet além da VPC e não somente nos detalhes;
  • Análise de custos de servidores: drilldown somente com os top 10 para não poluir a visualização;
  • Drilldown de custos: expandido limite de 1000 para 3000 itens. Acima disto é necessário criar uma outra visão multidimensional;
  • Mudança de terminologia para mostrar junto EC2 Clássico e VPC Default;
  • Agendador: coluna de servidores mostra informações (como tamanho) ao passar o mouse em cima;
  • Agendador: fitro/busca na coluna de componentes;

Obrigado!
Equipe Cloud8

Saiba o que aconteceu no AWS re:Invent 2015

Retornamos do AWS re:Invent 2015 trazendo as novidades! Como em 2013 (https://www.cloud8.com.br/blog/resumo-aws-reinvent-2013-dicas-novidades-cloud/) e 2014 (https://www.cloud8.com.br/blog/resumo-do-aws-reinvent-2014/) , este ano também foi excepcional. Confira as apresentações do AWS re:Invent 2015 (http://www.slideshare.net/AmazonWebServices/tag/reinvent2015) e em seguida um resumo com o ponto de vista de um cliente do AWS.

Este 2014, o lema utilizado no evento foi ‘Cloud is the new normal‘. Já este ano, ‘Cloud has gone from probable to inevitable‘. Andy Jassy frisou que a melhor motivação para se escolher trabalhar com Cloud é a ‘liberdade’ e não custos. Ser livre para escolher, mudar, errar e inovar.

Outro destaque é que inúmeros serviços novos agora são cobrados de forma fechada por mês e não mais por unidade. Reforçamos que deve-se tomar cuidado com o uso pois alguns deles ainda são caros para padrões brasileiros (por exemplo: US$5,00 por regra WAF ou US$2,00 por Config Rule).

Lançamentos

  • QuickSight (https://aws.amazon.com/blogs/aws/amazon-quicksight-fast-easy-to-use-business-intelligence-for-big-data-at-110th-the-cost-of-traditional-solutions/) : novo serviço de visualização de dados (BI – business inteligence). Voltado para um público fora de TI – financeiro, comercial, etc – que tem como objetivo ajudar a montar gráficos, dashboards e análises a partir de todas as fontes de dados da empresa que estiverem hospedadas no AWS – S3, RDS, Redshift, EMR, etc. É um preview ainda (http://aws.amazon.com/quicksight/) e com o tempo ficará mais claro as questões relativas a segurança, flexibilidade, integração e outras. Em alguns meios de comunicação, se criticou o fato de ser uma ferramenta que tem o potencial de contornar o departamento de TI, podendo gerar atritos e má interpretação de schema de dados por usuários não técnicos. Mas dado o histórico de acertos do AWS, em algum momento, deve-se melhorar este processo e integrá-lo a todos os departamentos das empresas. Uma funcionalidade que parece bem interessante será a capacidade de criar gráficos/análises/pivot tables integradas à páginas web e relatórios;
  • MariaDB (https://aws.amazon.com/blogs/aws/amazon-rds-update-mariadb-is-now-available/) : nova opção de banco de dados no serviço RDS, compatível com o MySQL 5.6. O MariaDB é um fork do MySQL atualmente suportado/comercializado pela Oracle. O próprio criador do MySQL ficou descontente com o futuro do seu projeto e decidiu continuar o desenvolvimento do MySQL de forma independente e com outro nome. Não está claro por que o AWS suportaria mais uma versão de MySQL (além do próprio MySQL Enterprise e o Aurora), mas nos parece que é uma forma de fugir do licenciamento do MySQL e um tiro direto contra a Oracle;
  • EC2 Dedicado (https://aws.amazon.com/blogs/aws/coming-soon-ec2-dedicated-hosts/) : como o nome já diz a idéia é comprar um servidor ‘dedicado’ e nele ter a capacidade de lançar instâncias virtuais. Desta forma é possível usar licenças de softwares já adquiridas (BYOL – Oracle, Windows, etc) que tem como requisito ter um servidor físico (CPUs, cores, memória, etc) exclusivo para rodá-las. Ainda não está claro como será a compra dos servidores e quais tipos e quantidades de instâncias será possível criar. Vale aguardar mais informações pelo blog oficial;
  • AWS IoT (https://aws.amazon.com/blogs/aws/aws-iot-cloud-services-for-connected-devices/) (Internet of Things): a internet possui vasta documentação técnica e estratégica sobre como as ‘coisas/objetos’ se conectarão à internet e como já ultrapassam o número de humanos/celulares/devices. Isto é claramente uma oportunidade de desenvolvimento de sistemas e hardware que precisarão de uma infraestrutura para apoiá-los no crescimento e gerenciamento. O IoT encaixa-se, portanto, como um framework para ajudar no desenvolvimento deste tipo de produto/integração. O IoT envolve uma arquitetura padrão (iniciando com mensageria) e conexão a hardwares por meio de seus protocolos – sejam abertos ou específicos de fabricantes. Como outros produtos, o AWS não quer que as pessoas reinventem a roda e já podem partir para desenvolver complexas aplicações escaláveis a partir de um padrão e focar em entregar valor ao cliente, com a mínimo de preocupação na infraestrutura;
  • AWS Mobile Hub (https://aws.amazon.com/blogs/aws/aws-mobile-hub-build-test-and-monitor-mobile-applications/) : é um ambiente de desenvolvimento para aplicações móveis que acelera a geração de código ao implementar funções padrões. Novamente, o objetivo é não reinventar a roda. Um exemplo são as funções de autorização e autenticação que usam serviços AWS (como Cognito e IAM) e já poderiam vir integrados automaticamente com o seu código da aplicação móvel. O Mobile Hub gera código para iOS e Android;
  • Kinesis Firehose (https://aws.amazon.com/blogs/aws/amazon-kinesis-firehose-simple-highly-scalable-data-ingestion/) : serviço de ingestão de dados no S3 ou Redshift. Como a maioria dos processos de ingestão de dados é semelhante, o AWS lançou este serviço para evitar que se configure um monte de servidores somente para gerenciar um processo de cópia de dados. Com o Firehouse é possível fazer isto de forma simplificada;
  • Snowball (https://aws.amazon.com/blogs/aws/aws-importexport-snowball-transfer-1-petabyte-per-week-using-amazon-owned-storage-appliances/) : nos EUA, o AWS permite que se envie dados para o S3 em um serviço conhecido como Import/Export. Anteriormente, enviavam-se mídias, como DVDs, pelo correio e o AWS se encarregava de transferir para a nuvem. Dada a natureza exponencial do tamanho dos dados sendo gerados internamente pelas empresas, a falta de padronização no processo de exportação/importação (e portanto com muitos erros) e a clara falta de segurança de se trafegar uma mídia física que pode nem estar encriptada, o AWS lançou o Snowball para resolver este desafio. Trata-se de um hardware – uma caixa rígida – capaz de carregar até 45 TB de dados de forma encriptada e padronizada. O cliente pluga o Snowball na rede, faz upload dos dados, o Snowball encripta e a UPS busca. Este processo leva poucos dias e pode contemplar Petabytes de dados. Previsão para o Brasil? Nenhuma, mas achamos que com este device é mais provável acontecer aqui do que ter que depender de processos manuais no antigo serviço. Veremos;
  • Elastic Search (https://aws.amazon.com/blogs/aws/new-amazon-elasticsearch-service/) : lançando alguns dias anteriores ao re:Invent, este serviço é uma implementação do Elastic (https://www.elastic.co/) com infraestrutura gerenciada pelo AWS. Posicionaríamos ele como uma evolução do CloudSearch (baseado em Solr) e também usado para buscas rápidas de grandes volumes de dados. Os grandes diferenciais são a visualização dos dados por meio do Kibana (https://www.elastic.co/downloads/kibana) e as integrações ‘prontas’ com Lambda e CloudWatch Logs;
  • WAF (https://aws.amazon.com/blogs/aws/new-aws-waf/) : acrônimo para ‘Web Application Firewall’. O AWS foi atrás de produtos de segurança este ano (ver Inspector e Config Rules adiante) e o primeiro da leva foi o WAF. Basicamente é criar uma série de regras que são aplicadas a uma requisição web e assim decidir se irá ser aceita ou rejeitada. Por enquanto é somente aplicável para distribuições CloudFront, mas futuramente, acreditamos que devem se estender a servidores EC2 – afinal boa parte das aplicações ainda não está integrada ao CloudFront;
  • Config Rules (https://aws.amazon.com/blogs/aws/aws-config-rules-dynamic-compliance-checking-for-cloud-resources/) : o AWS lançou o Config (https://aws.amazon.com/config/) no re:Invent passado. Ele é um serviço de CMDB (configuration management database) para fazer inventário e tracking de mudanças ao longo do tempo. Por enquanto somente suportando EC2 (e anunciaram IAM até o fim do ano), o ‘Rules’ vêm a se somar como um mecanismo de reforçar padrões. A toda mudança é aplicada uma regra. Exemplos de uso: se uma instância não tiver tag, destrui-la ou assinalar uma tag padrão, se uma VPC não tiver um padrão, avisar o admin, checar grupos de segurança, etc.
  • Inspector (https://aws.amazon.com/blogs/aws/amazon-inspector-automated-security-assessment-service/) : outro serviço de segurança, visa a garantir a segurança interna do servidor. Para usá-lo é necessário instalar um agente no servidor (somente Amazon Linux e Ubuntu por enquanto) e acionar a monitoração via console ou API. Este agente é mais que um anti-virus, pois checa vulnerabilidades (CVEs), configurações (ex: bibliotecas com permissão 777) e melhores práticas. Ainda em preview e não foi divulgado o modelo de custos;
  • Novos tipos de instâncias (https://aws.amazon.com/blogs/aws/ec2-instance-update-x1-sap-hana-t2-nano-websites/) : como de praxe, o AWS sempre anuncia novos tipos. Este ano foram o tipo x1 (2TB de memória – sic! e mais de 100 cores) e o tipo t2.nano para websites bem pequenos. A previsão de lançamento é no primeiro semestre de 2016.

Atualizações:

Quase todos os serviços acabam ganhando alguma funcionalidade nova, mas vale destacar:

Apresentações

Os principais links para as apresentações são:

Dicas gerais

Seguem algumas dicas que assistimos ou que foram bem comentadas por outros participantes. Reforço que vale navegar pelas sessões (são mais de 200) e escolher algumas para assistir. Este ano o nível técnico e didático foi particularmente muito bom.

  • O AWS lançou treinamento online para segurança – security fundamentals (https://aws.amazon.com/training/course-descriptions/security-fundamentals/) ;
  • Nas palestras do summit dos parceiros foram validados alguns cenários para otimizar o trabalho com o AWS e diminuir riscos. O que vale destacar é trabalhar com ambientes de produção e desenvolvimento em contas AWS separadas para ganhar em agilidade e diminuir os riscos de mudar e quebrar um ambiente. Há clientes que vão além e chegam a ter até 5 ambientes entre eles staging, QA, sandbox por cliente/produto. Outra dica (meio imediata, mas pouco executada) é para quem tem legado e usa o EC2 Clássico. O AWS recomenda fortemente migrar para VPC (mesmo por que as novas instâncias, serviços, etc já não rodam no EC2 Clássico);
  • Vale conferir o trabalho que a empresa MLBAM (http://www.mlbam.com/) está fazendo em termos de mídia pela internet. O sucesso do produto, que acompanha a liga americana de Baseball de maneira interativa, culmina no spin-off da empresa que agora proverá serviços para outros esportes (NHL) e canais como HBO, tornando-se um concorrente do Netflix (quem diria que poderia surgir um peso pesado deste porte!);
  • Para quem está começando com Lambda e pretende usar Javascript, vale conferir um framework novo – JAWS (https://github.com/jaws-framework/JAWS) – criado especificamente para este serviço;
  • Suporte: assistimos a uma palestra sobre machine learning aplicado a reconhecimento de padrões nas redes sociais – isto é, se quando encontram uma menção ao AWS, será que há necessidade de suporte? A dica que ficou é que se twittar com o termo @awscloud, você será atendido rapidamente… 🙂 Fica a dica;
  • O AWS lançou um documento referência (https://d0.awsstatic.com/whitepapers/architecture/AWS_Well-Architected_Framework.pdf) para verificar se a sua arquitetura está bem realizada. Vale conferir;
  • Amazon Kinesis Analytics (https://aws.amazon.com/kinesis/analytics/) : capacidade de rodar queries SQL em real time. Coming soon;
  • EC2 Container Service suporta composer (https://aws.amazon.com/about-aws/whats-new/2015/10/introducing-the-amazon-ec2-container-service-cli-with-support-for-docker-compose/) ;
  • Redshift (https://github.com/awslabs/amazon-redshift-utils) : disponibilização de uma série de ferramentas para analisar performance e realizar ações automatizadas;
  • Machine Learning (http://blog.dato.com/coursera-specialization-in-machine-learning) : uma das empresas patrocinadores, a Dato, lançou um curso no Coursera sobre ML que parece bem interessante;
  • Algorithmia (https://algorithmia.com/) : um marketplace de algoritmos acessíveis via webservice. Dá para facilmente integrar algoritmos como ‘Reconhecimento Facial’ ao processamento de imagens no S3 invocando um lambda e muito mais;
  • Deep Dive: a dica é ao procurar por uma palestra usar a expressão “Deep Dive”. O AWS nomeou algumas palestras como “Elastic Load Balancing Deep Dive”;
  • Enfim, não deixe de navegar pelas palestras.

Já possui alguma necessidade de extensão ou automação de algum destes serviços? Fale conosco!

Obrigado!
Renato
CIO/Founder

Agendador + LBs, novas plataformas, custos e filtros

Novidades do mês de setembro!

Agendador: melhorias no workflow com Load Balancers

O agendador tem sido muito utilizado para economizar no AWS: desligar infraestrutura ociosa em horários que não precisa estar ligada, parar ambiente de desenvolvimento, upgrade/downgrade de EC2/RDS, etc.

Também é possível orquestrar ações em servidores que estão atrás de Load Balancers. Por exemplo, desconectar do LB e em seguida desligar um servidor. Pode-se fazer ainda o upgrade/downgrade de 2 (ou mais) servidores sem downtime! Veja como ficaria o workflow:

  • desconectar de um LB
  • parar servidor
  • downgrade
  • iniciar servidor (inclui de forma transparente a conexão do IP Elástico – se tiver)
  • conectar ao LB

Com mais servidores, repete-se este mesmo processo em intervalos seguintes, por exemplo 15 minutos depois. Desta forma, você não perderia nenhuma requisição.

Novidade: alguns clientes estão condensando cargas de vários servidores em servidores maiores para fins de economia. Como o AWS permite que vários LBs mapeiem um servidor, é possível ter vários ‘endpoints’ de aplicações (DNS/Domínio do ELB) apontando para um pool de servidores na mesma VPC e servindo a todas as requisições.

O agendador permite que se desconecte o servidor de um LB específico (anteriormente desconectava de todos). Veja como ficou os parâmetros de orquestração.

agendador-descon-lb

Agora você tem mais uma opção de economia!

Visibilidade da plataforma dos servidores

Incrementamos a coluna ‘plataforma’ da lista de servidores com as seguintes plataformas:

  • Linux
  • Windows
  • Red Hat Enterprise Linux
  • Suse Linux Enterprise Server
  • Windows SQL Server Standard
  • Windows SQL Server Web

Por que isto é importante? Os custos são maiores que o do SO pleno (pois incluem as licenças do software) e facilita-se a pesquisa bem como a compra de instâncias reservadas. Outro motivo, é que dependendo da template AMI que usou da lista pública no AWS, pode ser que ela herdou alguma licença e que no momento da criação do servidor não ficou claro que pagaria mais. Com esta transparência na visibilidade, esperamos ajudar a ter controle melhor sobre o que roda na sua nuvem.

Melhorias na Análise de custos dos componentes

Melhoramos performance, detalhamento e estimativa desde o lançamento. Também inserimos um botão de ‘zoom’ em todos os gráficos para que os veja em tela cheia e exporte no formato que desejar.

custos-zoom

+ Filtros e exportação dos Logs de Auditoria

Continuamos a investir em visibilidade e transparência. A criação de filtros e mecanismos de buscas é parte importante da interface para que os clientes ganhem produtividade, possam encontrar informações e fazer diagnósticos e análises de forma rápida.

Neste mês melhoramos ainda mais os filtros:

  • Busca por 2 ou mais palavras chaves separadas por vírgula. Ex: 2 servidores: “i-xxxxx,i-yyyyy”;
  • Busca inversa. Pode-se colocar um “-” para trazer “tudo, menos…”. Ex: “-i-xxxxxx”, “-Nome”, etc;
  • Lista de servidores: filtro para buscar quais servidores estão alocados com Instância Reservada e quais não – facilita análise para comprar novos;
  • Filtro na coluna de ‘Conectado a servidor’ em Discos;
  • Filtros de métricas com mais opções: renomear e regravar com novas configurações.

Já os logs de auditoria em linguagem de negócio e técnica tem possibilitado o diagnóstico de diversos eventos: ‘sumiço’ de IPs elásticos, mudanças de regras de grupos de segurança, logins no console AWS, etc.

Muitos clientes precisavam compor relatórios gerenciais a partir de buscas e segmentações realizadas. Criamos um botão parar ‘Exportar’ os logs em formato CSV da mesma forma que é possível exportar o inventário dos seus componentes de infraestrutura.

Compartilhamento de Snapshot

Já era possível compartilhar imagens entre diversas contas AWS e agora estendemos esta funcionalidade para os snapshots.

snapshot-sharing

Um caso típico de uso é a criação de uma base de ‘snapshots’ em uma conta principal e o compartilhamento com outras contas. Quando precisa criar um disco, basta usar o snapshot centralizado e compartilhado (o mesmo vale para os AMIs ‘centralizados’).

Mais novidades

Continuamos a implementar novas melhorias em todas as funcionalidades do Cloud8.

  • Análise de custos: suporte ao AWS Service Catalog e Suporte Enterprise;
  • Melhor checagem nos alertas de infraestrutura dos servidores para evitar falso-positivos caso esteja no meio da execução de um backup ou de uma tarefa de um agendamento;
  • Exportação do catálogo de componentes: inclusão da coluna ‘custos’ para os perfis que possuem permissão;
  • Gráficos de billing: tooltip dos custos agrupada em uma só para melhorar visualização;
  • Alerta de sincronização de novo servidor: se for um servidor criado dentro do OpsWorks indica com o ícone e o tooltip do Stack;

Sugestões? Dúvidas? Críticas? Envie para nós!

Obrigado!
Equipe Cloud8

Custos por componente, suspensão de agendamentos, métricas customizadas

Custos por componente

A nova realidade de dólar alto exige que cada vez mais se afine o controle de custos. Entender onde os custos estão alocados e as margens de ajuste é, portanto, fundamental neste cenário.

Com o intuito de facilitar a análise dos custos, atualizamos a nossa ferramenta financeira.

Agora pré-processamos todos os dados de custos de todos os componentes em que o AWS disponibiliza os detalhes. A visualização de qual o componente custa mais é realizada rapidamente direto nas listas e ao clicar, mostramos uma análise detalhada.

Veja como ficou a lista de servidores por exemplo:

cost-detail-1

O link no custo abre uma aplicação de análise de custos detalhada:

  • Dashboard: resumo, histórico e análise drilldown rápida;

cost-detail-2

  • Série temporal: evolução ao longo do tempo de qualquer detalhe do componente;

cost-detail-3

  • Tabelas;

cost-detail-4

Além dos servidores, esta aplicação de análise está disponível para os componentes:

  • Discos;
  • Load Balancers;
  • DNS;
  • Banco de dados RDS.

Em breve pretendemos ampliar para outros componentes e criar novas visões de análise.

Lembre-se que ainda existe a análise genérica de custos que permite combinar quaisquer dimensões e tags! Também utilize as métricas para verificar o consumo de recursos técnicos (CPU utilizado, rede, I/O, etc) e dimensionar corretamente os componentes!

Agendador: suspensão/reativação de eventos

Implementamos uma característica muito pedida pelos usuários do agendador: a suspensão de um ou mais eventos e sua posterior reativação.

No lugar de se remover ou editar (por exemplo: transferir para o futuro) um evento, agora é possível suspendê-lo rapidamente. Se o evento tiver vários componentes associados, ele pode ser suspenso para todos ou então somente um deles.

cost-detail-5

Casos de uso:

  • suspender a execução de agendamentos recorrentes como ‘iniciar servidores’ ou ‘upgrade/downgrade’ em feriados ou emendas para se economizar ainda mais;
  • suspender agendamentos por conta de pedidos de última hora. Ex: equipe de desenvolvimento vai trabalhar no servidor X e não querem que se mexa nele;
  • bloqueio ou melhor documentação de eventos, marcando dias em que não se pode executar determinadas tarefas.

Métricas customizadas

O AWS disponibiliza diversas métricas sobre os seus serviços por meio do CloudWatch. O Cloud8 já integra as métricas mais usadas para os servidores, banco de dados RDS e discos (CPU, espaço em disco de RDS, I/O, etc), de forma que possa fazer comparações, análises de diversas contas e regiões ao mesmo tempo.

O que muita gente desconhece é que possível criar métricas customizadas, internas a um servidor e inseri-las automaticamente no CloudWatch. Com isto mantem-se um histórico de 14 dias e pode-se criar alarmes baseados em variações que você mesmo define.

As métricas customizadas mais usadas para servidores são: memória livre, espaço em disco livre (quem já não estourou o espaço de um servidor sem querer?) e uso de swap.

Caso queria criá-las, basta seguir as instruções disponibilizadas pelo AWS:

O Cloud8 suportará automaticamente.

Mais novidades

Continuamos a implementar novas melhorias em todos as funcionalidades do Cloud8.

  • Análise de custos: suporte aos mais novos produtos recentemente lançados – CodeCommit, CodePipeline, EFS, API Gateway, Device Farm e WAM;
  • Suporte a novos tipos de servidor D2, M4 e t2.large;
  • RIs All Upfront: separado o uso nos relatórios e emails de custos;
  • RDS: mapeamento de novos avisos para problemas com SQL Server;
  • Snapshosts: ao logar na auditoria o término de um snapshot, também guarda o ID do servidor e disco que estava relacionado para fins de tracking e troubleshooting;
  • Snapshot e Backups: ao fazer a ação diretamente do painel, também é possível escolher a política de retenção;

Sugestões? Mande para nós!

Prêmio AWS Technology Partner, OpsWorks, LoadBalancer, Aurora, CloudTrail

Prêmio – Melhor parceiro de tecnologia da América Latina

Gostaríamos de agradecer a todos clientes, parceiros e colaboradores que participaram e confiaram no Cloud8! No AWS Summit 2015 de São Paulo fomos premiados como o melhor parceiro de tecnologia da América Latina!!

Estamos ainda mais motivados na nossa jornada de ajuda na adoção do Cloud Computing e continuaremos a valorizar acima de tudo nossos clientes e parceiros entregando serviços de qualidade. Conte sempre conosco!

Renato Weiner – CIO/Founder

premio-aws-technology-partner-blog-2014-2015

Confira nossa participação no AWS Summit 2015:

OpsWorks

Para quem usa o ambiente de gerenciamento do OpsWorks, passamos a suportar algumas ações como parar/iniciar.

O Cloud8 identifica que o servidor está um ‘stack’ OpsWorks e utiliza a API correta. As ações funcionam tanto para a lista de servidores como para ações agendadas. Caso possua um ambiente de testes rodando no OpsWorks, pode utilizar a flexibilidade do nosso agendador para também economizar dentro desta arquitetura.

Os servidores OpsWorks são identificados pelo ícone op na lista de servidores.

Suporte a Load Balancers

O Cloud8 suporta Load Balancers nos eventos de agendamento e é possível criar um workflow com a seguinte sequência de comandos:

“Desconectar do LB” -> “Parar” -> “Upgrade/Downgrade” -> “Backup” -> “Copia para outra regiao” -> “Ligar” -> “Conectar ao LB”

Agora estamos centralizando o gerenciamento dos Load Balancers de todas as regiões e todas as contas AWS em um único ponto. Basta clicar na lista da esquerda, abaixo de ‘Servidores’ e expandi-lá para encontrar ‘Load Balancers’.

lb-1

As ações suportadas pelo Cloud8 são:

  • conectar servidores;
  • desconectar servidores;
  • configurar Crosszone e Connection Draining;
  • diagnótico de melhores práticas: crosszone, connection draining e protocolos e cyphers inseguros.

A parte de diagnóstico de segurança é particularmente interessante. Ultimamente vem sendo encontrado uma série de vulnerabilidades de segurança no protocolo e cyphers ligados a SSL – Poodle, Freak, Logjam. Em todos eles é necessário atualizar os protocolos e cyphers dos seus Load Balancers (e servidores Apache, Nginx, etc) – veja como as policies do AWS vão evoluindo ao longo do tempo.

O Cloud8 faz o diagnótico das policies e mostra quais Load Balancers precisam ser atualizados.

A gestão dos Load Balancers está inclusa e não há custo adicional.

CloudTrail

O CloudTrail é um serviço do AWS que registra todos os comandos técnicos (APIs, vamos assim dizer) que são executados no seu Cloud. Ele não vem habilitado por default e recomendamos que todos o habilitem. A lista de provedores AWS cadastrados no Cloud8 agora mostra quais estão habilitados e se há alguma configuração pendente.

lb-2

Conforme publicamos anteriormente, já integramos alguns tipos de eventos com o CloudTrail no log de auditoria do Cloud8 e pretendemos integrar outros mais. Tudo para dar mais sentido de negócio às ações técnicas.

Não deixe de habilitá-lo! No futuro será muito mais benefíco para o diagnóstico e backtrack de problemas.

Aurora

O AWS liberou o beta do banco de dados Aurora para muitos clientes (cheque se não foi contemplado!).

O Cloud8 já se antecipou e agora suporta todas as funcionalidades de RDS!

  • listagem e informações;
  • eventos de banco de dados, backups e erros;
  • backup com políticas de retenção automática e GFS;
  • upgrade/downgrade e mudança SingleAZ/MultiAZ para economia.

Mais novidades

Continuamos a implementar novas melhorias em todos as funcionalidades presentes do Cloud8.

  • Billing: suporte a AppStream;
  • No perfil customizado de ações para o servidor adicionamos a permissão ‘Backup servidores’;
  • Relatório de instâncias reservadas mostra RIs expiradas dentro do mês;
  • Se há uma RI expirada no mês, não atualizamos a marcação de uso na lista de servidores;
  • Route53: melhor tratamento do DNS quando há mais de 100 registros;
  • BUG: não era possível atualizar a prioridade de MX para zero de um registro de DNS;
  • BUG: RIs All Upfronts não eram atualizadas quando havia conta consolidada.

Sugestões? Dúvidas? Críticas? Envie para nós!

Obrigado!
Equipe Cloud8

AWS Summit 2015, + segurança IAM, perfis customizados

AWS Summit 2015 – São Paulo

Pelo terceiro ano seguido seremos patrocinadores do AWS Summit 2015 que acontece em São Paulo no dia 28 de maio. Todos estão convidados a se inscreverem gratuitamente e assistir as novidades e palestras técnicas.

http://aws.amazon.com/pt/summits/sao-paulo/

+ Credenciais IAM

No último comunicado anunciamos a monitoração das credenciais IAM. Desde então implementamos muito mais funcionalidades com o feedback dos clientes:

  • monitoração do usuário ROOT (isto é, o uso do email que contratou o AWS e que é uma conta da amazon.com e não do IAM);
  • monitoração das credenciais e certificados digitais usados por ROOT;
  • monitoração de troca de senha de um usuário IAM;
  • últimas data, serviço e região de uso das credenciais;

Por default, a monitoração já foi habilitada para todos os clientes. Se desejar modificá-la, basta clicar no menu esquerdo, nos alertas de segurança.

PS. 1. O AWS recomenda não logar com o usuário ROOT da sua conta e nem o uso de suas credenciais. É sempre melhor utilizar um usuário IAM com MFA habilitado para maior segurança.
2. Não deixe de habilitar o CloudTrail para que esta monitoração funcione ainda melhor.

Relatório unificado de Credenciais IAM

Publicamos no painel de controle um relatório onde é possível ver as credenciais de todos os usuários e roles de todas as suas contas AWS (menu esquerdo -> “Credenciais IAM”).

iam2-i

Algumas vantagens deste relatório:

  • Todas as contas AWS de uma vez;
  • Usuários e roles na mesma visão;
  • Buscas: provedor AWS, nome, policy, último login, última troca de senha, accesskeys, etc;
  • Visualização e busca nos documentos das policies: é possível um usuário possuir Policies Inline, Managed e herdar Inline e Managed de grupos. Mostramos todas de uma vez para facilitar a gestão. Ex: ao buscar com o termo ‘EC2′, o relatório exibe somente quem possui alguma policy com esta configuração;

Perfil customizado: permissão por servidor

Atendendo a pedidos, agora é possível criar um perfil, “Servidores (custom)” selecionando somentes os servidores e ações que um usuário pode visualizar e realizar. Estes servidores podem ser de contas AWS e regiões diferentes.

Por enquanto disponibilizamos 3 ações: Ligar, Parar e Rebootar. Caso possua alguma outra necessidade de negócio, nos avise!

Como sempre, todas as ações são logadas na auditoria.

iam2-ii

Principais casos de uso

  • Delegar ações simples a membros da equipe;
  • Capacitar um time de plantão / suporte N1 / Service Desk a executar ações básicas sem a necessidade de pedir a operações/infra/devops;
  • Fornecer acesso a servidores para terceiros – agências digitais, desenvolvedores, outras equipes, etc;

Outros

Continuamos a implementar novas melhorias em todos as funcionalidades presentes do Cloud8.

  • Billing: suporte a Machine Learning;
  • Buscas nas Instâncias reservadas: usadas, não usadas, usadas nos últimos 7 dias, ID e nome de servidor, tipo, tamanho e data das RIs, etc;
  • Na lista de servidores, mostramos agora somente o último servidor usado em RI e não mais todos que foram usados durante o mês. Isto permite mapear melhor o uso das RIs contratadas;

Sugestões? Dúvidas? Críticas? Envie para nós!

Obrigado!
Equipe Cloud8

Monitoração de segurança IAM, descontos progressivos

Monitoração de Segurança IAM

Continuamos a investir pesadamente em segurança. Além da possibilidade de se utilizar dentro do Cloud8 uma credencial segura e com mínimas permissões, habilitar MFA no login do painel, alertas de modificação de grupos de segurança e usar perfis de acesso, incluímos a monitoração da segurança do IAM.

iam-i

Imagine o Cloud8 como um auditor que irá checar regularmente como estão as configurações do IAM e se houver qualquer mudança, avisará. Confira os detalhes das mudanças monitoradas:
  • Criação, modificação e remoção de Users, Groups e Roles;
  • Policies Inline e Managed: qualquer alteração/remoção de conteúdo e/ou versionamento (Managed), avisamos todos os Users e Roles afetados;
  • Ativação de MFA, login no console, certificados digitais para os usuários;
  • Mudança de Trust RelationShip dos Roles;

E os alertas/notificações:

  • Log de auditoria integrado com histórico de mudanças;
  • Notificação por email para um ou mais endereços;
  • Abertura de incidente via PagerDuty (em beta! Participe abrindo um chamado no helpdesk)

Por default, a monitoração já foi habilitada para todos os clientes. Se desejar modificá-la, basta clicar no menu esquerdo, nos alertas de segurança.

Casos de uso

  • Mudanças transparentes para o gestor e o time;
  • Detecção se conta foi comprometida com a criação de novos users/roles não autorizados;
  • Proteção contra mudança indevida (backdoor) por algum user/role;
  • Inventário da segurança IAM;

Descontos progressivos

Estamos repassando o ganho de escala que obtivemos em forma de descontos progressivos. Confira como ficaram os novos preços.

Servidores EC2 – não importa o tamanho

iam-ii

Servidores RDS – não importa o tamanho
iam-iii
Todos os tiers de descontos são aplicados automaticamente e estão em vigor desde março/2015.

Outros

Continuamos a implementar novas melhorias em todos as funcionalidades presentes do Cloud8.
  • Billing: suporte ao WorkMail;
  • Discos: suporte a discos com 16 TB e 20000 iops;
  • Suporte a nova região de São Paulo sa-east-1c;
  • Backup RDS: retentativas se servidor estiver pendente (manutenção, aplicando patch, modificando, etc);
  • Atualização da aplicação de acesso SSH com novo certificado digital;
  • Perfil ‘readonly’ suporta escolher qual provedor(es)/conta(s) AWS terá acesso;
  • Lista de grupos de segurança mostra ID da VPC;
  • Melhoria significativa no tempo de geração dos dados e análise de custos – acompanhamos melhor os horários que o AWS gera os dados e assim os consumimos mais rapidamente;
  • BUG: CNAME do DNS não aceitava subdomínio começado com número;
  • BUG: algumas instâncias reservadas do tipo ‘All Upfront’ apresentavam padrão de uso errado;

Novas métricas, catálogos de componentes, PagerDuty

Revisitando: economia de custos

Nesta realidade tempos de dólar alto, a pergunta mais frequente que tem sido feita, é como o Cloud8 pode ajudar a economizar. Seguem os dois links com explicações detalhadas de como economizar até 40% com simples ações executadas pelo agendador:

Economizando no EC2

Economizando no RDS

Métricas dos servidores, discos e banco de dados

Melhoramos significativamente a análise das métricas dos componentes do seu cloud.

new-metrics-1

Confira as melhorias:

  • Visualização: múltiplas métricas de clientes, regiões e componentes distintos no mesmo gráfico;
  • Filtros: gravar o relatório que criou e depois poder acessar rapidamente;
  • Parâmetros: tipo de métrica (Média, Máximo, Mínimo, Todos), intervalo (de 5 em 5 minutos, por exemplo) e período (últimas 48 horas) ou período customizado

Casos de uso:

  • Plotar no mesmo relatório as CPUs dos servidores web e a CPU do RDS – dá para acompanhar exatamente os picos e se há correlação;
  • Comparar clientes diferentes que tenham o mesmo deploy de sistema;
  • Acompanhar a rede de um gateway e comparar com algum servidor crítico dentro da sua arquitetura;
  • Combinar todas as métricas de RDS em um mesmo lugar: CPU, número de conexões, memória livre, espaço livre;

Integração de incidentes com o PagerDuty

Uma das características bem bacanas do Cloud8 é a monitoração do status da infraestrutura dos servidores que o AWS disponibiliza. Por meio das APIs (ou do próprio console) é possível saber como estão a rede do seu servidor e o status do host onde está rodando a sua máquina virtual.

Quando há algum problema, o AWS muda o status e o Cloud8 o captura, enviando um email sobre este incidente e depois alertando quando estiver tudo bem novamente.

Este tipo de alerta é extremamente útil para o diagnóstico do que realmente ocorreu no incidente.

Suponha que o seu servidor/sistema parou de funcionar. Quase todo mundo já dispõe de um sistema de monitoração – PingDom, Nagios, Zabbix, etc – e ele alertaria. A primeira reação seria tentar logar no servidor com problema e depois do reboot/mitigação, olhar logs da aplicação, revisar arquitetura, conectividade, etc. Ou seja, tempo e trabalho que pode ser inútil e improdutivo dependendo realmente do que ocorreu.

Ao combinar o alerta de infraestrutura com a notificação destes sistemas, é possível chegar a um diagnóstico mais rápido e preciso: afinal, se por acaso, foi problema na infraestrutura, não é necessário gastar tempo com pesquisas e remedia-se melhorando a arquitetura para torná-la mais robusta e resiliente.

Agora estamos facilitando ainda mais o diagnóstico ao integrar os alertas de infraestrutura do AWS com o PagerDuty. O PagerDuty é basicamente um sistema de gerenciamento de incidentes. Ao abrir um novo incidente, por meio de uma escala de notificações, ele envia os alertas para as pessoas/times pelo meio (email, SMS, etc) e políticas configuradas. Ele também integra com praticamente todos os sistemas mais comuns de mercados – Zabbix, Nagios, etc.

Indiretamente, é possível integrar o Cloud8 com qualquer plataforma de monitoração!

Catálogo: exportação dos componentes

Disponibilizamos a pedido, um botão para exportar em CSV os seus componentes. new-metrics-2 Você pode exportar: Zonas de DNS, Servidores, Discos, Bancos de dados RDS, Backups/Imagens, Snapshots, Grupos de segurança e Chaves Privadas.

Casos de uso: catálogos para geração de relatórios, inventário, integrações com outros sistemas, planejamento de manutenções, etc.

Outros

Além dos tópicos principais:

  • Novo evento RDS: Sistema Operacional pode matar o processo do banco se houver algum parâmetro configurado errado nos ‘Parameter Groups’;
  • Visualização do ID da VPC em que está o servidor e o banco RDS;

Sugestões? Dúvidas? Críticas? Envie para nós!

Obrigado!

Equipe Cloud8

Manutenções AWS, RIs Upfront, C4 e alerta GHOST

Seguem as novidades das últimas semanas.

Avisos de manutenção do AWS

O AWS envia avisos sempre que precisa realizar uma manutenção em um servidor. Os motivos são diversos: aplicação de patches no virtualizador, hardware antigo que será aposentado, perda momentânea de comunicação de rede, etc.

Por padrão, enviam um email para o login da conta AWS e avisam via console (o aviso está disponível via API também), mas não avisam quando é completada ou quando é cancelada.

A partir desta semana, o Cloud8 avisa das manutenções para o email que desejar, em múltiplas contas AWS. Implementamos 3 avisos, dois a mais que o AWS:

  • Manutenção em si;
  • Novo: Manutenção executada;
  • Novo: Manutenção cancelada.

Desta forma tem maior visibilidade do que ocorre. Os avisos de manutenção também são mostradas na sua lista consolidada de servidores para todas as contas e regiões.

manut-1

E logicamente, fica tudo logado na auditoria.

Novos tipos de reservas

Passamos a suportamos os novos tipos de instâncias reservadas (RIs):

  • No upfront;
  • Partial upfront;
  • All upfront;

O relatório semanal de uso das RIs já reflete se elas estão sendo bem utilizadas ou não e os alertas de expiração também.

Para conferir se as suas RIs estão OK, veja como está no painel de controle.

O relatório de fechamento mensal terá uma indicação se o uso das instâncias reservadas foi OK ou não.

Suporte a instâncias do tipo C4

Recentemente o AWS divulgou uma parceria com a Intel para o uso de um processador otimizado para rodar carregamentos de Cloud. Como já liberaram em diversas regiões, o Cloud8 passa a suportar as instâncias C4:

  • Custeio;
  • Criação, upgrade/downgrade;
  • Alertas e estatísticas de uso;

Lembrando que por se tratarem de novos tipos, só é suportado dentro de VPC e no modo de virtualização HVM – portanto, somente dá para criar servidores a partir de backups/imagens HVM.

A diferença de preço para os tipos C3 é de cerca de 10%, mas a performance de CPU e disco que é entregue, é superior a isto. Vale a pena conferir.

Alerta de segurança – GHOST em glibc do Linux

Nos últimos dias, a comunidade open source alertou de um bug crítico no glibc que chamaram de GHOST. A Amazon publicou um alerta de como mitigar este risco e aplicar o patch para quem usa Amazon Linux.

Recomendamos fortemente a todos que possuem servidores linux expostos na web, pesquisar se a distribuição que estão usando é vulnerável e como aplicar o patch.

Outros

Além dos tópicos principais:

  • Região de Frankfurt passa a suportar ElastiCache (Cloud8 alerta sobre RIs de ElastiCache);
  • DNS: é mostrado se um DNS é privado ou público;
  • Suporte a MFA no login é oficial;
  • Monitoração de RDS expandida: espaço em disco do banco de dados terminou, aplicação de patches off-line;
  • diversas melhorias internas e de performance.

Obrigado!
Equipe Cloud8

Agendamento de snapshots de discos, MFA no login

Seguem as novidades do mês de novembro.

Agendamento de backup e cópia de discos

Um dos maiores casos de uso do Cloud8 é o gerenciamento de backup/restore de servidores (EC2 e RDS ). Os clientes agendam backups e cópias entre regiões na periodicidade que faz sentido para o negócio: multiplas vezes ao dia, diário, semanal e mensal. Também utilizam as políticas de retenção para decidir como manter as cópias de segurança e por quanto tempo.

Quando se cria um “backup” pelo Cloud8 (e logicamente também pelo Console/API do AWS), gera-se o que se chama de AMI. O AMI nada mais é que uma cópia de todos os discos com a configuração de como recriar um servidor novo. Restaurar um servidor inteiro usando um AMI é muito mais prático e rápido do que usar snapshots individuais dos discos ***.

Agora pelo painel do Cloud8 também é possível criar agendamentos de eventos para os discos.

sched-vol-1

As tarefas disponíveis para os discos são:

  • Backup/Snapshot: cria um snapshot do disco e escolhe a política de retenção;
  • Cópia para outra região: copia como Disaster Recovery para outra região.

sched-vol-2

Casos de uso para snapshot de discos

Alguns cenários se beneficiam da automatização do backup de disco:

  • MongoDB, SQL Server: fazer snapshot periódico (x horas em x horas) do disco que contém o dump do MongoDB ou o disco que tem os logs do SQL. Em uma estratégia mais sofisticada, seria possível fazer um backup “full” (AMI) por dia e mais diversos snapshots ao longo do dia do disco que contém os ‘log files’. Em caso de disastre, dá para reduzir o RPO (Recovery Point Objective) de horas (quando é só AMI) para minutos (com o snapshot do log files);
  • Discos compartilhados/dados: com o uso do auto-scaling e o conceito de que servidores podem ser ‘descartáveis’, não é necessário fazer backup do disco raiz, mas pode ser necessário tirar snapshots de discos compartilhados (ex: DRBD, GFS, NFS, etc) ou simplesmente de diretórios com dados;
  • Discos de 16TB: com a futura chegada de discos deste tamanho, a concentração de dados em um único EBS pode aumentar o risco de erros humanos/aplicação;
  • Copiar dados para outra região com mais frequência e diminuir o RPO.

*** Nota: Em alguns cenários, como servidores Windows, é muito complicado criar um servidor a partir de um disco ‘root’ (C:). Assim especialmente para Windows, quando o C: é importante, é recomendado o backup de servidor inteiro (AMI).

MFA – Segurança

MFA é a sigla para “Multi-factor Authentication”. O MFA é usado como uma forma de autenticação mais forte além de uma senha memorizada. A idéia básica é o usuário se identificar com “algo que sabe” – senha – e “algo que possua” – um token que gere números.

Dado a criticidade de se colocar os dados e sistemas em um ambiente de nuvem, o próprio AWS incentiva a habilitação do MFA para todos os usuários que acessam o console. E a fim de acompanharmos as melhoras práticas de segurança e proteger ainda mais os dados, passamos a suportar o MFA no login.

(Nota: no Cloud8 sempre foi possível usar um usuário IAM customizado com as permissões de segurança que desejar.)

Para habilitar, clique no menu esquerdo em “Usuários”, selecione um e em seguida “Editar”. Uma tela com o QRCode e o código para o token virtual aparecerá:

sched-vol-3

Recomendamos utilizar o Google Authenticator que funciona em IOS, Android, Windows Phone e outros. Pode-se usar a câmera do celular ou entrar o código manualmente. Em seguida, aguarde 2 ciclos de geração dos códigos e atualize o usuário. Já temos a confirmação de que o AWS Virtual MFA também funciona!

Pronto, segurança em nível corporativo!

Outros

  • Ipad/tablet e agendador: o agendador funciona melhor com o Ipad, já sendo possível clicar e editar eventos;
  • Relatório de uso de servidores/horas contempla o uso de RDS;
  • Política de retenção GFS foi expandida para suportar até 800 dias de limpeza;
  • Melhor sincronização com mudanças de VPC e Subnets;
  • Suporte a custos do serviço de Registro de Domínio;
  • Suporte a custos de Key Management Service;
  • Suporte a custos de AWS Config;
  • Lista de RDS informa servidores com SSD de uso geral e com IOPS provisionado;
  • Suporte a eventos de RDS de falhas com bancos que não sobem devido a parâmetros errados;

Obrigado!

Equipe Cloud8