Retornamos do AWS re:Invent 2015 trazendo as novidades! Como em 2013 (https://www.cloud8.com.br/blog/resumo-aws-reinvent-2013-dicas-novidades-cloud/) e 2014 (https://www.cloud8.com.br/blog/resumo-do-aws-reinvent-2014/) , este ano também foi excepcional. Confira as apresentações do AWS re:Invent 2015 (http://www.slideshare.net/AmazonWebServices/tag/reinvent2015) e em seguida um resumo com o ponto de vista de um cliente do AWS.

Este 2014, o lema utilizado no evento foi ‘Cloud is the new normal‘. Já este ano, ‘Cloud has gone from probable to inevitable‘. Andy Jassy frisou que a melhor motivação para se escolher trabalhar com Cloud é a ‘liberdade’ e não custos. Ser livre para escolher, mudar, errar e inovar.

Outro destaque é que inúmeros serviços novos agora são cobrados de forma fechada por mês e não mais por unidade. Reforçamos que deve-se tomar cuidado com o uso pois alguns deles ainda são caros para padrões brasileiros (por exemplo: US$5,00 por regra WAF ou US$2,00 por Config Rule).

Lançamentos

• QuickSight (https://aws.amazon.com/blogs/aws/amazon-quicksight-fast-easy-to-use-business-intelligence-for-big-data-at-110th-the-cost-of-traditional-solutions/) : novo serviço de visualização de dados (BI – business inteligence). Voltado para um público fora de TI – financeiro, comercial, etc – que tem como objetivo ajudar a montar gráficos, dashboards e análises a partir de todas as fontes de dados da empresa que estiverem hospedadas no AWS – S3, RDS, Redshift, EMR, etc. É um preview ainda (http://aws.amazon.com/quicksight/) e com o tempo ficará mais claro as questões relativas a segurança, flexibilidade, integração e outras. Em alguns meios de comunicação, se criticou o fato de ser uma ferramenta que tem o potencial de contornar o departamento de TI, podendo gerar atritos e má interpretação de schema de dados por usuários não técnicos. Mas dado o histórico de acertos do AWS, em algum momento, deve-se melhorar este processo e integrá-lo a todos os departamentos das empresas. Uma funcionalidade que parece bem interessante será a capacidade de criar gráficos/análises/pivot tables integradas à páginas web e relatórios;
• MariaDB (https://aws.amazon.com/blogs/aws/amazon-rds-update-mariadb-is-now-available/) : nova opção de banco de dados no serviço RDS, compatível com o MySQL 5.6. O MariaDB é um fork do MySQL atualmente suportado/comercializado pela Oracle. O próprio criador do MySQL ficou descontente com o futuro do seu projeto e decidiu continuar o desenvolvimento do MySQL de forma independente e com outro nome. Não está claro por que o AWS suportaria mais uma versão de MySQL (além do próprio MySQL Enterprise e o Aurora), mas nos parece que é uma forma de fugir do licenciamento do MySQL e um tiro direto contra a Oracle;
• EC2 Dedicado (https://aws.amazon.com/blogs/aws/coming-soon-ec2-dedicated-hosts/) : como o nome já diz a idéia é comprar um servidor ‘dedicado’ e nele ter a capacidade de lançar instâncias virtuais. Desta forma é possível usar licenças de softwares já adquiridas (BYOL – Oracle, Windows, etc) que tem como requisito ter um servidor físico (CPUs, cores, memória, etc) exclusivo para rodá-las. Ainda não está claro como será a compra dos servidores e quais tipos e quantidades de instâncias será possível criar. Vale aguardar mais informações pelo blog oficial;
• AWS IoT (https://aws.amazon.com/blogs/aws/aws-iot-cloud-services-for-connected-devices/) (Internet of Things): a internet possui vasta documentação técnica e estratégica sobre como as ‘coisas/objetos’ se conectarão à internet e como já ultrapassam o número de humanos/celulares/devices. Isto é claramente uma oportunidade de desenvolvimento de sistemas e hardware que precisarão de uma infraestrutura para apoiá-los no crescimento e gerenciamento. O IoT encaixa-se, portanto, como um framework para ajudar no desenvolvimento deste tipo de produto/integração. O IoT envolve uma arquitetura padrão (iniciando com mensageria) e conexão a hardwares por meio de seus protocolos – sejam abertos ou específicos de fabricantes. Como outros produtos, o AWS não quer que as pessoas reinventem a roda e já podem partir para desenvolver complexas aplicações escaláveis a partir de um padrão e focar em entregar valor ao cliente, com a mínimo de preocupação na infraestrutura;
• AWS Mobile Hub (https://aws.amazon.com/blogs/aws/aws-mobile-hub-build-test-and-monitor-mobile-applications/) : é um ambiente de desenvolvimento para aplicações móveis que acelera a geração de código ao implementar funções padrões. Novamente, o objetivo é não reinventar a roda. Um exemplo são as funções de autorização e autenticação que usam serviços AWS (como Cognito e IAM) e já poderiam vir integrados automaticamente com o seu código da aplicação móvel. O Mobile Hub gera código para iOS e Android;
• Kinesis Firehose (https://aws.amazon.com/blogs/aws/amazon-kinesis-firehose-simple-highly-scalable-data-ingestion/) : serviço de ingestão de dados no S3 ou Redshift. Como a maioria dos processos de ingestão de dados é semelhante, o AWS lançou este serviço para evitar que se configure um monte de servidores somente para gerenciar um processo de cópia de dados. Com o Firehouse é possível fazer isto de forma simplificada;
• Snowball (https://aws.amazon.com/blogs/aws/aws-importexport-snowball-transfer-1-petabyte-per-week-using-amazon-owned-storage-appliances/) : nos EUA, o AWS permite que se envie dados para o S3 em um serviço conhecido como Import/Export. Anteriormente, enviavam-se mídias, como DVDs, pelo correio e o AWS se encarregava de transferir para a nuvem. Dada a natureza exponencial do tamanho dos dados sendo gerados internamente pelas empresas, a falta de padronização no processo de exportação/importação (e portanto com muitos erros) e a clara falta de segurança de se trafegar uma mídia física que pode nem estar encriptada, o AWS lançou o Snowball para resolver este desafio. Trata-se de um hardware – uma caixa rígida – capaz de carregar até 45 TB de dados de forma encriptada e padronizada. O cliente pluga o Snowball na rede, faz upload dos dados, o Snowball encripta e a UPS busca. Este processo leva poucos dias e pode contemplar Petabytes de dados. Previsão para o Brasil? Nenhuma, mas achamos que com este device é mais provável acontecer aqui do que ter que depender de processos manuais no antigo serviço. Veremos;
• Elastic Search (https://aws.amazon.com/blogs/aws/new-amazon-elasticsearch-service/) : lançando alguns dias anteriores ao re:Invent, este serviço é uma implementação do Elastic (https://www.elastic.co/) com infraestrutura gerenciada pelo AWS. Posicionaríamos ele como uma evolução do CloudSearch (baseado em Solr) e também usado para buscas rápidas de grandes volumes de dados. Os grandes diferenciais são a visualização dos dados por meio do Kibana (https://www.elastic.co/downloads/kibana) e as integrações ‘prontas’ com Lambda e CloudWatch Logs;
• WAF (https://aws.amazon.com/blogs/aws/new-aws-waf/) : acrônimo para ‘Web Application Firewall’. O AWS foi atrás de produtos de segurança este ano (ver Inspector e Config Rules adiante) e o primeiro da leva foi o WAF. Basicamente é criar uma série de regras que são aplicadas a uma requisição web e assim decidir se irá ser aceita ou rejeitada. Por enquanto é somente aplicável para distribuições CloudFront, mas futuramente, acreditamos que devem se estender a servidores EC2 – afinal boa parte das aplicações ainda não está integrada ao CloudFront;
• Config Rules (https://aws.amazon.com/blogs/aws/aws-config-rules-dynamic-compliance-checking-for-cloud-resources/) : o AWS lançou o Config (https://aws.amazon.com/config/) no re:Invent passado. Ele é um serviço de CMDB (configuration management database) para fazer inventário e tracking de mudanças ao longo do tempo. Por enquanto somente suportando EC2 (e anunciaram IAM até o fim do ano), o ‘Rules’ vêm a se somar como um mecanismo de reforçar padrões. A toda mudança é aplicada uma regra. Exemplos de uso: se uma instância não tiver tag, destrui-la ou assinalar uma tag padrão, se uma VPC não tiver um padrão, avisar o admin, checar grupos de segurança, etc.
• Inspector (https://aws.amazon.com/blogs/aws/amazon-inspector-automated-security-assessment-service/) : outro serviço de segurança, visa a garantir a segurança interna do servidor. Para usá-lo é necessário instalar um agente no servidor (somente Amazon Linux e Ubuntu por enquanto) e acionar a monitoração via console ou API. Este agente é mais que um anti-virus, pois checa vulnerabilidades (CVEs), configurações (ex: bibliotecas com permissão 777) e melhores práticas. Ainda em preview e não foi divulgado o modelo de custos;
• Novos tipos de instâncias (https://aws.amazon.com/blogs/aws/ec2-instance-update-x1-sap-hana-t2-nano-websites/) : como de praxe, o AWS sempre anuncia novos tipos. Este ano foram o tipo x1 (2TB de memória – sic! e mais de 100 cores) e o tipo t2.nano para websites bem pequenos. A previsão de lançamento é no primeiro semestre de 2016.

Atualizações:

Quase todos os serviços acabam ganhando alguma funcionalidade nova, mas vale destacar:

• Lambda (https://aws.amazon.com/blogs/aws/aws-lambda-update-python-vpc-increased-function-duration-scheduling-and-more/) : o AWS tem focado muito no Lambda e a pedido da comunidade anunciou uma série de novidades – suporte a Python, Scheduler baseado em cron, suporte a VPC, versionamento e funções de longa duração. O Lambda é sem dúvidas muito poderoso e tem os seus casos de uso bem mapeados: microservices, integração com API Gateway, mudanças de arquivos no S3, eventos no DynamoDB, Alexa, etc. Não é uma bala de prata, (como já ouvimos alguns meios) e ainda é dificil de depurar se a função for muito complexa, mas já está com qualidade de produção para rodar estes cenários;
• ECS Container (Docker) (https://aws.amazon.com/blogs/aws/ec2-container-service-update-container-registry-ecs-cli-az-aware-scheduling-and-more/) : o serviço ECS também evoluiu. Foram anunciados a criação do serviço de Registry para armazenar as imagens Docker, scheduler mais potente e configurações mais seguras para isolamento dos containers;
• CloudWatch (https://aws.amazon.com/blogs/aws/cloudwatch-dashboards-create-use-customized-metrics-views/) : recurso novo de dashboards onde pode combinar métricas de diversos componentes de uma região;
• CloudTrail (https://aws.amazon.com/blogs/aws/aws-cloudtrail-update-sse-kms-encryption-log-file-integrity-verification/) : suporte a logs encriptados usando chaves no KMS e a checagem de integridade (logs no S3 foram editados?);
• AWS Database Migration (https://aws.amazon.com/dms/) /AWS Schema Conversion Tool (https://aws.amazon.com/documentation/SchemaConversionTool/) : permite migrar um banco de dados local para um banco de dados no RDS de forma contínua e com downtime pequeno. Outra idéia é intercambiar schemas de forma que possa migrar um banco local Oracle para um banco MySQL no RDS com o mínimo de mudanças ou até mesmo direto se os mapeamentos não foram muito complexos (stored procedures, udfs, etc);

Apresentações

Os principais links para as apresentações são:

• Youtube (https://www.youtube.com/user/AmazonWebServices/Cloud)
• Slideshare (http://www.slideshare.net/AmazonWebServices/tag/reinvent2015/)

Dicas gerais

Seguem algumas dicas que assistimos ou que foram bem comentadas por outros participantes. Reforço que vale navegar pelas sessões (são mais de 200) e escolher algumas para assistir. Este ano o nível técnico e didático foi particularmente muito bom.

• O AWS lançou treinamento online para segurança – security fundamentals (https://aws.amazon.com/training/course-descriptions/security-fundamentals/) ;
• Nas palestras do summit dos parceiros foram validados alguns cenários para otimizar o trabalho com o AWS e diminuir riscos. O que vale destacar é trabalhar com ambientes de produção e desenvolvimento em contas AWS separadas para ganhar em agilidade e diminuir os riscos de mudar e quebrar um ambiente. Há clientes que vão além e chegam a ter até 5 ambientes entre eles staging, QA, sandbox por cliente/produto. Outra dica (meio imediata, mas pouco executada) é para quem tem legado e usa o EC2 Clássico. O AWS recomenda fortemente migrar para VPC (mesmo por que as novas instâncias, serviços, etc já não rodam no EC2 Clássico);
• Vale conferir o trabalho que a empresa MLBAM (http://www.mlbam.com/) está fazendo em termos de mídia pela internet. O sucesso do produto, que acompanha a liga americana de Baseball de maneira interativa, culmina no spin-off da empresa que agora proverá serviços para outros esportes (NHL) e canais como HBO, tornando-se um concorrente do Netflix (quem diria que poderia surgir um peso pesado deste porte!);
• Para quem está começando com Lambda e pretende usar Javascript, vale conferir um framework novo – JAWS (https://github.com/jaws-framework/JAWS) – criado especificamente para este serviço;
• Suporte: assistimos a uma palestra sobre machine learning aplicado a reconhecimento de padrões nas redes sociais – isto é, se quando encontram uma menção ao AWS, será que há necessidade de suporte? A dica que ficou é que se twittar com o termo @awscloud, você será atendido rapidamente… 🙂 Fica a dica;
• O AWS lançou um documento referência (https://d0.awsstatic.com/whitepapers/architecture/AWS_Well-Architected_Framework.pdf) para verificar se a sua arquitetura está bem realizada. Vale conferir;
• Amazon Kinesis Analytics (https://aws.amazon.com/kinesis/analytics/) : capacidade de rodar queries SQL em real time. Coming soon;
• EC2 Container Service suporta composer (https://aws.amazon.com/about-aws/whats-new/2015/10/introducing-the-amazon-ec2-container-service-cli-with-support-for-docker-compose/) ;
• Redshift (https://github.com/awslabs/amazon-redshift-utils) : disponibilização de uma série de ferramentas para analisar performance e realizar ações automatizadas;
• Machine Learning (http://blog.dato.com/coursera-specialization-in-machine-learning) : uma das empresas patrocinadores, a Dato, lançou um curso no Coursera sobre ML que parece bem interessante;
• Algorithmia (https://algorithmia.com/) : um marketplace de algoritmos acessíveis via webservice. Dá para facilmente integrar algoritmos como ‘Reconhecimento Facial’ ao processamento de imagens no S3 invocando um lambda e muito mais;
• Deep Dive: a dica é ao procurar por uma palestra usar a expressão “Deep Dive”. O AWS nomeou algumas palestras como “Elastic Load Balancing Deep Dive”;
• Enfim, não deixe de navegar pelas palestras.

Já possui alguma necessidade de extensão ou automação de algum destes serviços? Fale conosco!

Obrigado!
Renato
CIO/Founder

Conheça o Cloud8! Acesse nossa calculadora e simule o seu cenário, ou crie sua conta para um teste de 15 dias sem compromisso clicando aqui.