AWS re:Invent 2019
Mais um ano e mais uma participação do Cloud8 no Re:Invent. Como sempre, trazemos as novidades que lá encontramos do ponto de vista análitico e não apenas listando tópicos e trazendo as descrições. Para isto, basta acessar o resumo do Re:Invent – https://aws.amazon.com/blogs/aws/. A ideia aqui é trazer uma análise e contar das curiosidades e pontos de interesse que possam ajudar a comunidade e os clientes.
Anos anteriores: 2018, 2017, 2016, 2015, 2014 e 2013.
A lista de completa de lançamentos e detalhes técnicos podem ser encontrados no AWS – https://aws.amazon.com/new/reinvent/ e canal no Youtube – https://www.youtube.com/user/AmazonWebServices/videos
Disclaimer: os comentários abaixo foram criados pelo Cloud8 e não representam qualquer posição do AWS.
Resumo estratégico
O Re:Invent tem começado cada vez mais cedo. Duas semanas antes, o blog de novidades fica lotado de novas features. Certamente uma tática do AWS para aumentar a percepção da importância do evento e trazer o máximo de visibilidade para si. A brincadeira no meio é que eles monopolizam tantos os canais técnicos de divulgação (diga-se, não só imprensa, mas os indivíduos, redes sociais e comunidade), que a empresa que ousar fazer um anúncio neste período ficará perdido e pouco relevante. Enfim, neste ponto eles masterizaram o domínio da atenção.
O evento já começa no domingo à noite com a recepção conhecida como Midnight Madness. Controversias à parte sobre o bom ou mau gosto da ‘festa’, ocorre o anúncio da primeira novidade de dentro do evento. Este ano, a meia-noite em ponto, Matt Wood entrou para anunciar o AWS Deep Composer (mais sobre ele na próxima seção) – aparentemente hardwares próprios tem feito sucesso e devem ser bem lucrativos (vide Echo Alexa, FireTV, Kindle, etc) apesar de este ser bem de nicho. A apresentação deste teclado acoplado a um backend com Machine Learning reforçou o posicionamento de investir pesado em AI/ML e foi isto que se viu no keynote do Andy Jassy.
Na segunda à noite é a vez do Peter DeSantis falar sobre infraestrutura global. O ponto focal foi destacar como o AWS possui capacidade e performance de um supercomputador comercial. A analogia é simples: um supercomputador precisa ter arquitetura e ser tecnicamente o mais performático possível para rodar cargas HPC (high performance computing). Se o AWS vencer o desafio de se comportar como um supercomputador, ele rodará praticamente qualquer tipo de carga. E foi isto que ele demonstrou. Da evolução da rede, que atinge 100 Gbps, com o hypervisor próprio conhecido como Nitro e protocolo de rede customizado EFA, placement groups para garantir proximidade lógica e física das VMs com baixíssima latência, hardware de rede para suportar milhares de nós sem degradação e sem congestionamento e finalmente bibliotecas HPC integradas. Comparou-se um cluster de instâncias novas do tipo C5n (100 Gbps) com um supercomputador Cray em uma simulação de previsão de tempo. A escalabilidade da performance foi praticamente linear à medida que se adicionaram nós. Como não foi a primeira vez que o AWS falou de previsão de tempo, acredito que resolver este caso de uso foi tratado como um desafio pessoal internamente…. ainda foram mostrados casos de uso de CFD (dinâmica de fluidos – Navier Stokes) e o caso da Formula 1 (mais abaixo).
DeSantis também falou sobre Machine Learning e que sempre que criarmos um modelo devemos pensar em separar tipos de instâncias para treinamento e inferência. Para treinar, precisa-se muito de GPU e HPC, enquanto que inferência utiliza-se outro tipo de instância com maior número de GPUs. A recomendação é usar p3 e p3n para treinamento e g4 para inferência – e agora há um novo tipo de instância ‘inf1’ de um chip GPU criado pelo AWS. Um caso tipico de ML em escala gigantesca é o Alexa que tem o modelo treinado periodicamente com clusters de instâncias p3n e depois opera as requisições (inferências) com g4 e inf1. Foi ainda mostrado benchmark de BERT training com bibliotecas de ML otimizadas, que são as melhores do mercado.
Por fim, e para o bem do planeta, DeSantis confirmou que o AWS tem o objetivo de até 2030 ter 100% da energia utilizada vinda de fontes renováveis e até 2040 ser carbon free.
Keynote 1 – Já é praxe o Andy Jassy incluir no seu keynote dados sobre a domínância do AWS no mercado, a liderança no quadrante do Gartner, lista de clientes startup e enterprise, crescimento da base de clientes e outros indicadores de extremo sucesso. E, logicamente, enfatizar o passo de inovação e lançamento de novas features (aqui vale um disclaimer, que seria necessário filtrar lançamentos “duplicados” como habilitações em novas regiões, features de expansão de limites, etc – sem demérito algum logicamente, mas para balizar a releváncia do que é um mega lançamento – “Novidade: Quantum Computing” – versus uma trivialidade praticamente irrelevante – “ElastiCache suporta 50 caracteres no nome”). Somou-se a estes fatos, uma abordagem bastante agressiva incitando (saudavelmente) a migração para o AWS. Nos anos anteriores o discurso era de que o AWS é um realidade (Cloud is the new normal), que inovar e errar é barato e que todos deveriam testar o cloud. Já não é mais assim. O AWS já não vê mais motivo para esperar, com a tecnologia madura, estável e segura, ele conclama todos a migrarem o mais rápido possível. Antes era o desenvolvedor, a TI que liderava o processo de adoção do Cloud e levava para o C-level o recado sobre a praticidade e rapidez. Agora a mudança deve vir ‘top-down’ a partir da liderança sênior, com metas agressivas (ele mencionou o caso da GE, onde o time técnico gerou ressalvas sobre migração, mas o CIO mandou migrar de qualquer jeito. Não imagino que a audiência técnica ficou muito feliz em ouvir isto…). Tudo gira em torno de ser rápido: “Don’t let paralysis stop you before start”. Lift and shift. “The hunger keeps on growing” (DMB). Rearquiteturar fica pra depois. E para que tudo isto funcione bem, ele frisou que os builders precisam ser treinados. A previsão é que em alguns anos falte até 1 milhão de profissionais técnicos (sic) no mercado para lidar com cloud. Os números mostrados de que apenas 3% dos workloads (EUA) estão no cloud explica a chamada para migração. Muito mercado ainda.
Ele também falou bastante do Nitro (hypervisor). Como ele resolveu uma série de desafios técnicos e possibilitou a expansão da inovação e aceleração de produtos que antes não seriam possíveis. Combinado com o lançamento dos novos chips – Graviton 2 e o chip de inferencia, ‘compute’ no AWS ficou mais performático e mais barato. Espera-se aumento significativo na razão performance/custos com os novos tipos ‘m6g’, ‘r6g’, ‘c6g’ e ‘inf1’. Estarão disponíveis para EC2, ECS, EKS e SageMaker.
Sempre há a tradicional provocação à Oracle, ainda mais este ano que a Amazon finalmente migrou o último banco de dados Oracle. Pelo visto o AWS vai sentir falta de ter um ‘inimigo’ e já voltou o canhão para a IBM e a Microsoft, provocando com a migração do Mainframe e do SQL Server (e do Windows – mais logo abaixo). Esperamos ver as brincadeiras e indiretas nos próximos eventos com a nova satanização do mainframe e do SQL Server.
Dados – Sempre há novidades em relação a dados. O nome ‘Data Lake’ demorou a chegar oficialmente no AWS e agora é usado em vários contextos. O S3, como sempre, segue sendo expandido. Foram adicionadas ferramentas de scan de segurança (S3 Access Advisor) e de facilidade de acesso/segurança com o S3 Access points. Melhoras no Redshift, Aurora, Athena (Federated Queries) e ElasticSearch além do lançamento do Cassandra gerenciado (mais detalhes na seção técnica).
ML – O primeiro lançamento foi o Deep Composer e houve muitos outros mais dentro da suite do SageMaker. O destaque é, sem dúvidas, o Sage Maker Studio. Basicamente uma interface de desenvolvimento (IDE) onde você pode criar modelos preditivos a partir de um mero arquivo CSV, ou, logicamente, dados mais completos/complexos. Depois do modelo criado, há mecanismos de debug, monitoramento e melhoria contínua integrados. Gerou bastante curiosidade entre as conversas que realizamos. Do ponto de vista de ML aplicado, foram apresentados o CodeGuru, que faz revisão de código fonte, Contact Lens para transcrever e analisar chamados do Connect (Contact Center), detecção de fraude (Fraud Detector) e o Amazon Kendra (busca de documentos dentro da empresa considerando linguagem natural e gerando referências entre eles). Um ponto polêmico em relação a Inteligência Artificial (ou melhor Machine Learning) é que estudos indicam que talvez estejamos chegando a um vale de novidades. Os cenários de aplicabilidade dos modelos de aprendizagem de máquina deve atingir um ‘limite’ em breve e novas abordagens além de ML precisam ser buscadas e ser aplicáveis. Diversas empresas mundialmente estão buscando o novo hype de AI, mas até agora ML é o preponderante.
Híbrido/privado – Lançamento que julgo será um dos maiores alavancadores futuros de receita e crescimento: AWS Outposts + AWS Local Zones e Wavelength. Original no anúncio de 2018 era para ser o “Outpost for VMWare” e acabou sendo expandido para Outposts AWS e Outposts VMWare. A ideia (ainda que implícita) é relançar o datacenter e criar um ambiente híbrido com uma estrutura de hacks físicos contendo o stack principal de AWS/VMWare privado e interconectado com a nuvem pública. Notem como a ideia se expandiu. Começou como uma extensão híbrida para as empresas que queriam rodar VMWare e agora pode-se colocar em qualquer lugar: empresas, cidades (bem vindo AWS Local Zone!), fábricas, campo, etc. Com o super appliance (com o perdão da simplificação) o AWS coloca “mini AWSs” onde for necessário, multiplicando o poder de processamento, atendendo demandas privadas, diminuindo a latência e integrando com 5G (Wavelength)! A primeira AWS Local Zone está em Los Angeles e o Wavelength já tem parceria com a Verizon para atender demandas. Um dos cases liderados pela Volkswagen apresentou desafios da indústria 4.0, como sensores, latências, etc. Um Outpost dentro da fábrica ajudaria a resolver desafios… Imaginem o poder multiplicativo desta ideia mundialmente!
Com todos os lançamentos e benesses, houve um aspecto negativo. O Andy criticou bastante a Microsoft por conta da mudança de licenciamento do Windows. Com todo o direito, apontou que esta mudança é ruim para os clientes e tira a liberdade. No fim provocou para que se acabasse com o Windows: “Closing Windows” e que tudo fosse migrado para Linux. O que houve não foi uma proibição e sim um aumento de custos com a introdução de um novo modelo de licença para servidores dedicados – ver FAQ de licenciamento de Windows no AWS. É ruim, é claro pois aumenta o custo, mas não há impedimentos. Desnecessário criar uma guerra. Que diga o próprio Steve Balmer quando declarou que o Linux era um câncer, aumentou a cultura de aversão à Microsoft e no fim a própria já afirmou que o Azure é majoritariamente Linux. Outro ponto que será interessante acompanhar é como será o suporte no Windows à tecnologia ARM (novos chips Graviton) e se o AWS vai suportar Windows nos novos tipos. A esperar.
Como se pode ver, o Andy e o DeSantis falaram quase tudo. Sobrou pouco para o Werner – se bem que obviamente é uma estratégia para tirar do foco os lançamentos, já que a área coberta em todos os campos de TI pelo AWS já está tomada e os mega lançamentos tendem a diminuir (espero estar enganado e esquecido – boa parte da diversão deste mercado é acompanhar os lançamentos e entender como se encaixam no ecossistema).
A frase do ano do Werner foi “There is no compression algorithm for experience” (auto-explicativa). Ele focou boa parte do keynote no hypervisor Nitro e como ele viabilizou a inovação de hardware e desenvolvimento de novos produtos e melhorias – novos tipos de instâncias, Outposts, ganhos de performance e segurança. O mais interessante foi notar como a arquitetura do stack de infraestrutura evoluiu – hardware e software. Se, no começo, cloud foi uma montagem de componentes de vários fornecedores: processadores, storage, equipamento de rede, hypervisor, open source, etc, agora com o domínio completo da cadeia tecnológica uma nova era de otimização e ganhos de eficiência já começou. É evidente a integração e fusão de muitos destes componentes para atender workloads específicos. Produzindo seu próprio chip, seu próprio hypervisor com APIs embutidas, BIOS próprias para gerenciar segurança e cenários únicos (milhares de pseudo ENIs para microcontainers, redundância de montagem de EBS, aplicação de patch sem reboot, etc), protocolos de rede para HPC (EFA), até mesmo rodar uma query no S3 está sendo feita no ‘edge’ (neste caso dentro do S3 sem precisar trazer os dados até o cliente, que custa caro e demora), ganha-se produtividade ponta a ponta e aumenta a lucratividade. Enfim, em uma topologia gigantesca, ganhos de eficiência ainda que marginais fazem uma diferença enorme.
Go build. Outra das frases do Werner. Virou um canal no Youtube, onde ele viaja o mundo acompanhando casos únicos de aplicação do AWS. Vale conferir – https://aws.amazon.com/startups/NowGoBuild/.
Containers – Andy lançou o Fargate for Kubernetes – ‘transformação’ do modelo por instância para modelo de vcpu e memória para Kubernetes, estendendo além do ECS. A vantagem é não ter que gerenciar e dimensionar instâncias correndo o risco de subutilizar e gastar mais. Também é uma forma de rodar ECS e Kubernetes gerenciado, mas com o trade off de ser confinado ao modelo AWS. Werner complementou o anúncio com uma demonstração de auto-scaling do Fargate e como se compara com o tradicional auto scaling do EC2. Se levar em conta tempo de resposta do auto-scaling tradicional, bootstrap, hooks, etc, e a inicialização em microsegundos dos microcontainers, o Auto Scaling e o tempo de resposta do Fargate são muito mais previsíveis e performáticos. Foi um recado para se usar o Fargate.
Um ponto que não foi tocado no evento inteiro, apesar de algumas especulações, foi o MultiCloud. Enquanto Google e Microsoft falam aberta e amistosamente sobre concorrentes e integração, o AWS não toca no assunto. É natural para o líder disparado deixar este ponto de lado por enquanto, mas certamente um dia terá que ser tocado – colocar MultiCloud na mesa indicaria que eles estão incomodados e daria espaço para a concorrência, coisa que a cultura Amazon repudia imensamente na nossa humilde percepção.
Destaques e lançamentos
Seguem alguns dos mais relevantes e comentados.
- AWS Deep Composer: mais um para a série de ‘brinquedos powered by ML’. Junta-se ao DeepLens e ao DeepCar. O Composer é um teclado eletrônico que está integrado a um backend de ML. Na nuvem ele roda um outro algoritmo de ML, o Generative AI. Este modelo aprende com dados de fontes diversas (texto, imagem, musica, etc) e é capaz de gerar conteúdo original, como se estivesse usando um pouco de ‘criatividade’ para AI (conceitos como ‘inteligência’, ‘criatividade’, etc que são usados nestas áreas são bem difíceis de se definir, além dos limites e contornos, mas usaremos a ideia geral….). Funciona com duas redes neurais se comunicando, onde uma gera e a outra ‘corrige’, centenas de milhares de vezes até que um indicador de qualidade é atingido. Para uma visão mais avançada, recomendo o canal do Cantor’s Paradise no Medium. Na demo, Matt Wood tocou uma sonata no teclado e o deep composer completou com outros instrumentos – guitarra, baixo, bateria – gerando uma música orquestrada. Houve também uma breve apresentação de um músico profissional que tocou uma composição a ‘4 mãos’ (com o perdão da antropomorfismo). Para não ficar somente na música, outro exemplo é a aplicação nas artes (já citado em um boletim passado). Vejam que interessante aplicar o estilo Van Gogh aprendido em outras obras – e sem falar dos Deep Fakes que se valem desta técnica…
- EC2 Compute. Lançamento de novos tipos. ‘inf1’. Estes são de chips com GPUs criados pelo próprio AWS para casos de uso de inferência de Machine Learning. Tipos ‘m6g’, ‘r6g’ e ‘c6g’ foram criados em cima do novo chip Graviton (arquitetura ARM) que aumentou em número de cores e memória suportados e teoricamente pode rodar qualquer tipo de carga;
- Networking: topologia de VPCs cada vez mais completa e poderosa: AWS Transit Gateway – Multicast, Inter Region Peering, Network Manager, Accelerated Site to Site VPN. Poder de interconexão multicontas e multiregião;
- S3 access advisor: análise de acesso ao S3. Responde perguntas sobre quem (identity, VPC, IP, etc) tem acesso aos buckets. Com o crescimento e complexidade ficou mais difícil entender a topologia e descobrir o permissionamento de acesso;
- S3 Access points: seguindo a linha do Access advisor, procura simplificar o acesso a objetos S3 criando mais uma camada com permissionamento simplificado. Exemplos: configuração de um bucket e determinados objetos para acesso por uma VPC, IAM Role, etc. Pode repetir o acesso por quantos objetos for necessário. Imagino que por trás, os access points são transformados em uma política IAM, que vai ficando enorme e humanamente ingerenciável – daí a necessidade de segmentar e simplificar;
- Federated queries para Redshift e Athena: talvez um dos recursos mais úteis e menos badalado de todo o evento. O AWS permite que do Redshift e Athena possam fazer queries utilizando outras fontes de dados (RDS e S3). Imagine que use o Redshift para armazenar dados históricos e o Aurora para dados ‘quentes’. Com um única query e join poderá trazer todos os dados. Ou então guardar code tables no Aurora e não precisar replicar em outros lugares e assim por diante. Esta funcionalidade segue um princípio que ouvi em mais de uma sessão: o AWS não vai fazer um banco de dados que sirva para tudo e prefere usar o melhor para cada cenário (RDBMS, key-value, timeseries, ledger, etc), desta forma a necessidade de integração de alguma forma e uso da data lakes são implementados pelo Federated;
- ElasticSearch: um dos problemas mais comuns do ElasticSearch é a quantidade de espaço em disco utilizado e não otimizado. À medida que o histórico de dados cresce, o serviço começa a ficar caro demais e passa a exigir manobras de arquivamento que tomam tempo e tiram foco. O AWS desenvolveu uma camada de storage, que estão chamando de UltraWarm, que deve reduzir significantemente este custo. Em preview.
- Cassandra: um dos poucos ‘sabores’ de banco de dados que o AWS ainda não gerenciava. Soma-se agora à família de RDSs;
- SageMaker Studio (Experiments, Debugger, ModelMonitor, AutoPilot): criar modelos preditivos de forma (muito) facilitada. A partir de um simples arquivo CSV, ou modelos mais completos/complexos, gera uma análise preditiva com o melhor algoritmo testado. Pela apresentação entendemos que os passos para este cenário seriam algo como: importar os dados, o studio entende o modelo colunar e a coluna com os resultados esperados, testa 50 algoritmos separando dados para treino e dados para teste, apresenta o resultado de aderência e você pode escolher o modelo. Depois ainda ele irá monitorar a inferência e, se desviar de um threshold, gera um alerta para que seja retreinado. Parece muito poderoso para iniciar – tem que verificar, depois do primeiro passo, como ficaria uma evolução mais avançada. Build, train, tune, deploy.
- Redshift com novo tipo: foi lançado um novo tipo – RE3 – que traz desacoplamento entre CPU e storage – o modelo atual tem pouca flexibilidade entre escalar CPU e storage, pois ao precisar de qualquer um dos recursos tem que se provisionar mais instâncias, independente se o outro recurso vai ser usado. O custo ainda é bem alto, então devemos esperar outros tipos de instância no futuro que sejam mais em conta;
- Lambda. O Lambda amadureceu muito ao longo do ano e os lançamentos foram feitos em pequenos releases nas últimas semanas. Uma característica que causou celebração foi a definição de concorrência. A concorrência pré-definida deixa um pool pré-aquecido para receber requisições;
- CodeGuru: revisão de código (code review) e profiler utilizando ML treinado com dados da própria Amazon. A ideia é fazer um ‘scan’ na base de código, e não somente arquivos individuais, procurando por bugs, melhorias, possíveis problemas de concorrência, memory leaks, conexões de banco que ficam abertas, etc. Conceitualmente é muito interessante por conta da cobertura de escopo e poder usar o conhecimento agregado de uma base grande como a Amazon e segue a linha de outras ferramentas como o próprio Code Review do Github e plugins nos IDE mais usados. Também pode rodar um profiler em daemon, que traz as linhas mais ‘caras’. A brincadeira de alguns posts foi estimar o custo de fazer a revisão do kernel do Linux (apesar do código ser em C e Assembly e o CodeGuru não suportar)… confira;
- Fraud Detector: detecção de fraude utilizando ML com dados históricos da Amazon. Conversando com algumas fintechs que estavam no evento, não houve grande animação. O consenso é que fraude no Brasil tem suas peculiaridades (como qualquer outro país) e que é um trabalho contínuo e de execução imediata. Este módulo seria mais um plugin e não um substituto de qualquer solução existente ou já implementada. A se ver como será a adoção.
- Contact Lens for Connect: transcrever e analisar atendimentos do Contact Center usando ML. Implementa uma série de insights com análise de sentimento, tendências nos atendimentos, que por fim ajuda a melhorar o relacionamento com o cliente. Não ficou muito claro o suporte à língua portuguesa;
- Kendra: um buscador/agregador dos documentos corporativos de uma empresa. O diferencial é usar ML para categorizar e contextualizar os documentos, linkando assuntos semelhantes e gerando um portal de busca. Para quem se lembra do appliance amarelo do Google lançado em 2002, a ideia é a mesma só que com ML e na nuvem;
- Segurança: um resumo dos top 10 temas de segurança por um solution architect;
- Outposts: é a versão de cloud híbrida/privada do AWS e VMWare com produtos AWS. Um hardware específico conectado ao cloud público e que seria colocado junto ao cliente. Já disponível nos EUA e outras regiões, mas sem previsão de chegar ao Brasil (ver discussão estratégica sobre OutPost + Local Zones). Notem como mesmo sendo um produto de altíssimo valor agregado, o AWS foi capaz de automatizar a contratação para criar escala! E ‘magicamente’ todo o ferramental e produtos do ecossistema já funcionam com o endpoint apontado para um Outposts. “Cloud8 for Outposts” assim que tivermos o primeiro cliente usando 🙂
Notas técnicas
Foram mais de 2.000 palestras. Comento aqui o que conseguimos assistir e das conversas que tivemos:
- Nitro: a ‘estrela’ da convenção. Palestras e destaques no keynote. A primeira versão surgiu com a compra da empresa isralense Annapurma e desde então o Nitro evolui para ser a peça de software fundamental de todo o hardware do AWS. As conquistas foram inúmeras: offload de carga de I/O de rede e I/O de disco, overhead ínfimo de virtualização e baremetal (c5), módulo de segurança e isolamento de execução de instruções entre tenants, morte do dom0 (quem já mexeu com Xen sabe o risco deste cara…). O Nitro possui APIs onde é possível controlar ações como attach/detach de discos de forma bem mais eficiente. APIs desacoplam gerenciamento e permitem escalar. Microserviços até dentro do hardware! O Nitro evoluiu para ser incorporado em um chip dedicado que roda todos estes módulos de virtualização e pode ter patches aplicados sem downtime. Possibilitou a criação de novos tipos, aumento expressivo da performance e a criação do AWS Outposts;
- Mainframe: eleito um dos novos inimigos do AWS, assim como é/foi com a Oracle. Em diversas possibilidades falou-se em como migrar as cargas. No caso do Goldman Sachs, a ordem foi ‘comer pelas beiradas’, tirando os workloads menos críticos e criando um conector com o banco de dados. Um fato não ligado diretamente é o lançamento do RDS Proxy que gerencia o pool de conexões (além de outros aspectos) e protege o banco de dados contra um flood de requisições, tem muito cara de CICS e tuxedo… (estes são para os veteranos) e certamente será uma ferramenta e um argumento para acelerar o desligamento dos mainframes;
- Segurança: o AWS mostrou um approach bem interessante na nova forma como identifica a configuração de segurança. Por meio de um modelamento booleano de todo o permissionamento (IAM) – codinome Zelkova – e usando uma técnica conhecida como SMT Solver, consegue criar os caminhos permitidos e responder perguntas sobre quem acessa o quê. Há um paper acadêmico explicando como fizeram. Fizeram o mesmo para o acesso do S3;
- Amplify: framework para criar interface de aplicativos, tem evoluido muito e está integrado com as ferramentas de provisionamento, como o SAM. Há um passo-a-passo bem interessante de como criar uma aplicação ‘moderna’ – Mystical Misfits. Quem se lembra do Pet Store?
- Oracle: uma das palestras mostrou como houve a migração das milhares de bases Oracle. No fim, não foi exatamente uma migração e sim um ‘refactoring’, onde bases e sistemas foram igualmente modificados. Ou seja, não foi um de-para puro de base para base. Os clientes precisam saber que não é tão simples migrar quanto parece, dependendo dos recursos que eram usados;
- CDK: falou-se muito do CDK (Cloud Development Kit). Basicamente é uma forma de provisionar a infraestrutura usando uma linguagem de programação (Javascript, TypeScript, Python, Java e .NET) com todas as suas vantagens sobre templates: objetos, modularização, compartilhamento de base de código comum. O CDK executa o código transformando-o em um template CloudFormation e em seguida fazendo o provisionamento. Sugiro buscar sessões de Deep Dive como a DOP402 e o Workshop – https://cdkworkshop.com/;
- API Gateway: um lançamento bem importante, mas também não muito celebrado, foi o do recurso HTTP APIs. Se você usa o API Gateway como proxy para um Lambda, talvez sem os recursos de autenticação, throtlle, WAF. etc, certamente está gastando demais. Ou migra para um Application Load Balancer, ou agora pode usar o HTTP APIs, que promete reduzir o custo em 70%. Qualquer palestra do Eric Johnson sobre este assunto vale conferir;
- Event driven e microserviços: muito material sobre aplicações orientadas a eventos;
- Amazon Detective: novo produto para ajudar em análise forênsica – coleta dados do GuardDuty, VPC Flows e CloudTrail em uma única interface e procura correlacionar os eventos, para ajudar e encontrar eventos de segurança;
- Amazon Builders Library: único lançamento feito pelo Werner, é uma coleção de artigos sobre como os desafios de arquitetura são resolvidos pela própria Amazon. No jargão deles, “algo que não se aprende na escola”. Vale conferir.
Quantum Computing:
Este tópico vale uma seção dedicada pelo barulho gerado – foi o principal “trending topic” no Twitter durante o re:Invent.
A primeira polêmica foi o lançamento feito pelo blog de novidades, que levantou de imediato a pergunta do porquê não foi lançado durante algum keynote. Algo tão impactante deveria estar no keynote do Andy ou do Werner.
Assistimos a apresentação do produto, conduzida pelo Fernando Brandão – brasileiro, professor da Caltech que participou do projeto que levou o Google a declarar a supremacia quântica e que gerou um imenso debate sobre o feito. Houve uma introdução teórica conceitual – qubits, desafios técnicos, algoritmos de Shor, aplicabilidade. Em seguida, outro gerente do AWS falou de produtização. A idéia é prover formas de rodar algoritmos desenhados para um cenário de qubits. Algoritmos que seriam executados (bem) mais eficientemente em computadores quânticos. Para atender esta demanda, o AWS adquiriu sistemas de 3 fabricantes: D-Wave, IonQ e Rigetti e vai transformá-los em ‘coprocessadores’ roteando demandas específicas, ao invés de rodar nas instâncias tradicionais. Foi anunciada uma iniciativa colaborativa chamada de “Quantum Compute Lab”.
A resposta do porquê não foi lançado no keynote ficou clara. É algo muito, mas muito novo e que está em plena curva de maturação. Para se ter uma ideia, o processador Sycamore do Google possui 54 qubits apenas. Para diversos problemas práticos este número tem que subir para mais de 100K (por conta de correção de erros dos desafios causados para estabilizar fisicamente o computador), ou seja, estamos longe disto. Certamente será muito interessante acompanhar o futuro e ver quando o AWS lançará o seu próprio chip quântico.
Do ponto de vista de negócios, o lançamento deste produto deixa muito explícito o DNA do AWS: cercar absolutamente tudo o que está sendo feito em TI e não deixar espaço para a concorrência. Nem espaço para hype. Se alguém fez barulho, ou tem algo que está gerando dinheiro, o AWS/Amazon estará lá mais cedo ou mais tarde.
Cases de negócio:
- F1: no ano passado já havia sido revelada a parceria do AWS para o processamento de dados em real-time e AI para mostrar estatísticas e probabilidades de manobras (já aparece nas transmissões de TV!). Este ano, o Rob Smedley assumiu o desafio de tornar a F1 mais competitiva no ano de 2021. A ideia é criar um carro com design aerodinâmico que não gere tanta turbulência no ar após sua passagem e prejudique quem está atrás tentando uma ultrapassagem. Hoje um carro na esteira do outro perde cerca de 40% do ‘downforce’ (a força que ‘cola’ o carro no chão ao contrário da asa de um avião que impulsiona para cima) e cria uma desvantagem na ultrapassagem. Com novas simulações de CFD feitas no AWS, a ideia é que se chegue a somente 7% de perda para quem está a 0,5 segundo atrás, Haverá um salto de competitividade;
- Goldman Sachs: o CIO, que também é D.J., falou sobre o novo banco de varejo mais cartão de crédito e a pivotagem do banco que antes era somente de investimento. Falou particularmente como estão ajudando a sair do mainframe;
- BP: migrando all-in para cloud;
- Insitro: empresa de ‘biologia digital’ que simula o DNA matematicamente e ajuda a encontrar novas drogas mais facilmente. Tem usado muito os recursos de supercomputação/HPC;
- Cerner: transformação no health care;
- Avis: case sobre como a frota de carros está conectada e reportando problemas, eventos e otimizando o uso;
- Saildrone: muito interessante este case. A Saildrone é uma empresa de drones aquáticos autônomos que tem a missão de mapear os oceanos do planeta coletando todo o tipo de dado: salinidade, temperatura, pressão, correntes marítimas, profundidade do oceano, biomassa (peixes, plancton, microorganismos). Com os dados, consegue melhorar a previsão do tempo e acompanhar o aquecimento global. Muito impressionante.
Enfim, novas oportunidades foram criadas e mais desafios para o dia-a-dia de todos.
Contem com o Cloud8 para ajudá-los neste ônus administrativo e de automação, bem como tirar vantagem da atualização constante da nossa plataforma! Há muitas funcionalidades que podemos e iremos implementar para melhorar ainda mais a plataforma.
Fiquem à vontade para compartilhar este email! Dúvidas, críticas ou sugestões, entre em contato.
Obrigado
Renato Weiner
CIO/Founder
Uma resposta
Excelente Renato,
Mesmo um quase leigo como eu, fica impressionado como a tecnologia avança numa velocidade impressionante gerando efeitos práticos na sociedade!
Grande abraço,
Arlindo