MIT: Novo sistema para SSDs em data centers duplica desempenho para IA e nuvem
Em testes com aplicações reais, como treinamento de modelos de inteligência artificial e compressão de imagens, o sistema chegou a quase dobrar o desempenho em relação às abordagens convencionais.
Pesquisadores do Massachusetts Institute of Technology desenvolveram um novo sistema capaz de aumentar significativamente a eficiência de armazenamento em data centers, enfrentando um problema recorrente da indústria: o subaproveitamento de capacidade em dispositivos de alta performance, como os SSDs.
A solução, batizada de “Sandook”, aposta em uma abordagem inédita ao lidar simultaneamente com três fontes distintas de variabilidade que afetam o desempenho desses dispositivos — algo que métodos tradicionais costumam tratar de forma isolada. Em testes com aplicações reais, como treinamento de modelos de inteligência artificial e compressão de imagens, o sistema chegou a quase dobrar o desempenho em relação às abordagens convencionais.
Hoje, grandes data centers utilizam o chamado “pooling” de armazenamento, em que múltiplos dispositivos são conectados em rede para serem compartilhados por diversas aplicações. Apesar de aumentar a eficiência, esse modelo ainda sofre com gargalos: diferenças de desempenho entre os dispositivos fazem com que os mais lentos limitem o rendimento de todo o conjunto.
Segundo a pesquisadora Gohar Chaudhry, autora principal do estudo, essas variações decorrem de fatores como desgaste dos equipamentos ao longo do tempo, diferenças entre fabricantes e conflitos entre operações de leitura e escrita. Outro elemento crítico é o processo de “garbage collection”, responsável por liberar espaço nos discos, mas que ocorre de forma imprevisível e pode degradar o desempenho.
Para lidar com esse cenário, o Sandook adota uma arquitetura em dois níveis. Um controlador central distribui as tarefas com base em uma visão global do sistema, enquanto controladores locais em cada máquina fazem ajustes em tempo real, redirecionando operações quando detectam lentidão ou sobrecarga.
Na prática, o sistema consegue, por exemplo, alternar automaticamente quais dispositivos realizam operações de leitura e escrita, evitando conflitos que reduzem a velocidade. Também cria perfis de desempenho para cada SSD, permitindo antecipar quedas de performance e redistribuir a carga de trabalho de forma dinâmica.
Os resultados indicam ganhos expressivos. Em experimentos com um conjunto de dez SSDs, o Sandook aumentou o desempenho das aplicações entre 12% e 94% e elevou em 23% o aproveitamento da capacidade total dos dispositivos. Além disso, permitiu que os equipamentos operassem próximos de 95% de seu desempenho teórico máximo — sem الحاجة de hardware adicional.
Para os pesquisadores, a proposta tem implicações econômicas e ambientais relevantes. Em vez de expandir constantemente a infraestrutura, operadores de data centers poderiam extrair mais valor dos equipamentos já instalados, reduzindo custos e o impacto energético associado à produção de novos dispositivos.
O estudo será apresentado no USENIX Symposium on Networked Systems Design and Implementation e contou com financiamento de instituições como a National Science Foundation e a agência de pesquisa avançada do Departamento de Defesa dos Estados Unidos (DARPA). A equipe também pretende evoluir o sistema para incorporar novos protocolos de SSD e explorar padrões previsíveis de cargas de trabalho em aplicações de inteligência artificial.
