Fábio Moreira de Souza
Resumo
A gest~ao de dados na industria do petroleo e um grande desa o. O ciclo dos dados de E&P exige muitas transfer^encias de arquivos, cujo tamanhos crescem exponencialmente a cada dia. Neste cenario, onde os geocientistas e engenheiros est~ao geogra camente distribudos, surge a necessidade de uma soluc~ao para realizac~ao de transfer^encias com alto desempenho, seguranca e integridade de dados na Petrobras, entre sua Sede e suas Unidades Operacionais. Esta pesquisa tem como objetivo estudar os aspectos de alto desempenho do GridFTP, um protocolo para transfer^encia de dados de alto desempenho, con avel e seguro usado em Grid Computing, focando principalmente na utilizac~ao da con figuração em Striped Mode atraves de sistema de arquivos paralelo, juntamente com o uso de multiplas conex~oes TCP paralelas. Um ambiente dedicado de pesquisa foi construdo, simulando as diversas condic~oes de transfer^encia existentes neste cenario. Este ambiente possui um mecanismo de autenticac~ao, onde dois estudos de caso foram avaliados: um focado em transfer^encias de centenas de gigabytes ou mais, com altas taxas de transfer^encia, utilizando um sistema de arquivos paralelo; e um outro cenario focado na transfer^ encia de varios pequenos arquivos atraves de uma rede com largura de banda estreita e alta lat^encia. Os resultados desta pesquisa est~ao sendo incorporados a uma aplicac~ao web chamada SETA, Servico Especializado de Transfer^encia de Arquivos, desenvolvida na Petrobras, que ja se encontra em produc~ao.
Abstract
Data management in oil industry is a big challenge. The cycle of E&P data requires many le transfers, which size grow exponentially nowadays. In this environment, where geoscientists and engineers are geographically distributed, the need of a data transfer solution that provides transfers with high performance, security and le integrity emerges in Petrobras, between its Headquarters and its Operational Units. This research aims to study the high performance features from GridFTP, a high performance, reliable and secure data transfer protocol used in Grid Computing, mainly focused on using Striped Mode con gurations through a parallel le system, also using multiple TCP connections in parallel. A dedicated research environment was built to simulate several conditions existing in this scenario. This environment has an authentication engine, where two cases studies were evaluated: one focused on transferring hundreds of gigabytes or more, with high transfer rates using a parallel le system; and another scenario focused on transferring volumes of lots of small les across a narrow bandwidth network and high latency. The results from this research are being incorporated into a web application called SETA, an acronym in Portuguese for Specialized File Transfer Service, developed at Petrobras, already in production.
