“Las organizaciones quieren almacenamiento abierto y motores de consulta interoperables sin bloqueo. Ahora, con el apoyo de los líderes de la industria, estamos simplificando aún más la forma en que cualquier organización puede acceder fácilmente a sus datos a través de diversos sistemas con mayor flexibilidad y control", explica Christian Kleinerman, EVP of Producto, Snowflake. “Polaris Catalog amplía el compromiso de Snowflake con Apache Iceberg como el estándar abierto de elección, y señala la intención de los líderes de la industria en permitir a los clientes y a la comunidad Iceberg en general aprovechar sus datos a través de un enfoque abierto y neutral, potenciando la interoperabilidad entre motores sobre esos datos”.
Polaris Catalog presenta nuevos niveles de interoperabilidad para Apache Iceberg
Apache Iceberg emergió de la incubación para convertirse en un proyecto de alto nivel de la Apache Software Foundation en mayo de 2020, y desde entonces ha aumentado su popularidad hasta convertirse en un formato líder de tablas de datos de código abierto. Con Polaris Catalog, los usuarios obtienen ahora un lugar único y centralizado para que cualquier motor encuentre y acceda a las tablas Iceberg de una organización con interoperabilidad total y abierta. Polaris Catalog se basa en el protocolo REST de código abierto de Iceberg, que proporciona un estándar abierto para que los usuarios accedan y recuperen datos desde cualquier motor que admita la API Rest de Iceberg, incluidos Apache Flink, Apache Spark, Dremio, Python, Trino, etc.
Las organizaciones pueden empezar a ejecutar Polaris Catalog alojado en la AI Data Cloud de Snowflake en cuestión de minutos (Snowflake alojado en public preview en breve), o autoalojarlo en su propia infraestructura utilizando contenedores como Docker o Kubernetes. Dado que la implementación del backend de Polaris Catalog será de código abierto, las organizaciones pueden intercambiar libremente la infraestructura de alojamiento, eliminando al mismo tiempo la dependencia del proveedor.
Organizaciones líderes se unen a la comunidad de Polaris Catalog
Una parte de lo que hace que Apache Iceberg sea tan potente es su vibrante comunidad de usuarios, colaboradores y ofertas comerciales diversas. Para garantizar que Polaris Catalog pueda responder a las necesidades cambiantes de una comunidad y un panorama más amplios, Snowflake colabora con el ecosistema Iceberg para impulsar el proyecto.
Esto llega tras la reciente ampliación de la colaboración entre Snowflake y Microsoft, que crea una interoperabilidad más fluida entre Snowflake y Fabric. Esta interoperabilidad es posible gracias al compromiso de Snowflake y Microsoft de apoyar los principales estándares abiertos del sector para formatos de almacenamiento: Apache Iceberg y Apache Parquet. Ahora con Polaris Catalog, ambas organizaciones continúan colaborando con la misión conjunta de permitir a todos los usuarios aprovechar sus datos empresariales, independientemente de dónde estén almacenados, para crear aplicaciones impulsadas por IA a escala.
“Desde el primer día en Microsoft, nos hemos centrado en capacitar a todos los usuarios del planeta para lograr más, y esto comienza con una sólida base de datos. A través de nuestro sorporte y contribuciones a los estándares de datos abiertos, incluyendo Delta Parquet, Apache Iceberg y Apache XTable, estamos impulsando esta misión al permitir a las organizaciones un nuevo nivel de interoperabilidad de datos abiertos, para que puedan hacer más con sus datos", dice Arun Ulagaratchagan, Vicepresidente Corporativo de Azure Data de Microsoft. “Snowflake continúa siendo un partner estratégico nuestro, y estamos entusiasmados por su voluntad de trabajar con la comunidad Iceberg en un catálogo abierto para empoderar a nuestros clientes conjuntos y a la comunidad de código abierto en general con más flexibilidad y control sobre sus datos abiertos Iceberg”.
Con la experiencia de Snowflake, que sirve como datos fundacionales que impulsan las cargas de trabajo de IA y datos entre nubes de miles de clientes globales, y con la innovación y habilidades de código abierto de la comunidad Iceberg en rápido crecimiento, continuarán simplificando juntos la interoperabilidad de los datos entre motores.
Snowflake sigue ampliando su compromiso con el código abierto
Polaris Catalog sigue a una serie de recientes compromisos de Snowflake con respecto al código abierto, incluyendo sus inversiones en Iceberg Tables, que permiten a los clientes de Snowflake trabajar con datos en su propio almacenamiento en el formato Apache Iceberg, sin dejar de beneficiarse de la facilidad de uso, el rendimiento y la gobernanza unificada de Snowflake.
Snowflake también ha anunciado recientemente Snowflake Arctic, uno de los large language models (LLM) empresariales más abiertos del mercado. Como parte del compromiso de Snowflake con el código abierto, no sólo ha publicado las ponderaciones de Arctic bajo una licencia Apache 2.0, sino también amplios detalles sobre cómo se ha entrenado a través de una serie de “libros de recetas”. Además, Snowflake apoya a la comunidad de código abierto Streamlit, que ahora cuenta con más de 275.000 desarrolladores activos mensuales y más de 6 millones de visitas mensuales a aplicaciones. Desde que Snowflake adquirió Streamlit en marzo de 2022, la comunidad de código abierto ha seguido floreciendo, creciendo más de un 500% en los últimos dos años, ya que Snowflake y Streamlit siguen invirtiendo en avances de código abierto de vanguardia para los desarrolladores.
Comentarios sobre la noticia de los expertos en Data Platform
“AWS se compromete a trabajar con partners, como Snowflake, en soluciones de código abierto que pueden fomentar la capacidad de elección para los clientes”, comenta Chris Grusz, Managing Director, Technology Partnerships, Amazon Web Services. “Estamos encantados de trabajar con Snowflake para seguir haciendo que Apache Iceberg siga siendo interoperable en todos nuestros motores”.
“En Confluent, tenemos la misión de acabar con los silos de datos para ayudar a las organizaciones a potenciar sus negocios con más información en tiempo real”, dice Shaun Clowes, Chief Product Officer, Confluent. “Con Tableflow en Confluent Cloud, las organizaciones podrán convertir flujos de datos de toda la empresa en tablas Apache Iceberg con un solo clic. Juntos, Polaris Catalog de Snowflake y Tableflow permiten a los equipos de datos acceder fácilmente a estas tablas para el desarrollo de aplicaciones críticas y análisis posteriores”.
“Los clientes quieren ecosistemas abiertos prósperos y ser propietarios de su almacenamiento, datos y metadatos. No quieren estar encerrados", afirma Tomer Shiran, fundador de Dremio. “Estamos comprometidos a apoyar los estándares abiertos, como Apache Iceberg y los catálogos abiertos Project Nessie y Polaris Catalog. Estas tecnologías abiertas proporcionarán la interoperabilidad del ecosistema y la capacidad de elección que los clientes merecen”.
“Participamos activamente en la comunidad de código abierto, especialmente en el ámbito de los datos”, ha declarado Neema Raphael, Chief Data Officer and Head of Data Engineering at Goldman Sachs. “Hemos abierto nuestra plataforma de datos, Legend, lo que nos permite trabajar con formatos de tabla de código abierto como Iceberg, que proporcionará una mayor interoperabilidad a través de motores de consulta como Snowflake. El lanzamiento de un catálogo de Iceberg de código abierto como Polaris es un paso emocionante en la promoción de ese compromiso con la interoperabilidad”.
“La popularidad de Apache Iceberg ha establecido un estándar de almacenamiento abierto que simplifica el acceso a datos de copia cero para las organizaciones en todo su ecosistema”, señala Raveendrnathan Loganathan, Executive Vice President of Software Engineering at Salesforce. “Nuestra Data Cloud de Salesforce se ha construido desde cero con los estándares abiertos Apache Parquet para archivos y Apache Iceberg para tablas, fomentando las innovaciones de copia cero para desbloquear datos atrapados, obtener información y orquestar acciones en todo el cliente 360. Estamos encantados de contar con Snowforce para el almacenamiento de datos. Estamos encantados de contar con Snowflake como miembro de nuestra Zero Copy Partner Network, y nos entusiasma ver cómo este nuevo estándar de catálogo abierto impulsará el acceso a la copia cero en la empresa”.