Databricks CEO on GenAI for Enterprise

I recently listened to a great podcast on A16Z where Ben Horowitz interviewed the Databricks CEO Ali Ghodsi. They discussed a lot of interesting points about GenAI and especially regarding when it will hit the enterprise. Personally, I find these tools useful for summarizing information quickly into more consumable (read short!) form. In this way, they are already hitting enterprise as a tool employees use for productivity. But this isn’t Enterprise Saas, when will we see major gains in revenue or reductions in cost due to effective applications of GenAI for Enterprise? Below is a summary of the conversation… it’s an iteration of several drafts of key points pulled from a transcript I made using another AI tool. It was meant as a monologue, but I didn’t feel like paying for the recording… yet!

— Summary of Episode 745, A16Z Pod

As we stand on the cusp of an AI revolution, the insights from Ben Horowitz and Ali Ghodsi provide a compelling roadmap to navigate the challenges and promises of generative AI.

Enterprises today show a measured pace in adopting generative AI. Their primary reservations stem from concerns about data privacy, the imperative for accuracy, and inevitable internal debates over ownership. Ghodsi also draws attention to the considerable financial strain, especially with the costs associated with training and deploying expansive models.

When it comes to AI models, there's a balance to strike. On one hand, businesses have the allure of creating specialized models tailored to their unique datasets. On the other, there's the potential that vast, encompassing models promise. This brings forth a nuanced understanding: the essence of AI isn't solely in its magnitude but in its functionality.

Ghodsi offers a poignant analogy, comparing the current infatuation with AI model scale to the early days of the internet. Cisco, during the internet's inception, was lauded for producing the routers pivotal to the new technology. Their hardware was seen as the key to dominating the digital future. At its zenith, Cisco was valued at half a trillion dollars. However, as history unfolded, the real treasures of the internet were not in the routers but in the applications that ran on it: the search engines, social networks, and e-commerce platforms.

Drawing a parallel to AI, while there's undeniable importance in developing vast models, the true value lies in the specialized applications they power. Fields like medicine, law, and education are ripe for transformative experiences through AI.

However, challenges remain. For these AI models to be effective, they need the right data to produce desired outputs. A model's efficacy is deeply tied to the kind of data it's trained on. And gathering the correct training data, especially for varied and specialized tasks, is a daunting endeavor. Furthermore, our current techniques to refine models for specific tasks using prompts alone fall short of the required efficiency. The benchmarks we rely on, often sourced from public data, might not paint an accurate picture of a model's real-world performance.

Peering into the future through the lens of Horowitz and Ghodsi, it’s evident that generative AI will find increased acceptance among enterprises. This adoption will be fueled by reduced costs, advancements in AI capabilities, and resolution of existing concerns. The role of open-source platforms will be pivotal, driving innovation and making AI models more accessible to all. And while foundational models will be crucial, it's the innovative applications built atop them that will unlock unparalleled value.

As we advance, it's essential to maintain a balanced perspective. We're ushering in powerful tools, and with them comes the responsibility to integrate them safely into society. Addressing issues like potential misuse and the implications for the job market is not just wise—it's imperative.

In conclusion, the journey ahead with generative AI is filled with challenges, but it also holds boundless potential. It's a path that demands our attention, dedication, and thoughtful approach, but the rewards it promises are transformative.

— 한국어 —

다음은 벤 호로위츠와 알리 고드시의 통찰력이 가득한 인공지능 혁명의 시대를 맞이하며, 창의적 AI의 도전과 약속을 항해하기 위한 설득력 있는 로드맵을 제공합니다.

기업들은 현재 창의적 AI 도입에 신중한 자세를 보이고 있습니다. 그들의 주된 우려는 데이터 보안, 정확성의 필요성, 그리고 소유권을 둘러싼 내부 논쟁입니다. 고드시는 특히 거대 모델의 훈련과 배포에 따른 막대한 재정 부담에도 주목합니다. 

AI 모델과 관련해 균형을 이루는 것이 중요합니다. 일方에서 기업들은 자사의 고유 데이터세트에 맞춤화된 전문화된 모델의 매력에 끌릴 수 있습니다. 다른 한편으로는 거대하고 포괄적인 모델이 지니는 잠재력이 있습니다. 이는 AI의 본질이 단순히 규모에 있는 것이 아니라 기능에 있다는 미묘한 이해를 가져옵니다.

고드시는 현재 AI 모델 규모에 대한 집착을 인터넷 초기 시절의 시스코와 비교하는 명쾌한 은유를 제시합니다. 인터넷 기술에 필수적인 라우터를 생산한 시스코는 인터넷 창시기에 크게 환영받았습니다. 그들의 하드웨어는 디지털 미래를 지배할 열쇠로 여겨졌습니다. 정점기에 시스코는 5천억 달러 가치로 평가됐습니다. 그러나 역사가 펼쳐짐에 따라, 인터넷의 진정한 보물은 라우터가 아니라 검색엔진, 소셜네트워크, 전자상거래 플랫폼과 같은 응용 프로그램이었습니다. 

이를 AI에 빗대어 볼 때, 거대 모델 개발의 분명한 중요성이 있지만, 진정한 가치는 그 모델들이 전력화하는 전문화된 응용 프로그램에 있습니다. 의학, 법률, 교육 등의 분야는 AI를 통해 변혁적인 경험을 할 수 있습니다.

그러나 여전히 도전과제가 존재합니다. 이 AI 모델들이 효과를 발휘하려면 원하는 출력을 생산하는 데 필요한 올바른 데이터가 필요합니다. 모델의 효능은 그것이 훈련받는 데이터 종류와 깊이 연관되어 있습니다. 특히 다양하고 전문화된 작업을 위한 적절한 훈련 데이터를 수집하는 일은 벅찬 작업입니다. 게다가 현재 프롬프트만으로 모델을 특정 작업에 미세조정하는 기술은 요구되는 효율성에 미치지 못합니다. 우리가 의존하는 벤치마크는 종종 공개 데이터에서 추출되므로 모델의 실제 성능을 정확히 반영하지 못할 수 있습니다. 

호로위츠와 고드시의 관점으로 미래를 바라보면, 창의적 AI가 기업 내에서 점차 받아들여질 것이라는 것이 분명합니다. 이 채택은 비용 절감, AI 기능 향상, 기존 우려 해결 등을 통해 촉진될 것입니다. 오픈소스 플랫폼의 역할은 혁신을 추동하고 AI 모델을 더 많은 사람들이 접근할 수 있도록 만드는 데 있어 핵심적일 것입니다. 기초 모델은 중요하겠지만, 거기에 구축된 혁신적인 응용 프로그램들이 비교할 수 없는 가치를 창출할 것입니다.

우리가 발전함에 따라 균형 잡힌 관점을 유지하는 것이 중요합니다. 강력한 도구를 도입하고 있으며, 그와 함께 사회에 안전하게 통합하는 책임이 따릅니다. 잠재적 남용 및 고용 시장에 대한 영향에 주의를 기울이는 것은 현명할 뿐만 아니라 필수적입니다.

결론적으로, 창의적 AI와의 여정에는 도전이 가득하지만 무한한 가능성도 있습니다. 이는 우리의 주의, 헌신, 신중한 접근을 요구하는 길이지만, 그로부터 기대되는 보상은 변혁적일 것입니다.