OpenVINO DevCon Taiwan

聚焦新版 OpenVINO 2023.0 與生成式 AI 模型

英特爾自2018年推出OpenVINO^™工具套件以來，持續針對市場需求及發展趨勢自我精進，從電腦視覺擴展到自然語言處理的模型支援，深化了框架整合度，也提升了可移植性和性能。英特爾專家將帶領大家深入了解OpenVINO^™最新版本 2023.0的技術亮點，包括：

對TensorFlow和Python前端等框架的更高整合度
對ARM處理器核心的支援
透過排程執行緒提升CPU效率

另外，目前最夯的生成式AI，它正在各個面向中迅速發展，並從根本上改變我們應用的行為。以GPT模型來說，它具有解決複雜問題的強大能力，甚至比一般人更強、例如能通過醫學和法律考試。講師將與聽眾一同探索如何在Intel的CPU及GPU上執行包括Stable Diffusion、CLIP和BLIP這等Transformer生成式模型。您將會學到：

如何透過Intel提供的GPU+CPU異質架構來實現AI應用
如何善用Jupyter Notebooks來部署生成式AI模型
如何使用HuggingFace Transformer模型快速創建強大的 AI 解決方案

認識深度學習量化技術，再用OpenVINO實作Smart Queue

量化是深度學習能大幅縮減記憶體面積與深度學習模型運算需求，讓它們更有效率、更容易部署於資源有限裝置的強大技術，在這場講座的第一部份課程，我們將探索能應用於深度學習模型的不同種類量化技術，此外將概略介紹神經網路壓縮框架(NNCF)，以及它能如何搭配OpenVINO工具套件實現出色性能。您將學習到：

量化的價值以及其不同種類
如何以OpenVINO工具套件駕馭NNCF
以Jupyter Notebook示範量化前/後的神經網路圖與性能比較。

接著跟我們一起按步驟學習如何利用OpenVINO工具套件與YOLOv8打造具智慧功能的零售業排隊管理系統吧！無論您是經驗豐富的開發者或是AI新手，上完這堂課，您將獲得自己動手打造解決方案的完整知識與資源，學習到：

步驟詳細、容易上手的Jupyter Notebook教程
及時偵測、追蹤人員情況以實現高效率排隊管理與人員配置最佳化
針對橫跨各種Intel處理器的多模型工作負載進行最佳化
可用資源大集合：能在GitHub取得的開放源碼、資料集、影片以及部落格，能針對您的特定需求輕鬆客製化與擴展。

掌握OpenVINO在生成式AI最新功能, 並實現Model Server創新應用

OpenVINO^™近期已經發佈更多的新功能！新版本將新增對新硬體的支援，並支援更多生成式AI模型。在2024年的新開始，讓我們一起來探索這套越來越強大的工具，如何幫助您的專案開發更加如虎添翼。

另外，Intel專家將展示如何運用OpenVINO^™ 將數據和自訂人工智慧模型結合在一起，並分享多個基於OpenVINO^™ Model Server的產業創新應用案例。其中包括生物製藥業者如何解鎖CellAI工具箱AI性能，以及雲端平台AI超解析度技術服務。

這場DevCon您將學習到：

OpenVINO^™ 最新功能：支援新硬體、LLM壓縮加速、一步到位文生圖模型，以及許多生成式AI模型等等
使用OpenVINO^™ 最佳化工具，提升科學領域AI模型的性能，並透過CellAI優化流水線效能
如何在雲端平台使用 OpenVINO^™ Model Server提供的AI超解析度技術服務

探索AI PC新時代，學習在邊緣裝置輕鬆運作LLM

憑藉結合CPU、GPU與NPU帶來的獨特AI加速功能，AI PC將為開發者的AI專案帶來更高效率與創新潛力。在這場講座中，英特爾專家將帶領聽眾了解什麼是AI PC，以及如何使用OpenVINO在AI PC展現AI應用程式的效能。您將學習到：

探索涵蓋傳統AI與生成式AI的一系列範例在 AI PC 上的實際應用。
了解NPU如何增強AI應用效能，特別是對於傳統上由AI 加速器分擔的任務。
學習使用OpenVINO在NPU上最佳化和部署 AI 應用的技巧。
使用 OpenVINO 將 AI 應用程式無縫轉移到 NPU。
了解開發人員如何在AI PC上試驗並利用OpenVINO強化AI 專案。

接著我們將示範如何使用OpenVINO工具套件快速、準確地在 AI PC和邊緣裝置上部署生成式AI，帶您嘗試最新 OpenVINO 版本令人興奮的新發展，包括更廣泛的 LLM 模型和專家混合架構支援，以及LLM 的新模型壓縮和記憶體最佳化技術；英特爾專家將示範如何在讓LLM在本地端運作，實現更快、更智慧的推論。

利用 OpenVINO 輕鬆實現邊緣裝置上的即時異常檢測與 LLM Chatbot

將AI模型部署在資源受限的邊緣裝置上，是許多開發者面臨的挑戰。在這場線上講座中，英特爾的專家將以電腦視覺與異常檢測應用為例，讓您了解如何使用開源Anomalib函式庫，通過不平衡資料集進行無監督學習，即時處理罕見異常，改善製造、醫療、農業等領域的品質控制。這堂課程您將學習到：

OpenVINO工具套件、OpenVINO Runtime和神經網路壓縮框架 (NNCF)在異常檢測領域的基本知識。
使用 Anomalib 1.0 掌握並整合各種最先進的異常檢測演算法。
透過量化和利用OpenVINO來訓練和優化AI模型，以實現邊緣裝置部署並確保在資源有限環境中執行高效能應用。

我們還邀請了經驗豐富的專業AI開發者 -- 淩耀電子經理林士允，講解如何在裝置上實現LLM對話機器人 (Chatbot)的成功案例。

運用OpenVINO充分釋放AI PC的創新威力！

您可能已經體驗過以Stable Diffusion、LCM (Latent Consistency Model)等生成式AI模型創作令人驚豔的文生圖成果，而除了影像生成，以AI生成文字、音訊、樂曲或撰寫電腦程式等等應用改變了各行各業與大眾的日常生活，預測性AI模型也能實現物件辨識、運動員姿態矯正等創新應用。

在這場線上講座中，來自Intel的專家將帶領聽眾深入了解新世代AI PC如何運用OpenVINO發揮CPU、GPU與NPU整合加速功能，實現強大的生成式/預測性AI創新應用，並在AI PC上展示多模態AI 應用的性能；我們還邀請到來自慈濟大學的李盛安教授，分享他以OpenVINO結合AI PC開發AI健身輔助教練應用的寶貴經驗。

在這場講座中您將：