Les modèles multimodaux comme Gemini repoussent les limites du possible en unifiant des modalités de données traditionnellement cloisonnées. Avec Gemini, vous pouvez créer des applications qui comprennent et raisonnent de manière transparente à partir de textes, d'images et de vidéos, ce qui permet de créer une nouvelle catégorie de systèmes intelligents. Par exemple, créer un architecte d'intérieur virtuel capable d'analyser les images de la pièce d'un utilisateur, de comprendre ses préférences en matière de style à partir d'une description textuelle et de générer des recommandations personnalisées en matière de design. Vous apprendrez les techniques d'ingénierie de requête pour guider le comportement de Gemini et optimiser ses performances pour divers cours d'utilisation, de la génération d'histoires créatives à la rédaction de rapports analytiques. Vous découvrirez également comment intégrer Gemini avec des API et des bases de données externes en utilisant l'appel de fonction, avec la possibilité d'intégrer à vos applications des données en temps réel et du contenu dynamique. Ce que vous apprendrez, en détail :

1. Introduction aux modèles Gemini : Explorer la famille de modèles Gemini, et comprendre les différences clés et les cas d'utilisation pour Gemini Nano, Pro, Flash et Ultra. Comprenez comment sélectionner les modèles optimaux en fonction des capacités, de la latence et des considérations de coût. 2. Invitation multimodale et contrôle des paramètres : Apprenez des techniques avancées pour structurer des messages-guides texte-image-vidéo efficaces afin d'obtenir le comportement souhaité du modèle. Ajustez les paramètres clés tels que la température, top_p, top_k pour contrôler la créativité du modèle par rapport au déterminisme. 3. Meilleures pratiques pour les invites multimodales : Acquérir de l'expérience dans l'ingénierie de requête pour les modèles multimodaux Gemini, et les meilleures pratiques autour de l'attribution des rôles, la décomposition des tâches, et le formatage. Analyser l'impact de l'ordre des images sur les performances du modèle pour différents objectifs. 4. Création de cas d'utilisation avec des images : Créer des applications multimodales attrayantes telles que des assistants à la décoration d'intérieur et des outils d'analyse des reçus. Exploitez les capacités de raisonnement multimodal de Gemini pour analyser les relations entre les entités sur plusieurs images. 5. Développer des cas d'utilisation avec des vidéos : Mettre en œuvre la recherche sémantique de vidéos "aiguille dans la botte de foin" à l'aide de la grande fenêtre contextuelle de Gemini. Explorer les techniques d'assurance qualité et de résumé de contenu pour les vidéos de longue durée. 6. Intégration des données en temps réel avec l'appel de fonctions : Complétez Gemini avec des connaissances externes et des données directes grâce à l'appel de fonctions et à l'intégration d'API. Combinez les capacités de compréhension du langage naturel (NLU) de Gemini avec les API pour obtenir des faits actualisés et des services interactifs. Grâce à ce cours, vous maîtriserez les capacités de Gemini, vous saurez comment les maximiser dans différents cas d'utilisation et vous disposerez d'un portefeuille de techniques pratiques pour l'architecture d'applications IA multimodales avancées. Notez qu'en raison d'exigences techniques, ce cours présente des Bloc-notes uniquement téléchargeables sur la plateforme d'apprentissage. Vous êtes libre de télécharger, d'examiner et d'exécuter ces blocs-notes par vous-même.