lecon ml specialise

import%20marimo%0A%0A__generated_with%20%3D%20%220.20.2%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Machine%20Learning%20Sp%C3%A9cialis%C3%A9%0A%0A%20%20%20%20Lorsque%20l'on%20travaille%20sur%20des%20donn%C3%A9es%20qui%20ne%20sont%20pas%20tabulaires%2C%20il%20faut%20pouvoir%20adapter%20sa%20cha%C3%AEne%20de%20traitement%20%C3%A0%20des%20donn%C3%A9es%20non%20tabulaires.%0A%0A%20%20%20%20C'est%20le%20cas%20lorsque%20l'on%20travaille%20sur%20des%20donn%C3%A9es%20relevant%20de%20domaines%20sp%C3%A9cifiques%20%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Domaines%20abord%C3%A9s%0A%0A%20%20%20%20%7C%20Domaine%20%7C%20Type%20de%20donn%C3%A9es%20%7C%20Applications%20typiques%20%7C%0A%20%20%20%20%7C---------%7C----------------%7C----------------------%7C%0A%20%20%20%20%7C%20**Vision%20par%20ordinateur**%20%7C%20Images%2C%20vid%C3%A9os%20%7C%20Classification%2C%20d%C3%A9tection%20d'objets%20%7C%0A%20%20%20%20%7C%20**Traitement%20du%20langage**%20%7C%20Texte%20brut%20%7C%20Sentiment%2C%20classification%2C%20NER%20%7C%0A%20%20%20%20%7C%20**S%C3%A9ries%20temporelles**%20%7C%20Donn%C3%A9es%20s%C3%A9quentielles%20%7C%20Pr%C3%A9vision%2C%20d%C3%A9tection%20d'anomalies%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Principe%20commun%0A%0A%20%20%20%20scikit-learn%20travaille%20sur%20des%20**matrices%202D**%20%60(n_samples%2C%20n_features)%60%0A%0A%20%20%20%20Pour%20chaque%20domaine%2C%20l'enjeu%20est%20de%20**transformer%20les%20donn%C3%A9es%20brutes**%20en%20ce%20format%2C%20puis%20d'appliquer%20la%20cha%C3%AEne%20de%20traitement%20habituelle.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%96%BC%EF%B8%8F%20Analyse%20d'images%0A%0A%20%20%20%20%23%23%20Vision%20par%20ordinateur%20avec%20scikit-learn%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Introduction%20%E2%80%94%20Pourquoi%20c'est%20diff%C3%A9rent%20%3F%0A%0A%20%20%20%20Une%20image%20n'est%20pas%20un%20tableau%20de%20features%20%3A%20c'est%20un%20**tenseur%203D**%20%60(hauteur%2C%20largeur%2C%20canaux)%60%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Image%20couleur%20128%C3%97128%20px%20%20%E2%86%92%20%20shape%20(128%2C%20128%2C%203)%20%20%E2%86%92%20%2049%20152%20valeurs%0A%20%20%20%20Image%20niveaux%20de%20gris%20%20%20%20%20%20%E2%86%92%20%20shape%20(128%2C%20128)%20%20%20%20%20%E2%86%92%20%2016%20384%20valeurs%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Applications%20classiques%0A%0A%20%20%20%20-%20**Classification**%20%3A%20identifier%20ce%20que%20contient%20une%20image%20(chien%20%2F%20chat%2C%20tumeur%20%2F%20sain%E2%80%A6)%0A%20%20%20%20-%20**D%C3%A9tection%20d'objets**%20%3A%20localiser%20des%20%C3%A9l%C3%A9ments%20dans%20une%20image%0A%20%20%20%20-%20**Segmentation**%20%3A%20classer%20chaque%20pixel%0A%20%20%20%20-%20**Reconnaissance%20de%20caract%C3%A8res**%20(OCR)%0A%0A%20%20%20%20%3E%20%E2%9A%A0%EF%B8%8F%20Pour%20les%20t%C3%A2ches%20complexes%2C%20les%20**r%C3%A9seaux%20de%20neurones%20convolutifs**%20(CNN)%20sont%20aujourd'hui%20incontournables.%20Ici%2C%20on%20couvre%20les%20approches%20ML%20classiques.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Repr%C3%A9sentation%20et%20chargement%20des%20images%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20from%20PIL%20import%20Image%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20%23%20Charger%20une%20image%0A%20%20%20%20img%20%3D%20Image.open(%22chat.jpg%22)%0A%20%20%20%20img_array%20%3D%20np.array(img)%20%20%20%20%20%20%20%20%20%20%23%20shape%3A%20(H%2C%20W%2C%203)%20%E2%80%94%20valeurs%200-255%0A%0A%20%20%20%20%23%20Convertir%20en%20niveaux%20de%20gris%0A%20%20%20%20img_gray%20%3D%20img.convert(%22L%22)%0A%20%20%20%20img_gray_array%20%3D%20np.array(img_gray)%20%20%23%20shape%3A%20(H%2C%20W)%0A%0A%20%20%20%20%23%20Normaliser%20les%20valeurs%20de%20pixels%0A%20%20%20%20img_normalized%20%3D%20img_array%20%2F%20255.0%20%20%20%23%20valeurs%20dans%20%5B0%2C%201%5D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Mise%20%C3%A0%20l'%C3%A9chelle%20(preprocessing%20indispensable)%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20%23%20Toutes%20les%20images%20doivent%20avoir%20la%20m%C3%AAme%20taille%20avant%20l'entra%C3%AEnement%0A%20%20%20%20target_size%20%3D%20(64%2C%2064)%0A%20%20%20%20img_resized%20%3D%20img.resize(target_size)%0A%0A%20%20%20%20%23%20Aplatir%20pour%20scikit-learn%20%3A%20(H%2C%20W)%20%E2%86%92%20(H*W%2C)%0A%20%20%20%20img_flat%20%3D%20np.array(img_resized).flatten()%20%20%23%20shape%3A%20(4096%2C)%0A%0A%20%20%20%20%23%20Pour%20un%20dataset%20complet%20%3A%0A%20%20%20%20X%20%3D%20np.array(%5Bnp.array(img.resize(target_size).convert(%22L%22)).flatten()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20img%20in%20images%5D)%20%20%23%20shape%3A%20(n_samples%2C%20H*W)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Extraction%20de%20features%20%3A%20HOG%0A%0A%20%20%20%20**HOG**%20(*Histogram%20of%20Oriented%20Gradients*)%20%3A%20r%C3%A9sum%C3%A9%20des%20contours%20et%20formes%20d'une%20image%0A%20%20%20%20%E2%86%92%20Beaucoup%20plus%20compact%20et%20informatif%20que%20les%20pixels%20bruts%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Image%20(64%C3%97128%20px)%20%20%E2%86%92%20%20HOG%20%20%E2%86%92%20%20vecteur%20de%20~3780%20features%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20from%20skimage.feature%20import%20hog%0A%20%20%20%20from%20skimage%20import%20color%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20def%20extract_hog(image_array)%3A%0A%20%20%20%20%20%20%20%20%5C%22%5C%22%5C%22Extrait%20les%20features%20HOG%20d'une%20image.%5C%22%5C%22%5C%22%0A%20%20%20%20%20%20%20%20img_gray%20%3D%20color.rgb2gray(image_array)%20%20%23%20HOG%20fonctionne%20en%20niveaux%20de%20gris%0A%20%20%20%20%20%20%20%20features%20%3D%20hog(%0A%20%20%20%20%20%20%20%20%20%20%20%20img_gray%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20orientations%3D9%2C%20%20%20%20%20%20%20%20%20%20%23%20nombre%20de%20directions%20de%20gradient%0A%20%20%20%20%20%20%20%20%20%20%20%20pixels_per_cell%3D(8%2C%208)%2C%20%20%23%20taille%20des%20cellules%0A%20%20%20%20%20%20%20%20%20%20%20%20cells_per_block%3D(2%2C%202)%2C%20%20%23%20normalisation%20par%20blocs%0A%20%20%20%20%20%20%20%20%20%20%20%20visualize%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20features%0A%0A%20%20%20%20%23%20Extraire%20HOG%20pour%20tout%20le%20dataset%0A%20%20%20%20X_hog%20%3D%20np.array(%5Bextract_hog(img)%20for%20img%20in%20images%5D)%20%20%23%20(n_samples%2C%20n_hog_features)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exemple%20complet%20%3A%20classification%20de%20chiffres%20manuscrits%0A%0A%20%20%20%20Dataset%20%60digits%60%20de%20scikit-learn%20%3A%20images%208%C3%978%20px%2C%2010%20classes%20(0%20%C3%A0%209)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20sklearn.datasets%20import%20load_digits%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%0A%20%20%20%20from%20sklearn.pipeline%20import%20make_pipeline%0A%20%20%20%20from%20sklearn.preprocessing%20import%20StandardScaler%0A%20%20%20%20from%20sklearn.svm%20import%20SVC%0A%20%20%20%20from%20sklearn.metrics%20import%20classification_report%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20digits%20%3D%20load_digits()%0A%20%20%20%20%23%20Chargement%0A%20%20%20%20X%2C%20y%20%3D%20(digits.data%2C%20digits.target)%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(2%2C%205%2C%20figsize%3D(10%2C%204))%20%20%23%20X%20d%C3%A9j%C3%A0%20aplati%20%3A%20(1797%2C%2064)%0A%20%20%20%20for%20i%2C%20ax%20in%20enumerate(_axes.flat)%3A%0A%20%20%20%20%23%20Visualisation%20d'un%20%C3%A9chantillon%0A%20%20%20%20%20%20%20%20ax.imshow(digits.images%5Bi%5D%2C%20cmap%3D'gray')%0A%20%20%20%20%20%20%20%20ax.set_title(f'Label%3A%20%7Bdigits.target%5Bi%5D%7D')%0A%20%20%20%20%20%20%20%20ax.axis('off')%0A%20%20%20%20plt.suptitle('Exemples%20du%20dataset%20digits')%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20plt.show()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20SVC%2C%0A%20%20%20%20%20%20%20%20StandardScaler%2C%0A%20%20%20%20%20%20%20%20X%2C%0A%20%20%20%20%20%20%20%20classification_report%2C%0A%20%20%20%20%20%20%20%20digits%2C%0A%20%20%20%20%20%20%20%20i%2C%0A%20%20%20%20%20%20%20%20make_pipeline%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20train_test_split%2C%0A%20%20%20%20%20%20%20%20y%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**V%C3%A9rification%20de%20la%20dimension%20du%20dataset%20%3A**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(X%2C%20digits%2C%20i)%3A%0A%20%20%20%20print(f%22Taille%20originale%20des%20images%20%7Bdigits.images%5Bi%5D.shape%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20f%22%5CnNombre%20d'images%20%3A%20%7BX.shape%5B1%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20f%22%5CnLongeur%20des%20image%20aplaties%20%3A%20%7BX.shape%5B0%5D%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20SVC%2C%0A%20%20%20%20StandardScaler%2C%0A%20%20%20%20X%2C%0A%20%20%20%20classification_report%2C%0A%20%20%20%20make_pipeline%2C%0A%20%20%20%20train_test_split%2C%0A%20%20%20%20y%2C%0A)%3A%0A%20%20%20%20%23%20Pipeline%20%3A%20normalisation%20%2B%20SVM%0A%20%20%20%20_X_train%2C%20X_test%2C%20_y_train%2C%20y_test%20%3D%20train_test_split(X%2C%20y%2C%20test_size%3D0.2%2C%20random_state%3D42)%0A%20%20%20%20pipe%20%3D%20make_pipeline(StandardScaler()%2C%20SVC(kernel%3D'rbf'%2C%20C%3D10%2C%20gamma%3D0.001))%0A%20%20%20%20pipe.fit(_X_train%2C%20_y_train)%0A%20%20%20%20print(classification_report(y_test%2C%20pipe.predict(X_test)))%0A%20%20%20%20return%20X_test%2C%20pipe%2C%20y_test%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Comparaison%20%3A%20pixels%20bruts%20vs%20features%20HOG%0A%0A%20%20%20%20Les%20images%20%60digits%60%20font%208%C3%978%20px%20%E2%86%92%2064%20features%20brutes.%0A%20%20%20%20HOG%20sur%20ces%20m%C3%AAmes%20images%20(cellules%204%C3%974)%20%E2%86%92%20**36%20features**%20seulement.%0A%0A%20%20%20%20L'enjeu%20%3A%20HOG%20capture%20les%20*contours%20et%20formes*%2C%20plus%20robuste%20et%20compact%20que%20les%20valeurs%20de%20pixels.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20SVC%2C%0A%20%20%20%20StandardScaler%2C%0A%20%20%20%20X%2C%0A%20%20%20%20X_test%2C%0A%20%20%20%20classification_report%2C%0A%20%20%20%20digits%2C%0A%20%20%20%20make_pipeline%2C%0A%20%20%20%20pipe%2C%0A%20%20%20%20train_test_split%2C%0A%20%20%20%20y%2C%0A%20%20%20%20y_test%2C%0A)%3A%0A%20%20%20%20from%20skimage.feature%20import%20hog%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20%23%20---%20Extraction%20HOG%20---%0A%20%20%20%20%23%20Les%20images%20digits%20sont%20d%C3%A9j%C3%A0%20en%20niveaux%20de%20gris%20(valeurs%200%E2%80%9316)%2C%20shape%20(8%2C%208)%0A%20%20%20%20def%20extract_hog_digits(image_2d)%3A%0A%20%20%20%20%20%20%20%20return%20hog(image_2d%2C%20orientations%3D9%2C%20pixels_per_cell%3D(4%2C%204)%2C%20cells_per_block%3D(1%2C%201)%2C%20visualize%3DFalse)%0A%20%20%20%20X_hog%20%3D%20np.array(%5Bextract_hog_digits(img)%20for%20img%20in%20digits.images%5D)%0A%20%20%20%20print(f'Pixels%20bruts%20%3A%20%7BX.shape%5B1%5D%7D%20features%20par%20image')%0A%20%20%20%20print(f'HOG%20%20%20%20%20%20%20%20%20%20%3A%20%7BX_hog.shape%5B1%5D%7D%20features%20par%20image')%20%20%23%20cellules%204%C3%974%20px%20%E2%86%92%20grille%202%C3%972%0A%20%20%20%20X_hog_train%2C%20X_hog_test%2C%20y_hog_train%2C%20y_hog_test%20%3D%20train_test_split(X_hog%2C%20y%2C%20test_size%3D0.2%2C%20random_state%3D42)%20%20%23%20pas%20de%20normalisation%20par%20bloc%0A%20%20%20%20pipe_hog%20%3D%20make_pipeline(StandardScaler()%2C%20SVC(kernel%3D'rbf'%2C%20C%3D10%2C%20gamma%3D'scale'))%0A%20%20%20%20pipe_hog.fit(X_hog_train%2C%20y_hog_train)%0A%20%20%20%20score_brut%20%3D%20pipe.score(X_test%2C%20y_test)%0A%20%20%20%20score_hog%20%3D%20pipe_hog.score(X_hog_test%2C%20y_hog_test)%0A%20%20%20%20print(f'%5CnAccuracy%20%E2%80%94%20pixels%20bruts%20(64%20features)%20%3A%20%7Bscore_brut%3A.4f%7D')%0A%20%20%20%20print(f'Accuracy%20%E2%80%94%20HOG%20%20%20%20%20%20%20%20%20%20(36%20features)%20%3A%20%7Bscore_hog%3A.4f%7D')%0A%20%20%20%20print('%5Cn%3D%3D%3D%20Pixels%20bruts%20%3D%3D%3D')%0A%20%20%20%20print(classification_report(y_test%2C%20pipe.predict(X_test)))%0A%20%20%20%20%23%20---%20M%C3%AAme%20split%20train%2Ftest%20(random_state%3D42%20%E2%86%92%20indices%20identiques)%20---%0A%20%20%20%20print('%3D%3D%3D%20HOG%20%3D%3D%3D')%0A%20%20%20%20%23%20Pipeline%20HOG%20%2B%20SVM%0A%20%20%20%20%23%20---%20Comparaison%20des%20scores%20---%0A%20%20%20%20%23%20---%20Visualisation%20d%C3%A9taill%C3%A9e%20par%20classe%20---%0A%20%20%20%20print(classification_report(y_hog_test%2C%20pipe_hog.predict(X_hog_test)))%0A%20%20%20%20return%20(np%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20R%C3%A9duction%20de%20dimension%20pour%20les%20images%0A%0A%20%20%20%20Les%20images%20aplaties%20produisent%20des%20vecteurs%20tr%C3%A8s%20longs%20%E2%86%92%20la%20**PCA**%20est%20quasi-indispensable%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20from%20sklearn.decomposition%20import%20PCA%0A%20%20%20%20from%20sklearn.pipeline%20import%20make_pipeline%0A%20%20%20%20from%20sklearn.preprocessing%20import%20StandardScaler%0A%20%20%20%20from%20sklearn.svm%20import%20SVC%0A%0A%20%20%20%20%23%20Pipeline%20complet%20avec%20PCA%0A%20%20%20%20pipe%20%3D%20make_pipeline(%0A%20%20%20%20%20%20%20%20StandardScaler()%2C%0A%20%20%20%20%20%20%20%20PCA(n_components%3D0.95)%2C%20%20%20%23%20garder%2095%25%20de%20la%20variance%0A%20%20%20%20%20%20%20%20SVC(kernel%3D'rbf'%2C%20C%3D10)%0A%20%20%20%20)%0A%20%20%20%20pipe.fit(X_train%2C%20y_train)%0A%0A%20%20%20%20print(f%22Dimensions%20apr%C3%A8s%20PCA%20%3A%20%7Bpipe%5B'pca'%5D.n_components_%7D%20composantes%22)%0A%20%20%20%20print(f%22Score%20%3A%20%7Bpipe.score(X_test%2C%20y_test)%3A.3f%7D%22)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Tableau%20r%C3%A9capitulatif%20%E2%80%94%20Analyse%20d'images%0A%0A%20%20%20%20%7C%20%C3%89tape%20%7C%20Outil%20%7C%20Remarque%20%7C%0A%20%20%20%20%7C-------%7C-------%7C----------%7C%0A%20%20%20%20%7C%20Chargement%20%7C%20%60PIL.Image%60%2C%20%60skimage.io%60%20%7C%20Uniformiser%20la%20taille%20en%20amont%20%7C%0A%20%20%20%20%7C%20Aplatissement%20%7C%20%60np.flatten()%60%20%7C%20Pixels%20bruts%20%E2%86%92%20vecteur%201D%20%7C%0A%20%20%20%20%7C%20Normalisation%20%7C%20%60StandardScaler%60%20ou%20%60%2F255%60%20%7C%20Toujours%20n%C3%A9cessaire%20%7C%0A%20%20%20%20%7C%20Extraction%20features%20%7C%20HOG%20(%60skimage.feature.hog%60)%20%7C%20Plus%20robuste%20que%20pixels%20bruts%20%7C%0A%20%20%20%20%7C%20R%C3%A9duction%20dim%20%7C%20%60PCA%60%20%7C%20Indispensable%20si%20beaucoup%20de%20pixels%20%7C%0A%20%20%20%20%7C%20Mod%C3%A8le%20%7C%20%60SVC%60%2C%20%60RandomForest%60%20%7C%20SVM%20%2B%20HOG%20%3D%20combo%20classique%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%93%9D%20Analyse%20textuelle%0A%0A%20%20%20%20%23%23%20Traitement%20du%20langage%20naturel%20(NLP)%20avec%20scikit-learn%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Introduction%20%E2%80%94%20Le%20d%C3%A9fi%20du%20texte%0A%0A%20%20%20%20Le%20texte%20est%20une%20**s%C3%A9quence%20de%20symboles**%20%E2%80%94%20pas%20de%20nombres%2C%20pas%20de%20taille%20fixe%2C%20vocabulaire%20potentiellement%20infini%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22Ce%20film%20est%20excellent%20!%22%20%20%E2%86%92%20%20%3F%3F%3F%20%E2%86%92%20mod%C3%A8le%20ML%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Applications%20classiques%0A%0A%20%20%20%20-%20**Analyse%20de%20sentiment**%20%3A%20positif%20%2F%20n%C3%A9gatif%20%2F%20neutre%0A%20%20%20%20-%20**Classification%20de%20documents**%20%3A%20spam%2C%20cat%C3%A9gorisation%20d'articles%0A%20%20%20%20-%20**Extraction%20d'information**%20%3A%20noms%2C%20lieux%2C%20dates%20(NER)%0A%20%20%20%20-%20**Similarit%C3%A9%20de%20textes**%20%3A%20documents%20dupliqu%C3%A9s%2C%20plagiat%0A%20%20%20%20-%20**Recherche%20d'information**%20%3A%20moteurs%20de%20recherche%20internes%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%C3%89tape%201%20%3A%20Pr%C3%A9traitement%20du%20texte%0A%0A%20%20%20%20Nettoyer%20le%20texte%20avant%20vectorisation%20%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20import%20re%0A%0A%20%20%20%20def%20preprocess_text(text)%3A%0A%20%20%20%20%20%20%20%20text%20%3D%20text.lower()%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20minuscules%0A%20%20%20%20%20%20%20%20text%20%3D%20re.sub(r'%5B%5Ea-z%C3%A0%C3%A2%C3%A7%C3%A9%C3%A8%C3%AA%C3%AB%C3%AE%C3%AF%C3%B4%C3%B9%C3%BB%C3%BC%5Cs%5D'%2C%20''%2C%20text)%20%20%23%20supprimer%20ponctuation%0A%20%20%20%20%20%20%20%20text%20%3D%20re.sub(r'%5Cs%2B'%2C%20'%20'%2C%20text).strip()%20%20%20%20%23%20espaces%20multiples%0A%20%20%20%20%20%20%20%20return%20text%0A%0A%20%20%20%20corpus%20%3D%20%5Bpreprocess_text(doc)%20for%20doc%20in%20raw_texts%5D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Op%C3%A9rations%20optionnelles**%20selon%20le%20contexte%20%3A%0A%0A%20%20%20%20%7C%20Op%C3%A9ration%20%7C%20Description%20%7C%20Quand%20l'utiliser%20%7C%0A%20%20%20%20%7C-----------%7C-------------%7C------------------%7C%0A%20%20%20%20%7C%20**Stop%20words**%20%7C%20Supprimer%20mots%20tr%C3%A8s%20fr%C3%A9quents%20(%60le%60%2C%20%60et%60%E2%80%A6)%20%7C%20Toujours%20en%20classification%20%7C%0A%20%20%20%20%7C%20**Stemming**%20%7C%20Racine%20du%20mot%20(%60manger%60%20%E2%86%92%20%60mang%60)%20%7C%20Texte%20court%2C%20vocabulaire%20limit%C3%A9%20%7C%0A%20%20%20%20%7C%20**Lemmatisation**%20%7C%20Forme%20canonique%20(%60mangeait%60%20%E2%86%92%20%60manger%60)%20%7C%20Texte%20long%2C%20besoin%20de%20pr%C3%A9cision%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%C3%89tape%202%20%3A%20Vectorisation%20%E2%80%94%20Bag%20of%20Words%0A%0A%20%20%20%20**Principe**%20%3A%20chaque%20document%20devient%20un%20vecteur%20de%20comptage%20des%20mots%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Vocabulaire%20%3A%20%5B%22bon%22%2C%20%22film%22%2C%20%22nul%22%2C%20%22excellent%22%5D%0A%0A%20%20%20%20%22ce%20film%20est%20bon%22%20%20%20%20%20%20%E2%86%92%20%20%5B1%2C%201%2C%200%2C%200%5D%0A%20%20%20%20%22film%20nul%22%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%86%92%20%20%5B0%2C%201%2C%201%2C%200%5D%0A%20%20%20%20%22excellent%20excellent%22%20%20%E2%86%92%20%20%5B0%2C%200%2C%200%2C%202%5D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20from%20sklearn.feature_extraction.text%20import%20CountVectorizer%0A%0A%20%20%20%20vectorizer%20%3D%20CountVectorizer(%0A%20%20%20%20%20%20%20%20max_features%3D5000%2C%20%20%20%20%20%20%20%23%20limiter%20la%20taille%20du%20vocabulaire%0A%20%20%20%20%20%20%20%20stop_words%3D'english'%2C%20%20%20%20%23%20ou%20liste%20personnalis%C3%A9e%0A%20%20%20%20%20%20%20%20ngram_range%3D(1%2C%202)%2C%20%20%20%20%20%20%23%20inclure%20les%20bigrammes%20(%22tr%C3%A8s%20bon%22%2C%20%22pas%20cher%22)%0A%20%20%20%20%20%20%20%20min_df%3D2%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20ignorer%20les%20mots%20tr%C3%A8s%20rares%0A%20%20%20%20)%0A%0A%20%20%20%20X_train_bow%20%3D%20vectorizer.fit_transform(corpus_train)%20%20%23%20sparse%20matrix%0A%20%20%20%20X_test_bow%20%3D%20vectorizer.transform(corpus_test)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%C3%89tape%202%20(bis)%20%3A%20TF-IDF%20%E2%80%94%20pond%C3%A9rer%20l'importance%20des%20mots%0A%0A%20%20%20%20**TF-IDF**%20%3D%20*Term%20Frequency%20%C3%97%20Inverse%20Document%20Frequency*%0A%0A%20%20%20%20-%20**TF**%20%3A%20fr%C3%A9quence%20du%20mot%20dans%20le%20document%20(mots%20fr%C3%A9quents%20%3D%20importants)%0A%20%20%20%20-%20**IDF**%20%3A%20inverse%20de%20la%20fr%C3%A9quence%20dans%20le%20corpus%20(mots%20rares%20%3D%20discriminants)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20from%20sklearn.feature_extraction.text%20import%20TfidfVectorizer%0A%0A%20%20%20%20tfidf%20%3D%20TfidfVectorizer(%0A%20%20%20%20%20%20%20%20max_features%3D5000%2C%0A%20%20%20%20%20%20%20%20stop_words%3D'english'%2C%0A%20%20%20%20%20%20%20%20ngram_range%3D(1%2C%202)%2C%0A%20%20%20%20%20%20%20%20sublinear_tf%3DTrue%2C%20%20%20%23%20log(TF)%20%E2%80%94%20att%C3%A9nue%20les%20mots%20tr%C3%A8s%20r%C3%A9p%C3%A9t%C3%A9s%0A%20%20%20%20%20%20%20%20min_df%3D2%2C%0A%20%20%20%20%20%20%20%20max_df%3D0.95%20%20%20%20%20%20%20%20%20%20%23%20ignorer%20les%20mots%20pr%C3%A9sents%20dans%20%3E95%25%20des%20docs%0A%20%20%20%20)%0A%0A%20%20%20%20X_train_tfidf%20%3D%20tfidf.fit_transform(corpus_train)%0A%20%20%20%20X_test_tfidf%20%20%3D%20tfidf.transform(corpus_test)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%3E%20**TF-IDF%20est%20g%C3%A9n%C3%A9ralement%20pr%C3%A9f%C3%A9rable%20%C3%A0%20Bag%20of%20Words**%20%E2%80%94%20il%20pond%C3%A8re%20mieux%20l'importance%20des%20mots%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exemple%20complet%20%3A%20classification%20de%20nouvelles%20(20newsgroups)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(classification_report%2C%20make_pipeline)%3A%0A%20%20%20%20from%20sklearn.datasets%20import%20fetch_20newsgroups%0A%20%20%20%20from%20sklearn.feature_extraction.text%20import%20TfidfVectorizer%0A%20%20%20%20from%20sklearn.naive_bayes%20import%20MultinomialNB%0A%20%20%20%20categories%20%3D%20%5B'sci.space'%2C%20'rec.sport.hockey'%2C%20'comp.graphics'%2C%20'talk.politics.misc'%5D%0A%20%20%20%20train%20%3D%20fetch_20newsgroups(subset%3D'train'%2C%20categories%3Dcategories%2C%20remove%3D('headers'%2C%20'footers'))%0A%20%20%20%20test%20%3D%20fetch_20newsgroups(subset%3D'test'%2C%20categories%3Dcategories%2C%20remove%3D('headers'%2C%20'footers'))%0A%20%20%20%20%23%20Chargement%20(4%20cat%C3%A9gories%20pour%20simplifier)%0A%20%20%20%20pipe_1%20%3D%20make_pipeline(TfidfVectorizer(max_features%3D10000%2C%20stop_words%3D'english'%2C%20ngram_range%3D(1%2C%202))%2C%20MultinomialNB(alpha%3D0.1))%0A%20%20%20%20pipe_1.fit(train.data%2C%20train.target)%0A%20%20%20%20y_pred%20%3D%20pipe_1.predict(test.data)%0A%20%20%20%20%23%20Pipeline%20TF-IDF%20%2B%20Naive%20Bayes%20(mod%C3%A8le%20de%20r%C3%A9f%C3%A9rence%20pour%20le%20texte)%0A%20%20%20%20print(classification_report(test.target%2C%20y_pred%2C%20target_names%3Dtrain.target_names))%0A%20%20%20%20return%20TfidfVectorizer%2C%20test%2C%20train%0A%0A%0A%40app.cell%0Adef%20_(TfidfVectorizer%2C%20make_pipeline%2C%20test%2C%20train)%3A%0A%20%20%20%20from%20sklearn.svm%20import%20LinearSVC%0A%0A%20%20%20%20%23%20SVM%20lin%C3%A9aire%20%E2%80%94%20souvent%20plus%20performant%20que%20Naive%20Bayes%20pour%20le%20texte%0A%20%20%20%20pipe_svm%20%3D%20make_pipeline(%0A%20%20%20%20%20%20%20%20TfidfVectorizer(max_features%3D10000%2C%20stop_words%3D'english'%2C%20sublinear_tf%3DTrue)%2C%0A%20%20%20%20%20%20%20%20LinearSVC(C%3D1.0%2C%20max_iter%3D2000)%0A%20%20%20%20)%0A%20%20%20%20pipe_svm.fit(train.data%2C%20train.target)%0A%0A%20%20%20%20print(f%22Score%20SVM%20%3A%20%7Bpipe_svm.score(test.data%2C%20test.target)%3A.3f%7D%22)%0A%20%20%20%20return%20(pipe_svm%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Inspecter%20les%20features%20les%20plus%20importantes%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pipe_svm%2C%20train)%3A%0A%20%20%20%20feature_names%20%3D%20pipe_svm%5B'tfidfvectorizer'%5D.get_feature_names_out()%0A%20%20%20%20coefs%20%3D%20pipe_svm%5B'linearsvc'%5D.coef_%0A%20%20%20%20%23%20R%C3%A9cup%C3%A9rer%20les%20mots%20les%20plus%20discriminants%20par%20classe%20(SVM)%0A%20%20%20%20for%20i_1%2C%20category%20in%20enumerate(train.target_names)%3A%0A%20%20%20%20%20%20%20%20top_indices%20%3D%20np.argsort(coefs%5Bi_1%5D)%5B-10%3A%5D%0A%20%20%20%20%20%20%20%20top_words%20%3D%20feature_names%5Btop_indices%5D%0A%20%20%20%20%20%20%20%20print(f%22%5Cn%7Bcategory%7D%3A%20%7B'%2C%20'.join(top_words)%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Tableau%20r%C3%A9capitulatif%20%E2%80%94%20Analyse%20textuelle%0A%0A%20%20%20%20%7C%20%C3%89tape%20%7C%20Outil%20%7C%20Remarque%20%7C%0A%20%20%20%20%7C-------%7C-------%7C----------%7C%0A%20%20%20%20%7C%20Nettoyage%20%7C%20%60re%60%2C%20%60str.lower()%60%20%7C%20Minuscules%2C%20ponctuation%2C%20stop%20words%20%7C%0A%20%20%20%20%7C%20Vectorisation%20%7C%20%60CountVectorizer%60%20%7C%20Bag%20of%20Words%2C%20simple%20%7C%0A%20%20%20%20%7C%20Vectorisation%20%7C%20%60TfidfVectorizer%60%20%7C%20**Pr%C3%A9f%C3%A9rable**%20%E2%80%94%20pond%C3%A9ration%20intelligente%20%7C%0A%20%20%20%20%7C%20Mod%C3%A8le%20%7C%20%60MultinomialNB%60%20%7C%20Baseline%20rapide%2C%20bon%20pour%20texte%20sparse%20%7C%0A%20%20%20%20%7C%20Mod%C3%A8le%20%7C%20%60LinearSVC%60%20%7C%20Souvent%20le%20plus%20performant%20sur%20texte%20%7C%0A%20%20%20%20%7C%20Mod%C3%A8le%20%7C%20%60LogisticRegression%60%20%7C%20Interpr%C3%A9table%2C%20probabilit%C3%A9s%20disponibles%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%93%88%20S%C3%A9ries%20temporelles%0A%0A%20%20%20%20%23%23%20Pr%C3%A9vision%20et%20d%C3%A9tection%20d'anomalies%20avec%20scikit-learn%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Introduction%20%E2%80%94%20Ce%20qui%20change%20avec%20les%20s%C3%A9ries%20temporelles%0A%0A%20%20%20%20Les%20observations%20**ne%20sont%20pas%20ind%C3%A9pendantes**%20%3A%20la%20valeur%20au%20temps%20%24t%24%20d%C3%A9pend%20des%20valeurs%20pass%C3%A9es%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Donn%C3%A9es%20classiques%20%3A%20%20x%E2%82%81%2C%20x%E2%82%82%2C%20x%E2%82%83%20...%20ind%C3%A9pendants%0A%20%20%20%20S%C3%A9rie%20temporelle%20%20%3A%20%20%20x_t%20d%C3%A9pend%20de%20x_%7Bt-1%7D%2C%20x_%7Bt-2%7D%2C%20...%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Challenges%20sp%C3%A9cifiques%0A%0A%20%20%20%20%7C%20Challenge%20%7C%20Description%20%7C%0A%20%20%20%20%7C-----------%7C-------------%7C%0A%20%20%20%20%7C%20**D%C3%A9pendance%20temporelle**%20%7C%20Les%20observations%20pass%C3%A9es%20pr%C3%A9disent%20le%20futur%20%7C%0A%20%20%20%20%7C%20**Non-stationnarit%C3%A9**%20%7C%20La%20moyenne%20et%20la%20variance%20changent%20dans%20le%20temps%20(tendance%2C%20saisonnalit%C3%A9)%20%7C%0A%20%20%20%20%7C%20**Train%2Ftest%20split**%20%7C%20%E2%9A%A0%EF%B8%8F%20Ne%20jamais%20m%C3%A9langer%20les%20donn%C3%A9es%20%E2%80%94%20toujours%20couper%20**dans%20le%20temps**%20%7C%0A%20%20%20%20%7C%20**Data%20leakage**%20%7C%20Ne%20pas%20utiliser%20de%20valeurs%20futures%20pour%20pr%C3%A9dire%20le%20pass%C3%A9%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Train%2Ftest%20split%20temporel%20%E2%80%94%20point%20critique%20%E2%9A%A0%EF%B8%8F%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20%23%20%E2%9D%8C%20NE%20PAS%20FAIRE%20%E2%80%94%20m%C3%A9lange%20pass%C3%A9%20et%20futur%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%0A%20%20%20%20X_train%2C%20X_test%20%3D%20train_test_split(X%2C%20test_size%3D0.2%2C%20shuffle%3DTrue)%20%20%23%20FAUX%20!%0A%0A%20%20%20%20%23%20%E2%9C%85%20CORRECT%20%E2%80%94%20couper%20dans%20le%20temps%0A%20%20%20%20split%20%3D%20int(len(X)%20*%200.8)%0A%20%20%20%20X_train%2C%20X_test%20%3D%20X%5B%3Asplit%5D%2C%20X%5Bsplit%3A%5D%0A%20%20%20%20y_train%2C%20y_test%20%3D%20y%5B%3Asplit%5D%2C%20y%5Bsplit%3A%5D%0A%0A%20%20%20%20%23%20%E2%9C%85%20Cross-validation%20temporelle%20avec%20TimeSeriesSplit%0A%20%20%20%20from%20sklearn.model_selection%20import%20TimeSeriesSplit%0A%20%20%20%20tscv%20%3D%20TimeSeriesSplit(n_splits%3D5)%0A%20%20%20%20%23%20%E2%86%92%20les%20folds%20respectent%20l'ordre%20chronologique%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Feature%20engineering%20%E2%80%94%20transformer%20la%20s%C3%A9rie%20en%20tableau%202D%0A%0A%20%20%20%20L'id%C3%A9e%20cl%C3%A9%20%3A%20cr%C3%A9er%20des%20**features%20%C3%A0%20partir%20du%20pass%C3%A9**%20pour%20pr%C3%A9dire%20le%20futur%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20df%20%3D%20pd.DataFrame(%7B'valeur'%3A%20serie%7D)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20%23%201.%20Features%20de%20lag%20(valeurs%20pass%C3%A9es)%0A%20%20%20%20df%5B'lag_1'%5D%20%3D%20df%5B'valeur'%5D.shift(1)%20%20%20%23%20valeur%20d'il%20y%20a%201%20pas%0A%20%20%20%20df%5B'lag_7'%5D%20%3D%20df%5B'valeur'%5D.shift(7)%20%20%20%23%20valeur%20d'il%20y%20a%207%20pas%20(semaine)%0A%20%20%20%20df%5B'lag_30'%5D%20%3D%20df%5B'valeur'%5D.shift(30)%20%23%20valeur%20d'il%20y%20a%201%20mois%0A%0A%20%20%20%20%23%202.%20Statistiques%20glissantes%20(rolling%20statistics)%0A%20%20%20%20df%5B'mean_7'%5D%20%20%3D%20df%5B'valeur'%5D.rolling(window%3D7).mean()%20%20%20%23%20moyenne%20sur%207%20jours%0A%20%20%20%20df%5B'std_7'%5D%20%20%20%3D%20df%5B'valeur'%5D.rolling(window%3D7).std()%20%20%20%20%23%20%C3%A9cart-type%20glissant%0A%20%20%20%20df%5B'max_30'%5D%20%20%3D%20df%5B'valeur'%5D.rolling(window%3D30).max()%20%20%20%23%20max%20du%20mois%0A%0A%20%20%20%20%23%203.%20Features%20temporelles%20(date)%0A%20%20%20%20df%5B'heure'%5D%20%20%20%20%20%20%20%3D%20df.index.hour%0A%20%20%20%20df%5B'jour_semaine'%5D%20%3D%20df.index.dayofweek%0A%20%20%20%20df%5B'mois'%5D%20%20%20%20%20%20%20%20%3D%20df.index.month%0A%20%20%20%20df%5B'is_weekend'%5D%20%20%3D%20df.index.dayofweek%20%3E%3D%205%0A%0A%20%20%20%20%23%20Supprimer%20les%20lignes%20avec%20NaN%20(dues%20aux%20lags)%0A%20%20%20%20df%20%3D%20df.dropna()%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20D%C3%A9composition%20d'une%20s%C3%A9rie%20temporelle%0A%0A%20%20%20%20Une%20s%C3%A9rie%20%3D%20**tendance**%20%2B%20**saisonnalit%C3%A9**%20%2B%20**r%C3%A9sidus**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt)%3A%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20from%20statsmodels.tsa.seasonal%20import%20seasonal_decompose%0A%20%20%20%20np.random.seed(42)%0A%20%20%20%20t%20%3D%20np.arange(200)%0A%20%20%20%20serie%20%3D%200.05%20*%20t%20%2B%2010%20*%20np.sin(2%20*%20np.pi%20*%20t%20%2F%2052)%20%2B%20np.random.randn(200)%20*%202%0A%20%20%20%20ts%20%3D%20pd.Series(serie%2C%20index%3Dpd.date_range('2020-01-01'%2C%20periods%3D200%2C%20freq%3D'W'))%0A%20%20%20%20decomp%20%3D%20seasonal_decompose(ts%2C%20model%3D'additive'%2C%20period%3D52)%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(4%2C%201%2C%20figsize%3D(10%2C%208))%0A%20%20%20%20decomp.observed.plot(ax%3D_axes%5B0%5D%2C%20title%3D'S%C3%A9rie%20originale')%0A%20%20%20%20decomp.trend.plot(ax%3D_axes%5B1%5D%2C%20title%3D'Tendance')%0A%20%20%20%20decomp.seasonal.plot(ax%3D_axes%5B2%5D%2C%20title%3D'Saisonnalit%C3%A9')%0A%20%20%20%20decomp.resid.plot(ax%3D_axes%5B3%5D%2C%20title%3D'R%C3%A9sidus')%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20plt.show()%0A%20%20%20%20return%20pd%2C%20ts%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exemple%20complet%20%3A%20pr%C3%A9vision%20avec%20un%20mod%C3%A8le%20sklearn%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd%2C%20ts)%3A%0A%20%20%20%20from%20sklearn.ensemble%20import%20GradientBoostingRegressor%0A%20%20%20%20from%20sklearn.metrics%20import%20mean_absolute_error%0A%20%20%20%20df%20%3D%20pd.DataFrame(%7B'valeur'%3A%20ts%7D)%0A%20%20%20%20for%20lag%20in%20%5B1%2C%204%2C%208%2C%2052%5D%3A%0A%20%20%20%20%20%20%20%20df%5Bf'lag_%7Blag%7D'%5D%20%3D%20df%5B'valeur'%5D.shift(lag)%0A%20%20%20%20df%5B'mean_4'%5D%20%3D%20df%5B'valeur'%5D.rolling(4).mean()%0A%20%20%20%20df%5B'std_4'%5D%20%3D%20df%5B'valeur'%5D.rolling(4).std()%0A%20%20%20%20df%5B'semaine'%5D%20%3D%20df.index.isocalendar().week.astype(int)%0A%20%20%20%20df%20%3D%20df.dropna()%0A%20%20%20%20split%20%3D%20int(len(df)%20*%200.8)%0A%20%20%20%20_X_train%20%3D%20df.drop('valeur'%2C%20axis%3D1).iloc%5B%3Asplit%5D%0A%20%20%20%20X_test_1%20%3D%20df.drop('valeur'%2C%20axis%3D1).iloc%5Bsplit%3A%5D%0A%20%20%20%20_y_train%20%3D%20df%5B'valeur'%5D.iloc%5B%3Asplit%5D%0A%20%20%20%20y_test_1%20%3D%20df%5B'valeur'%5D.iloc%5Bsplit%3A%5D%0A%20%20%20%20model%20%3D%20GradientBoostingRegressor(n_estimators%3D200%2C%20learning_rate%3D0.05%2C%20max_depth%3D4)%0A%20%20%20%20model.fit(_X_train%2C%20_y_train)%0A%20%20%20%20y_pred_1%20%3D%20model.predict(X_test_1)%0A%20%20%20%20print(f'MAE%20%3A%20%7Bmean_absolute_error(y_test_1%2C%20y_pred_1)%3A.3f%7D')%0A%20%20%20%20return%20df%2C%20model%2C%20y_pred_1%2C%20y_test_1%0A%0A%0A%40app.cell%0Adef%20_(plt%2C%20y_pred_1%2C%20y_test_1)%3A%0A%20%20%20%20%23%20Visualisation%20des%20pr%C3%A9dictions%0A%20%20%20%20plt.figure(figsize%3D(12%2C%204))%0A%20%20%20%20plt.plot(y_test_1.index%2C%20y_test_1.values%2C%20label%3D'R%C3%A9el'%2C%20linewidth%3D2)%0A%20%20%20%20plt.plot(y_test_1.index%2C%20y_pred_1%2C%20label%3D'Pr%C3%A9dit'%2C%20linestyle%3D'--'%2C%20linewidth%3D2)%0A%20%20%20%20plt.legend()%0A%20%20%20%20plt.title('Pr%C3%A9vision%20%E2%80%94%20GradientBoosting%20sur%20features%20temporelles')%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20plt.show()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Cross-validation%20temporelle%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20model%2C%20plt)%3A%0A%20%20%20%20from%20sklearn.model_selection%20import%20TimeSeriesSplit%2C%20cross_val_score%0A%20%20%20%20tscv%20%3D%20TimeSeriesSplit(n_splits%3D5)%0A%20%20%20%20X_all%20%3D%20df.drop('valeur'%2C%20axis%3D1)%0A%20%20%20%20y_all%20%3D%20df%5B'valeur'%5D%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(5%2C%201%2C%20figsize%3D(10%2C%206)%2C%20sharex%3DTrue)%0A%20%20%20%20for%20fold%2C%20(train_idx%2C%20test_idx)%20in%20enumerate(tscv.split(X_all))%3A%0A%20%20%20%20%20%20%20%20_axes%5Bfold%5D.plot(train_idx%2C%20%5B1%5D%20*%20len(train_idx)%2C%20'b%7C'%2C%20label%3D'Train')%0A%20%20%20%20%20%20%20%20_axes%5Bfold%5D.plot(test_idx%2C%20%5B2%5D%20*%20len(test_idx)%2C%20'r%7C'%2C%20label%3D'Test')%0A%20%20%20%20%20%20%20%20_axes%5Bfold%5D.set_ylabel(f'Fold%20%7Bfold%20%2B%201%7D'%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20_axes%5Bfold%5D.set_yticks(%5B%5D)%0A%20%20%20%20plt.suptitle(%22TimeSeriesSplit%20%E2%80%94%20les%20folds%20respectent%20l'ordre%20chronologique%22)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20plt.show()%0A%20%20%20%20scores%20%3D%20cross_val_score(model%2C%20X_all%2C%20y_all%2C%20cv%3Dtscv%2C%20scoring%3D'neg_mean_absolute_error')%0A%20%20%20%20print(f'MAE%20cross-valid%C3%A9%20%3A%20%7B-scores.mean()%3A.3f%7D%20%C2%B1%20%7Bscores.std()%3A.3f%7D')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Tableau%20r%C3%A9capitulatif%20%E2%80%94%20S%C3%A9ries%20temporelles%0A%0A%20%20%20%20%7C%20%C3%89tape%20%7C%20Outil%20%7C%20Remarque%20%7C%0A%20%20%20%20%7C-------%7C-------%7C----------%7C%0A%20%20%20%20%7C%20Split%20temporel%20%7C%20%60iloc%5B%3Asplit%5D%60%20%2F%20%60iloc%5Bsplit%3A%5D%60%20%7C%20%E2%9A%A0%EF%B8%8F%20**Jamais%20de%20shuffle**%20%7C%0A%20%20%20%20%7C%20Cross-validation%20%7C%20%60TimeSeriesSplit%60%20%7C%20Respecte%20l'ordre%20chronologique%20%7C%0A%20%20%20%20%7C%20Lag%20features%20%7C%20%60df.shift(n)%60%20%7C%20Features%20fondamentales%20%7C%0A%20%20%20%20%7C%20Rolling%20stats%20%7C%20%60df.rolling(w).mean%2Fstd%60%20%7C%20Capturer%20la%20tendance%20locale%20%7C%0A%20%20%20%20%7C%20D%C3%A9composition%20%7C%20%60seasonal_decompose%60%20%7C%20Comprendre%20la%20structure%20%7C%0A%20%20%20%20%7C%20Mod%C3%A8le%20%7C%20%60GradientBoosting%60%2C%20%60RandomForest%60%20%7C%20Tr%C3%A8s%20bons%20r%C3%A9sultats%20avec%20bonnes%20features%20%7C%0A%20%20%20%20%7C%20Mod%C3%A8le%20%7C%20%60LinearRegression%60%20%7C%20Baseline%20simple%20et%20interpr%C3%A9table%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Synth%C3%A8se%0A%0A%20%20%20%20%23%23%20Adapter%20sa%20cha%C3%AEne%20de%20traitement%20selon%20le%20type%20de%20donn%C3%A9es%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20Domaine%20%7C%20Transformation%20cl%C3%A9%20%7C%20Mod%C3%A8le%20recommand%C3%A9%20%7C%0A%20%20%20%20%7C---------%7C-------------------%7C-------------------%7C%0A%20%20%20%20%7C%20**Images**%20%7C%20Aplatir%20%2B%20normaliser%20(ou%20HOG)%20%2B%20PCA%20%7C%20SVM%20avec%20kernel%20RBF%20%7C%0A%20%20%20%20%7C%20**Texte**%20%7C%20TF-IDF%20vectorisation%20%7C%20LinearSVC%20ou%20LogisticRegression%20%7C%0A%20%20%20%20%7C%20**S%C3%A9ries%20temp.**%20%7C%20Lag%20features%20%2B%20rolling%20stats%20%7C%20GradientBoosting%20%2B%20TimeSeriesSplit%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Principes%20communs%0A%0A%20%20%20%201.%20**Toujours%20transformer%20en%20matrice%202D**%20%60(n_samples%2C%20n_features)%60%20avant%20sklearn%0A%20%20%20%202.%20**Apprendre%20les%20transformations%20sur%20le%20train%20set**%20%E2%80%94%20jamais%20sur%20les%20donn%C3%A9es%20de%20test%0A%20%20%20%203.%20**Encapsuler%20dans%20une%20Pipeline**%20pour%20%C3%A9viter%20le%20data%20leakage%0A%20%20%20%204.%20**Choisir%20un%20mod%C3%A8le%20baseline%20simple**%20(Naive%20Bayes%2C%20LinearSVC%2C%20Ridge)%20avant%20d'optimiser%0A%20%20%20%205.%20**Pour%20des%20performances%20maximales**%20%3A%20se%20tourner%20vers%20le%20Deep%20Learning%20(CNN%2C%20Transformers%2C%20LSTM)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A