版权归作者所有，如有转发，请注明文章出处：https://cyrus-studio.github.io/blog/

实现过程

1. 特征提取：使用预训练的 InceptionV3 模型，从视频的若干帧中提取高维的视觉特征。将每个视频的所有帧特征取平均值，生成一个固定长度的特征向量来表示该视频。

2. 聚类：通过 K-Means 的聚类结果，每个视频被分配了一个簇标签，代表该视频与哪些视频在特征上最相似。

3. 分类整理：最后根据簇标签，将视频移动到相应的分类文件夹中，每个文件夹对应一个簇。

InceptionV3 模型

InceptionV3 是一种用于图像分类和特征提取的深度学习模型，它是Inception 系列模型的第三个版本，由 Google 在 2015 年提出。

它最初是作为图像分类任务的一个模型，能够将图像分类到 1000 个类别中（如狗、猫、汽车等）。通过去除模型的最后几层（分类部分），可以将 InceptionV3 用作特征提取器。

簇

簇是聚类算法的核心概念，表示数据中相似的子集，目的是将无标签的数据点分组。

K-Means

K-Means 是一种常用的无监督聚类算法，它的目标是将数据点分成 K 个簇（Cluster），使得每个簇内的数据点尽可能接近同一个中心（即簇的质心）。

算法的核心思想是通过迭代的方式找到 K 个最优的簇质心，并根据这些质心将数据进行分组。

源码

1. 安装依赖库

pip install moviepy scikit-learn tensorflow opencv-python

2. 实现代码

import os
import numpy as np
import cv2
from moviepy.editor import VideoFileClip
from sklearn.cluster import KMeans
from tensorflow.keras.applications import InceptionV3
from tensorflow.keras.applications.inception_v3 import preprocess_input
from tensorflow.keras.preprocessing import image
from tensorflow.keras.models import Model
from shutil import move

# 提取视频的帧作为特征
def extract_video_features(video_path, model, frame_interval=30):
    video = VideoFileClip(video_path)
    frame_count = 0
    features = []

    for frame in video.iter_frames(fps=1):  # 以每秒一帧的速度获取帧
        if frame_count % frame_interval == 0:
            # Resize frame to match model input size (299x299 for InceptionV3)
            img = cv2.resize(frame, (299, 299))
            img = image.img_to_array(img)
            img = np.expand_dims(img, axis=0)
            img = preprocess_input(img)

            # 提取特征
            feature = model.predict(img)
            features.append(feature.flatten())

        frame_count += 1

    # 取视频的所有帧特征的均值作为视频的最终特征
    return np.mean(features, axis=0)

# 批量提取目录下所有视频的特征
def extract_features_for_all_videos(input_dir, model, frame_interval=30):
    video_features = []
    video_files = []

    for filename in os.listdir(input_dir):
        if filename.endswith(".mp4"):  # 你可以根据需要修改文件格式
            video_path = os.path.join(input_dir, filename)
            print(f"正在处理视频: {filename}")
            features = extract_video_features(video_path, model, frame_interval)
            video_features.append(features)
            video_files.append(filename)

    return np.array(video_features), video_files

# 对视频进行聚类
def cluster_videos(video_features, num_clusters=3):
    kmeans = KMeans(n_clusters=num_clusters, random_state=42)
    kmeans.fit(video_features)
    return kmeans.labels_

# 将视频分类到不同的文件夹
def classify_videos(input_dir, output_dir, video_files, labels):
    for label, filename in zip(labels, video_files):
        output_folder = os.path.join(output_dir, f"cluster_{label}")
        if not os.path.exists(output_folder):
            os.makedirs(output_folder)

        input_path = os.path.join(input_dir, filename)
        output_path = os.path.join(output_folder, filename)

        move(input_path, output_path)
        print(f"已将视频 {filename} 移动到 {output_folder}")

# 主函数
def main(input_dir, output_dir, num_clusters=3, frame_interval=30):
    # 加载预训练的InceptionV3模型，并去掉顶层的分类部分，只用来提取特征
    base_model = InceptionV3(weights='imagenet')
    model = Model(inputs=base_model.input, outputs=base_model.get_layer('avg_pool').output)

    # 提取所有视频的特征
    video_features, video_files = extract_features_for_all_videos(input_dir, model, frame_interval)

    # 对视频进行聚类
    labels = cluster_videos(video_features, num_clusters)

    # 将视频移动到相应的分类文件夹
    classify_videos(input_dir, output_dir, video_files, labels)

# 示例调用
input_directory = "path/to/input_videos"
output_directory = "path/to/output_videos"
main(input_directory, output_directory, num_clusters=30, frame_interval=30)

3. 代码说明

1. extract_video_features：从每个视频中提取帧，使用 InceptionV3 模型提取每个帧的特征，并最终取所有帧特征的平均值作为该视频的代表特征。

2. extract_features_for_all_videos：批量提取目录中所有视频的特征。

3. cluster_videos：使用 K-Means 聚类算法对视频进行分类，将相似的视频聚到一起。

4. classify_videos：将视频根据聚类结果移动到不同的分类文件夹。

5. main：主函数，负责加载模型、提取特征、聚类以及将视频分类。

4. 调用说明

1. input_directory: 视频所在的输入文件夹。

2. output_directory: 输出文件夹，程序会根据聚类结果创建不同的文件夹，将相似的视频分类进去。

3. num_clusters: 要分类的类别数，即希望将视频分为多少类。

4. frame_interval: 每隔多少帧提取一次特征帧。值越大，提取帧的间隔越大。

源码地址：https://github.com/CYRUS-STUDIO/classify-videos-kmeans-python