Набор данных Python: применение повторяющихся кодов

В этом блоге вы узнаете, как применять повторяющиеся коды или функции к наборам данных Python для получения одинакового типа выходных данных. Это поможет вам работать более эффективно и прилагать меньше усилий при извлечении определенных данных из разных наборов данных. В этом уроке мы собираемся использовать существующий код, который я ранее создал в качестве примера.

Вы также узнаете, как создавать копии наборов данных, чтобы не повредить исходную версию набора данных, импортировать библиотеки и функции с помощью повторяющихся кодов и создавать визуализацию в LuckyTemplates .

Для этого блога я рекомендую вам постоянно получать CSV- файл и переносить его в LuckyTemplates. Я также покажу, как мы можем перенести этот CSV-файл и поместить его прямо в LuckyTemplates на тот случай, если вам придется это сделать.

Оглавление

• Получение CSV-файла в LuckyTemplates
• Создание копии набора данных Python
• Преобразование набора данных путем запуска скрипта Python
• Проверка набора данных
• Импорт библиотек и функций с использованием повторяющихся кодов
• Создание таблиц данных
• Заключение

Получение CSV-файла в LuckyTemplates

Чтобы перенести файл CSV в LuckyTemplates, первое, что вам нужно сделать, это щелкнуть меню « Получить данные » на ленте «Главная» .

После нажатия появится раскрывающееся меню, и вы должны выбрать в меню опцию « Текст/CSV ».

После того, как вы выберете опцию « Text / CSV », откроется окно, в котором мы можем выбрать файл, который мы хотим перенести в LuckyTemplates. Для этого примера воспользуемся файлом набора данных IMDB . 

Открыв файл IMDB Dataset.csv , вы увидите другое окно, в котором отображаются данные внутри этого файла. Так как этот файл содержит большой объем данных, он отображает только часть данных.

Первое, что мы собираемся сделать в этом файле, это преобразовать его. Для этого просто нажмите « Преобразовать данные » в правой нижней части окна.

Создание копии набора данных Python

Прежде чем вносить какие-либо изменения в этот набор данных, важно сделать копию исходного набора данных. Для этого просто щелкните правой кнопкой мыши набор данных. 

Затем в меню выберите « Копировать ».

Наконец, щелкните правой кнопкой мыши панель «Запросы » и выберите « Вставить » из вариантов.

После выполнения этих шагов у вас должна быть копия исходного набора данных IMDB на панели запросов .

Преобразование набора данных путем запуска скрипта Python

Преобразовав CSV-файл, вы сможете разбить большое количество наборов данных Python на более мелкие. Мы можем сделать это, применив некоторый скрипт Python в этом файле.

Но сначала мы должны убедиться, что заголовки правильно выровнены. Нажмите на меню «Главная» , затем найдите параметр « Использовать первую строку в качестве заголовков » и щелкните по нему.

После выбора параметра « Использовать первую строку в качестве заголовков » заголовки теперь изменились на данные из предыдущих первых строк, а именно « обзор » и « отношение ».

Затем перейдите в меню Transform и нажмите на опцию « Run Python Script » в группе опций « Scripts ».

После этого появится окно « Запустить скрипт Python ». В этом окне вы можете запустить любой сценарий Python, который вы хотите, чтобы преобразовать текущий файл, который вы используете. В этом примере я собираюсь уменьшить набор данных, выполнив следующий код.

Я использовал функцию .iloc в наборе данных, чтобы выбрать определенные строки и столбцы из набора данных IMDB. Затем в параметрах я выбрал все первые 500 строк и все столбцы в наборе данных IMDB. Я сохранил его в переменной с именем « набор данных ».

После выполнения скрипта мы должны увидеть «набор данных», представляющий собой переменную, которую мы создали на предыдущем шаге. Он содержит данные, которые мы изменили с помощью скрипта Python.

Проверка набора данных

Чтобы открыть таблицу набора данных , просто нажмите « Таблица » в столбце «Значение » .

Мы видим, что этот набор данных теперь сократился до 500 строк .

Теперь, когда мы разбили наш набор данных Python на 500 строк, следующее, что мы собираемся сделать, — это импортировать нужные нам библиотеки. Мы сделаем это, используя ту же процедуру, что и при изменении содержимого набора данных IMDB. Это сделано для того, чтобы убедиться, что наш код может быть управляемым в определенных сценариях с меньшим количеством изменений.

Импорт библиотек и функций с использованием повторяющихся кодов

Чтобы импортировать библиотеки, вернемся к нашему блокноту и скопируем нужные нам библиотеки. Имейте в виду, что до этого урока я уже создал эти библиотеки, которые мы собираемся скопировать. Я просто повторно использую их, чтобы вы ясно представляли себе использование функций как повторяющихся кодов.

Как только библиотеки будут скопированы, вставьте их в окно « Выполнить скрипт Python » и не забудьте в конце скрипта  включить строку « from collections import Counter ».

Затем мы скопируем функцию очистки данных из нашей записной книжки и добавим ее в скрипт Python в LuckyTemplates.

Мы добавим его под библиотеки. 

Мы также скопируем код для вызова только что добавленной функции.

Затем вставьте его в скрипт Python в LuckyTemplates.

Создание таблиц данных

Теперь, когда мы добавили код для вызова функции очистки данных , нам нужно изменить « df2 » на « dataset », а « title » на « review ». Мы сделали это из-за изменений, которые мы внесли в набор данных.

Мы изменили «df2» на « набор данных », потому что мы сохранили данные с 500 строками в «наборе данных». Затем для «заголовка» мы обновили его до «обзор» в результате изменения заголовков столбцов.

С добавлением этих кодов мы должны получить или сгенерировать 3 таблицы: данные1 для частоты слов, данные2 для частоты биграмм и данные3 для частоты триграмм.

Вы также можете сделать еще одну копию этого измененного набора данных IMDB (2) , чтобы открыть другую таблицу позже.

Теперь в наборе данных IMDB (2) давайте откроем таблицу data1 . 

 Как только таблица data1 открыта, мы можем увидеть список слов, а также их частоту.

Как видите, мы можем выполнять определенные процедуры из основного набора данных с использованием повторяющихся кодов, которые мы взяли из Jupyter Notebook. С помощью этих повторяющихся кодов мы можем преобразовать набор данных Python и создать таблицу частоты слов, частоты биграмм и частоты триграмм без повторного ввода кодов.

В наборе данных IMDB (3) давайте откроем таблицу data2 , чтобы увидеть частоту биграмм.

В таблице частот биграмм вы можете увидеть « br », включенный в список. Вероятно, это связано с HTML-кодом. Мы можем просто вернуться и добавить что-то еще, но мы не будем этого делать в этом уроке.

Теперь, когда данные загружены с помощью повторяющихся кодов, мы можем начать визуализировать их в LuckyTemplates. Например, гистограмма для частотности каждого слова. 

Пользовательские функции Python | Обзор
списка Python и циклов For в LuckyTemplates
Использование Python в LuckyTemplates | Набор данных и строковая функция

Заключение

Подводя итог, повторяющиеся коды могут помочь вам выполнять определенные процедуры с набором данных с меньшими усилиями. Вы узнали, как использовать повторяющиеся коды для преобразования набора данных Python в LuckyTemplates. Вы также могли использовать функцию .iloc , чтобы указать строки и столбцы, которые будут выбраны при изменении набора данных.

Кроме того, вы создали копии наборов данных и создали визуализацию с помощью гистограммы. Эта визуализация основана на наборах данных Python, которые мы создали и изменили с помощью повторяющихся кодов.

Всего наилучшего,

Гаэллим