Метод Python numpy.where(): синтаксис и как использовать

Метод numpy.where() является одним из наиболее мощных и часто используемых инструментов в библиотеке NumPy для условного выбора элементов из массивов. Он предоставляет гибкие возможности для обработки и анализа больших массивов данных, позволяя заменять традиционные условные операторы if-else и значительно ускоряя выполнение кода. Этот метод позволяет заменить элементы массива, которые удовлетворяют определенному условию, на заданные значения, а остальные оставить неизменными. В отличие от обычных циклов, которые могут замедлять выполнение при работе с большими объемами данных, numpy.where() использует векторизацию, что делает выполнение операций более быстрым и эффективным.

https://habr.com/ru/companies/timeweb/articles/890254/

Боремся с водяными знаками Gamma AI на бесплатном тарифе

Все мы любим инструменты, которые упрощают жизнь. Gamma AI – один из них, особенно когда нужно быстро сделать презентацию. Но бесплатный сыр, как известно, бывает только в мышеловке, и в случае Gamma AI этим "сыром" становится водяной знак на PDF. Мелочь, а неприятно. Да и показать такое преподу такое себе… В общем, я решил, что с этим надо что-то делать. Так родился Gamma AI Watermark Remover – простой инструмент, который берет PDF с водяным знаком и отдает чистый. В этой статье я расскажу, как я пришел к этому решению, какие технологии использовал, и с какими трудностями столкнулся. Будет интересно, с юмором, и надеюсь, полезно. Прочесть

https://habr.com/ru/articles/876664/

Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. Для использования этого фреймворка, часто достаточно поверхностно понимать работу алгоритмов машинного обучения. В этой части мы будем писать инференс код для GPT2 на собственной библиотеке!

https://habr.com/ru/articles/870504/

Пишем свой PyTorch на NumPy. Часть 3. Строим граф вычислений

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. Для использования этого фреймворка, часто достаточно поверхностно понимать работу алгоритмов машинного обучения. В этой статье мы продолжим реализацию собственный библиотеки машинного обучения на NumPy!

https://habr.com/ru/articles/870426/

Пишем свой PyTorch на NumPy. Часть 2. Добавляем новые слои

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. В этой статье мы продолжим реализовывать собственную библиотеку машинного обучения на NumPy !

https://habr.com/ru/articles/869520/

Пишем свой PyTorch на NumPy. Часть 1

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. В этой статье мы реализуем собственную библиотеку машинного обучения на NumPy!

https://habr.com/ru/articles/869118/

Анализ кривой падения добычи нефтяных и газовых скважин

В этой статье я хочу поделиться опытом разработки алгоритмов моделирования физических процессов на примере прогнозирования производительности скважины. Некоторое время назад я был участником команды разработчиков программного обеспечения для автоматизированного расчета прогноза добычи основных и неосновных носителей из скважины. Материал и примеры взяты из открытых источников с учетом приобретенного опыта. В статье могут присутствовать неточности терминологии, т.к. исходный материал на английском языке. Примеры кода представлены на языке Python в среде Jupyter notebook.

https://habr.com/ru/articles/865442/

[Перевод] 7 продвинутых приемов pandas для науки о данных

Pandas — это основная библиотека для работы с данными. Вот несколько приёмов, которые я использую, чтобы быстрее и проще выполнять повторяющиеся задачи по работе с данными.

https://habr.com/ru/articles/858894/

Получение, обработка, анализ и визуализация спутниковых снимков с помощью библиотек: GDAL, numpy и matplotlib

Эта статья является продолжением цикла статей посвященных развитию стартапа "Arrow". Ребята из моей команды тоже не отстают и те, кого больше интересует бизнес-сторона вопроса можете почитать " Старт проекта и гибкость как залог успеха: путь команды ARROW ", а те кто больше по разработке оставайтесь здесь. Первая техническая статья на примере нашего проекта освещает проблему построения Веб-ГИС приложения и сервисов. Логика приложения, в том числе, будет реализовывать инструменты получения спутниковых снимков и их обработки по специальным алгоритмам, что позволит решать задачи мониторинга территорий - дешифрировать, классифицировать и кластеризировать объекты и явления местности на основе технологий машинного обучения.

https://habr.com/ru/articles/853736/

[Перевод] Пошаговое руководство по созданию синтетических данных в Python

Простое руководство для новичков: как самому генерировать данные для анализа и тестирования Представьте: вы только что написали модель машинного обучения и вам нужно протестировать её работу в конкретном сценарии. Или вы собираетесь опубликовать научную статью о пользовательском решении в области Data Science, но имеющиеся датасеты нельзя использовать из-за юридических ограничений. А может быть, в рамках проекта машинного обучения вы занимаетесь отладкой и исправлением ошибок и вам нужны данные, чтобы идентифицировать и устранить проблемы. В этих, да и во многих других ситуациях могут пригодиться синтетические данные. Реальные данные часто недоступны: уже кому-то принадлежат или дорого стоят. Так что умение создавать синтетические данные — важный навык для дата-сайентистов. В этой статье я расскажу, с помощью каких приёмов и методов можно с нуля создать в Python синтетические данные, игрушечные датасеты и фиктивные значения. В некоторых решениях применяются методы из библиотек Python, в других — приёмы, основанные на встроенных функциях Python.

https://habr.com/ru/companies/netologyru/articles/841952/

Знакомимся с линейной алгеброй в NumPy

Краткий гид по основам библиотеки NumPy и основным линейно-алгебраическим операциям с её использованием Читать!

https://habr.com/ru/articles/841578/

Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF

Когда начинаешь погружаться в сферу NLP , сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно (как проводить операции со словами?) . Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF .

https://habr.com/ru/articles/836706/

[Перевод] Основные команды Pip для разработчиков Python

Pip, система управления пакетами для Python, является незаменимым инструментом для каждого программиста на этом языке. Работаете ли вы над веб-разработкой, машинным обучением, Data Science или любым другим проектом на Python, pip позволит вам легко получить доступ к обширному репозиторию библиотек и фреймворков.

https://habr.com/ru/companies/productstar/articles/826732/

Обнаруживаем атаки с помощью ML

Использование искусственного интеллекта позволяет существенно увеличить эффективность работы различных средств обеспечения кибербезопасности. Сегодня мы попробуем решить задачу обнаружения использования вредоносного программного обеспечения злоумышленником. Для этого мы сначала еще немного поговорим об информационной безопасности, а потом уже перейдем к реализации на Python. Вредоносное программное обеспечение может использоваться хакерами для: кражи данных, шифрования файлов с целью получения выкупа, обхода средств защиты, нарушения контроля доступа и многого другого. Собственно, вредоносное ПО это не только пресловутые вирусы, но и различные хакерские инструменты, например знаменитый Metasploit Framework, который хотя и предназначен для проведения тестирований на проникновение белыми хакерами, тем не менее активно используется и обычными взломщиками.

https://habr.com/ru/companies/cdnnow/articles/824074/

#python #ml #машинное+обучение #кибербезопасность #алгоритмы_машинного_обучения #pandas #numpy

Мощь машинного обучения

Продолжим тему использования искусственного интеллекта в кибербезопасности. Сегодня мы не будем много говорить о проблемах инфобеза. Нашей задачей будет разобраться с машинным обучением и тем, как его можно использовать. Этапы машинного обучения Общий подход к решению задач машинного обучения состоит из четырех основных этапов: анализа, обучения, тестирования и применения.

https://habr.com/ru/companies/cdnnow/articles/820783/

#python #ML #машинное+обучение #кибербезопасность #алгоритмы_машинного_обучения #pandas #numpy

ГАЙД по python стеку для Data Science инженеров

ГАЙД по python стеку для Data Science инженеров. NumPy, Pandas, SciPy, Matplotlib. В данной статье рассмотрим python стек для работы в Data Science

https://habr.com/ru/articles/809181/

NumPy для самых маленьких

Математика везде в нашей жизни, но в программировании, а особенно ML ее два раза больше. Обычно Питон берут в пример самого "научного" языка программирования из-за математических фреймворков. Как не Питон может помочь оперировать математическими абстракциями, некоторые из сферы ресерча пользуются исключительно питоном для всяких научных изысканий — сегодня мы поговорим про библиотеку NumPy и работу с массивами. Самая новичковая "библиотека" с примочками в виде SciPy и Matplotlib предназначена для работы с многомерными массивами. NumPy – основа для многих других библиотек для машинного обучения, таких как SciPy, Pandas, Scikit-learn и TensorFlow. Pandas, например, строится поверх NumPy и позволяет работать со структурами данных высокого уровня по типу DataFrame и Series. При помощи NumPy можно проводить преобразование категориальных данных в числовой формат, например, с использованием кодирования one-hot.

https://habr.com/ru/articles/809109/

Разработка программного средства по обработке данных фонокардиограммы

Медицинские исследования играют важную роль в понимании различных заболеваний и разработке эффективных методов лечения. Одним из инструментов, используемых в кардиологии, является фонокардиограмма (ФКГ). Фонокардиограмма - это метод диагностики сердечно-сосудистой системы, который основывается на записи звуков, производимых сердцем. Она может быть полезной в определении различных заболеваний сердца, таких как стеноз клапана, митральный стеноз, митральную недостаточность, перикардит и другие. ФКГ может использоваться для оценки эффективности лечения сердечных заболеваний и для наблюдения за состоянием сердца в течение времени. Если у вас есть симптомы, такие как боль в груди, одышка, учащенный пульс, упадок сил, обратитесь к кардиологу, который посоветует, нужна ли вам ФКГ [1]. Объектом исследования выпускной квалификационной работы является список файлов формата .csv, содержащих разделенные знаком ";" смещенные целочисленные значения амплитуды шумов сердца, записанные в течение нескольких секунд, частота дискретизации – 1000 гц (числа в записи обозначают амплитуду сигнала, временной промежуток между соседними значениями - 1 миллисекунда). Цель работы состоит в создании алгоритма автоматической интерпретации снятых данных, который пытается по форме кривых делать выводы, аналогичные тем, которые по этим же кривым умеет делать эксперт и создание собственного алгоритма. Необходимо определить и выделить точку максимальной амплитуды, начало и окончание тона 1 для каждого из сердечных циклов. Ответ необходимо вывести в виде списка списков [t1, t2, t3], где t1 – начало тона 1, t2 – точка максимальной амплитуды, t3 – окончание тона 1. Также, для проверки результата, необходимо визуализировать полученный результат на графике. Данную процедуру необходимо произвести для каждого файла.

https://habr.com/ru/articles/809095/

Какой язык программирования выбрать? Обзор Python

Шестая статья нашего цикла про языки программирования посвящена Python. Её подготовила группа серверной разработки компании «Криптонит». В обзоре вы найдёте особенности, плюсы и минусы Python, сферы его применения и полезные ссылки для обучения. Ранее наши разработчики делали обзоры Rust , Scala , JavaScript , Spark и Golang .

https://habr.com/ru/companies/kryptonite/articles/807345/

[Перевод] NumPy: оттачивайте навыки Data Science на практике

В этой статье мы рассмотрим ряд различных упражнений, используя библиотеку NumPy (и сравним с тем, как мы бы реализовали их без неё). В самом конце статьи я приведу ряд упражнений. t.me/ai_machinelearning_big_data - моем телеграм канале я публикую актуальные проекты курсы, уроки и примеры с кодом по машинному обучению. Для этой статьи рекомендуется, чтобы читатель имел средний уровень знаний Python, NumPy, numpy.dtype , numpy.ndarray.strides , и numpy.ndarray.itemsize . Краткое введение в массивы и NumPy см. в разделе Немного предыстории ниже. Рекомендуемые бесплатные курсы и гайды:

https://habr.com/ru/articles/784978/