What is your current level of experience in freelance work?
Actualmente, contamos con 2 millones de anuncios de dos portales inmobiliarios ( de la web Idealista y la web Fotocasa) en nuestra base de datos para procesos de big data. Buscamos un profesional con experiencia avanzada en Scraping, para desarrollar un script que realice operaciones CRUD automáticas diariamente de todos los anuncios que tenemos, sin pausas e indefinidamente, conectándose a nuestra base de datos en Supabase (PostgreSQL). Importante: No tenemos acceso directo a las APIs de estos portales, por lo que el trabajo consistirá primero en descubrir y acceder a sus APIs mediante Web Scraping, y luego utilizar estas APIs para realizar las actualizaciones. A la API de idealista se puede acceder a través de la app móvil y a la de fotocasa a través de la web. Requisitos: • Automatización continua en un VPS de DigitalOcean. • Descubrimiento de APIs de Idealista y Fotocasa mediante scraping y posterior integración para realizar operaciones CRUD (actualizar, eliminar y añadir anuncios) en nuestra base de datos. • Experiencia en Web Scraping y en la integración de APIs. • Conocimientos avanzados de PostgreSQL para la correcta gestión e integración de los datos. El script debe operar de manera eficiente en segundo plano, actualizando los datos en tiempo real sin interrupciones.Category: IT & ProgrammingSubcategory: Apps programming. Android, iOS and othersWhat is the scope of the project?: Medium-sized changeIs this a project or a position?: ProjectI currently have: Not applicableRequired availability: As needed